CN116048281A - 一种虚拟现实场景中的交互方法、装置、设备及存储介质 - Google Patents
一种虚拟现实场景中的交互方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116048281A CN116048281A CN202310195788.5A CN202310195788A CN116048281A CN 116048281 A CN116048281 A CN 116048281A CN 202310195788 A CN202310195788 A CN 202310195788A CN 116048281 A CN116048281 A CN 116048281A
- Authority
- CN
- China
- Prior art keywords
- area
- virtual reality
- interaction
- interacted
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开实施例提供了一种虚拟现实场景中的交互方法、装置、设备及存储介质。该方法接收作用在虚拟现实场景中的头部控制数据;基于头部控制数据确定关注区域并展示关注区域和控制点,控制点初始位于关注区域的中心点,关注区域中包括待交互对象;接收在手部操作区域内生成的手部姿态数据,手部操作区域与关注区域存在位移映射关系;移动控制点到目标显示位置,目标显示位置为手部姿态数据在关注区域中的映射位置;响应控制点作用于待交互对象时产生的交互操作。该方法能够有效解决单一交互给身体部位带来的交互疲劳问题;先缩小交互范围定位出关注区域然后通过控制点在关注区域中精准对象的方式,降低难以精准选定交互对象的风险,提高交互精准度。
Description
技术领域
本公开实施例涉及虚拟现实技术领域,尤其涉及一种虚拟现实场景中的交互方法、装置、设备及存储介质。
背景技术
虚拟现实(virtual reality,VR)技术逐渐应用到人们的生活中。VR可以利用电子设备模拟产生三维的虚拟现实场景,且可以通过虚拟现实设备(如虚拟现实眼镜、虚拟现实头盔等)呈现给用户,在提供在视觉、听觉、触觉或其他感官上的沉浸式体验。
区别于在移动终端、台式机等设备上的二维平面交互,虚拟现实场景中的交互往往通过手势、手柄、头动及眼动等非接触式交互形式获得更加立体的输入。然而现有往往仅通过手势、手柄、头动及眼动的某一种输入方式在一个场景界面中实现交互。
现有交互方式存在下述问题:1)存在精确度低问题,在所呈现二维平面界面距离玩家的虚拟角色很远时,很难选中所呈现界面上的某个较小的按钮或控件,影响了交互精确度;2)存在交互疲劳问题,长时间在一个场景下使用一种交互方式进行交互时(如用手柄来控制进度条进行虚拟网页界面浏览),需要该种交互方式下对应的身体部位一直持续一个状态,或重复做一个动作,容易造成玩家交互疲劳。上述问题均会影响玩家的沉浸式体验。
发明内容
本公开提供一种虚拟现实场景中的交互方法、装置、设备和存储介质,以实现虚拟现实场景中的组合式交互,提高交互便捷性。
第一方面,本公开实施例提供了一种虚拟现实场景中的交互方法,该虚拟现实场景中的交互方法包括:
接收作用在虚拟现实场景中的头部控制数据;
基于所述头部控制数据确定关注区域,并在所述虚拟现实场景中展示关注区域和控制点,所述控制点初始位于所述关注区域的设定位置处,所述关注区域中包括待交互对象;
接收在手部操作区域内生成的手部姿态数据,所述手部操作区域与所述关注区域存在位移映射关系;
移动所述控制点到目标显示位置,所述目标显示位置为所述手部姿态数据在所述关注区域中的映射位置;
响应所述控制点作用于所述待交互对象时产生的交互操作。
第二方面,本公开实施例还提供了一种虚拟现实场景中的交互装置,该虚拟现实场景中的交互装置包括:
第一接收模块,用于接收作用在虚拟现实场景中的头部控制数据;
第一展示模块,用于基于所述头部控制数据确定关注区域,并在所述虚拟现实场景中展示关注区域和控制点,所述控制点初始位于所述关注区域的设定位置处,所述关注区域中包括待交互对象;
第二接收模块,用于接收在手部操作区域内生成的手部姿态数据,所述手部操作区域与所述关注区域存在位移映射关系;
第二展示模块,用于移动所述控制点到目标显示位置,所述目标显示位置为所述手部姿态数据在所述关注区域中的映射位置;
第一响应模块,用于响应所述控制点作用于所述待交互对象时产生的交互操作。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的虚拟现实场景中的交互方法。
第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任一实施例所述的虚拟现实场景中的交互方法。
本公开实施例的技术方案,通过提供的虚拟现实场景中的交互方法,可以接收作用在虚拟现实场景中的头部控制数据;基于所述头部控制数据确定关注区域,并在所述虚拟现实场景中展示关注区域和控制点,所述控制点初始位于所述关注区域的设定位置处,所述关注区域中包括待交互对象;接收在手部操作区域内生成的手部姿态数据,所述手部操作区域与所述关注区域存在位移映射关系;移动所述控制点到目标显示位置,所述目标显示位置为所述手部姿态数据在所述关注区域中的映射位置;响应所述控制点作用于所述待交互对象时产生的交互操作。上述技术方案,在具备与虚拟现实场景的交互需求时,可以通过玩家的头部控制数据(如头部姿态数据或视线数据)先在虚拟现实场景中来粗略确定一个关注区域,然后再通过手部姿态数据在关注区域中映射出的控制点来进行精细化选择。区别于现有交互方案,本技术方案将头部控制数据与手部姿态数据相结合,以组合形式来实现在虚拟现实场景中的交互。能够有效解决单一交互给身体部位带来的交互疲劳问题;同时,本技术方案先缩小交互范围定位出关注区域然后通过控制点在关注区域中精准选定按钮或控件等交互对象的方式,也降低了难以精准选定交互对象风险,提高了交互精准度,从而提升了玩家在虚拟现实场景中的沉浸式体验。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1给出了本公开实施例所提供的一种虚拟现实场景中的交互方法的流程示意图;
图1a给出了在本实施例所提供虚拟现实场景的交互方法执行中生成的关注区域及控制点的效果展示图;
图1b给出了在本实施例所提供虚拟现实场景的交互方法执行中移动控制点在目标显示位置的效果展示图;
图1c和图1d分别给出了在本实施例所提供虚拟现实场景的交互方法执行中进行关注区域移动的效果展示图;
图1e和图1f给出了现有基于射线交互方法在多窗口界面场景下进行交互对象选定的效果展示图;
图1g和图1h给出了基于本实施例所提供方法在多窗口界面场景下进行交互对象选定的效果展示图;
图1i至图1k给出了本实施例所提供交互方法中避免交互操作误触发的效果展示图;
图2给出了本公开实施例所提供的一种虚拟现实场景中的交互装置的结构示意图;
图3给出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
需要说明的是,现有的虚拟现实场景交互中,往往仅通过手势、手柄、头动或眼动中的一种来进行控制数据输入。如,对于主流的虚拟现实眼镜而言,其往往采用手柄来作为默认的交互方式,而手柄中的射线交互则使用的最多,在虚拟现实场景中,基于手柄进行的射线交互,虚拟现实设备可以接收手柄反馈的数据信息并在视觉效果上来产生射线,手柄在虚拟现实场景中会有相应的投射,可以呈现一个虚拟手柄,玩家可以操控该虚拟手柄,就相当于在真实空间场景中手持激光笔,能够通过虚拟手柄的射线在虚拟现实场景中指向要选择的对象。该种交互方式虽然能给玩家比较直观的体验,但该种交互方式存在的问题就是需要手部维持抬起的动作,手臂或手部肌肉很容易疲劳;此外,射线交互中主要采用角度数据到平面的转换,交互对象距离玩家越远,射线每一角度变化对应的移动变化就越大,很难精准的选定交互对象。
又如,在虚拟现实场景中也可以通过眼动或头动的方式来进行交互,然后这些交互方式同样存在交互疲劳以及交互精准度低的问题,且交互方式还存在一些场景限定,有些场景交互无法仅通过头动或眼动的产生的数据来实现。
基于此,本实施例提供了一种多种输入方式相组合来进行虚拟现实场景交互的交互方法。图1给出了本公开实施例所提供的一种虚拟现实场景中的交互方法的流程示意图,本公开实施例适用于在虚拟现实场景中进行交互的情况,该方法可以由虚拟现实场景中的交互装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备优选为虚拟现实设备,如虚拟现实眼镜、虚拟现实头盔等。
如图1所示,本公开实施例的方法具体可包括:
S101、接收作用在虚拟现实场景中的头部控制数据。
在本实施例中,所述虚拟现实场景可认为是利用虚拟现实技术通过虚拟现实设备呈现给玩家的场景画面。其可以通过玩家不同的选择呈现不同的虚拟现实场景。示例性的,可以是选择进入的游戏场景,也可以是信息浏览场景,信息浏览场景可以是远距离呈现一个窗口界面,也可以是多个窗口界面,窗口界面可以是菜单界面、网页界面等。
在本实施例中,可认为玩家通过选择进入了任一虚拟现实场景,作为本实施例所提供方法执行主体的虚拟现实设备可以呈现玩家所选择虚拟现实场景的场景画面。
在本实施例中,所述头部控制数据具体可认为是通过眼动采集装置或头动采集装置捕获到的数据,所述头部控制数据可以是眼动采集装置在玩家眼动时捕获的视线数据,也可以是头动采集装置在玩家头部动作时捕获的头部姿态数据。本步骤可以接收到头动和/或眼动时生成的头部姿态数据或者视线数据。
S102、基于所述头部控制数据确定关注区域,并在所述虚拟现实场景中展示关注区域和控制点,所述控制点初始位于所述关注区域的设定位置处,所述关注区域中包括待交互对象。
在本实施例中,接收到的头部控制数据可以转换为虚拟空间中的姿态信息,比如可以确定玩家在虚拟现实场景中的朝向以及位置等信息,也可以确定玩家的视线方向等信息。在虚拟现实场景中呈现有可视化或者可视化窗口界面,如游戏、地图等场景中的花草树木以及建筑物或其他游戏人物等,又如信息浏览场景中的菜单窗口界面、网页窗口界面等,所呈现的景物或者窗口界面中包括供玩家进行交互的交互对象,如被攻击对象、游戏道具、装备等,又如窗口界面中的各种按钮、控件等。
本步骤可以通过头部控制数据中的朝向信息或者视线信息,来粗略确定出玩家当前在虚拟现实场景中所关注的一个范围区域,本实施例可以将该范围区域记为关注区域并以可视化形式进行展示,所展示的关注区域可以是一个圆形或者四边形的平面区域,且关注区域在原则上不能影响虚拟现实场景中其他景物的展示,本步骤可以通过提高透明度的方式来弱化关注区域的呈现。同时,关注区域内对应存在中心点,本实施例可以在该关注区域的中心点处以可视化形式展示一个控制点,也可认为控制点初始呈现在关注区域的中心点处。
需要说明的是,本实施例所接收的头部控制数据中可能包括头部姿态数据以及视线数据,本步骤可以选择其中一种(如头部姿态数据或者视线数据)来进行关注区域的确定;也可以将两种数据相结合来进行关注区域的确定。
在其中一种实现方式中,可以通过头部姿态数据来确定玩家在虚拟现实场景中的朝向,本实施例可以沿朝向方向圈定一个设定范围的场景区域,来作为关注区域,其中,设定范围可以通过玩家的视角范围来设定,并保证设定范围不大于视角范围。
在另一种实现方式中,可以通过实现数据来确定玩家眼部在虚拟现实场景中的视线方向,本实施例可以沿视线方向圈定一个设定范围的场景区域,来作为关注区域。可以知道的是,本实施例也可以将头部姿态数据和视线数据相结合,先通过头部姿态数据中的朝向方向在虚拟现实场景中确定关注区域的圈定方向,然后通过视线数据中的视线方向来定关注区域的所在位置。
此外,需要说明的是,本实施例通过头部控制数据圈定关注区域的目的在于对某个待交互对象所处位置的粗略定位所在,其中,待交互对象可认为是虚拟现实场景中呈现的某个景物或者所呈现窗口界面中的某个按钮/控件。上述步骤接收到的头部控制数据可以认为的是玩家关注到某个待交互对象时由相应捕获装置捕获到的数据,这些数据侧面反映了待交互对象在虚拟现实空间中所处的位置。
接上述描述,对于玩家而言,当其在所展示的虚拟现实场景选择出要触发的某个交互对象后,可以通过眼动将视线投射到该要触发的交互对象上,也可以通过头动将面部朝向该要触发的交互对象。对于虚拟现实设备而言,与虚拟现实设备配套的眼动采集装置及头动采集装置就相应的捕获到视线数据及头部姿态数据,所捕获的数据就可以作为头部控制数据,并通过本实施例上述S101的步骤来实现数据接收。
由此,可以认为通过本实施例确定的关注区域中包含了玩家期望进行交互操作的待交互对象。本步骤呈现的关注区域以及中心点均可以看作交互实现中的视觉效果,能够让玩家在交互中有更好的感观体验。
示例性的,图1a给出了在本实施例所提供虚拟现实场景的交互方法执行中生成的关注区域及控制点的效果展示图。如图1a所示,所呈现的虚拟现实场景可以是一个窗口界面11,关注区域12展示在该窗口界面11中,控制点13初始位于关注区域12的中心点处,关注区域12中还包括了玩家期望进行交互操作的待交互对象14,该待交互对象14优选展示为一个虚拟按钮。
S103、接收在手部操作区域内生成的手部姿态数据,所述手部操作区域与所述关注区域存在位移映射关系。
在本实施例中,本步骤可以接收到手部姿态数据,该手部姿态数据可认为是玩家手部动作在所构建的手部操作区域内投射形成的数据。其中,所述手部姿态数据可通过对手部姿态捕获装置所捕获数据的投射来获得,所捕获数据具体可以是对玩家手部动作进行捕获并产生的数据,所捕获数据可以是6dof格式的数据,其可以投射在手部操作区域内形成二维形式的手部姿态数据。
其中,手部姿态捕获装置可优选为与虚拟现实设备配套的手柄,玩家手持手柄进行手部活动时,手柄可以捕获玩家的手部动作并形成相应的6dof数据,相应的,手柄在虚拟现实场景画面中可呈现一个虚拟手柄。
在本实施例中,所述手部操作区域可认为是以虚拟手柄当前位置为中心构建形成的一个虚拟平面区域,其可以通过可视化形式临近虚拟手柄展示在虚拟现实场景画面中,或者,仅是在逻辑层面上将玩家手部在真实空间中的活动区域与该虚拟平面区域建立关联,并不以可视化形式呈现在虚拟现实场景画面中。进行手部操作区域构建时,可以以手部的当前位置为中心,形成一个圆形或者四边形的平面区域,圆形的半径或四边形的长宽可以是一个预设值。
接上述描述,该手部操作区域的执行功能可相当于真实空间内作为计算机设备输入装置的鼠标操控区或者触摸式面板,手柄可对应于鼠标操控区中活动的鼠标,或者对应于触摸式面板中活动的手指或触摸物,真实空间中的计算机设备,随着鼠标的活动或者对触摸面板的触摸活动,屏幕界面上的光标可进行相应移动。
在本实施例中,所构建手部操作区域的目的可认为是随着玩家操纵手柄在该手部操作区域内活动,呈现在虚拟现实场景中的控制点也能够在关注区域内活动。而保证控制点在关注区域内移动的关键在于所构建的手部操作区域与关注区域之间建立有位移映射关系。其中,所述手部操作区域与关注区域之间存在的位移映射关系可类似于真实空间中鼠标操控区或者触摸式面板与计算机设备屏幕界面的移动映射关系,通过该位移映射关系具体可用于将在手部操作区域中的移动映射为控制点在关注区域中的移动。
S104、移动所述控制点到目标显示位置,所述目标显示位置为所述手部姿态数据在所述关注区域中的映射位置。
在本实施例中,通过上述接收的手部姿态数据,可以确定出手柄在手部操作区域中的位置信息,通过手部操作区域与关注区域之间的位移映射关系,可以确定出该位置信息在关注区域中的映射位置,该映射位置可以看作控制点的目标显示位置,本步骤可以将控制点由原来的显示位置移动到该目标显示位置,其中,控制点原来的显示位置可以是初始所在的关注区域中心点位置,也可以是控制点随手柄动作而呈现的历史显示位置。
需要说明的是,本实施例可认为上述S103及S104为可持续更迭执行的步骤,只要手柄在手部操作区域中发生移动,S103就可以实时接收到手部姿态数据,相应的,本步骤就可以根据S103实时接收的手部姿态数据,来实时确定其在关注区域中对应的映射位置,并可基于映射位置实时进行控制点的移动。同样的,当手柄停留在手部操作区域中对应的某一位置时,控制点也将移动停留在该位置在关注区域对应的映射位置处。
示例性的,图1b给出了在本实施例所提供虚拟现实场景的交互方法执行中移动控制点在目标显示位置的效果展示图。如图1b所示,虚拟现实场景同样为窗口界面11,窗口界面11中呈现了关注区域12,控制点13可以通过所接收手部姿态数据的变化发生移动,其移动轨迹可以通过第一轨迹线15来表征,可以看出,控制点13最终停留在待交互对象14的可触发位置处,其中,本示例认为用于手部姿态数据移动的手部操作区域为一个非可视化区域,只存在逻辑层面的数据交互,不进行展示,同时图1b中并未示出虚拟手柄的相关描述。
S105、响应所述控制点作用于所述待交互对象时产生的交互操作。
在本实施例中,通过头部控制区域对玩家锁定的待交互对象进行粗略定位形成关注区域后,可以利用控制点在关注区域中移动来对待交互对象进行精细定位。
示例性的,本实施可以在玩家对手柄的操控下,通过上述S103及S104将控制点移动到待交互对象的呈现位置处,或者,移动到待交互对象关联呈现的触发组件处。控制点处于待交互对象关联的位置处后,可以将玩家对手柄的操控行为转换为作用在待交互对象上的触发行为,该触发行为可以是点击、拖动、滑动等。
在本实施例中,通过对作用在待交互对象上的触发行为的分析可以生成相应的交互操作,本步骤可以对生成的该交互操作进行响应,如可以执行点击操作对应的功能逻辑,也可以执行拖动操作对应的功能逻辑等。
本公开实施例提供的一种虚拟现实场景中的交互方法,在具备与虚拟现实场景的交互需求时,可以通过玩家的头部控制数据(如头部姿态数据或视线数据)先在虚拟现实场景中来粗略确定一个关注区域,然后再通过手部姿态数据在关注区域中映射出的控制点来进行精细化选择。区别于现有交互方案,本技术方案将头部控制数据与手部姿态数据相结合,以组合形式来实现在虚拟现实场景中的交互。能够有效解决单一交互给身体部位带来的交互疲劳问题;同时,本技术方案先缩小交互范围定位出关注区域然后通过控制点在关注区域中精准选定按钮或控件等交互对象的方式,也降低了难以精准选定交互对象风险,提高了交互精准度,从而提升了玩家在虚拟现实场景中的沉浸式体验。
作为本公开实施例的第一可选实施例,在上述实施例的基础上,本第一可选实施例可以进一步对上述虚拟现实场景中的交互方法进行优化,具体可以包括下述执行步骤:
a1)控制所述关注区域在所述虚拟现实场景中随所接收头部控制数据的变化而移动。
在本实施例中,随着玩家的眼动行为或头动行为,相应的眼动采集装置或头动采集装置捕获到的视线数据或头部姿态数据也会发生变化,本实施例可以将视线数据和/或头部姿态数据记为头部控制数据,本实施例可以接收到变化后的头部控制数据。且基于上述所描述头部控制数据与关注区域之间的关联,本步骤可以在接收到变化后的头部控制数据时,重新确定其对应的关注区域,并在虚拟现实场景中呈现重确的关注区域。
考虑到重确关注区域在区域大小以及呈现形态上均未发生变化,在可视化层面相当于关注区域的呈现位置随着头动和/或眼动发生移动。同时,可以知道的是,本实施例可以确定出关注区域移动时相对于在前位置的移动距离,以及移动速度等关注区域的移动属性信息。另外,区别于关注区域随头部控制数据的实时变化而实时移动,初始呈现于关注区域中心点处的控制点则分情况跟随移动。
示例性的,为防止头动和/或眼动带来的输入抖动,控制点可以基于移动后关注区域相对在前关注区域的移动属性信息来分情况确定是否跟随关注区域的中心点移动。
接上述描述,本实施例根据关注区域移动时确定的移动属性信息,来获得跟关注区域的移动距离集移动速度关联的移动属性值,本步骤可以将该移动属性值与预先设置的一个设定阈值作比对。
b1)在移动后关注区域的移动属性值小于设定阈值的情况,保持所述控制点的显示位置不动。
具体的,如果移动属性值小于该设定阈值,可以通过本步骤继续保持控制点在关注区域移动前所处的显示位置不动。
c1)在所述移动属性值大于或等于所述设定阈值的情况,复位所述控制点到移动后关注区域的中心点。
具体的,如果移动属性值大于或等于该设定阈值,则可以通过本步骤来控制控制点的显示位置移动,并具体复位显示在移动后关注区域的中心点处。
图1c和图1d分别给出了在本实施例所提供虚拟现实场景的交互方法执行中进行关注区域移动的效果展示图,如图1c所示,关注区域12由原来位置(颜色较浅圆形区域)移动到当前位置(颜色较深圆形区域),可以看出图1c中关注区域12的移动距离较短,相对于的移动属性值也较小,基于上述步骤的描述,可认为此时的移动属性值小于设定阈值,由此,图1c中的控制点13依旧处于原有显示位置,并不随关注区域12的移动而随之移动。
如图1d所示,关注区域12由原来位置(颜色较浅圆形区域)移动到当前位置(颜色较深圆形区域),可以看出图1d中关注区域12的移动距离相对较长,所对应的移动属性值也较大,基于上述步骤的描述,可认为此时的移动属性值大于设定阈值,由此,图1d中的控制点13在关注区域12移动到当前位置后,其显示位置也由原始显示位置复位到关注区域12的中心点处。
上述第一可选实施例,相当于在上述实施例基础上对虚拟现实场景中交互方法的功能扩展,其进一步说明了关注区域与头部控制数据的关联关系,当玩家在虚拟现实场景中期望的待交互对象发生调整时,就可以通过眼动和/或头动操作来改变头部控制数据,以此通过关注区域的移动来对新的待交互对象进行粗略定位。进一步说明了组合交互方式在实际应用中的有效性,更好的提升了玩家体验。
在上述第一可选实施例的基础上,也可以进一步对上述虚拟现实场景中的交互方法进行优化,在所述移动属性值大于或等于所述设定阈值的情况下,具体还可以包括:
取消所述手部操作区域与移动前关注区域的位移映射,并与移动后的关注区域建立位移映射关系。
本实施例所提供方法中实现头部、眼部及手部组合式输入进行交互控制的关键在于将手部动作对应的手部操作区域与眼部及头部关联的关注区域建立位移映射,使得控制点能够通过手部动作在关注区域内进行精细化移动。可以知道的是,当关注区域在虚拟现实场景中的位置发生变化时,手部操作区域与原有关注区域之间存在映射关系将无法支持控制点后续的移动操作,为保证控制点后续在关注区域内的正常移动,可以通过本第一可选实施例中的该步骤来取消手部操作区域与移动前原有关注区域的位移映射,并重新建立手部操作区域与移动后关注区域的位移映射关系。
需要说明的是,本实施例可以基于本步骤在关注区域移动过程中实时更新手部操作区域与其建立位移映射关系,但考虑到计算资源的占用以及非必要性,本实施例可优选只对移动后稳定呈现的关注区域建立其与手部操作区域的位移映射关系。
同样需要说明的是,手部操作区域以玩家所持有手柄在虚拟现实场景中所呈现虚拟手柄的手柄位置为关键信息来构建,因此,当虚拟手柄的位置变化满足设定条件时,手部操作区域的区域位置也存在变化的可能,当手部操作区域的区域位置发生变化时,同样需要重新构建其与关注区域的位移映射关系。
在本实施例中,对于手部操作区域与关注区域位移映射关系的构建,其可以通过将手部操作区域中坐标点与关注区域中坐标点在同一坐标系下相互对齐,并赋予给定的移动灵敏系数来实现。
示例性的,所建立的位移映射关系表现出的效果可以描述为:操控手柄在手部操作区域以第一移动轨迹进行移动,可以获取到第一移动轨迹上的手部操作区域坐标点;基于位移映射关系,可以确定出第一移动轨迹上的手部操作区域坐标点在关注区域上对齐的关注区域坐标点,基于确定的关注区域坐标点构成的第二移动轨迹就可以认为时操控手柄时在关注区域中响应后所呈现的轨迹。
本第一可选实施例上述技术实现同样说明了组合交互方式在实际应用中的有效性,更好的提升了玩家体验。
为更好的说明本实施例所提供方法的在交互疲劳以及交互精确度上的有效改进,本实施例通过下述示例来进行效果说明。本示例以包含多个窗口界面的信息浏览场景为例,当玩家想要进行交互的交互对象由其中一个窗口界面变换到另一个窗口界面时,如果想要对另一窗口界面上的新待交互对象进行交互操作,则采用现有的手柄射线进行交互时,需要大幅度的移动手柄,来保证移动后的射线能够指向另一窗口界面中的新待交互对象。
图1e和图1f给出了现有基于射线交互方法在多窗口界面场景下进行交互对象选定的效果展示图。如图1e和图1f所示,具体给出了虚拟现实场景的俯视图,其中,第一窗口界面110和第二窗口界面111分别呈现为两条线段,并给出了虚拟手柄16在俯视图下的展示。图1e给出了跨窗口界面交互前的初始呈现的状态,此时虚拟手柄16指向第一窗口界面110中的任一待交互对象,且视觉效果上可以呈现一条射线100。图1f给出了跨窗口界面交互的过程呈现,该交互过程中,玩家将控制虚拟手柄16进行大角度范围值1000的移动,从而使视觉效果的射线100由第一窗口界面110指向第二窗口界面上的某个待交互对象。
可以看出现有交互实现中仅依赖虚拟手柄进行交互输入,多窗口界面的切换需要进行大角度范围值的移动,玩家体验并不好。
接上述描述,采用本实施例所提供交互方法进行多窗口界面的切换时,只需要先通过玩家头动或眼动,来将关注区域由一个窗口界面切换到另一个窗口界面上进行呈现,然后只需在呈现的关注区域内对手柄进行小角度范围的转动即可通过控制点定位到新的待交互对象。
图1g和图1h给出了基于本实施例所提供方法在多窗口界面场景下进行交互对象选定的效果展示图。如图1g和图1h所示,同样给出了虚拟现实场景的俯视图,其中,第一窗口界面110和第二窗口界面111分别呈现为两条线段,同样给出了虚拟手柄16在俯视图下的展示。图1g给出了跨窗口界面交互前的初始呈现状态,此时虚拟手柄16对应的控制点在第一窗口界面110的关注区域内呈现,其中,图中采用了第二射线130来表示控制点与虚拟手柄16的视觉效果。图1h给出了本实施例方法跨窗口界面交互的过程呈现,该交互过程中,玩家只需扭动头部,使得玩家面部朝向该第二窗口界面111,或者玩家转动眼部,使得眼部视线方向处于该第二窗口界面111上。并可以通过在第二窗口界面111上的面部朝向或者视线方向来呈现一个用于粗略定位新待交互对象的关注区域图1f中以虚射线来表示虚拟手柄16与关注区域中控制点的俯视视觉效果,之后可以小角度范围值1300的转动虚拟手柄16,使得控制点能够指向处于该关注区域内的新待交互对象。此时,控制点与虚拟手柄的俯视视觉效果可以通过第二射线130来体现。
可以看出,本实施例提供的交互方法中,基于头动、眼动及手部动作的组合方式来实现交互操作的响应,能够更好的解决交互疲劳以及交互精确度低的问题,有效提升了玩家体验。
作为本公开实施例的第二可选实施例,在上述实施例的基础上,本第二可选实施例可以进一步对上述虚拟现实场景中的交互方法进行优化,具体可以包括下述执行步骤:
a2)接收到移动灵敏度调整操作,更新所述关注区域与所述手部操作区域的位移映射关系。
在本实施例中,手柄在手部操作区域中一次移动的位移,与控制点在关注区域中的所对应位移的长度值,可以根据移动灵敏度的不同来进行调整。本实施例可以通过某一按键或者手势来通过生成的移动灵敏度调整操作来启动移动灵敏度的调整。
本步骤可以在接收到移动灵敏度调整操作后,来更新所述关注区域与所述手部操作区域的位移映射关系,以调整移动灵敏度。可以知道的是,如果接收到的移动灵敏度调整操作想要降低移动灵敏度,则可以通过调整关注区域与手部操作区域的位移映射关系,来减少手柄进行一次移动时控制点在关注区域中映射的位移长度值。该种情况在效果呈现上相当于玩家移动一次手柄,控制点在关注区域上仅进行一段较短位移的移动。
同理,如果接收到的移动灵敏度调整操作想要提高移动灵敏度,则可以通过调整关注区域与手部操作区域的位移映射关系,来加大手柄进行一次移动时控制点在关注区域中映射的位移长度值。该种情况在效果呈现上相当于玩家移动一次手柄,控制点在关注区域上能够灵敏响应,进行一段较长位移的移动。
b2)接收到新的手部姿态数据时,按照更新后的位移映射关系确定所述手部姿态数据在所述关注区域中的映射位置,作为新的目标显示位置。
接上述描述,通过更新的位移映射关系进行移动灵敏度调整后,本步骤再次接收到新的手部姿态数据时,该手部姿态数据基于更新后的位移映射关系,其在关注区域中对应的映射位置将发生调整,本步骤可以将调整后确定映射位置作为控制点的新的目标显示位置。
可以知道的是,如果灵敏度调低,未调整所对应映射位置与原显示位置的距离值,相对于调整后所确定映射位置与原显示位置的距离值,将有所变小;如果灵敏度调高,未调整所对应映射位置与原显示位置的距离值,相对于调整后所确定映射位置与原显示位置的距离值,将有所变大。
c2)移动所述控制点到所述新的目标显示位置。
作为对上述所接收手部姿态数据的响应,本步骤可以将控制点移动到新的目标显示位置进行显示。
本第二可选实施例,进一步增加了交互方法的功能实现,在上述方法实现的基础上,具体增设了移动灵敏度调整操作对控制点在关注区域中移动的影响。该技术实现同样说明了组合式交互在实际应用中的有效性,更好的提升了精细位移的控制。
作为本公开实施例的第三可选实施例例,在上述实施例的基础上,本第三可选实施例可以进一步对上述虚拟现实场景中的交互方法进行优化,具体的,本第三可选实施例可以将建立关注区域与手部操作区域位移映射关系的实现优化为下述步骤:
a3)根据手部姿态数据中的手部位置数据,划定手部操作区域,,并获取预设置的当前移动灵敏系数。
在本实施例中,手部位置数据可认为是虚拟手柄的当前位置数据,可以以该手部位置数据对应的坐标点为中心,来扩展形成手部操作区域,本实施例还可以将该手部位置数据对应的坐标点,作为以手部操作区域构建坐标系时的操作坐标原点。本步骤还可以获取到当前所设置移动灵敏度相匹配的当前移动灵敏系数。
b3)将所述手部操作区域中坐标点与所述关注区域中坐标点通过选定的对齐基准点进行对齐。
在本实施例中,可以将手部操作区域所处坐标系下的坐标点与关注区域所处坐标系下的坐标点以其中一个坐标系为基准通过选定的对齐基准点进行坐标点对齐。示例性的,对齐基准点可以分别是手部操作区域及关注区域中左上角顶点的坐标点,也可以分别是手部操作区域及关注区域内中心点位置的坐标点,或者还可以是手部操作区域及关注区域所处坐标系的坐标原点。
c3)通过所述当前移动灵敏系数,建立所述手部操作区域中坐标点与所述关注区域中坐标点的位移映射关系。
在本实施例中,示例性的,可以将手部操作区域所处坐标系下的操作坐标原点与关注区域所处坐标系下的区域坐标原点以其中一个坐标系为基准进行坐标点对齐。本步骤可以基于上述获取的当前移动灵敏系数,来建立手部操作区域中坐标点与关注区域中坐标点的位移映射关系,而形成的坐标点的位移映射关系就构成了关注区域与手部操作区域的位移映射关系。
本实施例上述技术方案,给出了关注区域与手部操作区域位置映射关系的其中一种具体实现方式,相当于为本实施例的交互实现提供了底层技术支持。
作为本实施例的第四可选实施例,在上述实施例的基础上,还可以在上述在响应所述控制点作用于所述待交互对象时产生的交互操作之前进一步优化包括:分析所述控制点对触发组件的触发行为,生成作用于所述待交互对象的交互操作;其中,所述触发组件为所述待交互对象,和/或,为对所述待交互对象进行区域扩展后形成的触发区域。
在本实施例中,相对待交互对象可响应的交互操作具体可通过对控制点相对触发组件所产生触发行为的分析来生成。其中,触发行为可以包括点击、拖动、以及旋转等。一般的,可直接将待交互对象看做一个触发组件,触发行为可直接作用在待交互对象上。然而,考虑到控制点作用在待交互对象边缘时引起的误触行为,本实施例对触发组件进行了优化,也可以将基于待交互对象进行区域扩展后形成的触发区域看作触发组件。
可以理解的是,本实施例相当于控制点作用在待交互对象自身上,或者作用在待交互对象所对应触发区域上时,均可给出生成交互操作的触发行为。作为本实施例避免误触的一个示例,可以将待交互对象优选为进行文本输入的在虚拟现实场景内呈现的虚拟键盘中的每个字符按钮。
在上述第四可选实施例的基础上,可以将触发区域的确定步骤优化为:
a4)检测到所述控制点位于所述待交互对象的边缘区域时,以所述待交互对象的边缘框为起始位置进行等间距离区域扩展。
在本实施例中,通过手部姿态数据可以将控制点移动到待交互对象上进行显示。本步骤如果检测到控制点的显示位置位于待交互对象的边缘区域时,可以认为触发了构成待交互对象触发区域的操作,其中边缘区域可认为是待交互对象的边缘框。
本步骤可以在满足触发区域的构建条件时,以待交互对象为中心向外进行区域扩展,具体可以以待交互对象的边缘框为起始位置分别向四周进行等间距离区域扩展。
b4)将扩展形成的区域确定为所述触发区域,其中,等间距离的距离值小于所述待交互对象与相邻对象的邻接距离。
本步骤可以将上述围绕待交互对象形成的扩展区域确定为待交互对象的扩展区域,且上述进行区域扩展时,可以向外扩展的等间距离的距离值需要小于该待交互对象与其相邻其他交互对象的邻接距离。示例性的,以所呈现虚拟键盘中的一个字符按钮为待交互对象,虚拟键盘中与该字符按钮相邻的其他字符按钮均可作为该待交互对象的相邻对象,邻接距离可认为是该字符按钮与其他相邻字符按钮中的最短距离值。
本第四可选实施例上述技术方案同样可认为是本实施例所提供交互方法的功能扩展,其在保证灵活交互的基础上,进一步增设了避免误触发的功能实现。该功能实现更好的提升了交互的精细度。
为更好的理解本实施例对误触发功能的实现,本实施例给出示例进行说明。图1i至图1k给出了本实施例所提供交互方法中避免交互操作误触发的效果展示图。如图1i至图1k所示,本实施例以虚拟键盘中的字符按钮为例进行效果说明。具体的,如图1i所示,控制点13处于所呈现虚拟键盘中‘Q’这个字符按钮的边缘框上,此时,考虑到误触发机制,控制点并不能对‘Q’这个字符按钮作用所需的触发行为。如图1j所示,检测到控制点以图1i的状态进行呈现时,可以对字符按钮‘Q’进行区域扩展,形成字符按钮‘Q’的触发区域17;可以看出所形成的触发区域17的扩展距离小于字符按钮‘Q’到字符按钮‘W’集字符按钮‘A’的最小邻接距离。作为对上述误触发机制的延伸说明,可认为当控制点13离开字符按钮‘Q’(待交互对象)或其对应的触发区域时,所形成的触发区域17将相应消失。如图1k所示,当控制点13再次落到字符按钮‘W’的边缘框时,会再次基于上述操作相对字符按钮‘W’形成新的触发区域18,可以看出此时字符按钮‘Q’的触发区域不再存在。
作为本公开实施例的第五可选实施例,在上述实施例的基础上,本第五可选实施例可以进一步对上述虚拟现实场景中的交互方法进行优化,具体的,可以包括下述执行步骤:
a5)接收在所述手部操作区域外生成的区域外姿态数据。
需要说明的是,本实施例并不局限控制点只有在手部操作区域内生成手部姿态数据时才会呈现,在本第五可选实施例的基础上,通过本步骤还可以接收到玩家在手部操作区域外操控手柄时形成的手部姿态数据,本实施例记为区域外姿态数据。
b5)移动所述控制点到区域外显示位置,所述区域外显示位置处于所述关注区域外,为所述区域外姿态数据相对所述虚拟现实场景的场景映射位置。
通过本步骤同样可以将区域外姿态数据在虚拟现实场景中对应的控制点进行显示,具体可以通过移动控制点将其展示到区域外姿态数据所对应的区域外显示位置处。
其中,可认为该区域外显示位置同样处于关注区域外,且该区域外显示位置可认为是区域外姿态数据相对所述虚拟现实场景的场景映射位置。即,可认为虚拟手柄除了将手部操作区域与关注区域建立位移映射关系外,还可以将手部操作区域以外的活动区域与整个虚拟现实场景建立位移映射关系,虚拟手柄在手部操作区域以外的平面区域活动时,其对应的手部姿态数据将基于与虚拟现实场景建立位移映射关系,来在虚拟现实场景中也对应一个映射位置,本实施例记为场景映射位置。
本第五可选实施例同样可以看作本实施例所提供交互方法的一种功能扩展,其替换了现有手柄与虚拟现实场景的角度映射,建立了新的位置映射,由此可以通过控制点的形式来指向虚拟现实场景中的任意交互对象,保证了交互灵活性。
在上述第五可选实施例的基础上,还可以进一步优化包括:响应所述控制点作用于所述关注区域外其他待交互对象时产生的交互操作。
可以知道的是,虚拟现实场景中除关注区域以外也存在有交互对象,通过上述控制点移动实现方式,本实施例也可以通过控制点对关注区域以外的其他区域的待交互对象进行触发行为的作用,本可选实施例增设的步骤可以响应作用在其他待交互对象时产生的交互操作。
本实施例新增设功能实现可以看作对上述交互方法的功能完善,整个技术方案,通过多输入配合移动的方式,能够头眼确定关注范围,手部进行精细控制,该种组合交互方式有效的解决了现有交互中的交互疲劳问题以及交互精细度低的问题。更好的提升了玩家的沉浸式体验。
图2为本公开实施例所提供的一种虚拟现实场景中的交互装置的结构示意图,如图2所示,所述装置包括:第一接收模块21、第一展示模块22、第二接收模块、第二展示模块23以及第一响应模块24,其中,
第一接收模块21,用于接收作用在虚拟现实场景中的头部控制数据;
第一展示模块22,用于基于所述头部控制数据确定关注区域,并在所述虚拟现实场景中展示关注区域和控制点,所述控制点初始位于所述关注区域的设定位置处,所述关注区域中包括待交互对象;
第二接收模块23,用于接收在手部操作区域内生成的手部姿态数据,所述手部操作区域与所述关注区域存在位移映射关系;
第二展示模块24,用于移动所述控制点到目标显示位置,所述目标显示位置为所述手部姿态数据在所述关注区域中的映射位置;
第一响应模块25,用于响应所述控制点作用于所述待交互对象时产生的交互操作。
本公开实施例提供的一种虚拟现实场景中的交互装置,在具备与虚拟现实场景的交互需求时,可以通过玩家的头部控制数据(如头部姿态数据或视线数据)先在虚拟现实场景中来粗略确定一个关注区域,然后再通过手部姿态数据在关注区域中映射出的控制点来进行精细化选择。区别于现有交互方案,本技术方案将头部控制数据与手部姿态数据相结合,以组合形式来实现在虚拟现实场景中的交互。能够有效解决单一交互给身体部位带来的交互疲劳问题;同时,本技术方案先缩小交互范围定位出关注区域然后通过控制点在关注区域中精准选定按钮或控件等交互对象的方式,也降低了难以精准选定交互对象风险,提高了交互精准度,从而提升了玩家在虚拟现实场景中的沉浸式体验。
进一步地,该装置还可以包括:
移动控制模块,用于控制所述关注区域在所述虚拟现实场景中随所接收头部控制数据的变化而移动;
第一执行模块,用于在移动后关注区域的移动属性值小于设定阈值的情况,保持所述控制点的显示位置不动;
第二执行模块,用于在所述移动属性值大于或等于所述设定阈值的情况,复位所述控制点到移动后关注区域的中心点。
进一步地,所述第二执行模块还可以用于:取消所述手部操作区域与移动前关注区域的位移映射,并重新与移动后的关注区域建立位移映射关系。
进一步地,该装置还可以包括:
映射更新模块,用于接收到移动灵敏度调整操作,更新所述关注区域与所述手部操作区域的位移映射关系;
信息确定模块,用于接收到新的手部姿态数据时,按照更新后的位移映射关系确定所述手部姿态数据在所述关注区域中的映射位置,作为新的目标显示位置;
显示更新模块,用于移动所述控制点到所述新的目标显示位置。
进一步地,该装置还包括映射建立模块,所述映射建立模块具体可以用于:
根据手部姿态数据中的手部位置数据,划定手部操作区域,并获取预设置的当前移动灵敏系数;
将所述手部操作区域中坐标点与所述关注区域中坐标点通过选定的对齐基准点进行对齐;
通过所述当前移动灵敏系数,建立所述手部操作区域中坐标点与所述关注区域中坐标点的位移映射关系。
进一步地,该装置还可以包括:触发分析模块,用于:
在响应所述控制点作用于所述待交互对象时产生的交互操作之前,分析所述控制点对触发组件的触发行为,生成作用于所述待交互对象的交互操作;其中,所述触发组件为所述待交互对象,和/或,为对所述待交互对象进行区域扩展后形成的触发区域。
进一步地,该装置还可以包括:触发区域生成模块,用于
在分析所述控制点对触发组件的触发行为之前,检测到所述控制点位于所述待交互对象的边缘区域时,以所述待交互对象的边缘框为起始位置进行等间距离区域扩展;将扩展形成的区域确定为所述触发区域,其中,等间距离的距离值小于所述待交互对象与相邻对象的邻接距离。
进一步地,该装置还可以包括:
第三接收模块,用于接收在所述手部操作区域外生成的区域外姿态数据;
第三展示模块,用于移动所述控制点到区域外显示位置,所述区域外显示位置处于所述关注区域外,为所述区域外姿态数据相对所述虚拟现实场景的场景映射位置。
进一步地,该装置还可以包括:
第二响应模块,用于响应所述控制点作用于所述关注区域外其他待交互对象时产生的交互操作。
本公开实施例所提供的虚拟现实场景中的交互装置可执行本公开任意实施例所提供的虚拟现实场景中的交互方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
图3为本公开实施例所提供的一种电子设备的结构示意图。下面参考图3,其示出了适于用来实现本公开实施例的电子设备(例如图3中的终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。编辑/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的虚拟现实场景中的交互方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的虚拟现实场景中的交互方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:对业务对象的原始素材进行素材解析处理,获得所述业务对象的目标图文素材;基于所述目标图文素材及所述业务对象的海报生成配置信息,生成目标海报描述信息;通过对所述目标海报描述信息的渲染,生成所述业务对象的目标海报图像并展示。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,【示例一】提供了一种虚拟现实场景中的交互方法,该方法包括:
接收作用在虚拟现实场景中的头部控制数据;
基于所述头部控制数据确定关注区域,并在所述虚拟现实场景中展示关注区域和控制点,所述控制点初始位于所述关注区域的设定位置处,所述关注区域中包括待交互对象;
接收在手部操作区域内生成的手部姿态数据,所述手部操作区域与所述关注区域存在位移映射关系;
移动所述控制点到目标显示位置,所述目标显示位置为所述手部姿态数据在所述关注区域中的映射位置;
响应所述控制点作用于所述待交互对象时产生的交互操作。
根据本公开的一个或多个实施例,【示例二】提供了一种虚拟现实场景中的交互方法,该方法还可以包括:
控制所述关注区域在所述虚拟现实场景中随所接收头部控制数据的变化而移动;
在移动后关注区域的移动属性值小于设定阈值的情况,保持所述控制点的显示位置不动;
在所述移动属性值大于或等于所述设定阈值的情况,复位所述控制点到移动后关注区域的中心点。
根据本公开的一个或多个实施例,【示例三】提供了一种虚拟现实场景中的交互方法,该方法在所述移动属性值大于或等于所述设定阈值的情况,还可以包括:
取消所述手部操作区域与移动前关注区域的位移映射,并重新与移动后的关注区域建立位移映射关系。
根据本公开的一个或多个实施例,【示例四】提供了一种虚拟现实场景中的交互方法,该方法还可以包括:
接收到移动灵敏度调整操作,更新所述关注区域与所述手部操作区域的位移映射关系;
接收到新的手部姿态数据时,按照更新后的位移映射关系确定所述手部姿态数据在所述关注区域中的映射位置,作为新的目标显示位置;
移动所述控制点到所述新的目标显示位置。
根据本公开的一个或多个实施例,【示例五】提供了一种虚拟现实场景中的交互方法,该方法包括:
可选的,建立关注区域与手部操作区域位移映射关系的步骤包括:
根据手部姿态数据中的手部位置数据,划定手部操作区域,并获取预设置的当前移动灵敏系数;
将所述手部操作区域中坐标点与所述关注区域中坐标点通过选定的对齐基准点进行对齐;
通过所述当前移动灵敏系数,建立所述手部操作区域中坐标点与所述关注区域中坐标点的位移映射关系。
根据本公开的一个或多个实施例,【示例六】提供了一种虚拟现实场景中的交互方法,该方法在响应所述控制点作用于所述待交互对象时产生的交互操作之前,还可以包括:
分析所述控制点对触发组件的触发行为,生成作用于所述待交互对象的交互操作;
所述触发组件为所述待交互对象,和/或,为对所述待交互对象进行区域扩展后形成的触发区域。
根据本公开的一个或多个实施例,【示例七】提供了一种虚拟现实场景中的交互方法,该方法中触发区域的生成步骤可以包括:
检测到所述控制点位于所述待交互对象的边缘区域时,以所述待交互对象的边缘框为起始位置进行等间距离区域扩展;
将扩展形成的区域确定为所述触发区域,其中,等间距离的距离值小于所述待交互对象与相邻对象的邻接距离。
根据本公开的一个或多个实施例,【示例八】提供了一种虚拟现实场景中的交互方法,该方法还包括:
接收在所述手部操作区域外生成的区域外姿态数据;
移动所述控制点到区域外显示位置,所述区域外显示位置处于所述关注区域外,为所述区域外姿态数据相对所述虚拟现实场景的场景映射位置。
根据本公开的一个或多个实施例,【示例九】提供了一种虚拟现实场景中的交互方法,该方法还包括:
响应所述控制点作用于所述关注区域外其他待交互对象时产生的交互操作。
根据本公开的一个或多个实施例,【示例十】提供了一种虚拟现实场景中的交互装置,该装置包括:
素材处理模块,用于对业务对象的原始素材进行素材解析处理,获得所述业务对象的目标图文素材;
信息生成模块,用于基于所述目标图文素材及所述业务对象的海报生成配置信息,生成目标海报描述信息;
海报生成模块,用于通过对所述目标海报描述信息的渲染,生成所述业务对象的目标海报图像并展示。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (12)
1.一种虚拟现实场景中的交互方法,其特征在于,包括:
接收作用在虚拟现实场景中的头部控制数据;
基于所述头部控制数据确定关注区域,并在所述虚拟现实场景中展示关注区域和控制点,所述控制点初始位于所述关注区域的设定位置处,所述关注区域中包括待交互对象;
接收在手部操作区域内生成的手部姿态数据,所述手部操作区域与所述关注区域存在位移映射关系;
移动所述控制点到目标显示位置,所述目标显示位置为所述手部姿态数据在所述关注区域中的映射位置;
响应所述控制点作用于所述待交互对象时产生的交互操作。
2.根据权利要求1所述的方法,其特征在于,还包括:
控制所述关注区域在所述虚拟现实场景中随所接收头部控制数据的变化而移动;
在移动后关注区域的移动属性值小于设定阈值的情况,保持所述控制点的显示位置不动;
在所述移动属性值大于或等于所述设定阈值的情况,复位所述控制点到移动后关注区域的中心点。
3.根据权利要求2所述的方法,其特征在于,在所述移动属性值大于或等于所述设定阈值的情况,还包括:
取消所述手部操作区域与移动前关注区域的位移映射,并重新与移动后的关注区域建立位移映射关系。
4.根据权利要求1所述的方法,其特征在于,还包括:
接收到移动灵敏度调整操作,更新所述关注区域与所述手部操作区域的位移映射关系;
接收到新的手部姿态数据时,按照更新后的位移映射关系确定所述手部姿态数据在所述关注区域中的映射位置,作为新的目标显示位置;
移动所述控制点到所述新的目标显示位置。
5.根据权利要求1-4任一项所述的方法,其特征在于,建立关注区域与手部操作区域位移映射关系的步骤包括:
根据手部姿态数据中的手部位置数据,划定手部操作区域,并获取预设置的当前移动灵敏系数;
将所述手部操作区域中坐标点与所述关注区域中坐标点通过选定的对齐基准点进行对齐;
通过所述当前移动灵敏系数,建立所述手部操作区域中坐标点与所述关注区域中坐标点的位移映射关系。
6.根据权利要求1所述的方法,其特征在于,在响应所述控制点作用于所述待交互对象时产生的交互操作之前,还包括:
分析所述控制点对触发组件的触发行为,生成作用于所述待交互对象的交互操作;
所述触发组件为所述待交互对象,和/或,为对所述待交互对象进行区域扩展后形成的触发区域。
7.根据权利要求6所述的方法,其特征在于,所述触发区域的生成步骤包括:
检测到所述控制点位于所述待交互对象的边缘区域时,以所述待交互对象的边缘框为起始位置进行等间距离区域扩展;
将扩展形成的区域确定为所述触发区域,其中,等间距离的距离值小于所述待交互对象与相邻对象的邻接距离。
8.根据权利要求1所述的方法,其特征在于,还包括:
接收在所述手部操作区域外生成的区域外姿态数据;
移动所述控制点到区域外显示位置,所述区域外显示位置处于所述关注区域外,为所述区域外姿态数据相对所述虚拟现实场景的场景映射位置。
9.根据权利要求6所述的方法,其特征在于,还包括:
响应所述控制点作用于所述关注区域外其他待交互对象时产生的交互操作。
10.一种虚拟现实场景中的交互装置,其特征在于,包括:
第一接收模块,用于接收作用在虚拟现实场景中的头部控制数据;
第一展示模块,用于基于所述头部控制数据确定关注区域,并在所述虚拟现实场景中展示关注区域和控制点,所述控制点初始位于所述关注区域的设定位置处,所述关注区域中包括待交互对象;
第二接收模块,用于接收在手部操作区域内生成的手部姿态数据,所述手部操作区域与所述关注区域存在位移映射关系;
第二展示模块,用于移动所述控制点到目标显示位置,所述目标显示位置为所述手部姿态数据在所述关注区域中的映射位置;
第一响应模块,用于响应所述控制点作用于所述待交互对象时产生的交互操作。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310195788.5A CN116048281A (zh) | 2023-02-24 | 2023-02-24 | 一种虚拟现实场景中的交互方法、装置、设备及存储介质 |
PCT/CN2024/075953 WO2024174861A1 (zh) | 2023-02-24 | 2024-02-05 | 虚拟现实场景中的交互方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310195788.5A CN116048281A (zh) | 2023-02-24 | 2023-02-24 | 一种虚拟现实场景中的交互方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116048281A true CN116048281A (zh) | 2023-05-02 |
Family
ID=86116602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310195788.5A Pending CN116048281A (zh) | 2023-02-24 | 2023-02-24 | 一种虚拟现实场景中的交互方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116048281A (zh) |
WO (1) | WO2024174861A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024174861A1 (zh) * | 2023-02-24 | 2024-08-29 | 北京字跳网络技术有限公司 | 虚拟现实场景中的交互方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107024981B (zh) * | 2016-10-26 | 2020-03-20 | 阿里巴巴集团控股有限公司 | 基于虚拟现实的交互方法及装置 |
US11256342B2 (en) * | 2019-04-03 | 2022-02-22 | Facebook Technologies, Llc | Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality |
EP4315004A1 (en) * | 2021-03-31 | 2024-02-07 | Legind von Bergen Holding APS | A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program |
CN115167668A (zh) * | 2022-07-01 | 2022-10-11 | 闪耀现实(无锡)科技有限公司 | 头戴显示设备的触控方法和系统、设备和介质 |
CN116048281A (zh) * | 2023-02-24 | 2023-05-02 | 北京字跳网络技术有限公司 | 一种虚拟现实场景中的交互方法、装置、设备及存储介质 |
-
2023
- 2023-02-24 CN CN202310195788.5A patent/CN116048281A/zh active Pending
-
2024
- 2024-02-05 WO PCT/CN2024/075953 patent/WO2024174861A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024174861A1 (zh) * | 2023-02-24 | 2024-08-29 | 北京字跳网络技术有限公司 | 虚拟现实场景中的交互方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2024174861A1 (zh) | 2024-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11565181B2 (en) | Virtual object control method and apparatus, computer device, and storage medium | |
US11175726B2 (en) | Gesture actions for interface elements | |
US20200074742A1 (en) | User Interface Security in a Virtual Reality Environment | |
KR102491443B1 (ko) | 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체 | |
JP6659644B2 (ja) | 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理 | |
US20190340833A1 (en) | Prevention of User Interface Occlusion in a Virtual Reality Environment | |
US20200293177A1 (en) | Displaying applications | |
US20190339837A1 (en) | Copy and Paste in a Virtual Reality Environment | |
US9389703B1 (en) | Virtual screen bezel | |
JP7005161B2 (ja) | 電子機器及びその制御方法 | |
KR20140100547A (ko) | 모바일 장치상의 풀 3d 상호작용 | |
CN108776544B (zh) | 增强现实中的交互方法及装置、存储介质、电子设备 | |
WO2024169691A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
WO2024037563A1 (zh) | 内容展示方法、装置、设备及存储介质 | |
US9665232B2 (en) | Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device | |
CN111228790B (zh) | 游戏角色的显示控制方法、装置、电子设备及计算机介质 | |
US10261602B2 (en) | Hop navigation | |
WO2024174861A1 (zh) | 虚拟现实场景中的交互方法、装置、设备及存储介质 | |
WO2022183887A1 (zh) | 视频编辑及播放方法、装置、设备、介质 | |
CN104703002A (zh) | 显示装置、显示系统和控制显示装置和显示系统的方法 | |
CN109242977A (zh) | 网页渲染方法、装置及存储介质 | |
WO2024051633A1 (zh) | 场景视角调整方法、装置、终端及存储介质 | |
CN114397961B (zh) | 头戴式显示设备控制方法、头戴式显示设备组件和介质 | |
US10895913B1 (en) | Input control for augmented reality applications | |
CN111352505A (zh) | 操作控制方法、头戴式设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |