CN109388234B - 触觉效果编码和呈现系统 - Google Patents
触觉效果编码和呈现系统 Download PDFInfo
- Publication number
- CN109388234B CN109388234B CN201810814925.8A CN201810814925A CN109388234B CN 109388234 B CN109388234 B CN 109388234B CN 201810814925 A CN201810814925 A CN 201810814925A CN 109388234 B CN109388234 B CN 109388234B
- Authority
- CN
- China
- Prior art keywords
- haptic
- haptic effect
- effects
- effect pattern
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 193
- 238000009877 rendering Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 30
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 229920000954 Polyglycolide Polymers 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000005441 aurora Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 235000010409 propane-1,2-diol alginate Nutrition 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及触觉效果编码和呈现系统。本发明的实施例能够实现用于编码和生成触觉效果的新方法、非瞬态介质和系统。根据各种实施例,媒体对象被检索。媒体对象被分析以确定用于呈现触觉效果的一个或多个时间段。用于在各时间段期间呈现的触觉效果被确定。触觉效果被编码为标识每个所述触觉效果的开始时间和持续时间的触觉效果模式。
Description
技术领域
本发明的实施例一般地涉及电子设备,更具体地涉及编码和呈现触觉效果的电子设备。
背景技术
电子设备制造商努力为用户提供丰富的接口。传统设备使用视觉和听觉提示来向用户提供反馈。在一些接口设备中,向用户提供动觉反馈(例如主动力反馈和阻力反馈)和/或触感反馈(例如振动、纹理和温度变化等)。一般而言,这种反馈统称为“触觉反馈”或“触觉效果”。触觉反馈提供直观地增强和简化用户与电子设备的交互的提示。例如,触觉效果可以向电子设备的用户提供提示,以提醒用户特定事件,或者提供逼真反馈以在模拟或虚拟环境中生成更强的感官沉浸。
触觉反馈也越来越多地被结合到各种便携式电子设备中,诸如蜂窝电话、智能电话、平板电脑、便携式游戏设备以及各种其他便携式电子设备。另外,一些已知的设备还实时地或基于音频文件来修改或生成触觉效果。
发明内容
本发明的实施例针对被配置为产生比相关技术有显著改善的触觉效果的电子设备。
实施例的特征和优点将在以下描述中进行阐述,或者将根据该描述而明晰,或者可通过本发明的实践来习知。
在一个实例中,用于编码和生成触觉效果的方法、非瞬态介质和系统包括:检索媒体对象,分析媒体对象以确定用于呈现触觉效果的一个或多个时间段,确定用于在这些时间段期间呈现的触觉效果,将触觉效果编码为标识每个触觉效果的开始时间和持续时间的触觉效果模式,以及根据触觉模式来呈现触觉效果。
应当理解,上文的概括描述与下文的详细描述都是示例性和解释性的,并不意图将本发明限制于所描述的实例。
附图说明
根据下面结合附图对优选实施例的详细描述,本发明的其他实施例、细节、优点和修改将变得明晰。
图1是根据本发明的示例性实施例的支持触觉的(haptically-enabled)系统/设备的简化框图。
图2是示出根据本发明的示例性实施例的用于生成触觉模式的系统的简化框图。
图3示出了根据本发明的示例性实施例的用于基于触觉效果模式来编码和呈现触觉效果的功能的流程图。
图4A-图4C示出了根据本发明的示例性实施例的触觉效果模式和触觉效果时间线。
图5示出了根据本发明的示例性实施例的用于生成和呈现触觉反馈的系统环境。
图6示出了根据本发明的示例性实施例的根据触觉效果模式呈现的触觉效果的触觉效果时间线。
图7示出了根据本发明的另一示例性实施例的根据触觉效果模式呈现的触觉效果的时间线。
图8示出了根据本发明的再一个示例性实施例的根据触觉效果模式呈现的触觉效果的时间线。
具体实施方式
现在将详细参考实施例,其示例在附图中示出。在以下详细描述中,阐述了许多具体细节,以便提供对本发明的透彻理解。然而,对本领域技术人员来说明显的是,可以不采用这些具体细节来实践本发明。在其他情况下,并未详细描述公知的方法、过程、组件和电路以免不必要地模糊这些实施例的各方面。只要可能,相同的附图标记将用于相同的元件。
本发明的实施例能够实现用于呈现触觉效果的新颖方法、非瞬态介质和系统。根据各种实施例,触觉效果模式用于根据各种触觉参数来标识一个或多个触觉效果。特别地,触觉效果模式不考虑无触觉时间段。因此,可更有效地使用设备资源。例如,这些实施例减少了处理器计算和功耗。
图1是根据本发明的示例性实施例的支持触觉的系统/设备10的简化框图。
系统10包括诸如触摸屏之类的触敏表面11或安装在外壳15内的其他类型的用户接口,并可以包括机械键/按钮13和扬声器28。系统10内部是触觉反馈系统,其在系统10上生成触觉效果并包括处理器12。耦合到处理器12的是存储器20和耦合到致动器18或其他触觉输出设备的触觉驱动电路16。
处理器12可以基于编码的触觉效果模式来确定呈现哪些触觉效果以及呈现触觉效果的顺序。一般而言,触觉效果模式为每个触觉效果定义一个或多个触觉呈现时间段。具体而言,触觉效果模式跟踪并存储每个触觉效果的开始时间和持续时间。还可以指定附加的高级参数,诸如触觉效果的幅度、频率和类型。如果触觉效果在呈现时包括这些参数的某种变化或者包括基于用户交互的这些参数的变化,则触觉效果可以被认为是“动态的”。这种动态效果的例子包括缓升、缓降、空间和其他触觉效果。在一个实施例中,触觉反馈系统在系统10上生成振动30、31或其他类型的触觉效果。
处理器12将控制信号输出到触觉驱动电路16,触觉驱动电路16包括用于向致动器18提供所需电流和电压(即“电机信号”)以呈现所期望的触觉效果的电子组件和电路。系统10可以包括多于一个的致动器18或其他触觉输出设备,并且每个致动器都可以包括单独的驱动电路16,所有驱动电路16都耦合到共同的处理器12。
触觉驱动电路16被配置成驱动致动器18。例如,触觉驱动电路16可以在致动器18的谐振频率(例如+/-20Hz、30Hz、40Hz等)上和附近衰减触觉驱动信号。在某些实施例中,触觉驱动电路16可以包括各种信号处理阶段,每个阶段都定义用于修改触觉驱动信号的信号处理阶段的子集。
处理器12可以是任何类型的通用处理器,或者可以是专门设计成提供触觉效果的处理器,诸如专用集成电路(“ASIC”)。处理器12可以是操作整个系统10的同一处理器,或者可以是单独的处理器。
存储器20可包括可由处理器12访问的各种计算机可读介质。在各种实施例中,本文所描述的存储器20和其他存储器设备可以包括易失性和非易失性介质、可移动和不可移动介质。例如,存储器20可以包括随机存取存储器(“RAM”)、动态RAM(“DRAM”)、静态RAM(“SRAM”)、只读存储器(“ROM”)、闪存、高速缓冲存储器和/或任何其他类型的非瞬态计算机可读介质的任意组合。存储器20存储由处理器12执行的指令。在这些指令中,存储器20包括媒体触觉模拟模块22,媒体触觉模拟模块22是当由处理器12执行时,使用致动器18结合触敏表面11和/或扬声器28并通过如下所述编码触觉效果来生成触觉效果的指令。存储器20也可以位于处理器12内部,或者是内部和外部存储器的任意组合。
致动器18可以是可生成触觉效果的任何类型的致动器或触觉输出设备。一般而言,致动器是触觉输出设备的实例,其中触觉输出设备是被配置成响应于驱动信号而输出触觉效果的设备,触觉效果诸如振动触觉效果、静电摩擦触觉效果、温度变化和/或变形触觉效果。尽管在整个详细描述中可以使用术语致动器,但是本发明的实施例可以容易地应用于各种触觉输出设备。致动器18可以是例如电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(“ERM”)、谐波ERM电机(“HERM”)、线性谐振致动器(“LRA”)、螺线管谐振致动器(“SRA”)、压电致动器、宏纤维复合物(“MFC”)致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器、超声波振动发生器等。在一些情况下,致动器本身可以包括触觉驱动电路。
除了致动器18之外或代替致动器18,系统10可以包括其他类型的触觉输出设备(未示出),其可以是非机械或非振动设备,诸如使用静电摩擦(“ESF”)、超声表面摩擦(“USF”)的设备、使用超声触觉换能器来感应声辐射压力的设备、使用触觉基板和柔性或可变形表面或形状改变设备并且可以附接到用户身体的设备、提供投射触觉输出(诸如使用喷气的气体喷射)的设备等。
一般而言,致动器可以被表征为标准清晰度(“SD”)致动器,其以单个频率生成振动触觉效果。SD致动器的例子包括ERM和LRA。与SD致动器相比,诸如压电致动器或EAP致动器之类的高清晰度(“HD”)致动器或高保真致动器能够以多个频率生成高带宽/清晰度触觉效果。HD致动器的特征在于它们能够产生具有可变幅度和对瞬态驱动信号快速响应的宽带宽触觉效果。
系统10可以是任何类型的便携式电子设备,诸如蜂窝电话、个人数字助理(“PDA”)、智能手机、计算机平板电脑、游戏控制台、遥控器,或者包括其中具有一个或多个致动器的触觉效果系统的任何其他类型的设备。在多致动器配置中,相应的触觉效果模式可以与每个致动器链接。系统10可以是可穿戴设备,诸如腕带、头带、眼镜、戒指、腿带、集成到衣服中的阵列等,或用户可穿戴在身体上或可由用户握持并支持触觉的任何其他类型的设备,包括家具或车辆方向盘。此外,系统10的一些元件或功能可以位于远处,或者可以由与系统10的其余元件进行通信的另一设备实现。
图2是示出根据本发明的示例性实施例的用于生成触觉模式的系统200的简化框图。
如图2所示,处理器212可以执行各种程序,诸如应用程序210。作为其功能的一部分,应用程序210生成包括音频和/或视频流的媒体对象,诸如媒体流211。媒体流211可以由采样器215或另选地由处理器212采样,以生成触觉流,诸如触觉流218。例如,可以以预定速率,诸如每秒200个样本,来采样40秒的媒体流211。因此,示例的40秒媒体流211由8000个采样值来表示。在传统系统中,触觉值被分配给媒体流211的8000个采样值中的每一个。转而,8000个分配的触觉值(包括空值)中的每一个都由这样的传统系统处理。尽管可以从音频生成多种多样的触觉效果,但是需要过量的处理能力。处理器的过度使用会显著缩短便携式电子设备的电池寿命。
相比之下,在本发明的实施例中,处理器212通过分析媒体流211的采样值或波形,将触觉流218转换或编码成触觉效果模式219。具体而言,触觉效果模式219用于标识每个触觉效果的开始时间和持续时间。通过标识每个触觉效果的开始时间,处理器212只需要在触觉活动的时间段期间处理触觉效果。因此,当没有安排触觉效果供呈现时,处理器212可以不处理触觉效果。例如,如果触觉效果模式219对应于具有10秒持续时间的媒体流211,并且包括在9秒的时间处开始、持续时间为1秒的触觉效果,则处理器212可以在触觉效果的开始时间(即9秒)处开始处理触觉效果,并在触觉效果持续时间(即1秒)期间呈现触觉效果。
除了减少处理器212的负载之外,触觉效果模式219可以代替触觉流218存储在存储器220中。因此,减少了存储器220内的存储器使用。触觉效果模式219还可以指定其他触觉参数,诸如触觉效果类型、幅度和频率等。在一些情况下,处理器212还可以调整触觉效果的开始时间和持续时间,以提供同步或异步触觉效果。
在替代实施例中,诸如触觉流218之类的触觉数据可以直接并入媒体流211中。这样的配置使得触觉对象能够连接到媒体对象中的虚拟现实对象。例如,触觉强度或幅度可以取决于用户距虚拟现实对象的距离而变化。在这样的虚拟现实环境中,可以将360度视图分割成多个触觉轨道,这些触觉轨道被同时呈现,同时使不在用户视野中的触觉轨道静默(mute)。取决于用户的位置或视野,可以将触觉轨道混合在一起以给出更精确的触觉表示。在另一替代实施例中,触觉效果模式可以被预先确定,并被发送到电子设备。
图3示出了根据本发明的示例性实施例的用于基于触觉效果模式来编码和呈现触觉效果的功能300的流程图。在一些情况下,图3的流程图的功能由存储在存储器或其他计算机可读或有形介质中的软件来实现,并由处理器执行。在其他情况下,功能可以由硬件(例如,通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或硬件和软件的任意组合来执行。
在310,功能300接收一个或多个媒体对象作为输入。媒体对象可以包括一个或多个音频、视频、其他媒体文件(例如,动画对象)或其任意组合。媒体对象可以包括预定的媒体对象或基于用户的动作(例如,在游戏应用程序内)而“动态(on the fly)”呈现的媒体对象。
接下来,在320,功能300对媒体对象采样以生成诸如触觉流的触觉对象。典型地,以预定速率(诸如每秒200个样本)采样媒体对象。例如,可以以每秒200个样本来对40秒的媒体对象采样。在该实例中,40秒的媒体对象可以由8000个样本值来表示。如在传统系统中,触觉值被分配给媒体对象的8000个样本值中的每一个。
在330,功能300迭代访问媒体对象以识别适于呈现触觉效果的时间段。这里,分析媒体对象的采样值或波形以识别一个或多个触觉相关事件。例如,媒体对象的节奏可以表示应当呈现弱的或强的触觉效果(例如,慢时表示较弱的触觉效果,快时表示较强的触觉效果)。替代地或附加地,可以根据在媒体对象内检测到的其他事件(例如,碰撞、爆炸等)来选择触觉效果。
随后,在340,生成用于呈现触觉效果的一个或多个触觉指令。基于对媒体对象的分析,在330,生成一个或多个触觉指令,以使得触觉效果由一个或多个触觉输出设备(例如,图1的致动器18)呈现。例如,触觉指令可以使得从触觉库中检索触觉效果。
在350,功能300将触觉对象编码为触觉模式。具体而言,本发明的实施例在触觉模式内存储触觉效果开始时间、持续时间和效果数据。例如,如果触觉模式对应于持续时间为10秒的媒体对象,并且包括在9秒的时间处开始、持续时间为1秒的触觉效果,则触觉模式的数据段指定触觉效果的开始时间(即9秒)、触觉效果持续时间(即1秒)以及效果数据(即1秒的触觉模式数据)。
虽然.hapt文件(来自Immersion Corp.的触觉文件类型)可以与本发明的实施例结合使用,但是.hapt文件的文件大小显著减小。这里,仅存储触觉活动的时间段,而不存储或处理没有触觉效果的时间段。诸如频率、幅度和触觉效果类型之类的其他参数也可以存储在触觉效果模式内。
最后,在360,功能300根据触觉效果模式来呈现触觉效果。一旦触觉效果模式被编码在触觉文件中,就可以使用它来呈现触觉效果。使用触觉模式,通过安排事件在触觉效果的指定开始时间发生来呈现触觉效果。一旦触发了触觉效果,就可以使用触觉效果模式来呈现触觉效果。回到前述实例,触觉输出被安排在呈现触觉文件之后9秒处发生。换句话说,在9秒后,处理器获取触觉指令并呈现相应的触觉效果。
图4A-4C示出了根据本发明的示例性实施例的触觉效果模式410、430和触觉效果时间线420。
如图4A所示,示例触觉效果模式410包括触觉效果411A-411D的列表,以及每个触觉效果的多个对应字段,包括时间字段412、持续时间字段413和模式字段414。触觉效果411A-411D可以存储在按如时间字段412中所示的开始时间(例如,开始时间0、340、610和9100)排序的列表中。可选的持续时间字段413指示存储在相应模式字段414中的模式的总持续时间。持续时间字段413可用于更容易地提供更高级或动态的触觉效果,诸如缓升、缓降和空间触觉效果。模式字段414包括用于交替致动器关闭和致动器开启时间段的持续时间。
当触发每个触觉效果411A-411D时(即,到达各个触觉效果411A-411D的开始时间),在目标触觉输出设备(例如,图1的致动器18)处呈现对应的模式字段414。在该实例中,在时间0秒处开始,触觉效果411A的模式是关闭0秒、打开20秒、关闭20秒、打开40秒、关闭30秒。触觉效果411B的模式是在时间340秒处开始,关闭0秒、打开20秒、关闭40秒、打开50秒、关闭50秒、打开30秒、关闭30秒。触觉效果411C的模式是在时间610秒处开始,关闭0秒、打开30秒、关闭30秒、打开30秒、关闭30秒。触觉效果411D的模式是在时间9100秒处开始,关闭0秒、打开20秒、关闭20秒、打开20秒、关闭20秒。
图4B示出了根据触觉效果模式410呈现的触觉效果的触觉效果时间线420。换句话说,触觉效果时间线420直观表示图4A中描绘的触觉效果模式410。
尽管前面描述了开/关模式,但是替代配置也是可行的。例如,也可以使用持续时间/强度模式。如图4C所示,示例的触觉效果模式430包括触觉效果431,以及每个触觉效果的多个对应字段,包括时间字段432、持续时间字段433和模式字段434。模式字段434包括致动器的持续时间和相应的强度。在该实例中,在时间0秒处开始,触觉效果431的模式是20秒的强度0.5(例如,半强度)、20秒的强度0(即,关闭)、20秒的强度1.0(例如,全强度)、40秒的强度0.5和30秒的强度1.0。
现在转到图5,给出了用于生成和呈现触觉反馈的系统环境的实施例。如图5所示,系统500包括存储在一个或多个媒体服务器504上的媒体对象502和存储在一个或多个触觉媒体服务器510上的诸如触觉库之类的触觉指令508。如系统500所示,媒体服务器504和触觉媒体服务器510中的每一个都可以包括具有本领域已知的标准组件(例如处理器、存储器、数据存储、网络连接和被配置成存储数据和访问存储在服务器上的数据的软件)的一个或多个服务器。媒体服务器504和触觉媒体服务器510两者都耦合到云或互联网连接506(a)或506(b)之一。尽管被示为单独的服务器,但是媒体服务器504和触觉媒体服务器510可以被配置为单个服务器的一部分。连接506(a)或506(b)包括本领域已知的有线和/或无线互联网连接。
如系统500所示,媒体对象502可以与触觉指令508分开发送。如上所述,在一个或多个触觉效果被识别和/或以其他方式分配给媒体对象502之后,可以从触觉库中检索触觉指令508。可以访问诸如发布者应用程序512(例如,支持触觉的Android应用程序或触觉媒体软件开发工具包(“SDK”))之类的应用程序,以同步和/或以其他方式呈现媒体和触觉对象。
这些实施例可以被配置成与用于在电子设备上实现触觉效果的各种SDK和其他产品结合使用。这样的SDK和其他产品的实例包括Immersion公司的TouchSense Force SDK、Immersion Video SDK(“IVSDK”)、Asynchronous Haptic Media SDK(“AHMSDK”)、AuroraSDK、Unified Haptic Library(“UHL”)和JavaScript播放器。
如上所述,触觉效果模式可以包括用于结合相应媒体对象的呈现来呈现的触觉效果的列表。在执行媒体对象时,为触觉效果模式中列出的每个触觉效果生成触觉效果对象。换句话说,多个触觉效果对象可以被存储在链表中或以其他方式在链表中被引用。例如,触觉效果模式可以在530毫秒处引用一个触觉效果对象,并在800毫秒处引用另一触觉效果对象。触觉效果对象被顺序执行,并继续迭代访问链表。然后,这些实施例移到链表中的下一个效果。随后,执行第二效果振动模式,以此类推。尽管链表被描述为示例实现,但是其他配置也是容易可行的,包括软件阵列、队列、双链表等。
当请求呈现媒体对象时,本发明的实施例调用一个或多个可执行模块来生成和执行触觉效果模式。这里,实施例开始跟踪请求呈现媒体对象时的引用时间和媒体对象的经过时间。引用时间是当前时间(通常以毫秒为单位描述),而经过时间是从触觉效果开始起已流逝的时间。每当向触觉效果应用动作(例如,播放或暂停)时,引用时间被更新。例如,当选择暂停功能时,计算经过时间为:经过时间=当前时间-引用时间。经过时间也与更新和查找功能一起使用。
通过使用此处描述的变量,诸如经过时间和引用时间,触觉效果的定时可以更精确地呈现。这使得同步和异步触觉回放能够实现。利用触觉效果模式和时间变量,实现了异步回放。对于同步回放,则使用请求、恢复或更新回放时的实际时间以及经过时间和引用时间。
包含在触觉效果模式中的触觉效果也可以根据以下伪代码来安排和呈现,伪代码示出了对引用时间的跟踪:
图6示出了根据本发明示例性实施例的根据触觉效果模式呈现的触觉效果的时间线。具体而言,图6描绘了暂停时间线610和恢复时间线620,它们涉及媒体对象及其对应触觉对象的暂停和恢复。当暂停媒体对象时,可以从处理队列中移除每个可执行模块、媒体和触觉。在图6描绘的实例中,媒体对象和对应的触觉对象在时间500毫秒处被暂停并进一步从处理队列中移除。
基于暂停功能的执行,经过时间变量被更新为媒体对象的呈现时间。此外,当媒体对象暂停时,运行变量被设置为FALSE。随后,如果选择恢复功能,则触觉对象的执行时间按经过时间偏移。运行变量也被设置为TRUE。例如,如果在时间500ms处选择暂停功能,这在被安排为在时间620ms处执行的触觉对象之前,则触觉对象的执行时间偏移500ms的经过时间。因此,一旦选择恢复功能,触觉对象在时间120ms(620ms-500ms)处执行。
暂停和恢复功能可以根据以下伪代码实现:
图7示出了根据本发明另一示例性实施例的根据触觉效果模式呈现的触觉效果的时间线。具体而言,图7描绘了与查找功能相关的查找源时间线710和查找目标时间线720,所述查找功能使得用户能够滚动通过媒体对象及其对应触觉对象的时间线。当执行查找功能时,用户选择从媒体对象的第一点(例如500ms)查找到媒体对象中的第二点(例如800ms),如图所示。
为了实现查找功能,可以从处理队列中移除每个可执行模块。在图7描绘的实例中,在500ms处调用查找功能,并且在时间500ms处任何后续媒体对象呈现和相应的触觉对象被暂停并进一步从处理队列中移除。随后,当用户选择目标时间时,在图7所示的实例中为800ms,则查找功能基于所选择的目标时间重置经过时间,并进一步确定哪些触觉对象仍待执行。
查找功能可以根据以下伪代码来实现:
图8示出了根据本发明又一示例性实施例的根据触觉效果模式呈现的触觉效果的时间线。在呈现媒体和触觉对象期间,媒体和触觉效果之间可能会发生错位。例如,缓慢的网络连接、丢失的媒体帧和其他事件可能会导致这种错位。
如图8所示,触觉对象可以与对应的媒体对象重新对准。在示例性实现中,实施例可以周期性地调用应用程序编程接口(“API”)来更新当前时间。例如,这种更新可以每1.5秒发生一次。转而,实施例可以计算媒体对象和引用时间之间的时间差量,并将该时间差量与预定阈值进行比较。在时间差量超过预定阈值的情况下,则用户可以感觉到触觉效果与媒体对象不同步。此外,同步功能被执行。在图8描绘的实例中,调用API,并且确定引用时间是1秒,但是媒体对象仍然在850ms处。在此实例中,150ms(1s-850ms)的时间差量大于预定阈值,预定阈值可以是100ms。接着,触觉对象的经过时间偏移该时间差量。
同步功能可以根据以下伪代码来实现:
因此,这里描述的示例性实施例提供了用于编码、呈现和操纵触觉效果的更高效的技术。根据各种实施例,触觉效果模式用于根据各种触觉参数来标识一个或多个触觉效果。此外,触觉效果模式还忽略无触觉时间段(即静默时间段)。因此,实施例减少了处理器计算和功耗。
已经具体示出和/或描述了几个实施例。然而,应当理解,在不脱离本发明的精神和预期范围的情况下,所公开的实施例的修改和变化由上述教导覆盖并且在所附权利要求的范围内。这里描述的实施例只是许多可能的实现中的一些。此外,这些实施例可以容易地应用于各种致动器类型和其他触觉输出设备。
Claims (9)
1.一种用于生成触觉效果的方法,所述方法包括:
检索媒体对象;
生成用于存储触觉效果的触觉流,所述触觉流与所述媒体对象相对应;
将所述触觉流的所述触觉效果编码为触觉效果模式;
使处理器根据所述触觉效果模式来呈现所述触觉流的所述触觉效果;
确定所述触觉效果中的每个触觉效果的经过时间,其中所述经过时间表示从开始呈现所述触觉效果中的相应触觉效果起已经过的时间;
选择性地开始暂停功能,其中所述暂停功能更新所述触觉效果中的每个触觉效果的经过时间,以与所述媒体对象的呈现时间相对应;
选择性地开始恢复功能,其中所述恢复功能通过将执行时间偏移对应的经过时间来更新所述触觉效果中的每个触觉效果的执行时间;
选择性地开始查找功能,其中所述查找功能停止呈现所述触觉流的所述触觉效果,接收选择的目标时间,并根据所述触觉效果模式重置所述触觉流的所述触觉效果中的每个触觉效果的经过时间;以及
使处理器不再根据所述触觉效果模式处理所述触觉流。
2.根据权利要求1所述的方法,其中,所述触觉效果模式标识所述触觉效果中的每个触觉效果的开始时间和持续时间。
3.根据权利要求1所述的方法,其中,所述媒体对象包括音频对象或视频对象。
4.根据权利要求1所述的方法,其中,所述触觉效果模式仅包括与触觉活动的时间段相关的数据。
5.根据权利要求1所述的方法,其中,所述触觉效果模式包括指示交替的致动器关闭和致动器打开时间段的多个持续时间。
6.根据权利要求1所述的方法,其中,所述媒体对象和所述触觉效果模式是同步的。
7.根据权利要求1所述的方法,其中,所述触觉效果模式包括所述触觉效果中的每个触觉效果的一个或多个参数,参数从由触觉效果的幅度、频率和类型组成的组中选择。
8.一种装置,包括:
处理器;以及
存储器,所述存储器存储用于由所述处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至7中任一项所述的方法的指令。
9.一种非瞬态计算机可读存储介质,其存储被配置为由处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至7中任一项所述的方法的指令。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/668,125 US20190041987A1 (en) | 2017-08-03 | 2017-08-03 | Haptic effect encoding and rendering system |
US15/668,125 | 2017-08-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109388234A CN109388234A (zh) | 2019-02-26 |
CN109388234B true CN109388234B (zh) | 2024-03-26 |
Family
ID=62816374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810814925.8A Active CN109388234B (zh) | 2017-08-03 | 2018-07-24 | 触觉效果编码和呈现系统 |
Country Status (5)
Country | Link |
---|---|
US (2) | US20190041987A1 (zh) |
EP (1) | EP3438792A1 (zh) |
JP (1) | JP7278037B2 (zh) |
KR (1) | KR102622570B1 (zh) |
CN (1) | CN109388234B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190041987A1 (en) * | 2017-08-03 | 2019-02-07 | Immersion Corporation | Haptic effect encoding and rendering system |
EP3938867A4 (en) * | 2019-04-26 | 2022-10-26 | Hewlett-Packard Development Company, L.P. | SPATIAL AUDIO AND HAPTICS |
US12111968B2 (en) | 2021-11-25 | 2024-10-08 | Electronics And Telecommunications Research Institute | Haptic feedback system |
TW202326360A (zh) * | 2021-12-28 | 2023-07-01 | 財團法人工業技術研究院 | 嵌入式系統以及振動驅動方法 |
WO2024034336A1 (ja) * | 2022-08-09 | 2024-02-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20240127680A1 (en) * | 2022-10-18 | 2024-04-18 | Tencent America LLC | Method and apparatus for timed referenced access unit packetization of haptics elementary streams |
CN118450207A (zh) * | 2023-02-03 | 2024-08-06 | 腾讯科技(深圳)有限公司 | 一种触觉媒体的数据处理方法及相关设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104423710A (zh) * | 2013-09-06 | 2015-03-18 | 意美森公司 | 将触觉信号变换成振动触知触觉效果模式集合的触觉变形系统 |
CN104516502A (zh) * | 2013-10-08 | 2015-04-15 | 意美森公司 | 在最小化串联的同时生成触觉效果 |
CN109388234A (zh) * | 2017-08-03 | 2019-02-26 | 意美森公司 | 触觉效果编码和呈现系统 |
Family Cites Families (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI113519B (fi) | 2001-03-02 | 2004-04-30 | Nokia Corp | Menetelmä ja laitteisto ominaisuuksien yhdistämiseksi matkaviestimessä |
US6963762B2 (en) | 2001-05-23 | 2005-11-08 | Nokia Corporation | Mobile phone using tactile icons |
US7623114B2 (en) * | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
JP2003244654A (ja) * | 2002-02-21 | 2003-08-29 | Canon Inc | 画像処理装置、画像処理方法及び記憶媒体 |
US9948885B2 (en) | 2003-12-12 | 2018-04-17 | Kurzweil Technologies, Inc. | Virtual encounters |
US7765333B2 (en) | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
US8700791B2 (en) * | 2005-10-19 | 2014-04-15 | Immersion Corporation | Synchronization of haptic effect data in a media transport stream |
US9370704B2 (en) | 2006-08-21 | 2016-06-21 | Pillar Vision, Inc. | Trajectory detection and feedback system for tennis |
US8098234B2 (en) | 2007-02-20 | 2012-01-17 | Immersion Corporation | Haptic feedback system with stored effects |
US9019087B2 (en) * | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
JP5016117B2 (ja) | 2008-01-17 | 2012-09-05 | アーティキュレイト テクノロジーズ インコーポレーティッド | 口腔内触知フィードバックのための方法及び装置 |
US9370459B2 (en) | 2009-06-19 | 2016-06-21 | Andrew Mahoney | System and method for alerting visually impaired users of nearby objects |
WO2011127379A2 (en) | 2010-04-09 | 2011-10-13 | University Of Florida Research Foundation Inc. | Interactive mixed reality system and uses thereof |
US9462262B1 (en) | 2011-08-29 | 2016-10-04 | Amazon Technologies, Inc. | Augmented reality environment with environmental condition control |
US10852093B2 (en) | 2012-05-22 | 2020-12-01 | Haptech, Inc. | Methods and apparatuses for haptic systems |
US9063570B2 (en) * | 2012-06-27 | 2015-06-23 | Immersion Corporation | Haptic feedback control system |
TWM439064U (en) * | 2012-06-29 | 2012-10-11 | Tex Ray Ind Co Ltd | Hollow heat- absorbing and heat-generating plied yarn structure |
US20140030045A1 (en) * | 2012-07-24 | 2014-01-30 | Alan Beck | Pipe pick-up and lay down apparatus |
FR2999741B1 (fr) | 2012-12-17 | 2015-02-06 | Centre Nat Rech Scient | Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel |
US9997032B2 (en) * | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
US9367136B2 (en) | 2013-04-12 | 2016-06-14 | Microsoft Technology Licensing, Llc | Holographic object feedback |
EP2806353B1 (en) * | 2013-05-24 | 2018-07-18 | Immersion Corporation | Method and system for haptic data encoding |
US9908048B2 (en) | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
US9811854B2 (en) | 2013-07-02 | 2017-11-07 | John A. Lucido | 3-D immersion technology in a virtual store |
EP4083758A1 (en) | 2013-07-05 | 2022-11-02 | Rubin, Jacob A. | Whole-body human-computer interface |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9630105B2 (en) | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
US9392094B2 (en) | 2014-01-15 | 2016-07-12 | Sony Corporation | Mobile electronic wearable device and method for providing haptic notification |
US9551873B2 (en) | 2014-05-30 | 2017-01-24 | Sony Interactive Entertainment America Llc | Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content |
CN111998027B (zh) | 2014-07-28 | 2022-05-27 | Ck高新材料有限公司 | 触觉信息提供方法 |
US9645646B2 (en) | 2014-09-04 | 2017-05-09 | Intel Corporation | Three dimensional contextual feedback wristband device |
US9799177B2 (en) | 2014-09-23 | 2017-10-24 | Intel Corporation | Apparatus and methods for haptic covert communication |
US10166466B2 (en) | 2014-12-11 | 2019-01-01 | Elwha Llc | Feedback for enhanced situational awareness |
US20160170508A1 (en) | 2014-12-11 | 2016-06-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Tactile display devices |
US9870718B2 (en) | 2014-12-11 | 2018-01-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Imaging devices including spacing members and imaging devices including tactile feedback devices |
US9922518B2 (en) | 2014-12-11 | 2018-03-20 | Elwha Llc | Notification of incoming projectiles |
US10073516B2 (en) | 2014-12-29 | 2018-09-11 | Sony Interactive Entertainment Inc. | Methods and systems for user interaction within virtual reality scene using head mounted display |
US9746921B2 (en) | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
US9843744B2 (en) | 2015-01-13 | 2017-12-12 | Disney Enterprises, Inc. | Audience interaction projection system |
US10322203B2 (en) | 2015-06-26 | 2019-06-18 | Intel Corporation | Air flow generation for scent output |
US9851799B2 (en) | 2015-09-25 | 2017-12-26 | Oculus Vr, Llc | Haptic surface with damping apparatus |
US20170103574A1 (en) | 2015-10-13 | 2017-04-13 | Google Inc. | System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience |
US20170131775A1 (en) | 2015-11-10 | 2017-05-11 | Castar, Inc. | System and method of haptic feedback by referral of sensation |
WO2017095951A1 (en) | 2015-11-30 | 2017-06-08 | Nike Innovate C.V. | Apparel with ultrasonic position sensing and haptic feedback for activities |
US10310804B2 (en) | 2015-12-11 | 2019-06-04 | Facebook Technologies, Llc | Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback |
US10324530B2 (en) | 2015-12-14 | 2019-06-18 | Facebook Technologies, Llc | Haptic devices that simulate rigidity of virtual objects |
US10096163B2 (en) | 2015-12-22 | 2018-10-09 | Intel Corporation | Haptic augmented reality to reduce noxious stimuli |
US10065124B2 (en) | 2016-01-15 | 2018-09-04 | Disney Enterprises, Inc. | Interacting with a remote participant through control of the voice of a toy device |
US11351472B2 (en) | 2016-01-19 | 2022-06-07 | Disney Enterprises, Inc. | Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon |
US9846971B2 (en) | 2016-01-19 | 2017-12-19 | Disney Enterprises, Inc. | Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon |
TWI688879B (zh) | 2016-01-22 | 2020-03-21 | 宏達國際電子股份有限公司 | 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體 |
US9933851B2 (en) | 2016-02-22 | 2018-04-03 | Disney Enterprises, Inc. | Systems and methods for interacting with virtual objects using sensory feedback |
US10555153B2 (en) | 2016-03-01 | 2020-02-04 | Disney Enterprises, Inc. | Systems and methods for making non-smart objects smart for internet of things |
US20170352185A1 (en) | 2016-06-02 | 2017-12-07 | Dennis Rommel BONILLA ACEVEDO | System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation |
US10155159B2 (en) | 2016-08-18 | 2018-12-18 | Activision Publishing, Inc. | Tactile feedback systems and methods for augmented reality and virtual reality systems |
US20180053351A1 (en) | 2016-08-19 | 2018-02-22 | Intel Corporation | Augmented reality experience enhancement method and apparatus |
US10779583B2 (en) | 2016-09-20 | 2020-09-22 | Facebook Technologies, Llc | Actuated tendon pairs in a virtual reality device |
US10372213B2 (en) | 2016-09-20 | 2019-08-06 | Facebook Technologies, Llc | Composite ribbon in a virtual reality device |
US10300372B2 (en) | 2016-09-30 | 2019-05-28 | Disney Enterprises, Inc. | Virtual blaster |
US10281982B2 (en) | 2016-10-17 | 2019-05-07 | Facebook Technologies, Llc | Inflatable actuators in virtual reality |
US10088902B2 (en) | 2016-11-01 | 2018-10-02 | Oculus Vr, Llc | Fiducial rings in virtual reality |
US20170102771A1 (en) | 2016-12-12 | 2017-04-13 | Leibs Technology Limited | Wearable ultrasonic haptic feedback system |
-
2017
- 2017-08-03 US US15/668,125 patent/US20190041987A1/en not_active Abandoned
-
2018
- 2018-06-28 EP EP18180409.7A patent/EP3438792A1/en not_active Withdrawn
- 2018-07-13 KR KR1020180081549A patent/KR102622570B1/ko active IP Right Grant
- 2018-07-20 JP JP2018136552A patent/JP7278037B2/ja active Active
- 2018-07-24 CN CN201810814925.8A patent/CN109388234B/zh active Active
-
2021
- 2021-05-25 US US17/329,222 patent/US11579697B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104423710A (zh) * | 2013-09-06 | 2015-03-18 | 意美森公司 | 将触觉信号变换成振动触知触觉效果模式集合的触觉变形系统 |
CN104516502A (zh) * | 2013-10-08 | 2015-04-15 | 意美森公司 | 在最小化串联的同时生成触觉效果 |
CN109388234A (zh) * | 2017-08-03 | 2019-02-26 | 意美森公司 | 触觉效果编码和呈现系统 |
Also Published As
Publication number | Publication date |
---|---|
US11579697B2 (en) | 2023-02-14 |
KR102622570B1 (ko) | 2024-01-10 |
JP2019029012A (ja) | 2019-02-21 |
US20190041987A1 (en) | 2019-02-07 |
JP7278037B2 (ja) | 2023-05-19 |
US20210278903A1 (en) | 2021-09-09 |
CN109388234A (zh) | 2019-02-26 |
EP3438792A1 (en) | 2019-02-06 |
KR20190015096A (ko) | 2019-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109388234B (zh) | 触觉效果编码和呈现系统 | |
US10429933B2 (en) | Audio enhanced simulation of high bandwidth haptic effects | |
CN104049743B (zh) | 用于使触觉反馈调用同步的系统和方法 | |
CN108874144B (zh) | 使用映射的声音-触觉效应转换系统 | |
US9508236B2 (en) | Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns | |
US9507423B2 (en) | Generating haptic effects while minimizing cascading | |
US9030428B2 (en) | Generating haptic effects for dynamic events | |
US9348416B2 (en) | Haptic feedback control system | |
JP2020074131A (ja) | 触覚通知 | |
US8866601B2 (en) | Overdrive voltage for an actuator to generate haptic effects | |
EP2818976A2 (en) | Low-frequency effects haptic conversion system | |
JP6562695B2 (ja) | 触覚効果の動的変更 | |
EP3200049A1 (en) | Sound to haptic effect conversion system using multiple actuators | |
CN111752370B (zh) | 马达的振动控制方法、装置、终端和存储介质 | |
KR20200081211A (ko) | 햅틱 효과 신호 처리 | |
JP2019220160A (ja) | クリスプなハプティック効果を発生させるための基準信号変動 | |
US20240371239A1 (en) | Enhanced Vibration Prompting Method and Electronic Device | |
CN114510141A (zh) | 振动控制方法、移动终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |