Nothing Special   »   [go: up one dir, main page]

CN104714687A - 用于触觉显示参数的光学传输的系统和方法 - Google Patents

用于触觉显示参数的光学传输的系统和方法 Download PDF

Info

Publication number
CN104714687A
CN104714687A CN201410769370.1A CN201410769370A CN104714687A CN 104714687 A CN104714687 A CN 104714687A CN 201410769370 A CN201410769370 A CN 201410769370A CN 104714687 A CN104714687 A CN 104714687A
Authority
CN
China
Prior art keywords
signal
haptic
sensor
haptic effect
pointer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410769370.1A
Other languages
English (en)
Other versions
CN104714687B (zh
Inventor
阿马亚·韦德尔
君·曼扭尔·克鲁斯-赫南德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN104714687A publication Critical patent/CN104714687A/zh
Application granted granted Critical
Publication of CN104714687B publication Critical patent/CN104714687B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了用于触觉显示参数的光学传输的系统和方法。一种公开的方法包括：从图像传感器接收图像信号，所述图像信号与图像相关联；至少部分地基于所述图像信号来确定触觉信号；至少部分地基于所述触觉信号来生成触觉效果信号；以及向触觉输出设备发送所述触觉效果信号。

Description

用于触觉显示参数的光学传输的系统和方法
技术领域
本公开总体上涉及用于触觉显示参数的光学传输的系统和方法。
背景技术
触摸使能的设备已经变得越来越普及。例如，外围设备、附件和其他设备可以被配置有触觉输出设备，使得可以向用户提供触觉感觉以向用户提供信息，诸如各种事件的发生的指示。这样的效果可以例如用于代替或增大视觉或听觉效果，这样的外围设备可以接收用于在诸如蓝牙或Wi-Fi的无线通信信道上生成触觉效果的信息，然而，有时，这样的通信信道可能向通信内引入延迟，并且妨碍外围设备有效地和高效地提供触觉效果的能力。用于生成该效果的至少一些参数的光学传输可以帮助改善设备提供触觉效果的能力。
发明内容
实施例提供了用于触觉显示参数的光学传输的系统和方法。例如，一种公开的方法包括：从图像传感器接收图像信号，所述图像信号与图像相关联；至少部分地基于所述图像信号来确定触觉信号；至少部分地基于所述触觉信号来生成触觉效果信号；以及向触觉输出设备发送所述触觉效果信号。在另一个实施例中，一种计算机可读介质包括用于实现这样的方法的程序代码。
在一个实施例中，一种设备包括：图像传感器，所述图像传感器被配置为生成与图像相关联的图像信号；触觉输出设备，所述触觉输出设备被配置为接收触觉效果信号，并且至少部分地基于所述触觉效果信号来生成触觉效果；以及处理器，所述处理器与所述图像传感器和所述触觉输出设备进行通信。在一种这样的设备中，所述处理器被配置为至少部分地基于所述图像信号来确定触觉信号，至少部分地基于所述触觉信号来生成触觉效果信号，以及向所述触觉输出设备发送所述触觉效果信号。
提及这些说明性实施例不是为了限制或限定本发明，而是提供有助于其理解的示例。在提供了本发明的进一步的说明的具体实施方式中讨论了说明性实施例。可以通过查看本说明书而进一步明白由本发明的各个实施例提供的优点。
附图说明
被包含到本说明书并且构成本说明书的一部分的附图图示了实施例的一个或多个示例，并且与示例实施例的说明一起用于解释实施例的原理和实现方式。
图1图示了根据一个实施例的用于触觉显示参数的光学传输的电子设备；
图2图示了根据一个实施例的用于触觉显示参数的光学传输的电子设备；
图3是图示根据一个实施例的用于触觉显示参数的光学传输的方法的流程图；并且
图4是图示根据一个实施例的在用于触觉显示参数的光学传输的方法中评估彩色信号的方法的流程图。
具体实施方式
在此在用于触觉显示参数的光学传输的系统和方法的上下文中描述示例实施例。本领域内的普通技术人员将认识到，下面的描述仅是说明性的，并且不意欲以任何方式是限制性的。其他实施例容易将它们本身推荐给受益于本公开的这样的技术人员。现在将详细参考在附图中图示的示例实施例的实现方式。将贯穿附图和下面的说明使用相同的附图标记来指示相同或相似的项目。
为了清楚起见，未示出和描述在此所述的实现方式的例程特征的全部。当然，将明白，在任何这样的实际实现方式的开发中，必须进行多个实现方式特定的判定，以便实现开发者的特定目标，诸如符合应用和商业相关的约束，并且这些特定目标因实现方式不同以及因开发者不同而变化。
说明性系统和实施例
图1图示了用于触觉显示参数的光学传输的电子设备100。在所示的实施例中，电子设备100是平板电脑。设备100包括外壳110，其中布置了显示器120和IR二极管130。所示的实施例也包括触控笔140。
所示的触控笔140能够检测和处理光学显示信息，以实时和近乎实时地生成和播放触觉效果。该光学信息可以入射到、投射在或透过显示器表面、设备或其他光阵列。经由来自表面显示器120的光学传输来启动在触控笔中的触觉重放。例如，可以创建触控笔140“活动”触控笔，其能够经由小的嵌入式相机来处理光学信息，并且经由在触控笔中容纳的触觉效果生成器来呈现触觉感觉。可以在显示器表面中嵌入专有光学签名，允许应用开发者根据触控笔的位置、状态和移动来控制在触控笔中播放什么触觉效果。在这样的实施例中，最终用户将感觉到在触控笔140中的触觉效果，可以基于触控笔尖划过诸如电容触摸屏的显示器表面上的速度、位置、倾斜度等来调制该触觉效果。
在此公开了多个其他实施例，并且变化在本公开的范围内。例如，除了触控笔之外的外围设备或附件可以包括图像传感器，并且能够感测光学触觉参数。例如，手持扫描器可以实现在此所述的方法以向扫描器的用户传授信息。类似地，包括相机的移动电话可以实现诸如在此所述的那些的方法。这些仅是另外的示例，并且不意味着限制本公开的范围。
本说明性示例被给出以向读者介绍在此所述的一般主题。本发明不限于该示例。下面的章节描述了用于触觉效果的参数修改的设备、系统和方法的各个另外的非限定性实施例和示例。
说明性设备
图2图示了根据一个实施例的用于触觉显示参数的光学传输的触控笔140。触控笔140包括处理器210和与处理器210进行通信的存储器220。触控笔140也包括通信接口230。
在图2中，通信接口230与处理器210进行通信，并且从触控笔140向其他组件或其他设备提供有线或无线通信。例如，通信接口230可以在触控笔140和无线传感器或无线致动设备之间提供无线通信。在一些实施例中，通信接口230可以向诸如另一个触控笔140的一个或多个其他设备提供通信，以允许用户在它们各自的设备处彼此交互。通信接口230可以是使得多压力触敏输入触控笔140能够与另一个组件或设备进行通信的任何组件或组件的集合。例如，通信接口230可以包括PCI网络适配器、USB网络适配器或以太网适配器。通信接口230可以使用包括802.11a、g、b或n标准的无线以太网来进行通信。在一个实施例中，通信接口230可以使用射频(RF)、蓝牙、CDMA、TDMA、FDMA、GSM、WiFi、卫星或其他蜂窝或无线技术来进行通信。在其他实施例中，通信接口230可以通过有线连接来进行通信，并且可以与诸如以太网、令牌环、USB、FireWire 1394、光纤等的一个或多个网络进行通信。在一些实施例中，触控笔140包括单个通信接口230。在其他实施例中，触控笔140包括两个、三个、四个或更多的通信接口。因此，在实施例中，触控笔140可以通过一个或多个通信接口与一个或多个组件和/或设备进行通信。在其他实施例中，触控笔140可以不包括通信接口230。
在图1中所示的触控笔140也包括触觉输出设备240，触觉输出设备240可以是能够输出一个或多个触觉效果的任何组件或组件的集合。例如，触觉输出设备可以是各种类型之一，其包括但是不限于偏心旋转质量(ERM)致动器、线性共振致动器(LRA)、压电致动器、音圈致动器、电活性聚合物(EAP)致动器、形状记忆合金、寻呼机、直流电动机、交流电动机、移动磁体致动器、E-芯致动器、智能凝胶、静电致动器、电触觉致动器、可变形表面、静电摩擦(ESF)设备、超声波摩擦(USF)设备、或用于改变表面温度的热致动器、或者执行触觉输出设备的功能或能够输出触觉效果的组件的集合。多个触觉输出设备或不同大小的触觉输出设备可以用于提供一系列震动频率，其可以被单独地或同时地致动。各个实施例可以包括单个或多个触觉输出设备，并且可以具有相同类型或不同类型的组合的触觉输出设备。在一些实施例中，一个或多个触觉输出设备例如经由有线或无线通信与电子设备直接地或间接地进行通信。在一个实施例中，电子设备可以被放置在汽车中，或者被集成到汽车内，并且一个或多个触觉输出设备被嵌入汽车内。例如，触控笔140可以用于与在汽车的仪表盘中安装的显示屏幕交互。在一些实施例中，取代具有触觉输出设备240或除了具有触觉输出设备240，触控笔140具有一个或多个其他输出设备。例如，触控笔140可以具有扬声器和/或小显示器。在一个实施例中，触控笔140具有一个或多个触觉输出设备、一个或多个扬声器和一个或多个显示器。在此公开多个其他实施例，并且变化在本公开的范围内。
在各个实施例中，可以以任何数量的方式或以多个方式的组合来生成一个或多个触觉效果。例如，在一个实施例中，一个或多个振动可以用于诸如通过旋转偏心质量或通过线性地震荡质量而产生触觉效果。在一些这样的实施例中，触觉效果可以被配置为向整个电子设备或向电子设备的仅一个表面或有限部分传递振动。在另一个实施例中，在两个或更多组件之间的摩擦或在至少一个组件和至少一个触点之间的摩擦可以用于诸如通过向移动组件施加制动产生触觉效果，以诸如向组件的移动提供阻力或提供扭矩。为了生成振动效果，许多设备利用某种类型的致动器和/或其他触觉输出设备。用于这个目的的已知触觉输出设备包括电磁致动器，诸如偏心旋转质量(“ERM”)，其中，偏心质量由电动机移动；线性共振致动器(“LRA”)，其中，附接到弹簧的质量被前后驱动；或者“智能材料”，诸如压电、电活性聚合物或形状记忆合金。
在其他实施例中，一个或多个组件的变形可以用于产生触觉效果。例如，一个或多个触觉效果可以被输出以改变表面的形状或表面的摩擦系数。在实施例中，通过创建用于改变在表面上的摩擦的静电力和/或超声波力而产生一个或多个触觉效果。在其他实施例中，透明变形元素的阵列可以用于产生触觉效果，诸如包括智能凝胶的一个或多个区域。触觉输出设备也广义上包括非机械或非振动设备，诸如使用静电摩擦(ESF)、超声波表面摩擦(USF)的那些或用超声波触摸换能器来感应声音辐射压力或者使用触觉基板和柔性或可变形表面的那些或者使用空气喷射提供诸如吹气的投射触觉输出的那些等。在一些实施例中，触觉效果是动觉效果。美国专利申请No.13/092,484描述了可以产生一个或多个触觉效果的方式，并且描述了各个触觉输出设备。在2011年4月22日提交的美国专利申请No.13/092,484的整体通过引用被并入在此。
在图2中，触控笔140也包括传感器250，用于检测触控笔140、电子设备和/或表面的移动或与其的交互。传感器250与处理器210进行通信，并且向处理器210提供传感器信息。例如，传感器250可以向处理器210提供一个或多个交互。传感器250可以提供指示一个或多个交互的输入信号。又如，传感器250可以向处理器210提供与和触控笔140的一个或多个交互对应的信息。在实施例中，传感器250向处理器210提供的信息对应于与整个触控笔140的交互，诸如用户摇动触控笔140。在其他实施例中，传感器250向处理器210提供的信息对应于与诸如触控笔140的尖端的触控笔140的一部分的交互。
传感器250可以用于检测多个条件中的一个或多个。例如，在一个实施例中，诸如加速计、陀螺仪或指南针的传感器可以检测笔的倾斜度。在另一个实施例中，传感器包括能够测量用户的书写速度的加速计。另一个实施例使用相机260来取代或补充传感器250，以便检测用户的书写速度。在又一个实施例中，传感器250使用例如在触控笔140的表面上的压力传感器来检测用户紧握触控笔140的压力。在又一个实施例中，传感器250使用在笔的尖端上的压力传感器来检测由用户施加在书写表面上的压力。
在本发明的一个实施例中，传感器250包括一个或多个生物计量传感器，其可以被安装在笔上以检测或测量用户的情绪(例如，放松或激动)。来自生物计量传感器的输入可以用于改变触觉效果。例如，如果将用户确定为激动，则可以诸如通过增大频率和/或量级来强化触觉反馈。
在图2中所示的实施例描述了单个传感器250。在一些实施例中，可以使用多个传感器。另外，传感器可以被容纳在与触控笔140的其他组件相同的组件中或在独立的组件中。例如，在一些实施例中，处理器210、存储器220和传感器250全部被包括在触控笔140中。在一些实施例中，传感器被放置在与用户拿着的触控笔140的部分分离的组件中。例如，可佩戴传感器可以与处理器210进行通信，并且提供关于触控笔的信息。
传感器250可以包括任何数目和/或类型的感测组件。例如，传感器250可以包括加速计和/或陀螺仪。下面提供了传感器和交互的示例的非限定性列表：
传感器 感测到的交互
加速计 在一个、两个或三个方向上的力
高度计 高度
温度计 环境温度；用户体温
心率监视器 设备用户的心率
皮肤电阻监视器 设备用户的皮肤电阻
氧气传感器 设备用户的氧气使用
音频传感器/麦克风 环境音频和/或由设备用户生成的音频
光电传感器 环境光
IR/光电传感器 用户眼睛移动、位置、体温
湿度计 相对湿度
速度计 速度
计步器/里程表 行进的距离
计时器 当日时间，日期
重量 物质的质量或数量
表1：示例性传感器和条件
在图2中所示的触控笔140也包括相机260。相机260用于“观看”书写表面，例如具有位置相同的视觉显示器的触摸屏敏感设备(主设备)，诸如在图1中所示者。触控笔140的笔点可以包括导电材料，其能够当用户在电容敏感触摸屏上拿着笔时激活电容触摸屏。在各个实施例中，可以在其上显示或印刷了预定义图案的多种表面(例如，纸张、墙壁和桌子)上使用触控笔140。触控笔140能够用相机260和对应的软件和/或固件来识别这些图案，并且基于由相机260识别的表面光学图案来产生触觉效果。
在一个实施例中，使用相机260来观看书写表面，其可以是具有位置相同的视觉显示器的触敏设备。在这样的实施例中，笔点可以由导电材料制成，以当用户在电容敏感触摸屏上拿着笔时激活电容触摸屏。同一笔可以用在具有预定义图案的其他表面(例如，纸张、墙壁和桌子)上，并且基于可以被相机260识别的表面光学图案来产生触觉效果。
在一个实施例中，触控笔140包括智能笔。智能笔是笔状设备，其可以同时记录手写和音频多达几个小时。这样的笔包括在笔点(笔芯)后的相机，该相机在具有图案的纸张上查看以跟踪被编写或绘制的信息。
对于本领域内的技术人员清楚，在此公开了多个其他实施例，并且变化在本公开的范围内。
触觉效果的参数修改的说明性方法
图3图示了针对根据实施例的触觉显示参数的光学传输的方法300的流程图。相对于在图1和2中所示的触控笔140将描述在图3中所示的方法300。
方法300当经由相机260接收到第一图像信号时在框310处开始。例如，当触控笔140越过图像上时，相机260捕获和处理图像，并且向处理器210传送图像信号。
接下来，在框320中，处理器210从传感器250接收传感器信号。传感器信号可以指示例如正在移动触控笔140。
处理器210接下来至少部分地基于图像信号和传感器信号330来确定触觉效果。在一些实施例中，处理器210仅依赖于图像信号。
处理器210然后至少部分地基于触觉效果340来生成触觉效果信号。在一些实施例中，除了触觉效果之外，处理器210可以例如当生成触觉效果信号时考虑触觉输出设备240的类型或数目。
最后，处理器210向触觉输出设备240发送
触觉效果信号，以便输出效果350。该效果可以然后被用户感觉为例如触控笔的振动。
在一个实施例中，当容纳显示器120的设备100被接通时，执行初始同步过程，其中，向触控笔140发送由设备100在显示器120上呈现的当前图形用户界面(“GUI”)的初始条件，因此用用于生成触觉效果的必要信息来准备活动的触控笔。在这样的实施例中，如果触控笔140已经远离设备100并且重新建立连接，则执行同步处理。该同步可以包括例如设备100是否在显示GUI或特定应用。利用该信息，该触控笔能够响应于所检测到的光学图案或当在显示器120上绘制某物时确定要生成何种类型的效果。
图4是图示根据实施例的在用于触觉显示参数的光学传输的方法中评估彩色信号的方法的流程图。所示的实施例类似于在图像中使用的一些信息隐藏技术。首先，处理器210评估图像410的颜色。
图像的颜色包括各种类型的信息，包括RGB值。在一个实施例中，处理器评估RGB值320的较低的2个比特。处理器210然后至少部分地基于RGB值430的较低的2个比特来确定触觉效果的量级。
在另一个实施例中，处理器210利用图的颜色和宽度来确定要播放的触觉效果的类型和要使用的量级或要使用的调制/纹理。
在另一个实施例中，显示器120的区域可以包含特殊像素图案或网格。当相机260向处理器210提供图像信号时，处理器210可以然后生成触觉效果，该触觉效果对应于在显示器120的那个区域中的“纹理”或通过用户在使得触控笔穿过该区域的速度被调制。在另一个实施例中，当在显示器120上显示一个或多个按钮时，可以在图标/按钮的边缘处显示的彩色图案中编码触觉信息。
在一些实施例中，设备100可以被配备有人眼不可见的红外线(“IR”)光，其被定位使得触控笔140可以当触控笔140接近设备100时检测到IR光。在一些实施例中，使用二极管LED来发出IR光，但是在其他实施例中，可以在可视化显示器中嵌入光发生器。
在这样的实施例中，设备100能够从设备100向触控笔140传递附加信息，而不是通过某种其他手段，诸如Wi-Fi或蓝牙。在一个这样的实施例中，脉宽调制(“PWM”)信号编码与触觉效果的生成相关的信息。在一个这样的实施例中，利用完整协议来建立触觉信息的光学通信。例如，PWM信号可以在5毫秒时间段上以16位数字来指示触觉效果的量级和纹理，该5毫秒时间段在实施例中是频繁得足以精确地输出触觉信息的刷新率。注意，在笔内的触觉循环将快得多。在一些实施例中，根据用于生成PWM的时钟和要发送的信息量来向触控笔140发送更复杂的信息。
另外的说明性实施例
在一个说明性实施例中，用户在触摸屏平板设备100上使用“活动的”触控笔140。触控笔140包含电容尖端以及相机260、处理器210和触觉致动器250。特殊光学签名(在显示表面120内的“网格”或“图案”，其可能被最终用户不可见或难以感知)可以指示何时触控笔140在纸张表面上书写，或者它用于从菜单选择书写实现方式。相机250也可以检测关于触控笔角度的位置信息，并且该信息因此可以用于调制在触控笔中在播放的触觉效果。相机可以当触控笔在触摸表面与否时检测关于在表面上的触控笔速度的信息，并且所有该信息可以用于调制向用户显示的触觉效果。在各个实施例中，可以根据所选择的书写仪器(不同的振动频率或效果强度)、所选择的纸张类型和书写的速度来向用户提供不同的触觉效果。
在另一个实施例中，用户用触控笔140在触摸屏设备100上玩游戏。触控笔140包含电容尖端以及相机260、处理器210和触觉输出设备240。当用户触摸在游戏元件上的显示器120时，设备的相机260检测将该元件与背景区分开的光学信息，诸如RGB颜色、强度或像素密度。触控笔140处理该光学信息，并且经由致动器来传递触觉效果。在一个示例中，用户在玩游戏，其中，她可以用触控笔140来弹出气泡，并且将“弹出”感知为在触控笔140中的振动触觉效果。
在又一个实施例中，一组用户用多个触控笔来操作大的桌面显示器，以便绘制和标注一组草图。该桌面显示设备使用FTIR(受抑内全反射)来用于触摸检测。每一个用户具有触控笔，该触控笔能够读取由显示表面产生的光学信息，并且向用户的手呈现触觉效果。每一个用户能够同时书写，并且独立地感觉效果。这样的配置因为独立设备的数目导致使用无线协议实现起来很具有挑战性。
在另一个实施例中，用户用游戏控制器或家庭娱乐系统玩，该游戏控制器或家庭娱乐系统使用IR光阵列来用于检测人体的手势和移动。用户可以拿着具有可以检测光阵列的光学传感器的控制器。所检测到的转换或信号调制可能触发控制器播放不同的触觉效果。该系统可以检测何时该设备指在屏幕上的游戏元件、播放效果。例如，用户可以当虚拟拍接触虚拟棒球时感觉到效果。
触觉参数的光学传输的优点
延迟可以是在设备交互中的重要可用性挑战，该设备交互使用无线通信协议(例如，蓝牙、Wi-Fi或NFC)以便接收传输信号，并且向用户显示触觉信息。例如，用触摸屏移动设备操作触控笔的用户可能遇到不利地影响可用性和性能的延迟，其中，该设备无线地向触控笔发送信息以显示触觉信息。
使用触觉信号的光学传输的一个益处是触觉设备可以实时地接收到启动信号，而不依赖于无线通信信号来启动触觉效果回放。这也可能减少在蓝牙或Wi-Fi联网连接的情况下会麻烦的、经由握手来“配对”该设备以建立通信协议的可用性负担。而且，光学检测触觉设备可以作为第三方设备被销售，并且与播放它可以识别的光学签名的任何显示表面或设备一起使用。
在一个实施例中，应用开发者能够将特定的光学信息嵌入到它们的应用内，所述应用将向具有光学检测触觉触控笔或其他设备的用户提供增强的体验。而且，可以使得预定的光学签名可用于应用开发者以及用于读取它们和呈现触觉效果的技术。
在此所述的一些设备可以以通过启动用于在主机设备处触发触觉效果的信号来创建真实性并且增强可用性的方式而传递触觉输出。该主机设备然后处理对于特定软件应用的触觉要求，创建那个触觉信号/信息，并且将其发送到触觉设备，降低了对于提供触觉反馈的设备的要求。因为这个处理要求处理循环、存储器和时间，可以克服由在无线通信信道中的有限吞吐量添加的任何限制的设备将是有利的。而且，从图形用户界面直接读取被显示为光学信息的触觉参数的触觉设备可以几乎基本上消除在无线通信信道中固有的延迟，允许生成触觉效果使得用户几乎立即感觉到它。
综述
虽然在此以在各种机器上执行的软件描述了在此的方法和系统，但是该方法和系统也可以被实现为特殊配置的硬件，诸如被特别配置来执行各种方法的现场可编程门阵列(FPGA)。例如，可以在数字电子电路或者以计算机硬件、固件、软件或其组合实现实施例。在一个实施例中，设备可以包括一个或多个处理器。该处理器包括计算机可读介质，诸如耦合到处理器的随机存取存储器(RAM)。处理器执行在存储器中存储的计算机可执行程序指令，诸如执行一个或多个计算机程序以编辑图像。这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这样的处理器可以进一步包括可编程电子设备，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)或其他类似的设备。
这样的处理器可以包括介质或可以与其进行通信，所述介质例如是计算机可读介质，其可以存储指令，该指令当被处理器执行时可以使得处理器执行由处理器执行或辅助的在此所述的步骤。计算机可读介质的实施例可以包括但是不限于电子、光学、磁性或其他存储设备，其能够向诸如在web服务器中的处理器的处理器提供计算机可读指令。介质的其他示例包括但是不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质或计算机处理器可以从其读取的任何其他介质。所述的处理器和处理可以在一个或多个结构中，或可以通过一个或多个结构分布。处理器可以包括用于执行在此所述的方法(或方法的部分)的一个或多个的代码。
本发明的一些实施例的上面的说明仅被提供来用于说明和描述的目的，并且不意欲是穷尽性的或将本发明限于所公开的精确的形式。在不偏离本发明的精神和范围的情况下，其多种修改和调整对于本领域内的技术人员将是显而易见的。
在此对于“一个实施例”或“实施例”的引用表示可以在本发明的至少一种实现方式中包括结合实施例描述的特定特征、结构、操作或其他特性。本发明不限于如此描述的特定实施例。在说明书中的不同位置处的短语“在一个实施例”或“在实施例中”的出现不一定指的是同一实施例。与“一个实施例”相关地在本说明书中描述的任何特定特征、结构、操作或其他特性可以与相对于任何其他实施例描述的其他特征、结构、操作或其他特性组合。

Claims (21)

1.一种方法，包括：
从图像传感器接收图像信号，所述图像信号与图像相关联；
至少部分地基于所述图像信号来确定触觉信号；
至少部分地基于所述触觉信号来生成触觉效果信号；以及
向触觉输出设备发送所述触觉效果信号。
2.根据权利要求1所述的方法，其中，确定触觉信号的步骤包括：评估所述图像的颜色。
3.根据权利要求2所述的方法，其中，确定触觉信号的步骤包括：评估每一个RGB值的较低2比特，以确定所述触觉效果的量级。
4.根据权利要求1所述的方法，其中，确定触觉效果的步骤包括：确定图的宽度。
5.根据权利要求1所述的方法，其中，确定触觉效果的步骤包括：确定图的宽度。
6.根据权利要求1所述的方法，其中，确定触觉效果的步骤包括：基于所述触觉效果，来确定所述量级、调制或纹理中的一个或多个。
7.根据权利要求1所述的方法，进一步包括：从传感器接收传感器信号，并且其中，确定触觉效果的步骤进一步包括：至少部分地基于所述传感器信号来确定所述触觉效果。
8.根据权利要求7所述的方法，其中，所述传感器包括加速计、陀螺仪、指南针、生物传感器或压力传感器之一。
9.根据权利要求7所述的方法，其中，所述传感器信号与用户的书写速度相关联。
10.根据权利要求7所述的方法，其中，所述传感器信号与用户向所述传感器施加的压力相关联。
11.根据权利要求7所述的方法，其中，所述传感器信号与向所述图像施加的压力相关联。
12.根据权利要求1所述的方法，其中，所述图像传感器和触觉输出设备被包含在触控笔内。
13.根据权利要求1所述的方法，其中，所述触觉输出设备包括振动触觉致动器、变形致动器或热致动器中的一个或多个。
14.一种非临时性计算机可读介质，包括可执行程序代码，用于：
从图像传感器接收图像信号，所述图像信号与图像相关联；
至少部分地基于所述图像信号来确定触觉信号；
至少部分地基于所述触觉信号来生成触觉效果信号；以及
向触觉输出设备发送所述触觉效果信号。
15.根据权利要求14所述的计算机可读介质，其中，用于确定所述触觉信号的所述程序代码包括：评估所述图像的所述颜色。
16.一种输入设备，包括：
图像传感器，所述图像传感器被配置为生成与图像相关联的图像信号；
触觉输出设备，所述触觉输出设备被配置为接收触觉效果信号，并且至少部分地基于所述触觉效果信号来生成触觉效果；以及
处理器，所述处理器与所述图像传感器和所述触觉输出设备进行通信，所述处理器被配置为：
至少部分地基于所述图像信号来确定触觉信号；
至少部分地基于所述触觉信号来生成触觉效果信号；以及
向所述触觉输出设备发送所述触觉效果信号。
17.根据权利要求16所述的输入设备，进一步包括接收器，用于检测来自光发射器的光。
18.根据权利要求17所述的输入设备，其中，所述光发射器包括IR发射器。
19.根据权利要求16所述的输入设备，进一步包括传感器，其中，所述传感器包括加速计、陀螺仪、指南针、生物传感器或压力传感器之一。
20.根据权利要求16所述的输入设备，其中，所述触觉输出设备包括振动触觉致动器、变形致动器或热致动器中的一个或多个。
21.根据权利要求16所述的输入设备，其中，所述输入设备包括触控笔。
CN201410769370.1A 2013-12-13 2014-12-12 用于触觉显示参数的光学传输的系统和方法 Expired - Fee Related CN104714687B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/105,266 2013-12-13
US14/105,266 US9489048B2 (en) 2013-12-13 2013-12-13 Systems and methods for optical transmission of haptic display parameters

Publications (2)

Publication Number Publication Date
CN104714687A true CN104714687A (zh) 2015-06-17
CN104714687B CN104714687B (zh) 2020-02-11

Family

ID=52272817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410769370.1A Expired - Fee Related CN104714687B (zh) 2013-12-13 2014-12-12 用于触觉显示参数的光学传输的系统和方法

Country Status (5)

Country Link
US (2) US9489048B2 (zh)
EP (1) EP2884370B1 (zh)
JP (2) JP6449639B2 (zh)
KR (1) KR20150069545A (zh)
CN (1) CN104714687B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105353969A (zh) * 2015-10-23 2016-02-24 广东小天才科技有限公司 一种唤醒屏幕的方法及系统
US9489048B2 (en) 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
CN108027670A (zh) * 2015-09-25 2018-05-11 Lg电子株式会社 移动终端及其控制方法
CN108351714A (zh) * 2015-10-19 2018-07-31 微软技术许可有限责任公司 手持式输入装置
CN108369462A (zh) * 2015-12-25 2018-08-03 住友理工株式会社 触觉振动提示装置
CN109491526A (zh) * 2019-01-11 2019-03-19 桂林理工大学南宁分校 带书写触感的电子笔及实现方法
CN110710110A (zh) * 2017-05-31 2020-01-17 Bcs汽车接口解决方案有限公司 用于车辆部件的操作设备以及用于产生反馈的方法
CN114840075A (zh) * 2022-04-06 2022-08-02 华为技术有限公司 手写笔及终端设备

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201601314RA (en) 2013-10-25 2016-03-30 Wacom Co Ltd Dynamic handwriting verification, handwriting-baseduser authentication, handwriting data generation, and handwriting data preservation
US10032065B2 (en) * 2013-10-25 2018-07-24 Wacom Co., Ltd. Dynamic handwriting verification, handwriting-based user authentication, handwriting data generation, and handwriting data preservation
US20150212578A1 (en) * 2014-01-27 2015-07-30 Apple Inc. Touch Implement with Haptic Feedback for Simulating Surface Texture
US9817489B2 (en) 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
US10339342B2 (en) * 2014-05-09 2019-07-02 Lenovo (Singapore) Pte. Ltd. Data transfer based on input device identifying information
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
US9400570B2 (en) 2014-11-14 2016-07-26 Apple Inc. Stylus with inertial sensor
CN107003106A (zh) * 2014-12-02 2017-08-01 汤姆逊许可公司 用于捕获和呈现滑动摩擦的触觉方法和设备
US9575573B2 (en) 2014-12-18 2017-02-21 Apple Inc. Stylus with touch sensor
JP6651297B2 (ja) * 2015-03-27 2020-02-19 ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ ハプティック・スタイラス
WO2017044051A1 (en) * 2015-09-07 2017-03-16 Chiewcharnpipat Somboon Digitized writing apparatus
US10671186B2 (en) * 2016-06-15 2020-06-02 Microsoft Technology Licensing, Llc Autonomous haptic stylus
US10296089B2 (en) 2016-08-10 2019-05-21 Microsoft Technology Licensing, Llc Haptic stylus
US10725544B1 (en) * 2016-09-09 2020-07-28 Apple Inc. Pencil haptics
US10268288B1 (en) 2016-09-20 2019-04-23 Apple Inc. Stiffness rendering for a pencil
WO2018071001A1 (en) * 2016-10-11 2018-04-19 Hewlett-Packard Development Company, L.P. Digital stylus nib including wear indicator
US20180239445A1 (en) * 2017-02-20 2018-08-23 Microsoft Technology Licensing, Llc Device and method for communicating with a stylus
JP6887060B2 (ja) 2018-05-18 2021-06-16 株式会社ワコム 位置指示装置及び情報処理装置
DE102018120760B4 (de) 2018-07-12 2022-11-17 Tdk Electronics Ag Stiftförmiges Eingabe- und/oder Ausgabegerät und Verfahren zur Erzeugung eines haptischen Signals
DE112020000958T5 (de) * 2019-02-26 2021-12-09 Sony Group Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
JP2020177587A (ja) * 2019-04-22 2020-10-29 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3792735B1 (en) 2019-09-16 2022-02-09 Microsoft Technology Licensing, LLC Stylus speed
JP7564699B2 (ja) 2020-04-01 2024-10-09 株式会社ワコム 手書きデータ生成装置、手書きデータ再生装置、及びデジタルインクのデータ構造
US11507189B1 (en) 2022-01-21 2022-11-22 Dell Products, Lp System and method for a haptic thin-film actuator on active pen to provide variable writing pressure feedback
WO2023171070A1 (ja) * 2022-03-07 2023-09-14 株式会社ワコム 電子ペン
JP7508517B2 (ja) * 2022-09-29 2024-07-01 レノボ・シンガポール・プライベート・リミテッド 情報処理システム、情報処理装置、プログラム、および、制御方法
US11983337B1 (en) 2022-10-28 2024-05-14 Dell Products L.P. Information handling system mouse with strain sensor for click and continuous analog input
US11914800B1 (en) * 2022-10-28 2024-02-27 Dell Products L.P. Information handling system stylus with expansion bay and replaceable module
US11983061B1 (en) 2022-10-28 2024-05-14 Dell Products L.P. Information handling system peripheral device sleep power management
KR20240138324A (ko) * 2023-03-10 2024-09-20 삼성전자주식회사 촉각 디스플레이 장치
JP7434633B1 (ja) 2023-03-23 2024-02-20 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、情報処理システム、入力デバイスおよび制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606167A (zh) * 2007-02-08 2009-12-16 西尔弗布鲁克研究股份有限公司 x和y坐标数据被分成每个标记的相应半部的包含标记的编码图案
US20100160041A1 (en) * 2008-12-19 2010-06-24 Immersion Corporation Interactive painting game and associated controller
US20120028577A1 (en) * 2010-07-09 2012-02-02 Rodriguez Tony R Mobile devices and methods employing haptics
US20130113763A1 (en) * 2011-11-09 2013-05-09 Crayola Llc Stylus

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3124886B2 (ja) * 1994-03-31 2001-01-15 シャープ株式会社 ライトペン
FR2743922B1 (fr) * 1996-01-19 1998-04-17 Parienti Raoul Dispositif de lecture pour non-voyant
JP4567817B2 (ja) * 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
EP1303853A4 (en) 2000-05-24 2009-03-11 Immersion Corp HAPTIC EQUIPMENT WITH ELECTROACTIVE POLYMERS
US9024874B2 (en) * 2007-03-12 2015-05-05 University of Pittsburgh—of the Commonwealth System of Higher Education Fingertip visual haptic sensor controller
WO2009082682A1 (en) * 2007-12-21 2009-07-02 Virginia Commonwealth University Kinesthetically concordant optical, haptic image sensing device
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US8004391B2 (en) * 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
US9927873B2 (en) * 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
JP2010224665A (ja) * 2009-03-19 2010-10-07 Sony Corp 光触覚変換システム、及び触覚フィードバックの提供方法
JP5254117B2 (ja) * 2009-04-20 2013-08-07 シャープ株式会社 入力器具、その制御方法、その制御プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、タッチパネル入力システム
JP5094930B2 (ja) * 2009-08-10 2012-12-12 韓國電子通信研究院 イメージに触覚情報を符号化する方法、イメージから触覚情報を復号化する方法、およびこのための触覚情報処理装置
JPWO2011043415A1 (ja) * 2009-10-07 2013-03-04 日本電気株式会社 デジタルペンシステム及びペン入力方法
KR101855535B1 (ko) 2010-04-23 2018-05-04 임머숀 코퍼레이션 햅틱 효과를 제공하는 시스템 및 방법
US8416066B2 (en) * 2010-04-29 2013-04-09 Microsoft Corporation Active vibrations
US8401224B2 (en) 2010-05-05 2013-03-19 Digimarc Corporation Hidden image signalling
US10120446B2 (en) * 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US9019239B2 (en) * 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
US9595127B2 (en) * 2010-12-22 2017-03-14 Zspace, Inc. Three-dimensional collaboration
US9746945B2 (en) * 2011-12-19 2017-08-29 Qualcomm Incorporated Integrating sensation functionalities into a mobile device using a haptic sleeve
US20140015750A1 (en) * 2012-07-11 2014-01-16 Po Hsin Chen Multimode pointing device
CN103077633A (zh) * 2013-01-11 2013-05-01 深圳超多维光电子有限公司 一种立体虚拟培训系统和方法
US9489048B2 (en) 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606167A (zh) * 2007-02-08 2009-12-16 西尔弗布鲁克研究股份有限公司 x和y坐标数据被分成每个标记的相应半部的包含标记的编码图案
US20100160041A1 (en) * 2008-12-19 2010-06-24 Immersion Corporation Interactive painting game and associated controller
US20120028577A1 (en) * 2010-07-09 2012-02-02 Rodriguez Tony R Mobile devices and methods employing haptics
US20130113763A1 (en) * 2011-11-09 2013-05-09 Crayola Llc Stylus

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489048B2 (en) 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
CN108027670A (zh) * 2015-09-25 2018-05-11 Lg电子株式会社 移动终端及其控制方法
CN108351714B (zh) * 2015-10-19 2021-02-05 微软技术许可有限责任公司 手持式输入装置
CN108351714A (zh) * 2015-10-19 2018-07-31 微软技术许可有限责任公司 手持式输入装置
CN105353969B (zh) * 2015-10-23 2019-08-06 广东小天才科技有限公司 一种唤醒屏幕的方法及系统
CN105353969A (zh) * 2015-10-23 2016-02-24 广东小天才科技有限公司 一种唤醒屏幕的方法及系统
CN108369462A (zh) * 2015-12-25 2018-08-03 住友理工株式会社 触觉振动提示装置
CN108369462B (zh) * 2015-12-25 2021-03-30 住友理工株式会社 触觉振动提示装置
CN110710110A (zh) * 2017-05-31 2020-01-17 Bcs汽车接口解决方案有限公司 用于车辆部件的操作设备以及用于产生反馈的方法
US11505066B2 (en) 2017-05-31 2022-11-22 Bcs Automotive Interface Solution Gmbh Operating apparatus for a vehicle component and method for producing feedback
CN109491526A (zh) * 2019-01-11 2019-03-19 桂林理工大学南宁分校 带书写触感的电子笔及实现方法
CN109491526B (zh) * 2019-01-11 2024-05-28 桂林理工大学南宁分校 带书写触感的电子笔及实现方法
CN114840075A (zh) * 2022-04-06 2022-08-02 华为技术有限公司 手写笔及终端设备
WO2023193663A1 (zh) * 2022-04-06 2023-10-12 华为技术有限公司 手写笔及终端设备

Also Published As

Publication number Publication date
KR20150069545A (ko) 2015-06-23
JP2019061711A (ja) 2019-04-18
EP2884370B1 (en) 2018-10-10
JP6449639B2 (ja) 2019-01-09
EP2884370A1 (en) 2015-06-17
US20170017310A1 (en) 2017-01-19
US20150169056A1 (en) 2015-06-18
CN104714687B (zh) 2020-02-11
JP2015115076A (ja) 2015-06-22
US9489048B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
CN104714687A (zh) 用于触觉显示参数的光学传输的系统和方法
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US10974138B2 (en) Haptic surround functionality
JP7125920B2 (ja) 情報処理プログラム
CN103092406B (zh) 用于触敏表面上的多压交互的系统和方法
US10474238B2 (en) Systems and methods for virtual affective touch
US20140340326A1 (en) Drawing apparatus and drawing system
US20180011538A1 (en) Multimodal haptic effects
JP2012080533A (ja) 双方向性コンテンツの触覚的に強化された双方向性
CN110096131A (zh) 触感交互方法、装置、以及触感可穿戴设备
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
WO2019225170A1 (ja) 位置指示デバイス及び空間位置指示システム
US20180081444A1 (en) Simulation system
US20240173618A1 (en) User-customized flat computer simulation controller
JP2023172523A (ja) 触覚呈示装置及び触覚呈示システム
KR20130095523A (ko) 포스 피드백 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200211

Termination date: 20201212

CF01 Termination of patent right due to non-payment of annual fee