KR20150069545A

KR20150069545A - 햅틱 디스플레이 파라미터들의 광학적 전송을 위한 시스템 및 방법

Info

Publication number: KR20150069545A
Application number: KR1020140179151A
Authority: KR
Inventors: 아마야 웨들; 후안 마누엘 크루즈-헤르난데즈
Original assignee: 임머숀 코퍼레이션
Priority date: 2013-12-13
Filing date: 2014-12-12
Publication date: 2015-06-23
Also published as: CN104714687A; JP2019061711A; EP2884370B1; JP6449639B2; EP2884370A1; US20170017310A1; US20150169056A1; CN104714687B; JP2015115076A; US9489048B2

Abstract

햅틱 디스플레이 파라미터들의 광학적 전송을 위한 시스템들 및 방법들이 개시된다. 하나의 개시된 방법은 이미지 센서로부터 이미지 신호를 수신하는 단계 -이미지 신호는 이미지와 연관됨-, 이미지 신호에 적어도 부분적으로 기초하여 햅틱 신호를 결정하는 단계, 햅틱 신호에 적어도 부분적으로 기초하여 햅틱 효과 신호를 생성하는 단계, 및 햅틱 출력 디바이스에 햅틱 효과 신호를 송신하는 단계를 포함한다.

Description

햅틱 디스플레이 파라미터들의 광학적 전송을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR OPTICAL TRANSMISSION OF HAPTIC DISPLAY PARAMETERS}

본 개시는 햅틱 디스플레이 파라미터들(haptic display parameters)의 광학적 전송을 위한 시스템들 및 방법들에 관한 것이다.

터치-인에이블드(enabled) 디바이스들은 점점 더 인기를 끌고 있다. 예를 들어, 주변 장치들, 액세서리들, 및 기타 디바이스들은 햅틱 출력 디바이스들에 의해 구성될 수 있어서, 각종 이벤트들의 발생의 지시 등과 같은 정보를 유저에게 제공하기 위해 햅틱 감각이 유저에게 제공될 수 있다. 이러한 효과들은 예를 들어, 시각적 또는 청각적 효과를 대체하거나 또는 증가시키기 위해 이용될 수 있다. 이러한 주변 장치들은 블루투스 또는 Wi-Fi 등과 같은 무선 통신 채널을 통해 햅틱 효과들을 발생시키는 정보를 수신할 수 있지만, 때때로 그러한 통신 채널들은 통신에 지연을 도입할 수 있고, 효율적으로 그리고 효과적으로 햅틱 효과를 제공하기 위한 주변 장치의 능력을 방해할 수 있다. 그 효과를 발생시키기 위해 이용되는 파라미터들 중 적어도 일부의 광학적 전송은 햅틱 효과를 제공하기 위한 디바이스의 능력을 향상시키는 것을 도울 수 있다.

실시예들은 햅틱 디스플레이 파라미터들의 광학적 전송을 위한 시스템들 및 방법들을 제공한다. 예를 들어, 하나의 개시된 방법은, 이미지 센서로부터 이미지 신호를 수신하는 단계 -이미지 신호는 이미지와 연관됨-, 이미지 신호에 적어도 부분적으로 기초하여 햅틱 신호를 결정하는 단계, 햅틱 신호에 적어도 부분적으로 기초하여 햅틱 효과 신호를 생성하는 단계, 및 햅틱 출력 디바이스에 햅틱 효과 신호를 송신하는 단계를 포함한다. 다른 실시예에서, 컴퓨터 판독가능 매체는 이러한 방법을 구현하기 위한 프로그램 코드를 포함한다.

일 실시예에서, 디바이스는 이미지와 연관된 이미지 신호를 생성하도록 구성된 이미지 센서, 햅틱 효과 신호를 수신하고 햅틱 효과 신호에 적어도 부분적으로 기초하여 햅틱 효과를 생성하도록 구성된 햅틱 출력 디바이스, 및 이미지 센서 및 햅틱 출력 디바이스와 통신하는 프로세서를 포함한다. 하나의 이러한 디바이스에서, 프로세서는, 이미지 신호에 적어도 부분적으로 기초하여 햅틱 신호를 결정하고, 햅틱 신호에 적어도 부분적으로 기초하여 햅틱 효과 신호를 생성하고, 햅틱 출력 디바이스에 햅틱 효과 신호를 송신하도록 구성된다.

이러한 예시적인 실시예들은 본 발명을 제한하거나 정의하기 위해 언급되는 것이 아니라, 이것들의 이해를 돕기 위한 예들을 제공하기 위해 언급된다. 예시적인 실시예들은 본 발명의 더 많은 설명을 제공하는 상세한 설명에서 논의된다. 본 발명의 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 더 잘 이해될 수 있다.

본 명세서에 통합되어 그 일부를 형성하는 첨부 도면은 실시예들의 하나 이상의 예를 도시하고, 예시적인 실시예들의 설명과 함께, 실시예들의 원리들 및 구현들을 설명하는 역할을 한다.
도 1은 실시예에 따른 햅틱 디스플레이 파라미터들의 광학적 전송을 위한 전자 디바이스를 도시한다.
도 2는 실시예에 따른 햅틱 디스플레이 파라미터들의 광학적 전송을 위한 전자 디바이스를 도시한다.
도 3은 실시예에 따른 햅틱 디스플레이 파라미터들의 광학적 전송을 위한 방법을 나타내는 흐름도이다.
도 4는 실시예에 따른 햅틱 디스플레이 파라미터들의 광학적 전송 방법에 있어서의 컬러 신호를 평가하기 위한 방법을 나타내는 흐름도이다.

햅틱 디스플레이 파라미터들의 광학적 전송을 위한 시스템들 및 방법들의 맥락에서 예시적인 실시예들이 설명된다. 당업자는 다음의 설명이 단지 예시적이며, 어떠한 방식으로도 제한하도록 의도되지 않는다는 것을 이해할 것이다. 다른 실시예들은 그 자체를 본 개시의 혜택을 받는 그러한 당업자들에게 용이하게 암시할 것이다. 첨부된 도면에 도시된 바와 같은 예시적인 실시예들의 구현에 대해 이제 상세히 설명할 것이다. 동일한 참조 지시자들은 동일하거나 또는 유사한 항목들을 지칭하기 위해 도면 전체를 통해 그리고 하기의 설명에 이용될 것이다.

명확성을 위해, 본 명세서에서 설명되는 구현들의 일반적인 특징들이 모두 개시되고 설명되는 것은 아니다. 물론, 임의의 그러한 실제 구현의 개발에 있어서, 애플리케이션- 및 비즈니스-관련 제약 사항들의 준수 등과 같은 개발자의 특정 목적들을 달성하기 위해, 다수의 구현-특정적 결정들이 행해져야 한다는 것과, 이 특정 목적들은 구현마다 달라질 것이고 개발자마다 달라질 것임을 이해할 것이다.

예시적인 시스템 & 환경

도 1은 햅틱 디스플레이 파라미터들의 광학적 전송을 위한 전자 디바이스(100)를 도시한다. 도시된 실시예에서, 전자 디바이스(100)는 태블릿이다. 디바이스(100)는 디스플레이(120) 및 IR 다이오드(130)가 배치되어 있는 하우징(110)을 포함한다. 도시된 실시예는 또한 스타일러스(stylus)(140)를 포함한다.

도시된 스타일러스(140)는 실시간으로 또는 거의 실시간으로 햅틱 효과들을 생성하고 재생하기 위해 광학적 디스플레이 정보를 검출할 수 있고 처리할 수 있다. 광학적 정보는 디스플레이 표면에, 디바이스상에, 또는 다른 광 어레이에 의해, 입사될 수 있거나, 투사될 수 있거나, 또는 전송될 수 있다. 스타일러스에서의 햅틱 재생은 표면 디스플레이(120)로부터의 광학적 전송을 통해 개시된다. 예를 들어, 스타일러스(140)로서, 소형 내장 카메라를 통해 광학 정보를 처리할 수 있고 스타일러스 내에 수납된 햅틱 효과 발생기를 통해 햅틱 감각들을 렌더링할 수 있는 "활성(active)" 스타일러스가 생성될 수 있다. 디스플레이 표면에는 독점적인 광학 시그너처들(proprietary optical signature)이 내장될 수 있어서, 애플리케이션 개발자가 스타일러스의 위치, 상태, 및 움직임에 따라 스타일러스에서 햅틱 효과들이 재생되는 것을 통제할 수 있도록 해준다. 그러한 실시예에서, 말단 유저는 용량성 터치 스크린(capacitive touch screen) 등과 같은 디스플레이 표면에 걸쳐 스타일러스 팁의 속도, 위치, 기울기 등에 기초하여 변조될 수 있는 햅틱 효과들을 스타일러스(140)에서 느낄 것이다.

많은 다른 실시예들이 본 명세서에 개시되고 그 변형들은 본 개시의 범위 내에 포함된다. 예를 들어, 스타일러스 이외의 주변 장치 또는 액세서리는 이미지 센서를 포함할 수 있고, 광학 햅틱 파라미터들을 감지할 수 있다. 예를 들어, 핸드헬드 스캐너는 스캐너의 유저에게 정보를 부여하기 위해 본 명세서에 설명되는 방법들을 구현할 수 있다. 유사하게, 카메라를 포함하는 휴대 전화는 본 명세서에 개시되는 것들 등과 같은 방법들을 구현할 수 있다. 이것들은 단지 추가의 예들이고, 본 개시의 범위를 제한하는 것을 의미하지 않는다.

이 예시적인 예는 본 명세서에서 논의된 일반적인 주제를 독자에게 소개하기 위해 제공된다. 본 발명은 이 예에 한정되지 않는다. 다음의 섹션들에서는 다양한 추가의 비-제한적 실시예들과, 햅틱 효과들의 파라미터 변경을 위한 디바이스들, 시스템들, 및 방법들의 예들을 설명한다.

예시적인 디바이스

도 2는 일 실시예에 따른 햅틱 디스플레이 파라미터들의 광학적 전송을 위한 스타일러스(140)를 도시한다. 스타일러스(140)는 프로세서(210), 및 프로세서(210)와 통신하는 메모리(220)를 포함한다. 스타일러스(140)는 또한 통신 인터페이스(230)를 포함한다.

도 2에서, 통신 인터페이스(230)는 프로세서(210)와 통신하고, 다른 컴포넌트들 또는 다른 디바이스들에 스타일러스(140)로부터의 유선 또는 무선 통신을 제공한다. 예를 들어, 통신 인터페이스(230)는 스타일러스(140)와, 무선 센서 또는 무선 액추에이션 디바이스 사이의 무선 통신들을 제공할 수 있다. 어떤 실시예들에서, 통신 인터페이스(230)는 다른 스타일러스(140) 등과 같은 하나 이상의 다른 디바이스에 통신을 제공할 수 있어서, 유저들이 그들 각각의 디바이스들에서 서로 상호작용할 수 있도록 해준다. 통신 인터페이스(230)는 멀티-압력 터치-감응식 입력 스타일러스(140)를 다른 컴포넌트 또는 디바이스와 통신할 수 있게 하는 임의의 컴포넌트 또는 컴포넌트들의 집합일 수 있다. 예를 들어, 통신 인터페이스(230)는 PCI 네트워크 어댑터, USB 네트워크 어댑터, 또는 이더넷 어댑터(Ethernet adapter)를 포함할 수 있다. 통신 인터페이스(230)는 802.11 a, g, b, 또는 n 표준들을 포함한 무선 이더넷을 이용하여 통신할 수 있다. 일 실시예에서, 통신 인터페이스(230)는 라디오 주파수(Radio Frequency: RF), 블루투스(Bluetooth), CDMA, TDMA, FDMA, GSM, WiFi, 위성, 또는 다른 셀룰러 또는 무선 기술을 이용하여 통신할 수 있다. 다른 실시예들에서, 통신 인터페이스(230)는 유선 접속을 통해 통신할 수 있고, 이더넷, 토큰 링, USB, FireWire(파이어 와이어) 1394, 광섬유 등과 같은 하나 이상의 네트워크와 통신할 수 있다. 어떤 실시예들에서, 스타일러스(140)는 하나의 통신 인터페이스(230)를 포함한다. 다른 실시예들에서, 스타일러스(140)는 두 개, 세 개, 네 개, 또는 그 이상의 통신 인터페이스들을 포함한다. 따라서, 실시예에서, 스타일러스(140)는 하나 이상의 통신 인터페이스를 통해 하나 이상의 컴포넌트 및/또는 디바이스와 통신할 수 있다. 다른 실시예들에서, 스타일러스(140)는 통신 인터페이스(230)를 포함하지 않을 수 있다.

도 1에 도시된 스타일러스(140)는 또한 하나 이상의 햅틱 효과를 출력할 수 있는 임의의 컴포넌트 또는 컴포넌트들의 집합일 수 있는, 햅틱 출력 디바이스(240)를 포함한다. 예를 들어, 햅틱 출력 디바이스는 편심 회전 질량(eccentric rotational mass: ERM) 액추에이터, 선형 공진 액추에이터(linear resonant actuator: LRA), 압전 액추에이터, 음성 코일 액추에이터, 전기-활성 고분자(electro-active polymer: EAP) 액추에이터, 형상 기억 합금, 페이저(pager), DC 모터, AC 모터, 움직이는 자석 액추에이터, E-코어 액추에이터, 스마트겔(smartgel), 정전 액추에이터, 전기자극(electrotactile) 액추에이터, 변형가능한 표면, 정전 마찰(electrostatic friction: ESF) 디바이스, 초음파 마찰(ultrasonic friction: USF) 디바이스, 또는 표면 온도를 변화시키는 서멀 액추에이터(thermal actuator), 또는 햅틱 출력 디바이스의 기능을 수행하는, 또는 햅틱 효과를 출력할 수 있는 임의의 다른 햅틱 출력 디바이스 또는 컴포넌트들의 집합을 포함하지만 이것들에 한정되지 않는 다양한 타입들 중 하나일 수 있다. 개별적으로 또는 동시적으로 구동될 수 있는, 진동 주파수들의 범위를 제공하기 위해, 여러 개의 햅틱 출력 디바이스들 또는 상이한 크기의 햅틱 출력 디바이스들이 이용될 수 있다. 다양한 실시예들은 하나 또는 여러 개의 햅틱 출력 디바이스를 포함할 수 있고, 동일한 타입의 또는 상이한 타입들의 조합의 햅틱 출력 디바이스들을 가질 수 있다. 어떤 실시예들에서, 하나 이상의 햅틱 출력 디바이스는 예를 들어, 유선 또는 무선 통신을 통해 전자 디바이스와 직접적으로 또는 간접적으로 통신한다. 일 실시예에서, 전자 디바이스는 차량에 배치될 수 있거나, 또는 차량에 통합되고, 하나 이상의 햅틱 출력 디바이스가 차량에 내장된다. 예를 들어, 스타일러스(140)는 차량의 계기판에 장착되는 디스플레이 스크린과 상호작용하기 위해 이용될 수 있다. 어떤 실시예들에서, 햅틱 출력 디바이스(240)를 갖는 것 대신에, 또는 햅틱 출력 디바이스(240)를 갖는 것에 부가하여, 스타일러스(140)는 하나 이상의 다른 출력 디바이스를 갖는다. 예를 들어, 스타일러스(140)는 스피커 및/또는 소형 디스플레이를 가질 수 있다. 일 실시예에서, 스타일러스(140)는 하나 이상의 햅틱 출력 디바이스, 하나 이상의 스피커, 및 하나 이상의 디스플레이를 갖는다. 많은 다른 실시예들이 본 명세서에 개시되고, 그 변형들은 본 개시의 범위 내에 포함된다.

다양한 실시예들에서, 하나 이상의 햅틱 효과는 임의의 개수의 방법으로 또는 방법들의 조합으로 생성될 수 있다. 예를 들어, 일 실시예에서, 편심 질량을 회전시킴으로써 또는 질량을 선형적으로 진동시킴으로써 햅틱 효과를 생성하기 위해 하나 이상의 진동이 이용될 수 있다. 일부 그러한 실시예들에서, 햅틱 효과는 전체 전자 디바이스에 또는 전자 디바이스의 일 표면에만 또는 제한된 부분에 진동을 부여하도록 구성될 수 있다. 다른 실시예에서, 두 개 이상의 컴포넌트들 사이의 마찰, 또는 적어도 하나의 컴포넌트와 적어도 하나의 컨택트 사이의 마찰은 예를 들어, 컴포넌트의 이동에 저항력을 제공하거나 또는 토크(torque)를 제공하는 등, 이동하는 컴포넌트에 브레이크(brake)를 적용함으로써, 햅틱 효과를 생성하기 위해 이용될 수 있다. 진동 효과들을 생성하기 위해, 많은 디바이스들은 소정 타입의 액추에이터 및/또는 다른 햅틱 출력 디바이스를 이용한다. 이 목적을 위해 이용되는 공지된 햅틱 출력 디바이스들은, 편심 질량이 모터에 의해 이동되는 편심 회전 질량(Eccentric Rotating Mass: "ERM") 등과 같은 전자기 액추에이터, 스프링에 부착된 질량이 앞뒤로 구동되는 선형 공진 액추에이터(Linear Resonant Actuator: "LRA"), 또는 예를 들어, 압전, 전기-활성 고분자들, 또는 형상 기억 합금들 등과 같은 "스마트 재료(smart material)"를 포함한다.

다른 실시예들에서, 햅틱 효과를 생성하기 위해 하나 이상의 컴포넌트의 변형이 이용될 수 있다. 예를 들어, 하나 이상의 햅틱 효과는 표면의 형상이나, 또는 표면의 마찰 계수를 변경하기 위해 출력될 수 있다. 실시예에서, 하나 이상의 햅틱 효과는 표면의 마찰을 변경하기 위해 이용되는 초음파 힘 및/또는 정전기 힘을 생성함으로써 생성된다. 다른 실시예들에서, 스마트겔을 포함하는 하나 이상의 영역 등, 투명한 변형 소자들의 어레이가 햅틱 효과를 생성하기 위해 이용될 수 있다. 햅틱 출력 디바이스들은 또한 광범위하게, 정전기 마찰(ESF), 초음파 표면 마찰(USF)을 이용하는 것들, 또는 초음파 햅틱 변환기로 음향 방사 압력을 유도하는 것들, 또는 햅틱 기판과 가요성 또는 변형가능한 표면을 이용하는 것들, 또는 에어 제트(air jet)를 이용하는 에어 분사 등과 같은 투사되는 햅틱 출력을 제공하는 것들 등등의 비-기계적 또는 비-진동적 디바이스들을 포함한다. 어떤 실시예들에서, 햅틱 효과는 운동 감각 효과이다. 미국 특허 출원 번호 제13/092,484호는 하나 이상의 햅틱 효과가 생성될 수 있는 방법들을 설명하고, 다양한 햅틱 출력 디바이스들을 설명한다. 2011년 4월 22일자로 출원된 미국 특허 출원 번호 제13/092,484호의 전체 내용은 본 명세서에 참고로 인용된다.

도 2에서, 스타일러스(140)는 또한 스타일러스(140), 전자 디바이스, 및/또는 표면의 이동 또는 그것들과의 상호작용을 검출하는 센서(250)를 포함한다. 센서(250)는 프로세서(210)와 통신하고, 센서 정보를 프로세서(210)에 제공한다. 예를 들어, 센서(250)는 하나 이상의 상호작용을 프로세서(210)에 제공할 수 있다. 센서(250)는 하나 이상의 상호작용을 지시하는 입력 신호를 제공할 수 있다. 다른 예로서, 센서(250)는 스타일러스(140)와의 하나 이상의 상호작용에 대응하는 정보를 프로세서(210)에 제공할 수 있다. 실시예들에서, 센서(250)가 프로세서(210)에 제공하는 정보는, 유저가 스타일러스(140)를 흔드는 것 등과 같은 전체 스타일러스(140)와의 상호작용에 대응한다. 다른 실시예들에서, 센서(250)가 프로세서(210)에 제공하는 정보는, 스타일러스(140)의 팁 등과 같은 스타일러스(140)의 일부와의 상호작용에 대응한다.

센서(250)는 다수의 컨디션들 중 하나 이상을 검출하기 위해 이용될 수 있다. 예를 들어, 일 실시예에서, 가속도계, 자이로스코프(gyroscope), 또는 나침반 등과 같은 센서는 펜의 기울기를 검출할 수 있다. 다른 실시예에서, 센서는 유저의 필기 속도를 측정할 수 있는 가속도계를 포함한다. 다른 실시예는 유저의 필기 속도를 검출하기 위해 센서(250) 대신에 또는 그것에 부가하여 카메라(260)를 이용한다. 또 다른 실시예에서, 센서(250)는 예를 들어, 스타일러스(140)의 표면상의 압력 센서를 이용하여, 스타일러스(140)에 대한 유저의 그립(grip) 압력을 검출한다. 또 다른 실시예에서, 센서(250)는 펜의 팁상의 압력 센서를 이용하여 유저에 의해 필기 표면상에 가해지는 압력을 검출한다.

본 발명의 일 실시예에서, 센서(250)는 유저의 (예를 들면, 편안한 또는 흥분된) 기분을 감지하거나 또는 측정하기 위해 펜에 설치될 수 있는 하나 이상의 생체인식 센서를 포함한다. 생체인식 센서로부터의 입력은 햅틱 효과를 변화시키기 위해 이용될 수 있다. 예를 들어, 햅틱 피드백은 예를 들어, 유저가 흥분된 것으로 판정되면, 예를 들어, 주파수 및/또는 크기를 증가시킴으로써 강화될 수 있다.

도 2에 도시된 실시예는 단일 센서(250)를 도시한다. 어떤 실시예들에서는, 복수의 센서들이 이용될 수 있다. 또한, 센서는 스타일러스(140)의 다른 컴포넌트들과 동일한 컴포넌트 내에, 또는 별도의 컴포넌트 내에 수납될 수 있다. 예를 들어, 어떤 실시예들에서, 프로세서(210), 메모리(220), 및 센서(250)는 모두 스타일러스(140) 내에 포함된다. 어떤 실시예들에서, 센서는 유저가 쥐고 있는 스타일러스(140)의 일부분과는 분리된 컴포넌트 내에 배치된다. 예를 들어, 착용가능한 센서는 프로세서(210)와 통신할 수 있고, 스타일러스에 관한 정보를 제공할 수 있다.

센서(250)는 임의의 개수 및/또는 타입의 센싱 컴포넌트들을 포함할 수 있다. 예를 들어, 센서(250)는 가속도계 및/또는 자이로스코프를 포함할 수 있다. 센서들 및 상호작용들의 예들의 비-제한적 목록이 하기에 제공된다.

: 예시적인 센서들 및 컨디션들

센서	감지되는 상호작용
가속도계	한 개, 두 개, 또는 세 개 방향에서의 힘
고도계	고도
온도계	주위 온도; 유저 체온
심박수측정기	디바이스 유저의 심장 박동 수
피부 저항 측정기	디바이스 유저의 피부 저항
산소 센서	디바이스 유저의 산소 이용
오디오 센서 / 마이크로폰	주위의 오디오 및/또는 디바이스 유저에 의해 생성되는 오디오
광센서	주변 광
IR/광센서	유저 안구 운동, 위치, 체온
습도계	상대 습도
속도계	속도
계보기/오도미터(odometer)	진행 거리
크로노미터(chronometer)	시각, 날짜
중량 측정기	물질의 질량 또는 수량

도 2에 도시된 스타일러스(140)는 또한 카메라(260)를 포함한다. 카메라(260)는 예를 들어, 도 1에 도시된 바와 같이, 공동 배치된 시각적 디스플레이(호스트 디바이스)를 갖는 터치 스크린 감응식 디바이스 등과 같은 필기 표면을 보기 위해 이용된다. 스타일러스(140)의 펜촉은, 유저가 용량성 감응식 터치 스크린상에서 펜을 쥐고 있을 때, 용량성 터치 스크린을 활성화할 수 있는 도전성 재료를 포함할 수 있다. 다양한 실시예들에서, 스타일러스(140)는 미리 정의된 패턴들이 표시되거나 또는 인쇄되는 각종 표면들(예를 들면, 종이, 벽, 및 테이블)상에서 이용될 수 있다. 스타일러스(140)는 카메라(260) 및 대응하는 소프트웨어 및/또는 펌웨어에 의해 이러한 패턴들을 인식할 수 있고, 카메라(260)에 의해 인식된 표면 광학 패턴들에 기초하여 햅틱 효과를 생성할 수 있다.

일 실시예에서, 카메라(260)는 필기 표면을 보기 위해 이용되는데, 필기 표면은 공동 배치된 시각적 디스플레이를 갖는 터치 감응식 디바이스일 수 있다. 이러한 실시예에서 펜촉은, 유저가 용량성 감응식 터치 스크린상에서 펜을 쥐고 있을 때 용량성 터치 스크린을 활성화하기 위한 도전성 재료로 형성될 수 있다. 동일한 펜은 미리 정의된 패턴들(예를 들면, 종이, 벽, 및 테이블)상에서 이용될 수 있고, 카메라(260)에 의해 인식될 수 있는 표면 광학 패턴들에 기초하여 햅틱 효과를 생성할 수 있다.

일 실시예에서, 스타일러스(140)는 스마트 펜을 포함한다. 스마트 펜들은 몇 시간까지 동안 동시에 필기 및 오디오를 기록할 수 있는 펜형 디바이스들이다. 이러한 펜들은 필기되고 있는 또는 그려지고 있는 정보를 추적하기 위해 패터닝된 종이를 보는 펜촉(카트리지) 뒤의 카메라를 포함한다.

당업자에게 명백한 바와 같이, 많은 다른 실시예들이 본 명세서에 개시되고, 그 변형들은 본 개시의 범위 내에 포함된다.

햅틱 효과의 파라미터 변경의 예시적인 방법

도 3은 실시예에 따른 햅틱 디스플레이 파라미터들의 광학적 전송 방법(300)에 관한 흐름도를 나타낸다. 도 3에 도시된 방법(300)은 도 1 및 도 2에 도시된 스타일러스(140)에 대하여 설명한다.

방법(300)은 제1 이미지 신호가 카메라(260)를 통해 수신될 때, 블록(310)에서 시작한다. 예를 들어, 스타일러스(140)는 이미지상에서 지나가고, 카메라(260)는, 이미지를 캡처하고 처리하여 이미지 신호를 프로세서(210)에 통신한다.

다음으로 블록(320)에서, 프로세서(210)는 센서(250)로부터의 센서 신호를 수신한다. 센서 신호는 예를 들면, 스타일러스(140)가 이동하고 있다는 것을 지시할 수 있다.

다음으로 프로세서(210)는 이미지 신호 및 센서 신호에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다(330). 어떤 실시예들에서, 프로세서(210)는 이미지 신호에 전적으로 의존한다.

그 후 프로세서(210)는 햅틱 효과에 적어도 부분적으로 기초하여 햅틱 효과 신호를 생성한다(340). 어떤 실시예들에서, 햅틱 효과 외에도, 프로세서(210)는 예를 들어, 햅틱 효과 신호를 생성할 때 햅틱 출력 디바이스(240)의 타입 또는 개수를 고려할 수 있다.

마지막으로, 프로세서(210)는 효과를 출력하기 위해 햅틱 출력 디바이스(240)에 햅틱 효과 신호를 송신한다(350). 그 후 효과가 예를 들면, 스타일러스의 진동으로서 유저에 의해 느껴질 수 있다.

일 실시예에서, 디스플레이(120)를 수납한 디바이스(100)가 턴온될 때, 초기 동기화 절차가 실행되는데, 이 절차에서는, 디스플레이(120)상에 디바이스(100)에 의해 제시된 현재의 그래픽 유저 인터페이스(graphical user interface: "GUI")의 초기 컨디션이 스타일러스(140)에 송신됨으로써, 햅틱 효과를 생성하기 위해 필요한 정보로 활성 스타일러스를 준비시킨다. 이러한 실시예에서, 스타일러스(140)가 디바이스(100)로부터 멀어졌고 접속이 재-확립된다면, 동기화 프로세스가 실행된다. 동기화는 예를 들어, 디바이스(100)가 GUI 또는 특정 애플리케이션을 표시하고 있는지를 포함할 수 있다. 이 정보를 이용하여, 스타일러스는 검출된 광학 패턴에 응답하여 또는 디스플레이(120)상에 무언가를 그릴 때 무슨 타입의 효과를 생성할지를 결정할 수 있다.

도 4는 실시예에 따른 햅틱 디스플레이 파라미터들의 광학적 전송 방법에 있어서의 컬러 신호를 평가하기 위한 방법을 나타내는 흐름도이다. 도시된 실시예는 이미지들에 이용되는 어떤 스테가노그래피 기법들(steganography techniques)과 유사하다. 우선 프로세서(210)는 이미지의 컬러를 평가한다(410).

이미지의 컬러는 RGB 값을 포함한, 다양한 타입의 정보를 포함한다. 일 실시예에서, 프로세서는 RGB 값의 하위 2 비트를 평가한다(320). 그 후 프로세서(210)는 RGB 값의 하위 2 비트에 적어도 부분적으로 기초하여 햅틱 효과의 크기를 결정한다(430).

다른 실시예에서, 프로세서(210)는 재생될 햅틱 효과의 타입 및 이용될 크기, 또는 이용될 변조/질감을 결정하기 위해 그림의 컬러 및 폭을 이용한다.

다른 실시예에서, 디스플레이(120)의 영역은 특수한 화소 패턴 또는 격자를 포함할 수 있다. 카메라(260)가 프로세서(210)에 이미지 신호를 제공할 때, 프로세서(210)는 디스플레이(120)의 해당 영역에 "질감"에 대응하는, 또는 유저가 스타일러스를 그 영역을 통과하게 하는 속도에 의해 변조되는, 햅틱 효과를 생성할 수 있다. 또 다른 실시예에서, 하나 이상의 버튼이 디스플레이(120)상에 표시될 때, 햅틱 정보는 아이콘/버튼의 가장자리들에 표시되는 컬러 패턴들로 인코딩될 수 있다.

어떤 실시예들에서, 디바이스(100)에는 사람의 눈에 보이지 않는 적외선(Infrared: "IR") 광이 구비될 수 있고, 적외선 광은, 스타일러스(140)가 디바이스(100)에 가까이 있을 때 스타일러스(140)가 IR 광을 검출할 수 있도록 위치된다. 어떤 실시예들에서, IR 광은 다이오드 LED를 이용하여 발광되지만, 다른 실시예들에서는, 광 발생기가 시각적 디스플레이에 내장될 수 있다.

이러한 실시예에서, 디바이스(100)는 Wi-Fi 또는 블루투스 등과 같은 어떤 다른 수단을 통해 디바이스(100)로부터의 추가 정보를 스타일러스(140)에 전달할 수 있다. 이러한 일 실시예에서, 펄스 폭 변조(pulse-width modulated: "PWM") 신호는 햅틱 효과의 생성에 관련된 정보를 인코딩한다. 이러한 일 실시예에서, 햅틱 정보의 광학적 통신을 구축하기 위해 완전한 프로토콜이 이용된다. 예를 들어, PWM 신호는 5 msec 기간에 걸쳐 16 비트 수의 햅틱 효과의 크기 및 질감을 지시할 수 있는데, 이것은 실시예들에서 정확하게 햅틱 정보를 출력하기에 충분히 빈번한 리프레시 레이트(refresh rate)이다. 펜 내에서 햅틱 루프는 훨씬 더 빨라질 것임을 유의한다. 어떤 실시예들에서는, PWM을 생성하기 위해 이용되는 클록 및 송신될 정보의 양에 의존하여 더 복잡한 정보가 스타일러스(140)에 송신된다.

추가의 예시적인 실시예들

예시적인 일 실시예에서, 유저는 터치 스크린 태블릿 디바이스(100)상의 "활성" 스타일러스(140)를 이용한다. 스타일러스(140)는 용량성 팁뿐만 아니라 카메라(260), 프로세서(210), 및 햅틱 액추에이터(250)를 포함한다. 특수 광학 시그너처(말단 유저에게 인식되기 어려울 수 있거나 또는 보이지 않을 수 있는 디스플레이(120) 표면 내의 "격자(grid)" 또는 "패턴")는 스타일러스(140)가 종이 표면상에 필기하고 있을 때, 또는 메뉴로부터 필기 구현을 선택하기 위해 이용되고 있을 때를 지시할 수 있을 것이다. 카메라(250)는 또한 스타일러스의 각도에 대한 위치 정보를 검출할 수 있고, 이 정보는 그에 따라 스타일러스에서 재생되는 햅틱 효과를 변조하기 위해 이용될 수 있다. 카메라는 스타일러스가 표면을 터치하고 있을 때, 또는 터치하고 있지 않을 때, 표면상의 스타일러스의 속도에 대한 정보를 검출할 수 있고, 이러한 모든 정보는 유저에게 표시되는 햅틱 효과를 변조하기 위해 이용될 수 있다. 다양한 실시예들에서, 선택한 필기구(상이한 진동 주파수 또는 효과 강도), 선택한 종이 타입, 및 필기 속도에 의존하여 유저에게 상이한 햅틱 효과가 제공될 수 있다.

다른 실시예에서, 유저는 스타일러스(140)를 이용하여 터치 스크린(100)상에서 게임을 플레이한다. 스타일러스(140)는 용량성 팁뿐만 아니라 카메라(260), 프로세서(210), 및 햅틱 출력 디바이스(240)를 포함한다. 유저가 디스플레이(120)상에서 게임 엘리먼트들을 터치할 때, 디바이스의 카메라(260)는 그 엘리먼트들을 배경으로부터 구별하는 광학 정보, 예를 들어, RGB 컬러, 강도, 또는 화소 밀도를 검출한다. 스타일러스(140)는 이 광학 정보를 처리하고, 액추에이터를 통해 햅틱 효과를 제공한다. 일 예에서, 유저는 게임을 플레이하는데 스타일러스(140)를 이용하여 거품을 터뜨릴 수 있고 "터뜨림"을 스타일러스(140)에서 진동 촉각 효과로서 느낄 수 있다.

또 다른 실시예에서, 유저들의 그룹은 그룹 스케치를 그리고 주석을 달기 위해 여러 개의 스타일러스를 이용하여 큰 탁상 디스플레이를 조작하고 있다. 탁상 디스플레이 디바이스는 터치 감지를 위해 FTIR(Frustrated Total Internal Reflection: 불완전 전반사)을 이용한다. 각각의 유저는 디스플레이 표면에 의해 생성된 광학 정보를 판독할 수 있고, 유저의 손에 햅틱 효과를 렌더링할 수 있는 스타일러스를 갖고 있다. 각각의 유저는 동시에 필기할 수 있고, 독립적으로 효과를 느낄 수 있다. 이러한 구성은, 독립적인 디바이스들의 개수로 인해 무선 프로토콜을 이용하여 달성하기가 매우 어려울 것이다.

다른 실시예에서, 유저는 인체의 제스처 및 움직임을 검출하기 위한 IR 광 어레이를 이용하는 게임 컨트롤러 또는 홈 엔터테인먼트 시스템을 이용하여 플레이하고 있다. 유저는 광 어레이를 검출할 수 있는 광학 센서를 갖는 컨트롤러 유닛을 쥐고 있을 수 있다. 검출된 전환 또는 신호 변조는 상이한 햅틱 효과를 재생하기 위해 컨트롤러를 트리거할 수 있다. 시스템은 디바이스가 스크린상의 게임 엘리먼트를 가리킬 때를 검출할 수 있고, 효과를 재생할 수 있다. 예를 들어, 유저는 가상 방망이가 가상 야구 공과 접촉할 때 효과를 느낄 수 있다.

햅틱 파라미터들의 광학적 전송의 이점

송신 신호를 수신하고, 유저에게 햅틱 정보를 표시하기 위해 무선 통신 프로토콜(예를 들어, 블루투스, Wi-Fi 접속, 또는 NFC)을 이용하는 디바이스의 상호작용에 있어서, 지연은 중요한 유용성 문제일 수 있다. 예를 들어, 터치 스크린 모바일 디바이스와 함께 스타일러스를 작동시키는 유저는, 디바이스가 햅틱 정보를 표시하기 위해 스타일러스에 무선으로 정보를 전송하는 경우에, 유용성 및 성능에 부정적으로 영향을 주는 지연을 겪을 수 있다.

햅틱 효과의 광학적 전송을 이용하는 한가지 이점은, 햅틱 효과 재생을 개시하기 위해 햅틱 디바이스가 무선 통신 신호에 대한 의존성 없이 실시간으로 개시 신호를 수신할 수 있다는 것이다. 이것은 또한 블루투스 또는 Wi-Fi 네트워킹 접속의 경우에 번거로울 수 있는, 통신 프로토콜을 확립하기 위해 핸드셰이크(handshakes)를 통해 디바이스를 "페어링(pairing)"하는 유용성 부담을 줄일 수 있다. 또한, 광학적으로 검출하는 햅틱 디바이스는 제3자 디바이스로서 판매될 수 있고, 인식할 수 있는 광학적 시그너처를 표시하는 임의의 디스플레이 표면 또는 디바이스와 함께 이용될 수 있다.

일 실시예에서, 애플리케이션 개발자는 광학적 검출식 햅틱 스타일러스 또는 다른 디바이스를 갖고 있는 유저에게 향상된 경험을 제공할 특수 광학 정보를 그들의 애플리케이션에 내장시킬 수 있다. 또한, 미리 정해진 광학 시그너처들은 애플리케이션 개발자뿐만 아니라 그것들을 판독하고 햅틱 효과를 렌더링하기 위한 기술에 가용적으로 만들어질 수 있다.

본 명세서에서 설명된 어떤 디바이스들은 호스트 디바이스에서 햅틱 효과를 트리거링하는 신호를 개시함으로써 현실감을 만들고 유용성을 향상시키는 방법으로 햅틱 출력을 제공할 수 있다. 그 후 호스트 디바이스는 특수한 소프트웨어 애플리케이션들에 대한 햅틱 요건들을 처리하고, 해당 햅틱 신호/정보를 생성하고, 그것을 햅틱 디바이스에 전송하여, 햅틱 피드백을 제공하는 디바이스에 대한 요구를 줄인다. 이 프로세싱은 프로세싱 사이클, 메모리, 및 시간을 필요로 하기 때문에, 무선 통신 채널의 제한된 스루풋(throughput)에 의해 부가되는 임의의 제한들을 극복할 수 있는 디바이스들이 유리할 것이다. 또한, 광학 정보로서 표시되는, 그래픽 유저 인터페이스로부터 직접 햅틱 파라미터들을 판독하는 햅틱 디바이스는 무선 통신 채널에 내재한 지연을 거의 실질적으로 제거할 수 있음으로써, 햅틱 효과가 유저에게 거의 즉각적으로 느껴지게 생성되도록 허용한다.

개괄

본 명세서에서는 다양한 머신들에서 실행하는 소프트웨어의 관점에서 방법들 및 시스템들이 설명되지만, 방법들 및 시스템들은 또한 다양한 방법들을 실행하도록 특수하게 구성된 필드-프로그래머블 게이트 어레이(field-programmable gate array: FPGA) 등과 같은 특수하게 구성된 하드웨어로서도 구현될 수 있다. 예를 들어, 실시예들은 디지털 전자 회로로 구현될 수 있거나, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이것들의 조합으로 구현될 수 있다. 일 실시예에서, 디바이스는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 랜덤 액세스 메모리(random access memory: RAM) 등과 같은 컴퓨터 판독가능 매체를 포함한다. 프로세서는 이미지를 편집하기 위한 하나 이상의 컴퓨터 프로그램을 실행하는 등, 메모리에 저장된 컴퓨터 실행가능한 프로그램 명령들을 실행한다. 이러한 프로세서들은 마이크로 프로세서, 디지털 신호 프로세서(digital signal processor: DSP), 주문형 집적 회로(application-specific integrated circuit: ASIC), 필드 프로그래머블 게이트 어레이들(field programmable gate arrays: FPGAs), 및 상태 머신들을 포함할 수 있다. 그러한 프로세서들은 또한 PLCs 등과 같은 프로그래머블 전자 디바이스들, 프로그래머블 인터럽트 컨트롤러들(programmable interrupt controllers: PICs), 프로그래머블 로직 디바이스들(programmable logic devices: PLDs), 프로그래머블 판독 전용 메모리들(programmable read-only memories: PROMs), 전기적 프로그래머블 판독 전용 메모리들(electronically programmable read-only memories: EPROMs 또는 EEPROMs), 또는 기타 유사한 디바이스들을 더 포함할 수 있다.

이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서가, 본 명세서에서 프로세서에 의해 수행되는 것으로서 또는 보조되는 것으로서 설명된, 단계들을 수행하게 할 수 있는 명령들을 저장할 수 있는 예를 들어, 컴퓨터 판독가능 매체인, 매체를 포함할 수 있거나, 또는 그 매체와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은 전자적, 광학적, 자기적 저장 디바이스, 또는 컴퓨터 판독가능 명령들을, 웹 서버의 프로세서 등과 같은 프로세서에 제공할 수 있는 기타 저장 디바이스를 포함할 수 있지만 그것들에 한정되지 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 컨피그된 프로세서, 모든 광학 매체, 모든 자기 테이프, 또는 기타 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 기타 매체를 포함하지만 그것들에 한정되지 않는다. 설명한 프로세서 및 프로세싱은 하나 이상의 구조로 될 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 설명된 하나 이상의 방법(또는 방법들 중 일부분들)을 수행하기 위한 코드를 포함할 수 있다.

본 발명의 일부 실시예들의 전술한 설명은 예시 및 설명의 목적으로만 제시되었고, 개시된 정확한 형태들로 본 발명을 제한하거나 또는 그러한 형태만으로 배타적이도록 의도되지 않는다. 본 발명의 사상 및 범위를 벗어나지 않고 그것들의 많은 변형들 및 개조들이 당업자에게 명백할 것이다.

본 명세서에서 "일 실시예" 또는 "실시예"에 대한 참조는 실시예와 관련하여 설명된 특정 특징, 구조, 동작, 또는 기타 특성이 본 발명의 적어도 하나의 구현에 포함될 수 있다는 것을 의미한다. 본 발명은 그렇게 설명된 특정 실시예들에 한정되지 않는다. 본 명세서의 여러 개소에서 "일 실시예에서" 또는 "실시예에서"라는 어구의 출현은 반드시 동일한 실시예를 지칭할 필요는 없다. "일 실시예"와 관련하여 본 명세서에서 설명된 임의의 특정 특징, 구조, 동작, 또는 기타 특성은 임의의 다른 실시예에 대해 설명된 다른 특징들, 구조들, 동작들, 또는 기타 특성들과 조합될 수 있다.

Claims

방법으로서,
이미지 센서로부터 이미지 신호를 수신하는 단계 -이미지 신호는 이미지와 연관됨-,
이미지 신호에 적어도 부분적으로 기초하여 햅틱 신호를 결정하는 단계,
햅틱 신호에 적어도 부분적으로 기초하여 햅틱 효과 신호를 생성하는 단계, 및
햅틱 출력 디바이스에 햅틱 효과 신호를 송신하는 단계를 포함하는, 방법.
제1항에 있어서,
햅틱 신호를 결정하는 단계는 이미지의 컬러를 평가하는 단계를 포함하는, 방법.
제2항에 있어서,
햅틱 신호를 결정하는 단계는 햅틱 효과의 크기를 결정하기 위해 각각의 RGB 값의 하위 2 비트를 평가하는 단계를 포함하는, 방법.
제1항에 있어서,
햅틱 효과를 결정하는 단계는 그림의 폭을 결정하는 단계를 포함하는, 방법.
제1항에 있어서,
햅틱 효과를 결정하는 단계는 그림의 폭을 결정하는 단계를 포함하는, 방법.
제1항에 있어서,
햅틱 효과를 결정하는 단계는 햅틱 효과의 크기, 변조, 또는 질감 중 하나 이상을 결정하는 단계를 포함하는, 방법.
제1항에 있어서,
센서로부터 센서 신호를 수신하는 단계를 더 포함하고,
햅틱 효과를 결정하는 단계는 센서 신호에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계를 더 포함하는, 방법.
제7항에 있어서,
센서는 가속도계, 자이로스코프, 나침반, 바이오센서, 또는 압력 센서 중 하나를 포함하는, 방법.
제7항에 있어서,
센서 신호는 유저의 필기 속도와 연관되는, 방법.
제7항에 있어서,
센서 신호는 유저에 의해 센서에 인가되는 압력과 연관되는, 방법.
제7항에 있어서,
센서 신호는 이미지에 인가되는 압력과 연관되는, 방법.
제1항에 있어서,
이미지 센서 및 햅틱 출력 디바이스는 스타일러스 내에 포함되는, 방법.
제1항에 있어서,
햅틱 출력 디바이스는 진동촉각 액추에이터, 변형 액추에이터, 또는 서멀 액추에이터(thermal actuator) 중 하나 이상을 포함하는, 방법.
비-일시적 컴퓨터 판독가능 매체로서,
이미지 센서로부터 이미지 신호를 수신하고 -이미지 신호는 이미지와 연관됨-,
이미지 신호에 적어도 부분적으로 기초하여 햅틱 신호를 결정하고,
햅틱 신호에 적어도 부분적으로 기초하여 햅틱 효과 신호를 생성하고,
햅틱 출력 디바이스에 햅틱 효과 신호를 송신하기 위한 실행가능한 프로그램 코드를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
제14항에 있어서,
햅틱 신호를 결정하기 위한 프로그램 코드는 이미지의 컬러를 평가하는 것을 포함하는, 비-일시적 컴퓨터 판독가능 매체.
입력 디바이스로서,
이미지와 연관된 이미지 신호를 생성하도록 구성된 이미지 센서,
햅틱 효과 신호를 수신하고 햅틱 효과 신호에 적어도 부분적으로 기초하여 햅틱 효과를 생성하도록 구성된 햅틱 출력 디바이스, 및
이미지 센서 및 햅틱 출력 디바이스와 통신하는 프로세서를 포함하고, 상기 프로세서는,
이미지 신호에 적어도 부분적으로 기초하여 햅틱 신호를 결정하고,
햅틱 신호에 적어도 부분적으로 기초하여 햅틱 효과 신호를 생성하고,
햅틱 출력 디바이스에 햅틱 효과 신호를 송신하도록 구성되는, 입력 디바이스.
제16항에 있어서,
광 방출기로부터의 광을 검출하기 위한 수신기를 더 포함하는, 입력 디바이스.
제17항에 있어서,
광 방출기는 IR 방출기를 포함하는, 입력 디바이스.
제16항에 있어서,
센서를 더 포함하고,
상기 센서는 가속도계, 자이로스코프, 나침반, 바이오센서, 또는 압력 센서 중 하나를 포함하는, 입력 디바이스.
제16항에 있어서,
햅틱 출력 디바이스는 진동촉각 액추에이터, 변형 액추에이터, 또는 서멀 액추에이터 중 하나 이상을 포함하는, 입력 디바이스.
제16항에 있어서,
입력 디바이스는 스타일러스를 포함하는, 입력 디바이스.