Nothing Special   »   [go: up one dir, main page]

KR20140069124A - 증강 현실 시스템용 터치프리 인터페이스 - Google Patents

증강 현실 시스템용 터치프리 인터페이스 Download PDF

Info

Publication number
KR20140069124A
KR20140069124A KR1020147009451A KR20147009451A KR20140069124A KR 20140069124 A KR20140069124 A KR 20140069124A KR 1020147009451 A KR1020147009451 A KR 1020147009451A KR 20147009451 A KR20147009451 A KR 20147009451A KR 20140069124 A KR20140069124 A KR 20140069124A
Authority
KR
South Korea
Prior art keywords
augmented reality
gesture
designated
icon
image
Prior art date
Application number
KR1020147009451A
Other languages
English (en)
Inventor
이타이 카츠
암논 센펠드
Original Assignee
아이사이트 모빌 테크놀로지 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이사이트 모빌 테크놀로지 엘티디 filed Critical 아이사이트 모빌 테크놀로지 엘티디
Publication of KR20140069124A publication Critical patent/KR20140069124A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

증강 현실용 방법 및 시스템이 개시된다. 하나 이상의 이미지 센서로부터 현실 세계 장면의 이미지를 얻는다. 하나 이상의 상태 센서로부터 이미지 센서의 배향 및/또는 위치를 얻는다. 현실 세계 장면의 이미지 내에서 지정 포인팅 물체가 지정 제스처를 수행하고 있는 곳에서 현실 세계 물체가 식별되고, 식별된 물체와 연관된 데이터가 뷰잉 장치 상에 디스플레이된다. 발명은 프로그램이 컴퓨터 상에서 구동될 때 발명의 모든 방법 단계를 수행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램을 또한 제공한다.

Description

증강 현실 시스템용 터치프리 인터페이스{TOUCH FREE INTERFACE FOR AUGMENTED REALITY SYSTEMS}
본 발명은 증강 현실 방법 및 시스템에 관한 것이다.
선행 기술
현재 개시되는 주제에 대한 배경 기술로 관련있다고 여겨지는 문헌은 다음과 같다:
미국특허 제7,126,558호,
미국공개특허출원 제20110221669호,
미국공개특허출원 제20110270522호,
영국특허 제2465280(A)호,
미국공개특허출원 제20120068913호,
미국특허 제7,215,322호,
국제특허공보 제2005/091125호,
국제특허공보 제2010/086866호,
Crowley, J.L. et al, Finger Tracking as an Input Device for Augmented Reality. Published in the proceedings of the International Workshop on Face and Gesture Recognition, Zurich, Switzerland, June 1995.
여기서 위 문헌들의 확인이 현재 개시되는 주제의 특허성과 어떤 방식으로도 관련있다는 의미로 해석되어서는 안된다.
배경 기술
증강 현실은 텍스트, 사운드, 비디오, 그래픽, 또는 GPS 데이터와 같은 컴퓨터-발생 정보에 의해 증강되는 요소들을 갖는 물리적, 현실 세계 환경의 라이브, 직접, 또는 간접 뷰를 위한 용어다. 환경 및 그 대상에 관한 인공 정보가 현실 세계 뷰 또는 이미지 상에 오버레이된다. 증강은 통상적으로 환경 요소와 의미론적 맥락에서 그리고 실시간으로 이루어져서, 사용자의 주변 현실 세계에 관한 정보가 대화형으로 그리고 디지털 방식으로 조작가능해진다.
증강 현실용 메인 하드웨어 구성요소는 프로세서, 디스플레이, 센서, 및 입력 장치다. 이러한 요소들, 구체적으로, CPU, 디스플레이, 카메라, 및 MEMS 센서, 가령, 가속계, GPS, 또는, 고상 나침반이 스마트폰과 같은 휴대 장치 내에 존재하여, 증강 현실 플랫폼으로 기능하게 한다.
증강 현실 시스템은 엔터테인먼트, 항법, 조립 프로세스, 유지관리, 의료 과정에서 응용예를 발견하고 있다. 휴대형 증강 현실 시스템은 여행 및 관광 분야에서 응용예를 또한 발견하고 있으며, 보고 있는 현실 세계 대상 및 장소 대상의 정보를 제시하는데 증강 현실이 사용된다.
통상적으로 고글 또는 헬멧의 형태로 헤드-장착 디스플레이를 이용하여 몰입형 증강 현실 경험이 제공된다. 헤드-장착 디스플레이를 이용하여, 현실 세계 장면의 사용자 뷰 상에 가상 시각 물체가 중첩된다. 헤드 장착 디스플레이는 시스템으로 하여금 가상 정보를 물리 세계와 정렬시키게 하는 센서를 이용하여 트래킹된다. 트래킹은 예를 들어, 디지털 카메라 또는 다른 광학 센서, 가속계, GPS, 자이로스코프, 고상 나침반, RFID, 및 무선 센서와 같은 기술들 중 하나 이상을 이용하여 수행될 수 있다. 헤드-장착 디스플레이는 광학적 시-스루 또는 비디오 시-스루다. 광학적 시-스루는 디지털 정보 및 이미지를 사용자 망막에 직접적으로 또는 간접적으로 디스플레이하는 투명 LCD 프로젝터와, 사용자 눈에 반사될 오버레이 정보, 그리고, 렌즈를 통해 이미지를 통과시킬 하프-실버 미러와 같은 해법을 이용한다.
본 발명은 증강 현실용 대화형 시스템을 제공한다. 발명의 대화형 시스템은 예를 들어, 한 쌍의 안경 또는 고글에 통합될 수 있는 착용식 데이터 디스플레이 장치를 포함한다. 착용식 디스플레이는 위치 추출 기능(가령, GPS) 및 나침반을 제공하는 장치를 갖는다. 시스템은 사용자가 보고 있는 현실 세계 장면을 증강시키도록, 컴퓨터-발생 데이터를 사용자가 선택할 수 있게 하는 사용자 인터페이스를 또한 포함한다. 카메라는 보여지는 현실 세계 장면의 이미지를 획득한다. 프로세서는 사용자의 손가락과 같이 카메라에 의해 캡처되는 현실 세계 장면의 이미지에서 지정 물체를 검출한다. 사용자가 장면 내 일 요소를 가리킬 때, 이 요소에 관한 데이터가 데이터 디스플레이 장치 상에 디스플레이되고, 장면의 사용자 뷰 상에 중첩된다.
따라서, 발명의 일 형태에서, 발명은 아래의 단계로 구성되는 증강 현실 방법을 제공한다.
(a) 하나 이상의 이미지 센서로부터 현실 세계 장면의 이미지를 획득하는 단계와,
(b) 상기 이미지 센서의 배향 및 위치 데이터 중 하나 이상을 하나 이상의 상태 센서로부터 획득하는 단계와,
(c) 지정 포인팅 물체가 지정 제스처를 수행하고 있을 때 현실 세계 물체를 이미지 센서에 의해 획득한 현실 세계 장면의 이미지에서 식별하는 단계 - 제스처 검출 모듈은 상기 하나 이상의 상태 센서에 의해 제공되는 데이터를 이용함 - 와,
(d) 뷰잉 장치의 디스플레이 상에서, 식별된 물체와 연관된 데이터를 제시하는 단계.
이미지 센서는 카메라 광 센서, IR 센서, 초음파 센서, 근접 센서, CMOS 이미지 센서, 단파 적외선(SWIR) 이미지 센서 또는 반사율 센서, IR 센서, 초음파 센서, 근접 센서, 및 반사 센서로부터 선택될 수 있다. 상태 센서 중 하나 이상은 광학 센서, 가속계, GPS, 자이로스코프, 나침반, 자기 센서, 지구 자기장에 대한 장치의 방향을 표시하는 센서, 중력 센서, 및 RFID 검출기로부터 선택될 수 있다.
식별된 물체와 연관된 데이터는 현실 세계 물체와 연관된 데이터를 메모리에서 검색함으로써 획득될 수 있다.
지정 물체는 손, 손의 일부분, 양 손, 양 손의 일부분, 손가락, 손가락의 일부분, 또는 손끝일 수 있다.
뷰잉 장치는 사용자가 착용하도록 구성될 수 있고, 예를 들어, 안경 또는 고글일 수 있다. 뷰잉 장치가 이동 통신 장치에 통합될 수 있다.
이미지 센서에 의해 획득되는 현실 세계 장면의 이미지에서 식별하는 단계는, 이미지 센서에 의해 획득되는 이미지 내 지정 물체의 위치(X, Y)를 결정하는 단계와, 센서에 의해 제공되는 디스플레이 장치의 위치 및 배향 중 하나 이상을 결정하는 단계를 포함할 수 있다.
발명의 방법은 외부 장치 또는 웹사이트와 통신하는 단계를 더 포함할 수 있다. 통신은 외부 장치 상에서 구동되는 애플리케이션, 외부 장치 상에서 구동되는 서비스, 외부 장치 상에서 구동되는 운영 체제, 외부 장치 상에서 구동되는 프로세스, 외부 장치의 프로세서 상에서 구동되는 하나 이상의 애플리케이션, 외부 장치의 백그라운드에서 구동되는 소프트웨어 프로그램, 또는 외부 장치 상에서 구동되는 하나 이상의 서비스에 메시지를 전송하는 단계를 포함할 수 있다. 방법은 이동 통신 장치 상에서 구동되는 애플리케이션, 이동 통신 장치 상에서 구동되는 서비스, 이동 통신 장치 상에서 구동되는 운영 체제, 이동 통신 장치 상에서 구동되는 프로세스, 이동 통신 장치의 프로세서 상에서 구동되는 하나 이상의 애플리케이션, 이동 통신 장치의 백그라운드에서 구동되는 소프트웨어 프로그램, 또는, 이동 통신 장치 상에서 구동되는 하나 이상의 서비스에 메시지를 전송하는 단계를 더 포함할 수 있다.
방법은 외부 장치 상에서 구동되는 애플리케이션, 외부 장치 상에서 구동되는 서비스, 외부 장치 상에서 구동되는 운영 체제, 외부 장치 상에서 구동되는 프로세스, 외부 장치의 프로세서 상에서 구동되는 하나 이상의 애플리케이션, 외부 장치의 백그라운드에서 구동되는 소프트웨어 프로그램으로부터, 또는, 외부 장치 상에서 구동되는 하나 이상의 서비스에, 이미지에서 식별되는 현실 세계 물체에 관한 데이터를 요청하는 메시지를 전송하는 단계를 더 포함할 수 있다. 방법은, 이동 통신 장치 상에서 구동되는 애플리케이션, 이동 통신 장치 상에서 구동되는 서비스, 이동 통신 장치 상에서 구동되는 운영 체제, 이동 통신 장치 상에서 구동되는 프로세스, 이동 통신 장치의 프로세서 상에서 구동되는 하나 이상의 애플리케이션, 이동 통신 장치의 백그라운드에서 구동되는 소프트웨어 프로그램으로부터, 또는, 이동 통신 장치 상에서 구동되는 하나 이상의 서비스에, 이미지에서 식별되는 현실 세계 물체에 관한 데이터를 요청하는 메시지를 전송하는 단계를 더 포함할 수 있다.
외부 장치 또는 웹사이트에 대한 메시지가 명령일 수 있다. 상기 명령은 외부 장치 또는 웹사이트 상에서의 애플리케이션 구동 명령, 외부 장치 또는 웹사이트 상에서 구동되는 애플리케이션의 중지 명령, 외부 장치 또는 웹사이트 상에서 구동되는 서비스의 활성화 명령, 외부 장치 또는 웹사이트 상에서 구동되는 서비스의 중지 명령, 또는, 이미지 내에서 식별되는 현실 세계 물체에 관한 데이터의 전송 명령으로부터 선택될 수 있다.
이동 통신 장치에 대한 메시지가 명령일 수 있다. 상기 명령은, 이동 통신 장치 상에서 애플리케이션의 구동 명령, 이동 통신 장치 또는 웹사이트 상에서 구동되는 애플리케이션의 중지 명령, 이동 통신 장치 상에서 구동되는 서비스의 활성화 명령, 이동 통신 장치 상에서 구동되는 서비스의 중지 명령, 또는, 이미지에서 식별되는 현실 세계 물체에 관한 데이터의 전송 명령으로부터 선택될 수 있다.
방법은, 이미지 내에서 식별되는 현실 세계 물체에 관한 데이터를 외부 장치 또는 웹사이트로부터 수신하고, 수신한 데이터를 사용자에게 제시하는 단계를 더 포함할 수 있다.
외부 장치 또는 웹사이트와의 통신이 통신 네트워크를 통해 이루어질 수 있다.
외부 장치로의 명령은 외부 장치의 디스플레이 장치 상에 디스플레이되는 가상 키의 누름, 선택 커루셀의 회전, 지정 소프트웨어 애플리케이션을 외부 장치 상에서 구동하는 데스크탑 간의 스위칭, 외부 장치 상의 애플리케이션 끄기, 스피커 온/오프, 음량 고/저 처리, 외부 장치 잠금, 외부 장치 잠금해제, IPTV 채널 간 또는 미디어 플레이어에서 다른 트랙으로 건너뜀, 항법 애플리케이션의 제어, 호 개시, 호 종료, 통지 제시, 통지 디스플레이, 사진 또는 음악 앨범 갤러리로 항법, 웹-페이지 스크롤링, 이메일 제시, 하나 이상의 문서 또는 맵 제시, 게임 액션 제어, 맵에서 포인팅, 맵 또는 이미지 상에서 줌-인/줌-아웃, 이미지 상에서의 그리기(painting), 디스플레이 장치로부터 활성화아이콘 쥐기/활성화아이콘 당기기, 활성화가능 아이콘 회전, 외부 장치 상에서 터치 명령 에뮬레이션, 하나 이상의 멀티-터치 명령 수행, 터치 제스처 명령, 타이핑, 일시정지 또는 재생을 위해 디스플레이되는 비디오를 클릭, 비디오로부터 일 프레임의 태그 또는 캡처, 수신 메시지 제시, 수신 호 응답, 수신 호 묵음처리 또는 거절, 수신 리마인더 오픈, 네트워크 커뮤니티 서비스로부터 수신되는 통지 제시, 외부 장치에 의해 발생되는 통지 제시, 지정 애플리케이션 오픈, 외부 장치를 잠김 모드로부터 변경 및 최근 호 애플리케이션 오픈, 외부 장치를 잠김 모드로부터 변경 및 온라인 서비스 애플리케이션 또는 브라우저 오픈, 외부 장치를 잠김 모드로부터 변경 및 이메일 애플리케이션 오픈, 외부 장치를 잠김 모드로부터 변경 및 온라인 서비스 애플리케이션 또는 브라우저 오픈, 장치를 잠김 모드로부터 변경 및 캘린더 애플리케이션 오픈, 장치를 잠김 모드로부터 변경 및 리마인더 애플리케이션 오픈, 장치를 잠김 모드로부터 변경 및 사용자에 의해, 장치 제조사에 의해, 또는 서비스 운영자에 의해, 세팅된 지정 애플리케이션 오픈, 활성화가능 아이콘 활성화, 메뉴 아이템 선택, 디스플레이 상의 포인터 이동, 터치프리 마우스 조작, 디스플레이 상에서 활성화가능 아이콘 활성화, 및 디스플레이 상에서 정보 변경으로부터 선택될 수 있다.
발명의 방법에서, 지정 제스처는, 스와이핑 모션, 두 손가락의 핀칭 모션, 포인팅, 좌에서 우로 제스처, 우에서 좌로 제스처, 상향 제스처, 하향 제스처, 푸싱 제스처, 주먹 폄, 주먹 펴서 이미지 센서를 향해 이동, 두드림 제스처(tapping gesture), 웨이브 제스처(waving gesture), 박수 제스처(clapping gesture), 리버스 클래핑 제스처(reverse clapping gesture), 주먹 쥠, 핀칭 제스처, 리버스 핀칭 제스처(reverse pinching gesture), 손가락 벌림 제스처, 손가락 벌림의 리버스 제스처, 활성화가능 아이콘의 포인팅, 지정 시간동안 활성화가능 아이콘 홀딩, 활성화가능 아이콘의 클릭, 활성화가능 아이콘의 더블 클릭, 활성화가능 아이콘을 우측으로부터 클릭, 활성화가능 아이콘을 좌측으로부터 클릭, 활성화가능 아이콘을 아래로부터 클릭, 활성화가능 아이콘을 위로부터 클릭, 활성화가능 아이콘 또는 물체를 쥠, 우측으로부터 활성화가능 아이콘 또는 물체를 향해 제스처, 좌측으로부터 활성화가능 아이콘을 향해 제스처, 좌측으로부터 활성화가능 아이콘을 통과, 물체를 밀어냄, 활성화가능 아이콘 위에서 박수 또는 웨이브, 블래스트 제스처 수행, 두드림 제스처 수행, 활성화가능 아이콘에 걸쳐 시계 방향 또는 반시계 방향 제스처 수행, 아이콘 슬라이딩, 두 손가락으로 활성화가능 아이콘을 쥠, 그리고, 클릭-드래그-릴리스 모션 수행으로부터 선택될 수 있다.
식별된 물체와 연관된 데이터가 시각적 데이터, 오디오 데이터, 또는 텍스트 데이터 중 하나 이상일 수 있다. 식별된 물체와 연관된 데이터가 활성화가능 아이콘일 수 있다. 상기 활성화가능 아이콘이 2차원적 또는 3차원적 활성화가능 아이콘일 수 있다. 상기 활성화가능 아이콘이 사용자 전방의 3차원 공간 내에서 사용자에 의해 인식될 수 있다.
발명의 방법은 2개 이상의 작동 모드를 가질 수 있다. 방법은 지정 제스처의 식별시 시스템의 작동 모드를 변경하는 단계를 더 포함할 수 있다. 작동 모드는 식별되는 제스처, 제스처 검출 모듈 상에서 활성인 알고리즘, 이미지 센서에 의해 캡처되는 이미지의 해상도, 이미지 센서에 의해 캡처되는 이미지의 캡처 속도, 제시될 데이터의 세부사항 레벨, 사용자에게 제시될 활성화가능 아이콘, 제시될 데이터의 소스, 제시될 데이터의 세부사항 레벨, 디스플레이 장치 상에 디스플레이될 활성화가능 아이콘, 활성 온라인 서비스중 하나 이상에 의해 명시될 수 있다.
작동 모드는 지정 제스처 식별시 이미지 센서에 의한 이미지의 비디오 레코딩 모드, 지정 제스처 식별시 마이크로폰에 의한 사운드 레코딩 모드로서, 다른 지정 제스처 식별시 레코딩을 중지하는 모드, 비디오 또는 사운드의 연속적 모니터링 모드로서, 지정 제스처 검출 후 제스처 식별 이전 지정 시간으로부터 시작되는 비디오 또는 사운드 레코딩 및 다른 지정 제스처의 식별 후 레코딩 중지하는 모드, 지정 제스처 식별시 캡처되는 실시간 레코딩 비디오에 대한 태그 추가 모드, 카메라에 의해 캡처되는 시야 내 영역을 선택하고, 시야 내 다른 위치에 영역을 복사하고 리사이징하는 모드, 이미지 내 선택 영역 상에 트래커를 이용하는 모드로서, 디스플레이 장치 상에 리사이징된 그리고 재위치설정된 선택 영역을 제시하는 모드, 지정 제스처의 식별시 이미지를 캡처하는 모드로부터 선택되는 모드일 수 있다.
발명의 방법은, 식별되는 현실 세계 물체를 추적하는, 그리고, 식별된 현실 세계 물체에 대해 고정 위치에서 디스플레이되는 연관 시각적 데이터를 유지시키는, 트래킹 알고리즘을 구동하는 단계를 더 포함할 수 있다.
디스플레이 장치가 지정 임계치 아래의 모션 레벨을 가질 때만 물체 인지 모듈을 이용하여 지정 물체를 검출할 수 있다.
방법은 지정 제스처가 식별될 때 피드백을 제공하는 단계를 더 포함할 수 있다. 피드백은 예를 들어, 시각적 피드백, 오디오 피드백, 촉각 피드백, 지향성 진동, 에어 촉각 피드백, 또는 초음파 피드백일 수 있다. 피드백은 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘, 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘의 색상 변화, 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘의 크기 변화, 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘의 애니메이션, 표시광, 디스플레이 장치 상에서 이동하는 인디케이터, 디스플레이 장치 상에 나타나는 모든 다른 이미지 또는 비디오 위에 나타나는 디스플레이 장치 상에서 이동하는 인디케이터, 또는, 지정 물체 주위의 글로우 등장으로부터 선택되는 형태의 시각적 표시일 수 있다. 상기 피드백은 진동, 지향성 진동 표시, 에어 촉각 표시일 수 있다.
발명의 방법에서, 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘의 일부분이 지정 물체가 위치하는 곳에 제시되지 않고, 지정 물체가 활성화가능 아이콘의 위에 나타나게 될 수 있다.
디스플레이 장치가 지정 임계치보다 높은 활동 레벨을 가질 때 활성화가능 아이콘이 디스플레이 장치로부터 제거될 수 있다. 예를 들어, 디스플레이 장치가 지정 임계치 미만의 모션 레벨을 가질 때, 디스플레이 장치 상에 제거된 아이콘이 디스플레이될 수 있다.
방법은 지정 액션이 수행될 때 상기 방법이 활성 모드에 놓일 수 있다. 상기 지정 액션은 장치에 가속계가 제공될 경우 장치를 두드리거나 장치를 터치함으로써, 활성화가능 아이콘이 위치하는 것으로 인식되는 3D 공간 내에서 제스처를 수행함으로써, 일 위치로부터 다른 위치로 부동 활성화가능 아이콘을 슬라이딩시키거나, 또는, 활성화가능 아이콘이 제시되는 위치에서 웨이브 제스처를 수행하거나, 또는, 활성화가능 아이콘을 가리키는 것과 같이, 활성화가능 아이콘에 상관된 지정 제스처를 사용자가 수행하면서, 활성화가능 아이콘이 디스플레이될 때, 시야에 걸쳐 우측에서 좌측으로 손을 움직이는 것과 같이 지정 제스처를 수행하거나, 카메라 시야 내에서 손을 펴거나 또는 카메라 시야의 우하귀를 가리키는 것과 같이, 소정의 위치 또는 포즈로 지정 물체를 사용자가 배치할 때, 아래로부터 시야 내로 지정 물체를 가져오는 것으로부터 선택될 수 있다. 또 다른 예로서, 장치에 근접 센서 또는 초음파 센서가 제공될 경우 사용자가 장치 근처로 손을 지나게 할 때 시스템은 활성 모드에 진입할 수 있다. 시스템은 음성 명령에 의해, 또는, 사용자가 시야 내 특정 위치에 지정 물체를 배치할 때, 또한 활성화될 수 있다. 또 다른 예로서, 사용자의 시야 내 현실 세계와 연관된 관련 데이터가 있을 때만 시스템이 활성 모드에 진입할 수 있으며, 시스템은 제시될 관련 데이터가 존재할 때 또는 상호작용 준비가 되어 있을 때 사용자에게 이를 표시할 수 있다.
발명의 방법은 현실 세계 물체와 상관된 데이터의 메모리 내 존재를 표시하는 현실 세계 물체에 대한 시각적 표시를 부착하는 단계를 더 포함할 수 있다. 상기 시각적 표시는 현실 세계 물체의 이미지 상에 오버레이될 수 있다. 상기 시각적 표시는 활성화가능 아이콘, 사진, 및 봉투(envelope) 이미지로부터 선택될 수 있다.
발명의 방법은, 지정 물체의 하나 이상의 물리적 파라미터를 레코딩하기 위해 교정 프로세스(calibration process)를 더 포함할 수 있다. 상기 교정 프로세스는 3차원 공간 내 서로 다른 위치에서 활성화가능 아이콘을 디스플레이 상에 제시하는 단계와, 지정 물체의 물리적 특징을 추출하는 단계와, 지정 물체의 치수 및 카메라로부터의 거리 간의 상관도를 결정하는 단계로부터 선택되는 하나 이상의 단계를 더 포함할 수 있다. 상기 교정 프로세스는 사용자의 시선에 의해 형성되는 측부를 갖는, 그리고, 이미지 센서들 중 하나에서, 그리고 지정 물체의 끝단에서, 정점을 갖는, 삼각형을 구성하는 단계를 포함할 수 있다. 상기 교정에서 추출되는 정보에 기초하여 카메라로부터 현실 세계 물체의 거리를 추정할 수 있다.
방법은 텍스트 타이핑을 가능하게 하는 키보드를 디스플레이하는 단계를 더 포함할 수 있다. 지정 제스처는 이미지 센서의 시야의 지정 영역 내에서 펼쳐진 양손 제시, 펼쳐진 한 손 제시, 우측에서 좌측으로의 제스처와 같이, 지정 제스처의 검출시 키보드가 디스플레이될 수 있다. 3차원 타이핑 영역에서 클릭 제스처를 수행하면 또는 지정된 활성화가능 아이콘이 위치한다고 인식되는 경우에, 키보드가 디스플레이될 수 있다.
발명은 발명의 방법을 실행하도록 구성되는 장치를 포함하는 시스템을 또한 제공한다.
발명은 프로그램이 컴퓨터 상에서 구동될 때 발명의 모든 방법 단계를 수행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램을 또한 제공한다. 컴퓨터 프로그램은 컴퓨터 판독가능 매체 상에서 구현될 수 있다.
사용자는 통상적으로 안경을 통해 디스플레이되는 시각적 이미지와 상호작용할 수 있다. 따라서, 사용자의 현실 뷰는 디스플레이 상에 제시되는 정보에 의해 증강된다. 증강 현실 장치의 한가지 문제점은 사용자가 장치와 상호작용하고 장치를 제어하는 방식에 있다. 기존의 제어 장치, 가령, 마우스, 트랙볼, 또는 터치스크린은 증강 현실 장치와 함께 이용하기가 어렵다. 증강 현실 시스템에서 제스처 인지 이용은 사용자, 따라서, 증강 현실 장치가 실시간으로 연속적으로 움직이기 때문에, 사소한 것이 아니다.
따라서, 발명은 다음의 단계를 포함하는 방법을 프로세서로 하여금 수행하게 하는 명령어를 지닌 컴퓨터 프로그램 프로덕트를 제공한다.
증강 현실 장치와 연관된 이미지 센서로부터 환경과 연관된 이미지 정보를 수신하는 단계와,
장치와 연관된 디스플레이 상에 환경과 관련된 증강 정보를 디스플레이하는 단계와,
장치의 사용자에 의해 손 제스처를 이미지 정보에서 인지하는 단계와,
손 제스처를 증강 정보와 상관시키는 단계와,
상관 결과에 기초하여 디스플레이되는 증강 정보를 변경하는 단계.
증강 정보는 환경 내 물체와 연관된 정보, 환경과 연관된 이미지, 그리고 환경과 연관된 거리 중 적어도 하나를 포함할 수 있다.
상관은 사용자 손의 적어도 일부분의 3차원 공간 내 기준 위치를 결정하는 단계와, 기준 위치와 연관된 증강 정보 및 이미지 정보 데이터 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
변경은 기준 위치와 연관된 데이터의 함수로 증강 정보를 변경하는 과정을 포함할 수 있다.
발명을 이해하고 발명이 어떻게 실제로 실시될 수 있는지를 살펴보기 위해, 다음과 같은 첨부 도면을 참조하여 단지 비제한적인 예로서 실시예들이 이제 설명될 것이다:
도 1은 발명의 일 실시예에 따른 증강 현실용 시스템을 개략적으로 도시하고,
도 2는 발명의 일 실시예에 따른 한 세트의 고글을 포함하는 증강 현실 시스템을 도시하며,
도 3은 사용 중 도 2의 시스템을 도시하고,
도 4a는 도 2의 시스템의 디스플레이 장치 상에 디스플레이되는 현실 세계 장면의 뷰를 도시하며, 도 4b는 뷰 내 물체를 가리키는 사용자 손가락과 함께 도 4a의 뷰를 도시하고, 도 4c는 도 4b의 뷰 상에 사용자 손가락이 오버레이된 상태로 물체에 관한 비주얼 텍스트를 도시하며,
도 5는 발명의 다른 실시예에 따른 통신 장치와 일체형인 증강 현실 시스템을 도시하고,
도 6a는 영역의 윤곽을 "드로잉"(drawing)하는 제스처를 사용자가 수행함으로써 이미지 센서의 시야 내 영역을 지정하고, 도 6b는 제 2 제스처를 수행함으로써 선택된 영역을 리사이징하며, 도 6c는 리사이징 후 영역을 보여주고, 도 6d는 시야 내 새 위치로 드래그된 후 영역을 도시한다.
도 1은 발명의 일 실시예에 따른 증강 현실 시스템(30)을 개략적으로 도시한다. 시스템(30)은 현실 세계 장면의 이미지를 획득하도록 구성되는 하나 이상의 이미지 센서를 포함한다. 카메라 광 센서, IR 센서, 초음파 센서, 근접 센서, CMOS 이미지 센서, 단파 적외선(SWIR) 이미지 센서, 또는 반사율 센서와 같이, 임의의 타입의 이미지 센서가 발명의 시스템에 사용될 수 있다.
시스템(30)은 현실 세계 장면과, 현실 세계 장면 상에 중첩된 이미지, 비디오, 또는 오디오 신호와 같은 외부 정보를 모두 사용자가 볼 수 있게 하는 하나 이상의 디스플레이 장치(35)를 갖는 뷰잉 장치(34)를 더 포함한다. 사용자로 하여금 현실 세계 장면 및 디스플레이되는 데이터를 모두 볼 수 있게 하는 임의의 타입의 디스플레이 장치가 발명의 시스템에 사용될 수 있다.
디스플레이 장치(35)는 예를 들어, 사용자에게 시각적 물질을 제시하기 위한 표면과, 사용자의 망막에 직접 이미지를 디스플레이하는 하나 이상의 프로젝터를 포함할 수 있다. 프로세서(36)는 예를 들어, 광학 센서, 가속계, GPS, 자이로스코프, 고상 나침반, 자기 센서, 중력 센서, 및 RFID 검출기 중 하나 이상일 수 있는 하나 이상의 상태 센서(38)로부터 시스템(30)의 배향 및/또는 위치 데이터를 획득한다. 프로세서(36)는 예를 들어, 전용 프로세서, 범용 프로세서, DSP(디지털 신호 프로세서) 프로세서, GPU(그래픽 프로세싱 유닛) 프로세서, 전용 하드웨어, 또는 외부 장치 상에서 구동될 수 있는 프로세서일 수 있다. 시스템(30)은 뷰잉 장치(34), 또는, 시스템(30)의 다른 구성요소를 통합하는 스마트폰과 같은 다른 장치(37) 상에서 소프트웨어로 구동될 수 있다.
프로세서(36)는 지정된 물체가 가리키고 있는 하나 이상의 현실 세계 물체를, 이미지 센서(32)에 의해 획득한 현실 세계 장면의 이미지 내에서 식별하는 제스처 검출 모듈(40)을 구동시키도록 구성된다. 현실 세계 물체는 예를 들어, 건물 또는 광고판일 수 있다. 현실 세계 물체의 결정은 상태 센서(38)에 의해 제공되는 데이터를 이용한다. 지정된 물체는 사용자의 손가락, 또는, 첨필 또는 원드(wand)와 같은 다른 물체일 수 있다.
프로세서(36)가 지정된 물체가 가리키고 있는 현실 세계 물체를 식별하였을 대, 프로세서는 식별된 물체와 연관된 데이터를 메모리(42)에서 검색한다. 데이터는 예를 들어, 시각적 데이터, 오디오 데이터, 또는 텍스트 데이터일 수 있다. 시각적 데이터는 식별된 물체에 관한 텍스트 정보일 수 있다. 프로세서는 그 후 뷰잉 장치의 디스플레이 상에 식별된 물체와 연관된 시각적 데이터를 디스플레이한다. 메모리(42)는 시스템(30)과 통합될 수 있고, 또는, 원격으로 위치하여, 인터넷과 같은 통신망을 통해 액세스될 수 있다. 따라서 시스템(30)은 시스템(30)으로 하여금 네트워크, 무선 네트워크, 셀룰러 네트워크, 외부 장치, 예를 들어, 다른 장치(30), 이동 전화, 태블릿, 또는 인터넷 웹사이트, 등과 통신할 수 있게 하는 통신 모듈(39)을 포함할 수 있다.
데이터는 활성화가능 아이콘일 수 있다. 여기서 사용되는 "활성화가능 아이콘"이라는 용어는 사용자 상호작용에 의해 활성화되는 하나 이상의 메시지 또는 명령과 연관된 이미지 또는 비디오 내 일 영역을 의미한다. 활성화가능 아이콘은 예를 들어, 가상 버튼, 가상 키보드 또는 아이콘과 같이 2차원적 또는 3차원적 시각적 요소일 수 있다. 활성화가능 아이콘은 시스템에 의해 인지가능한 하나 이상의 지정 물체를 이용하여 활성화되며, 지정 물체는 예를 들어, 첨필, 사용자의 손 또는 손의 일부분, 하나 이상의 손가락 또는 손끝과 같은 손가락의 일부분 중 하나 이상일 수 있다. 지정 물체에 의한 활성화가능 아이콘 중 하나 이상의 활성화는 운영 체제, 하나 이상의 서비스, 하나 이상의 애플리케이션, 하나 이상의 장치, 하나 이상의 원격 애플리케이션, 하나 이상의 원격 서비스, 또는 하나 이상의 원격 장치로 어드레싱되는 메시지 또는 명령의 발생으로 이어진다.
프로세서(36)는 메시지 또는 명령을 장치(37)에 또는 원격 장치에, 장치 상에서 구동되는 애플리케이션에, 장치(37) 상에서 구동되는 서비스에, 장치 상에서 구동되는 운영 체제에, 장치 상에서 구동되는 프로세스에, 백그라운드에서 구동되는 소프트웨어 프로그램에, 그리고 장치 상에 구동되는 하나 이상의 서비스에, 또는 장치 내에서 구동되는 프로세스에, 전송하도록 구성될 수 있다. 메시지 또는 명령은 인터넷 또는 셀룰러 전화 통신망과 같은 통신망을 통해 전송될 수 있다. 명령은 예를 들어, 장치 상의 애플리케이션 구동 명령, 장치 상에서 구동되는 애플리케이션 중지 명령, 장치 상에서 구동되는 서비스 활성화 명령, 장치 상에서 구동되는 서비스 중지 명령, 프로세서(36)에 의해 이미지에서 식별되는 현실 세계 물체에 관한 데이터를 프로세서(36)에 전송하는 명령일 수 있다.
명령은 장치의 디스플레이 장치 상에 디스플레이되는 가상 키의 누름, 선택 커루셀의 회전, 지정된 소프트웨어 애플리케이션을 장치 상에서 구동하는 데스크탑 간의 스위칭, 장치 상의 애플리케이션 끄기, 스피커 온/오프, 음량 고/저 처리, 장치 잠금, 장치 잠금해제, IPTV 채널 간 또는 미디어 플레이어에서 다른 트랙으로 건너뜀, 항법 애플리케이션의 제어, 호 개시, 호 종료, 통지 제시, 통지 디스플레이, 사진 또는 음악 앨범 갤러리로 항법, 웹-페이지 스크롤링, 이메일 제시, 하나 이상의 문서 또는 맵 제시, 게임 액션 제어, 대화형 비디오 또는 애니메이션 콘텐츠 제어, 비디오 또는 이미지 편집, 맵에서 포인팅, 맵 또는 이미지 상에서 줌-인/줌-아웃, 이미지 상에서의 그리기(painting), 디스플레이 장치로부터 멀리 활성화가능 아이콘 밀어내기, 디스플레이 장치로부터 활성화아이콘 쥐기/활성화아이콘 당기기, 활성화가능 아이콘 회전, 장치 상에서 터치 명령 에뮬레이션, 하나 이상의 멀티-터치 명령 수행, 터치 제스처 명령, 타이핑, 일시정지 또는 재생을 위해 디스플레이되는 비디오를 클릭, 비디오 또는 음악 명령 편집, 비디오로부터 일 프레임의 태그 또는 캡처, 비디오로부터 비디오의 서브세트 절취, 수신 메시지 제시, 수신 호 응답, 수신 호 묵음처리 또는 거절, 수신 리마인더 오픈, 네트워크 커뮤니티 서비스로부터 수신되는 통지 제시, 장치에 의해 발생되는 통지 제시, 잠김 모드로부터 장치 변경 및 최근 호 애플리케이션 활성화, 잠김 모드로부터 장치 변경 및 온라인서비스 애플리케이션 또는 브라우저 활성화, 잠김 모드로부터 장치 변경 및 이메일 애플리케이션 활성화, 잠김 모드로부터 장치 변경 및 온라인 서비스 애플리케이션 또는 브라우저 활성화, 잠김 모드로부터 장치 변경 및 캘린더 애플리케이션 활성화, 잠김 모드로부터 장치 변경 및 리마인더 애플리케이션 활성화, 잠김 모드로부터 장치 변경 및 사용자에 의해, 장치 제조사에 의해, 또는 서비스 운영자에 의해, 세팅된 지정 애플리케이션 활성화, 활성화가능 아이콘 활성화, 메뉴 아이템 선택, 디스플레이 상의 포인터 이동, 터치프리 마우스 조작, 디스플레이 상에서 활성화가능 아이콘 활성화, 및 디스플레이 상에서 정보 변경과 같은, 장치(37)로의 명령일 수 있다.
예를 들어 원격 장치에 어드레싱될 수 있는 메시지를 송신하는데 통신 모듈이 사용될 수 있다. 메시지는 예를 들어, 원격 장치에 대한 명령일 수 있다. 명령은 예를 들어, 원격 장치 상에서 애플리케이션 구동 명령, 원격 장치 상에서 구동되는 애플리케이션 중지 명령, 원격 장치 상에서 구동되는 서비스의 활성화 명령, 원격 장치 상에서 구동되는 서비스의 중지 명령일 수 있다. 메시지는 원격 장치의 디스플레이 장치 상에 디스플레이되는 가상 키의 누름, 선택 커루셀의 회전, 지정된 소프트웨어 애플리케이션을 원격 장치 상에서 구동하는 데스크탑 간의 스위칭, 원격 장치 상의 애플리케이션 끄기, 스피커 온/오프, 음량 고/저 처리, 원격 장치 잠금, 원격 장치 잠금해제, IPTV 채널 간 또는 미디어 플레이어에서 다른 트랙으로 건너뜀, 항법 애플리케이션의 제어, 호 개시, 호 종료, 통지 제시, 통지 디스플레이, 사진 또는 음악 앨범 갤러리로 항법, 웹-페이지 스크롤링, 이메일 제시, 하나 이상의 문서 또는 맵 제시, 게임 액션 제어, 맵에서 포인팅, 맵 또는 이미지 상에서 줌-인/줌-아웃, 이미지 상에서의 그리기(painting), 디스플레이 장치로부터 활성화아이콘 쥐기/활성화아이콘 당기기, 활성화가능 아이콘 회전, 원격 장치 상에서 터치 명령 에뮬레이션, 하나 이상의 멀티-터치 명령 수행, 터치 제스처 명령, 타이핑, 일시정지 또는 재생을 위해 디스플레이되는 비디오를 클릭, 비디오로부터 일 프레임의 태그 또는 캡처, 수신 메시지 제시, 수신 호 응답, 수신 호 묵음처리 또는 거절, 수신 리마인더 오픈, 네트워크 커뮤니티 서비스로부터 수신되는 통지 제시, 원격 장치에 의해 발생되는 통지 제시, 지정 애플리케이션 오픈, 잠김 모드로부터 원격 장치 변경 및 최근 호 애플리케이션 오픈, 잠김 모드로부터 원격 장치 변경 및 온라인서비스 애플리케이션 또는 브라우저 오픈, 잠김 모드로부터 원격 장치 변경 및 이메일 애플리케이션 오픈, 잠김 모드로부터 원격 장치 변경 및 온라인 서비스 애플리케이션 또는 브라우저 오픈, 잠김 모드로부터 장치 변경 및 캘린더 애플리케이션 오픈, 잠김 모드로부터 장치 변경 및 리마인더 애플리케이션 오픈, 잠김 모드로부터 장치 변경 및 사용자에 의해, 장치 제조사에 의해, 또는 서비스 운영자에 의해, 세팅된 지정 애플리케이션 오픈, 활성화가능 아이콘 활성화, 메뉴 아이템 선택, 디스플레이 상의 포인터 이동, 터치프리 마우스 조작, 디스플레이 상에서 활성화가능 아이콘 활성화, 및 디스플레이 상에서 정보 변경일 수 있다.
메시지는 식별된 물체와 연관된 데이터에 대한 요청일 수 있다. 데이터 요청 메시지는 장치 상에서 구동되는 애플리케이션, 서비스, 프로세스, 스레드, 또는 외부 장치 상에서 또는 온라인 서비스로부터 구동되는 애플리케이션, 서비스, 프로세스, 스레드에게로 어드레싱될 수 있다.
CPU 리소스를 감소시키기 위해, 인지 물체를 검출하기 위한 물체 인지 모듈은 헤드셋이 상태 센서에 의해 획득되는 정보부터 결정되는 것처럼 현저하게 이동하고 있지 않을 때만 이용될 수 있다.
도 2는 발명의 일 실시예에 따른 증강 현실 시스템(2)을 도시한다. 시스템(2)은 예를 들어, 한 쌍의 안경 또는 고글(4)과 같은 대화형 헤드-장착 아이피스일 수 있는, 휴대형 뷰잉 장치를 포함한다. 고글(4)에는 현실 세계 장면(8)의 이미지를 획득하는 이미지 센서(6)가 제공된다. 장면(8)은 예를 들어, 하나 이상의 건물(12) 또는 하나 이상의 광고판(14)을 포함할 수 있다. 고글(4)을 사용자가 착용할 때 사용자 눈 전방에 위치하도록 고글(4)에 위치하는 하나 이상의 디스플레이 장치(10)가 고글에 제공될 수 있다. 디스플레이 장치(10)는, 예를 들어, 외부 데이터 제시와 함께, 현실 세계 장면을 보여주는 투명 LCD 스크린과 같은 시-스루 장치일 수 있다. 시스템(2)은 이미지 센서(6)에 의해 캡처되는 이미지에서, 사용자에게 디스플레이되는 활성화가능 아이콘 또는 현실 세계 장면(8) 내 현실 세계 물체를 가리키는 또는 제스처를 수행하는 지정 물체를 식별하도록 구성되는 프로세서(16)를 더 포함한다. 시스템(2)은 GPS, 가속계, 자이로스코프, 고상 나침반, 자기 센서 또는 중력 센서와 같은 하나 이상의 위치 및/또는 배향 센서(23)를 또한 포함한다.
도 5는 발명의 다른 실시예에 따른 증강 현실 시스템(40)을 도시한다. 시스템(40)은 이동 전화, 태블릿, 또는 카메라와 같은 이동 통신 장치(42) 내에 통합된다. 통신 장치(42)의 전면도가 도 5a에 도시되며, 통신 장치(42)의 후면도가 도 5b에 도시된다. 통신 장치(42)는, 현실 세계 장면의 이미지를 획득하는, 디스플레이 장치에 대향된, 후방 표면 상에 이미지 센서(46)를 구비한다. 통신 장치(42)는 카메라(46)가 현실 세계 장면을 향해 지향될 때 사용자 전방에 위치하는 전방 표면 상에 디스플레이 장치(48)를 또한 구비한다. 디스플레이 장치(48)는 예를 들어, 아래 설명되는 바와 같이, 시각적 데이터와 함께, 카메라(6)에 의해 획득되는 현실 세계 장면의 이미지를 사용자에게 제시하는 LCD 스크린일 수 있다. 시스템(40)은 통신 장치(42)의 카메라(46), 디스플레이 장치(48), 및 프로세서를 이용하고, 도 5에 보이지 않는 통신 장치(42)의 하우징 내에 수용되는 하나 이상의 상태 센서를 더 포함한다. 프로세서는 현실 세계 장면 내 현실 세계 물체를 가리키는 지정 물체를, 이미지 센서(46)에 의해 캡처되는 이미지 내에서 식별하도록 구성된다.
도 3a는 사용 중인 시스템(2)을 도시한다. 고글(4)은 사용자(18)의 눈에 걸쳐 배치된다. 사용자는 현실 세계 장면(8)을 면하고, 따라서, 장면(8)을 본다. 도 3b는 사용 중인 시스템(40)을 도시한다. 사용자(18)는 통신 장치(42)를 보지하며, 이미지 센서(46)는 현실 세계 장면(8)과 면하고, 디스플레이 장치(48)는 사용자와 면한다.
시스템(2 또는 40)은 다음의 프로세스를 실행한다. 시스템(2 또는 40)을 이용할 때 사용자가 보는 장면(8)의 뷰가 디스플레이 장치 상에 디스플레이된다. 도 4a는 현실 세계 장면(8)을 보기 위해 시스템(2 또는 40)을 이용할 때 사용자가 보는 장면(8)의 뷰를 보여준다. 프로세서(36)는 이미지 센서에 의해 캡처되는 이미지 내 지정 물체가 현실 세계 장면(8) 내 현실 세계 물체와 관련하여 지정 제스처를 수행하고 있을 때를 결정하기 위해 이미지 센서에 의해 획득되는 이미지를 분석한다.
고글(4) 또는 통신 장치(42)와 같은 뷰잉 장치(34)는 걷는 동안 나타나는 사용자 움직임으로 인해, 또는 사용자 머리 또는 손의 움직임으로 인해, 사용시 종종 안정하지 못하다. 이 상황에서, 센서(38)에 의해 발생되는 신호에 노이즈가 있고 정확하지 않을 수 있다. 이러한 경우에, 기계 비전 모듈(37)은 현실 세계 물체를 추적하는 트래킹 알고리즘을 구동하고, 식별되는 현실 세계 물체에 대한 고정 위치에서 디스플레이되는 관련 시각적 데이터를 유지관리한다.
현실 세계 물체에 관한 또는 활성화가능 아이콘에 관한 지정 제스처는, 예를 들어, 현실 세계 물체 또는 활성화가능 아이콘을 가리키는 것, 또는, 현실 세계 물체 또는 활성화가능 아이콘에 걸쳐 스와이핑 제스처를 수행하는 것일 수 있다. 활성화가능 아이콘은 현실 세계 물체와 상관될 수도 있고, 상관되지 않을 수도 있다.
다른 가능한 지정 제스처는 스와이핑 모션, 검지 및 엄지 또는 중지 및 엄지를 이용한 것과 같은, 두 손가락의 핀칭 모션, 포인팅, 좌에서 우로 제스처, 우에서 좌로 제스처, 상향 제스처, 하향 제스처, 푸싱 제스처, 주먹 폄, 주먹 폄 및 이미지 센서를 향해 이동, 두드림 제스처(tapping gesture), 웨이브 제스처(waving gesture), 박수 제스처(clapping gesture), 리버스 클래핑 제스처(reverse clapping gesture), 주먹 쥠, 핀칭 제스처, 리버스 핀칭 제스처(reverse pinching gesture), 손가락 벌림 제스처, 손가락 벌림의 리버스 제스처, 활성화가능 아이콘 또는 현실 세계 물체의 포인팅, 지정 시간동안 활성화가능 아이콘 또는 현실 세계 물체의 포인팅, 활성화가능 아이콘 또는 현실 세계 물체의 클릭, 활성화가능 아이콘 또는 현실 세계 물체의 더블 클릭, 활성화가능 아이콘 또는 현실 세계 물체를 검지로 클릭, 활성화가능 아이콘 또는 현실 세계 물체를 중지로 클릭, 활성화가능 아이콘 또는 현실 세계 물체를 아래쪽으로부터 클릭, 활성화가능 아이콘을 위로부터 클릭, 활성화가능 아이콘 또는 현실 세계 물체를 쥠, 우측으로부터 활성화가능 아이콘 또는 현실 세계 물체를 향해 제스처, 좌측으로부터 활성화가능 아이콘 또는 현실 세계 물체를 향해 제스처, 좌측으로부터 활성화가능 아이콘 또는 현실 세계 물체를 통과, 활성화가능 아이콘 또는 현실 세계 물체를 밀어냄, 활성화가능 아이콘 또는 현실 세계 물체 위에서 박수 또는 웨이브, 블래스트 제스처 수행, 두드림 제스처 수행, 활성화가능 아이콘 또는 현실 세계 물체에 걸쳐 시계 방향 또는 반시계 방향 제스처 수행, 활성화가능 아이콘 또는 현실 세계 물체를 슬라이딩, 두 손가락으로 활성화가능 아이콘 또는 현실 세계 물체를 쥠, 또는, 클릭-드래그-릴리스 모션 수행을 포함한다.
지정 물체는 예를 들어, 사용자 손, 사용자 손의 일부분, 예를 들어, 사용자 손가락(20) 또는 서로 다른 2개의 손의 일부분일 수 있다. 대안으로서, 지정 물체는 첨필 또는 원드일 수 있다.
프로세서(16)가 지정 제스처가 수행되었다고 결정할 때, 이는 시각적 피드백, 오디오 피드백, 촉각 피드백, 지향성 진동, 에어 촉각 피드백, 또는 초음파 피드백과 같은 임의의 타입의 피드백에 의해 사용자에게 표시될 수 있다. 피드백은 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘으로부터 선택되는 형태의 시각적 표시, 디스플레이 장치 상의 활성화가능 아이콘의 변화, 디스플레이 장치 상의 활성화가능 아이콘의 색상 변화, 활성화가능 아이콘의 크기 변화, 활성화가능 아이콘의 애니메이션, 표시등, 디스플레이 장치 상에서 움직이는 인디케이터, 진동, 지향성 진동 표시, 에어 촉각 표시일 수 있다. 이러한 표시는 디스플레이 장치 상에 나타나는 모든 다른 이미지 또는 비디오 위에 나타나는 디스플레이 장치 상에서 움직이는 인디케이터에 의해 제공될 수 있다. 시각적 피드백은 시스템이 지정 물체를 인지할 때 지정 물체 주위로 글로우(glow)의 등장일 수 있다.
제스처 검출 모듈(40)은 이미지 센서(32)에 의해 획득되는 이미지에서 지정 물체를 검출하기 위해 임의의 방법을 이용할 수 있다. 예를 들어, 제스처 검출 모듈은 국제특허공보 제2005/091125호 또는 제2010/086866호에 개시된 바와 같이 지정 물체를 검출할 수 있다.
프로세서(16)는 장면(8) 내 어느 현실 세계 물체를 향해 지정 제스처가 수행되었는지를 결정하도록 또한 구성된다. 따라서, 예를 들어, 도 4b에 도시되는 이미지에서, 프로세서(16)는 이미지 내 손끝 위치(X, Y)를 결정함으로써, 그리고 이 정보를 상태 센서(21)로부터의 고글(4) 배향 및 사용자 위치와 조합함으로써, 사용자 손가락(20)이 광고판(14)을 가리키고 있음을 결정할 것이다. 따라서, 현실 세계 물체는 사용자가 선택하고자 하는 현실 세계 물체를 표시하기 위해 커서 또는 다른 마커를 사용자에게 제시하지 않으면서 프로세서에 의해 식별되어, 상호작용의 개시를 위해 현실 세계 물체를 직접 가리킬 수 있다. 프로세서(16)는 사용자 손가락(20)이 가리키고 있는 현실 세계 물체에 관한 데이터를, 메모리에서 검색하며, 메모리는 프로세서(16)와 일체형일 수도 있고 원격으로 위치할 수도 있다. 예를 들어, 메모리는 광고판(14)에 관한 데이터를 저장하고 있을 수 있다. 인터넷 사이트와 같은 원격 서버로부터 추출되는, 또는 메모리에 저장되어 있는, 데이터를 갖는 장면(8) 내 물체를 사용자가 가리킬 때, 데이터가 장면의 사용자 뷰 상에 중첩되어 디스플레이 장치(10) 상에 디스플레이된다. 따라서, 사용자가 광고판(14)(도 3)을 가리킬 때, 광고판(14)에 관한 시각적 데이터(21)가 도 4c에 도시되는 바와 같이 디스플레이 장치(10) 상에 디스플레이된다.
시각적 데이터(21)는 정적일 수도 있고, 애니메이션화될 수도 있다. 시각적 데이터(21)는 하나 이상의 활성화가능 아이콘을 포함할 수 있어서, 지정 제스처가 활성화가능 아이콘 중 하나에 대해 수행될 때, 활성화가능 아이콘과 연관된 명령이 실행되게 된다. 명령은, 예를 들어, 선택된 현실 세계 물체에 관한 구체적 시각적 물질을 디스플레이하는 것일 수 있다. 활성화가능 아이콘은 2D 또는 3D 활성화가능 아이콘일 수 있고, 사용자가 자신 앞의 아이콘을 3차원 공간에서 인지할 수 있도록 사용자에게 제시될 수 있다. 여기서 사용되는 바와 같이, 활성화가능 아이콘은 사용자 상호작용에 의해 활성화되는 하나 이상의 메시지와 연관된 2D 또는 3D 이미지 또는 비디오 내의 일 영역이다. 활성화가능 아이콘은 예를 들어, 2D 또는 3D 시각적 요소일 수 있다. 활성화가능 아이콘은 가상 버튼, 가상 키보드, 2D 또는 3D 활성화가능 아이콘, 이미지 또는 비디오 내의 일 영역일 수 있다. 활성화가능 아이콘은 2개 이상의 활성화가능 아이콘들로 구성될 수 있다.
프로세서는, 지정 물체가 활성화가능 아이콘의 위에 나타나도록, 지정 물체가 위치하는 곳에서 활성화가능 아이콘의 일부분을 제시하지 않을 수 있다. 활성화가능 아이콘은 사용자가 자신의 머리를 신속히 움직일 때 제거될 수 있고, 머리 모션이 지정 모션 속도 미만일 때 다시 나타날 수 있다.
시스템(2)은 2개 이상의 작동 모드를 가질 수 있고, 프로세서(16)는 작동 모드들 간을 변경하기 위해 하나 이상의 지정 제스처를 식별하도록 구성될 수 있다. 따라서, 시스템을 온 또는 오프시키고, 제시될 시각적 물질의 공급원을 선택하며, 제시될 시각적 물질의 세부사항의 레벨을 선택하고, 사용자에게 제시될 버튼 또는 활성화가능 아이콘을 선택하며, 또는, 선택되는 현실 세계 물체에 관련된 온라인 서비스와 같은 온라인 서비스를 활성화시키는데 제스처가 사용될 수 있다. 또 다른 작동 모드는 지정 제스처의 식별시 이미지 센서에 의한 이미지의 비디오 레코딩 및/또는 마이크로폰에 의한 사운드의 레코딩을 개시하고, 다른 제스처의 식별시 레코딩을 중지하는 것일 수 있다. 또 다른 작동 모드는 비디오 및/또는 사운드를 연속적으로 모니터링하면서도, 지정 제스처 검출 이후에는, 비디오/사운드가 제스처 식별 이전에 지정 시간으로부터 시작하여 레코딩되고, 다른 지정 제스처의 식별 후 레코딩이 중지된다. 지정 시간은 사용자에 의해 규정될 수 있다. 또 다른 작동 모드는 지정 제스처의 식별시 캡처된 그리고 실시간 레코딩된 비디오에서 태그를 더하는 것이다.
또 다른 작동 모드가 도 6에 도시된다. 도 6a에서, 이미지 센서에 의해 캡처되는 시야(60) 내의 영역(62)은 도 6에서 점선으로 도시되는, 영역의 윤곽을 "그리는" 제스처를 사용자가 수행함으로써 지정된다. 선택된 영역은 그 후, 선택된 영역이 요망 크기(도 6c의 67)를 얻을 때까지, 도 6b에서 화살표(66)로 표시되는 바와 같이 두 손가락을 분리하거나 두 손가락을 모으는 등과 같은 제 2 제스처를 사용자가 수행함으로써 리사이징된다. 그 후 영역(67)은 시야 내 새 위치로 드래그되고(도 6d), 시야 내의 새 위치로 복사된다. 그 후 시스템은 선택된 영역 상에서 트래커를 이용하고, 선택된 영역은 디스플레이 장치 상에서 사용자에 의해 세팅된 리사이징 및 위치재설정된 영역에 식시간으로 제시된다.
CPU 리소스를 최소화시키기 위해, 디스플레이되는 각각의 활성화가능 아이콘에 대하여, 디스플레이되는 활성화가능 아이콘 주위로 디스플레이되는 활성화가능 아이콘 경계 박스를 지닌 이미지들의 영역이 고정 상태를 유지하면서 형성될 수 있다. 시스템은 이러한 경계 박스를 추적하기 위해 기계 비전 트래커를 이용한다. 일 비디오 시퀀스의 2개의 프레임 내 경계 박스의 위치들 간의 거리는 비디오 트래커를 이용하여 결정되는 지정 거리보다 작고, 경계 박스의 트래커의 상관 값은 지정 값 미만이다.
활성화가능 아이콘만이 활성화될 수 있고 현실 세계 물체는 활성화될 수 없는 작동 모드에 시스템이 있을 때, 각각의 디스플레이되는 활성화가능 아이콘의 인근에서만 지정 물체를 검색함으로써 CPU가 최소화될 수 있다. CPU를 더 감소시키기 위해, 정적 센서에 의해 획득되는 정보로부터 결정되듯이 헤드셋이 상당한 속도로 이동하고 있지 않을 때만 물체 인지 모듈이 활성화되고, 항시 활성화되지는 않는다.
사용자는 마지막 세달에서 발생되는 데이터 또는 등록된 소스로부터의 디스플레이 데이터, 또는 필터 "친구들에 의해서만 발생된 디스플레이 데이터"와 같이, 현실 세계 물체와 상관된 데이터의 차단을 위해 서로 다른 필터를 선택할 수 있다.
시스템(2)은 시스템(2)에 의한 전력 소모가 최소이도록 스탠바이 모드를 가질 수 있다. 활성 모드는 예를 들어, 시스템에 의해 분석되고 있는 초당 비디오 프레임 수, 분석되고 있는 이미지 해상도, 분석되고 있는 이미지 프레임의 해당 부분, 및/또는 활성화되는 검출 모듈에서, 스탠바이 모드와 다를 수 있다. 시스템(2)은 임의의 기술에 의해 활성 모드로 놓일 수 있다. 예를 들어, 장치에 가속계가 제공될 경우 장치를 두드리거나 장치를 터치함으로써 활성화가능 아이콘이 위치하는 것으로 인식되는 3D 공간 내에서 제스처를 수행함으로써, 일 위치로부터 다른 위치로 부동 활성화가능 아이콘을 슬라이딩시키거나, 활성화가능 아이콘이 제시되는 위치에서 웨이브 제스처를 수행하거나, 또는, 활성화가능 아이콘을 가리키는 것과 같이, 활성화가능 아이콘에 상관된 지정 제스처를 사용자가 수행하면서 활성화가능 아이콘이 디스플레이될 때, 시야에 걸쳐 우측에서 좌측으로 손을 움직이는 것과 같이 지정 제스처를 수행하거나, 카메라 시야 내에서 손을 펴거나 또는 카메라 시야의 우하귀를 가리키는 것과 같이, 소정의 위치 또는 포즈로 지정 물체를 사용자가 배치할 때, 아래로부터 시야 내로 지정 물체를 가져옴으로써 시스템(2)이 활성 모드로 놓여질 수 있다. 또 다른 예로서, 장치에 근접 센서 또는 초음파 센서가 제공될 경우 사용자가 장치 근처로 손을 지나게 할 때 시스템은 활성 모드에 진입할 수 있다. 시스템은 음성 명령에 의해, 또는, 사용자가 시야 내 특정 위치에 지정 물체를 배치할 때, 또한 활성화될 수 있다. 또 다른 예로서, 사용자의 시야 내 현실 세계와 연관된 관련 데이터가 있을 때만 시스템이 활성 모드에 진입할 수 있다. 시스템은 제시될 관련 데이터가 존재할 때 또는 상호작용 준비가 되어 있을 때 사용자에게 이를 표시할 수 있다.
현실 세계 물체와 상관된 데이터가 존재함을 사용자에게 알리기 위해 시각적 표시가 현실 세계 물체에 부착될 수 있다.
관련 데이터의 표시는 "i"의 활성화가능 아이콘과 같은 작은 시각적 표시가 정보를 표시할 수 있기 때문에 현실 세계 물체의 위치 상에 오버레이될 수 있고, "포토"(photos) 로고는 현실 세계 물체에 관련된 이미지를 표시할 수 있으며, "엔빌롭"의 로고는 친구 또는 현실 세계 물체와 상관된 다른 사용자가 남긴 메시지를 표시한다. 사용자가 활성화가능 아이콘에 상관된 지정 제스처를 수행할 때, 데이터가 제시될 수 있다.
시스템(2)은 프로세서(2)에 의해 카메라에 의해 얻은 이미지에서 지정 물체의 식별을 촉진시키도록 지정 물체의 다양한 물리적 파라미터를 레코딩하기 위해 교정 프로세서(calibration process)를 진행하도록 구성될 수 있다. 이는 예를 들어, 지정 물체의 치수와 카메라로부터의 거리 간의 상관도를 결정함으로써, 지정 물체의 크기 또는 배향과 같은 지정 물체의 물리적 특징을 추출함으로써, 그리고, 3차원 공간 내 서로 다른 위치에서 활성화가능 아이콘을 디스플레이 상에서 사용자에게 제시함으로써 이루어질 수 있다. 교정은 사용자가 가리키는 것을 결정하기 위해 지정 물체의 끝(tip)과 사용자의 시야선, 카메라의 삼각형을 연산하는 과정을 포함할 수 있다. 정확도는 교정에서 추출된 정보에 기초하여 카메라로부터 현실 세계 물체의 거리를 추정함으로써 개선된다.
프로세서는 발명의 시스템의 다른 사용자에 의해 현실 세계 장면의 카메라에 의해 획득되는 이미지에서 식별하도록 구성될 수 있다. 현실 세계 장면 내 다른 사용자의 식별은 예를 들어, 특정 지리적 영역 내 장치의 위치를 원격 서버에 알림으로써, 수행될 수 있다. 다른 장치의 위치는 지리적 영역 내 모든 장치에게 전송될 수 있다.
발명의 두 시스템 사이에 통신 링크가 존재할 때, 두 시스템은 게임에 사용될 수 있다. "좋아요"와 같은 메시지를 타 사용자에게 전송하는 것과 같은 제스처에 의해 사용자가 상호작용할 수 있는 아바타로 타 사용자가 표현될 수 있다.
프로세서는 하나 이상의 손가락 또는 손으로 텍스트를 타이핑할 수 있는 키보드를 디스플레이하도록 구성될 수 있다. 키보드의 디스플레이는 시야의 아래쪽 부분과 같이, 카메라 시야의 지정 영역에서 펼쳐진 한 손 또는 두 손을 제시함으로써, 또는, 좌측에서 우측으로의 제스처와 같은 지정 제스처의 검출시 개시될 수 있다. 키보드의 디스플레이를 개시하기 위한 또 다른 방식은 타이핑 영역 또는 활성화가능 아이콘이 위치할 것으로 인식되는 3차원 공간 내 클릭 제스처를 사용자가 수행할 때다. 키보드는 예를 들어, 가상 키보드 상의 타이핑에 의해 (스카이프 또는 트위터와 같은) 온라인 서비스와 통신, 검색 수행, 노트 기록, 등을 위해, 사용될 수 있다. 시스템은 지정 물체가 위치하는 장소인 키보드의 일부분을 제시하지 않을 수 있고, 따라서, 지정 물체가 키보드 위에 놓여서 사용자 손과 같은 지정 물체가 키보드 위에 떠 있는 것처럼 보이는 환상을 생성한다.
시스템이 타이핑 모드에 있을 때, 애니메이션화된 손이 사용자 손 및 손가락에 상관된 위치를 갖는 키보드 상에 제시될 수 있다. 애니메이션화된 손의 손끝은 키스트로크의 문자가 보이는 위치에서 가상 키스트로크 위에 위치할 수 있다. 키보드와 애니메이션화된 손은 불투명한 것이 선호되며, 따라서, 사용자가 키보드 뒤의 배경을 볼 수 없게 된다. 이는 사용자에게 키보드를 선명하게 보이게 한다.

Claims (56)

  1. 증강 현실 방법에 있어서,
    (a) 하나 이상의 이미지 센서로부터 현실 세계 장면의 이미지를 획득하는 단계와,
    (b) 상기 이미지 센서의 배향 및 위치 데이터 중 하나 이상을 하나 이상의 상태 센서로부터 획득하는 단계와,
    (c) 지정 포인팅 물체가 지정 제스처를 수행하고 있을 때 현실 세계 물체를 이미지 센서에 의해 획득한 현실 세계 장면의 이미지에서 식별하는 단계 - 제스처 검출 모듈은 상기 하나 이상의 상태 센서에 의해 제공되는 데이터를 이용함 - 와,
    (d) 뷰잉 장치의 디스플레이 상에서, 식별된 물체와 연관된 데이터를 제시하는 단계를 포함하는
    증강 현실 방법.
  2. 제 1 항에 있어서,
    상태 센서들 중 하나 이상은 광학 센서, 가속계, GPS, 자이로스코프, 나침반, 자기 센서, 지구 자기장에 대한 장치의 방향을 표시하는 센서, 중력 센서, 및 RFID 검출기로부터 선택되는
    증강 현실 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    식별된 물체와 연관된 데이터는 현실 세계 물체와 연관된 데이터를 메모리에서 검색함으로써 획득되는
    증강 현실 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 지정 물체는 손, 손의 일부분, 양 손, 양 손의 일부분, 손가락, 손가락의 일부분, 또는 손끝인
    증강 현실 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 뷰잉 장치는 사용자가 착용하도록 구성되는
    증강 현실 방법.
  6. 제 5 항에 있어서,
    상기 뷰잉 장치는 안경 또는 고글인
    증강 현실 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 뷰잉 장치가 이동 통신 장치에 통합되는
    증강 현실 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    이미지 센서에 의해 획득되는 현실 세계 장면의 이미지에서 식별하는 단계는, 이미지 센서에 의해 획득되는 이미지 내 지정 물체의 위치(X, Y)를 결정하는 단계와, 센서에 의해 제공되는 디스플레이 장치의 위치 및 배향 중 하나 이상을 결정하는 단계를 포함하는
    증강 현실 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    외부 장치 또는 웹사이트와 통신하는 단계를 더 포함하는
    증강 현실 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    이미지 센서는 카메라 광 센서, IR 센서, 초음파 센서, 근접 센서, CMOS 이미지 센서, 단파 적외선(SWIR) 이미지 센서 또는 반사율 센서, IR 센서, 초음파 센서, 근접 센서, 및 반사율 센서로부터 선택되는
    증강 현실 방법.
  11. 제 9 항에 있어서,
    외부 장치 상에서 구동되는 애플리케이션, 외부 장치 상에서 구동되는 서비스, 외부 장치 상에서 구동되는 운영 체제, 외부 장치 상에서 구동되는 프로세스, 외부 장치의 프로세서 상에서 구동되는 하나 이상의 애플리케이션, 외부 장치의 백그라운드에서 구동되는 소프트웨어 프로그램, 또는 외부 장치 상에서 구동되는 하나 이상의 서비스에 메시지를 전송하는 단계를 더 포함하는
    증강 현실 방법.
  12. 제 7 항에 있어서,
    이동 통신 장치 상에서 구동되는 애플리케이션, 이동 통신 장치 상에서 구동되는 서비스, 이동 통신 장치 상에서 구동되는 운영 체제, 이동 통신 장치 상에서 구동되는 프로세스, 이동 통신 장치의 프로세서 상에서 구동되는 하나 이상의 애플리케이션, 이동 통신 장치의 백그라운드에서 구동되는 소프트웨어 프로그램, 또는, 이동 통신 장치 상에서 구동되는 하나 이상의 서비스에 메시지를 전송하는 단계를 더 포함하는
    증강 현실 방법.
  13. 제 9 항에 있어서,
    외부 장치 상에서 구동되는 애플리케이션, 외부 장치 상에서 구동되는 서비스, 외부 장치 상에서 구동되는 운영 체제, 외부 장치 상에서 구동되는 프로세스, 외부 장치의 프로세서 상에서 구동되는 하나 이상의 애플리케이션, 외부 장치의 백그라운드에서 구동되는 소프트웨어 프로그램으로부터, 또는, 외부 장치 상에서 구동되는 하나 이상의 서비스에, 이미지에서 식별되는 현실 세계 물체에 관한 데이터를 요청하는 메시지를 전송하는 단계를 더 포함하는
    증강 현실 방법.
  14. 제 7 항에 있어서,
    이동 통신 장치 상에서 구동되는 애플리케이션, 이동 통신 장치 상에서 구동되는 서비스, 이동 통신 장치 상에서 구동되는 운영 체제, 이동 통신 장치 상에서 구동되는 프로세스, 이동 통신 장치의 프로세서 상에서 구동되는 하나 이상의 애플리케이션, 이동 통신 장치의 백그라운드에서 구동되는 소프트웨어 프로그램으로부터, 또는, 이동 통신 장치 상에서 구동되는 하나 이상의 서비스에, 이미지에서 식별되는 현실 세계 물체에 관한 데이터를 요청하는 메시지를 전송하는 단계를 더 포함하는
    증강 현실 방법.
  15. 제 11 항에 있어서,
    외부 장치 또는 웹사이트에 대한 메시지가 명령인
    증강 현실 방법.
  16. 제 15 항에 있어서,
    상기 명령은 외부 장치 또는 웹사이트 상에서의 애플리케이션 구동 명령, 외부 장치 또는 웹사이트 상에서 구동되는 애플리케이션의 중지 명령, 외부 장치 또는 웹사이트 상에서 구동되는 서비스의 활성화 명령, 외부 장치 또는 웹사이트 상에서 구동되는 서비스의 중지 명령, 또는, 이미지 내에서 식별되는 현실 세계 물체에 관한 데이터의 전송 명령으로부터 선택되는
    증강 현실 방법.
  17. 제 12 항에 있어서,
    이동 통신 장치에 대한 메시지가 명령인
    증강 현실 방법.
  18. 제 17 항에 있어서,
    상기 명령은, 이동 통신 장치 상에서 애플리케이션의 구동 명령, 이동 통신 장치 또는 웹사이트 상에서 구동되는 애플리케이션의 중지 명령, 이동 통신 장치 상에서 구동되는 서비스의 활성화 명령, 이동 통신 장치 상에서 구동되는 서비스의 중지 명령, 또는, 이미지에서 식별되는 현실 세계 물체에 관한 데이터의 전송 명령으로부터 선택되는
    증강 현실 방법.
  19. 제 13 항에 있어서,
    이미지 내에서 식별되는 현실 세계 물체에 관한 데이터를 외부 장치 또는 웹사이트로부터 수신하고, 수신한 데이터를 사용자에게 제시하는 단계를 더 포함하는
    증강 현실 방법.
  20. 제 9 항, 제 11 항, 제 13 항 중 어느 한 항에 있어서,
    외부 장치 또는 웹사이트와의 통신이 통신 네트워크를 통해 이루어지는
    증강 현실 방법.
  21. 제 11 항에 있어서,
    상기 메시지는 외부 장치의 디스플레이 장치 상에 디스플레이되는 가상 키의 누름, 선택 커루셀의 회전, 지정 소프트웨어 애플리케이션을 외부 장치 상에서 구동하는 데스크탑 간의 스위칭, 외부 장치 상의 애플리케이션 끄기, 스피커 온/오프, 음량 고/저 처리, 외부 장치 잠금, 외부 장치 잠금, 외부 장치 잠금해제, IPTV 채널 간 또는 미디어 플레이어에서 다른 트랙으로 건너뜀, 항법 애플리케이션의 제어, 호 개시, 호 종료, 통지 제시, 통지 디스플레이, 사진 또는 음악 앨범 갤러리로 항법, 웹-페이지 스크롤링, 이메일 제시, 하나 이상의 문서 또는 맵 제시, 게임 액션 제어, 맵에서 포인팅, 맵 또는 이미지 상에서 줌-인/줌-아웃, 이미지 상에서의 그리기(painting), 디스플레이 장치로부터 활성화아이콘 쥐기/활성화아이콘 당기기, 활성화가능 아이콘 회전, 외부 장치 상에서 터치 명령 에뮬레이션, 하나 이상의 멀티-터치 명령 수행, 터치 제스처 명령, 타이핑, 일시정지 또는 재생을 위해 디스플레이되는 비디오를 클릭, 비디오로부터 일 프레임의 태그 또는 캡처, 수신 메시지 제시, 수신 호 응답, 수신 호 묵음처리 또는 거절, 수신 리마인더 오픈, 네트워크 커뮤니티 서비스로부터 수신되는 통지 제시, 외부 장치에 의해 발생되는 통지 제시, 지정 애플리케이션 오픈, 외부 장치를 잠김 모드로부터 변경 및 최근 호 애플리케이션 오픈, 외부 장치를 잠김 모드로부터 변경 및 온라인 서비스 애플리케이션 또는 브라우저 오픈, 외부 장치를 잠김 모드로부터 변경 및 이메일 애플리케이션 오픈, 외부 장치를 잠김 모드로부터 변경 및 온라인 서비스 애플리케이션 또는 브라우저 오픈, 장치를 잠김 모드로부터 변경 및 캘린더 애플리케이션 오픈, 장치를 잠김 모드로부터 변경 및 리마인더 애플리케이션 오픈, 장치를 잠김 모드로부터 변경 및 사용자에 의해, 장치 제조사에 의해, 또는 서비스 운영자에 의해, 세팅된 지정 애플리케이션 오픈, 활성화가능 아이콘 활성화, 메뉴 아이템 선택, 디스플레이 상의 포인터 이동, 터치프리 마우스 조작, 디스플레이 상에서 활성화가능 아이콘 활성화, 및 디스플레이 상에서 정보 변경으로부터 선택되는 외부 장치로의 명령인
    증강 현실 방법.
  22. 제 1 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 지정 제스처는, 스와이핑 모션, 두 손가락의 핀칭 모션, 포인팅, 좌에서 우로 제스처, 우에서 좌로 제스처, 상향 제스처, 하향 제스처, 푸싱 제스처, 주먹 폄, 주먹 펴서 이미지 센서를 향해 이동, 두드림 제스처(tapping gesture), 웨이브 제스처(waving gesture), 박수 제스처(clapping gesture), 리버스 클래핑 제스처(reverse clapping gesture), 주먹 쥠, 핀칭 제스처, 리버스 핀칭 제스처(reverse pinching gesture), 손가락 벌림 제스처, 손가락 벌림의 리버스 제스처, 활성화가능 아이콘의 포인팅, 지정 시간동안 활성화가능 아이콘 홀딩, 활성화가능 아이콘의 클릭, 활성화가능 아이콘의 더블 클릭, 활성화가능 아이콘을 우측으로부터 클릭, 활성화가능 아이콘을 좌측으로부터 클릭, 활성화가능 아이콘을 아래로부터 클릭, 활성화가능 아이콘을 위로부터 클릭, 활성화가능 아이콘 또는 물체를 쥠, 우측으로부터 활성화가능 아이콘 또는 물체를 향해 제스처, 좌측으로부터 활성화가능 아이콘을 향해 제스처, 좌측으로부터 활성화가능 아이콘을 통과, 물체를 밀어냄, 활성화가능 아이콘 위에서 박수 또는 웨이브, 블래스트 제스처 수행, 두드림 제스처 수행, 활성화가능 아이콘에 걸쳐 시계 방향 또는 반시계 방향 제스처 수행, 아이콘 슬라이딩, 두 손가락으로 활성화가능 아이콘을 쥠, 그리고, 클릭-드래그-릴리스 모션 수행으로부터 선택되는
    증강 현실 방법.
  23. 제 1 항 내지 제 22 항 중 어느 한 항에 있어서,
    식별된 물체와 연관된 데이터가 시각적 데이터, 오디오 데이터, 또는 텍스트 데이터 중 하나 이상인
    증강 현실 방법.
  24. 제 1 항 내지 제 23 항 중 어느 한 항에 있어서,
    식별된 물체와 연관된 데이터가 활성화가능 아이콘인
    증강 현실 방법.
  25. 제 24 항에 있어서,
    상기 활성화가능 아이콘이 2차원적 또는 3차원적 활성화가능 아이콘인
    증강 현실 방법.
  26. 제 24 항 또는 제 25 항에 있어서,
    상기 활성화가능 아이콘이 사용자 전방의 3차원 공간 내에서 사용자에 의해 인식되는
    증강 현실 방법.
  27. 제 1 항 내지 제 26 항 중 어느 한 항에 있어서,
    2개 이상의 작동 모드를 갖는
    증강 현실 방법.
  28. 제 27 항에 있어서,
    지정 제스처의 식별시 시스템의 작동 모드를 변경하는 단계를 더 포함하는
    증강 현실 방법.
  29. 제 27 항 또는 제 28 항에 있어서,
    작동 모드는 식별되는 제스처, 제스처 검출 모듈 상에서 활성인 알고리즘, 이미지 센서에 의해 캡처되는 이미지의 해상도, 이미지 센서에 의해 캡처되는 이미지의 캡처 속도, 제시될 데이터의 세부사항 레벨, 사용자에게 제시될 활성화가능 아이콘, 제시될 데이터의 소스, 제시될 데이터의 세부사항 레벨, 디스플레이 장치 상에 디스플레이될 활성화가능 아이콘, 활성 온라인 서비스중 하나 이상에 의해 명시되는
    증강 현실 방법.
  30. 제 27 항 내지 제 29 항 중 어느 한 항에 있어서,
    작동 모드는 지정 제스처 식별시 이미지 센서에 의한 이미지의 비디오 레코딩 모드, 지정 제스처 식별시 마이크로폰에 의한 사운드 레코딩 모드로서, 다른 지정 제스처 식별시 레코딩을 중지하는 모드, 비디오 또는 사운드의 연속적 모니터링 모드로서, 지정 제스처 검출 후 제스처 식별 이전 지정 시간으로부터 시작되는 비디오 또는 사운드 레코딩 및 다른 지정 제스처의 식별 후 레코딩 중지하는 모드, 지정 제스처 식별시 캡처되는 실시간 레코딩 비디오에 대한 태그 추가 모드로서, 시야 내 다른 위치에 영역을 복사하고 리사이징하는 모드, 이미지 내 선택 영역 상에 트래커를 이용하는 모드로서, 디스플레이 장치 상에 리사이징된 그리고 재위치설정된 선택 영역을 제시하는 모드, 지정 제스처의 식별시 이미지를 캡처하는 모드로부터 선택되는 모드인
    증강 현실 방법.
  31. 제 1 항 내지 제 30 항 중 어느 한 항에 있어서,
    식별되는 현실 세계 물체를 추적하는, 그리고, 식별된 현실 세계 물체에 대해 고정 위치에서 디스플레이되는 연관 시각적 데이터를 유지시키는, 트래킹 알고리즘을 구동하는 단계를 더 포함하는,
    증강 현실 방법.
  32. 제 1 항 내지 제 31 항 중 어느 한 항에 있어서,
    디스플레이 장치가 지정 임계치 아래의 모션 레벨을 가질 때만 물체 인지 모듈을 이용하여 지정 물체를 검출하는
    증강 현실 방법.
  33. 제 1 항 내지 제 32 항 중 어느 한 항에 있어서,
    지정 제스처가 식별될 때 피드백을 제공하는 단계를 더 포함하는
    증강 현실 방법.
  34. 제 33 항에 있어서,
    피드백은 시각적 피드백, 오디오 피드백, 촉각 피드백, 지향성 진동, 에어 촉각 피드백, 또는 초음파 피드백인
    증강 현실 방법.
  35. 제 33 항 또는 제 34 항에 있어서,
    피드백은 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘, 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘의 색상 변화, 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘의 크기 변화, 디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘의 애니메이션, 표시광, 디스플레이 장치 상에서 이동하는 인디케이터, 디스플레이 장치 상에 나타나는 모든 다른 이미지 또는 비디오 위에 나타나는 디스플레이 장치 상에서 이동하는 인디케이터, 또는, 지정 물체 주위의 글로우 등장으로부터 선택되는 형태의 시각적 표시인
    증강 현실 방법.
  36. 제 33 항에 있어서,
    상기 피드백은 진동, 지향성 진동 표시, 에어 촉각 표시인
    증강 현실 방법.
  37. 제 1 항 내지 제 36 항 중 어느 한 항에 있어서,
    디스플레이 장치 상에 디스플레이되는 활성화가능 아이콘의 일부분이 지정 물체가 위치하는 곳에 제시되지 않고, 지정 물체가 활성화가능 아이콘의 위에 나타나게 되는
    증강 현실 방법.
  38. 제 1 항 내지 제 37 항 중 어느 한 항에 있어서,
    디스플레이 장치가 지정 임계치보다 높은 활동 레벨을 가질 때 활성화가능 아이콘이 디스플레이 장치로부터 제거되는
    증강 현실 방법.
  39. 제 38 항에 있어서,
    디스플레이 장치가 지정 임계치 미만의 모션 레벨을 가질 때 디스플레이 장치 상에 제거된 아이콘을 디스플레이하는 단계를 더 포함하는
    증강 현실 방법.
  40. 제 27 항 내지 제 30 항 중 어느 한 항에 있어서,
    지정 액션이 수행될 때 상기 방법이 활성 모드에 놓이고, 상기 지정 액션은 장치에 가속계가 제공될 경우 장치를 두드리거나 장치를 터치함으로써, 활성화가능 아이콘이 위치하는 것으로 인식되는 3D 공간 내에서 제스처를 수행함으로써, 일 위치로부터 다른 위치로 부동 활성화가능 아이콘을 슬라이딩시키거나, 또는, 활성화가능 아이콘이 제시되는 위치에서 웨이브 제스처를 수행하거나, 또는, 활성화가능 아이콘을 가리키는 것과 같이, 활성화가능 아이콘에 상관된 지정 제스처를 사용자가 수행하면서, 활성화가능 아이콘이 디스플레이될 때, 시야에 걸쳐 우측에서 좌측으로 손을 움직이는 것과 같이 지정 제스처를 수행하거나, 카메라 시야 내에서 손을 펴거나 또는 카메라 시야의 우하귀를 가리키는 것과 같이, 소정의 위치 또는 포즈로 지정 물체를 사용자가 배치할 때, 아래로부터 시야 내로 지정 물체를 가져오는 것으로부터 선택되고, 또 다른 예로서, 장치에 근접 센서 또는 초음파 센서가 제공될 경우 사용자가 장치 근처로 손을 지나게 할 때 시스템은 활성 모드에 진입할 수 있으며, 시스템은 음성 명령에 의해, 또는, 사용자가 시야 내 특정 위치에 지정 물체를 배치할 때, 또한 활성화될 수 있고, 또 다른 예로서, 사용자의 시야 내 현실 세계와 연관된 관련 데이터가 있을 때만 시스템이 활성 모드에 진입할 수 있으며, 시스템은 제시될 관련 데이터가 존재할 때 또는 상호작용 준비가 되어 있을 때 사용자에게 이를 표시할 수 있는,
    증강 현실 방법.
  41. 제 1 항 내지 제 40 항 중 어느 한 항에 있어서,
    현실 세계 물체와 상관된 데이터의 메모리 내 존재를 표시하는 현실 세계 물체에 대한 시각적 표시를 부착하는 단계를 더 포함하는
    증강 현실 방법.
  42. 제 41 항에 있어서,
    상기 시각적 표시는 현실 세계 물체의 이미지 상에 오버레이되는
    증강 현실 방법.
  43. 제 42 항에 있어서,
    상기 시각적 표시는 활성화가능 아이콘, 사진, 및 봉투(envelope) 이미지로부터 선택되는
    증강 현실 방법.
  44. 제 1 항 내지 제 43 항 중 어느 한 항에 있어서,
    지정 물체의 하나 이상의 물리적 파라미터를 레코딩하기 위해 교정 프로세스(calibration process)를 더 포함하는
    증강 현실 방법.
  45. 제 44 항에 있어서,
    상기 교정 프로세스는 3차원 공간 내 서로 다른 위치에서 활성화가능 아이콘을 디스플레이 상에 제시하는 단계와, 지정 물체의 물리적 특징을 추출하는 단계와, 지정 물체의 치수 및 카메라로부터의 거리 간의 상관도를 결정하는 단계로부터 선택되는 하나 이상의 단계를 포함하는
    증강 현실 방법.
  46. 제 44 항 또는 제 45 항에 있어서,
    상기 교정 프로세스는 사용자의 시선에 의해 형성되는 측부를 갖는, 그리고, 이미지 센서들 중 하나에서, 지정 물체의 끝단에서, 정점을 갖는, 삼각형을 구성하는 단계를 포함하는
    증강 현실 방법.
  47. 제 46 항에 있어서,
    상기 교정에서 추출되는 정보에 기초하여 카메라로부터 현실 세계 물체의 거리를 추정하는 단계를 더 포함하는
    증강 현실 방법.
  48. 제 1 항 내지 제 47 항 중 어느 한 항에 있어서,
    텍스트 타이핑을 가능하게 하는 키보드를 디스플레이하는 단계를 더 포함하는
    증강 현실 방법.
  49. 제 48 항에 있어서,
    지정 제스처의 검출시 키보드가 디스플레이되는
    증강 현실 방법.
  50. 제 49 항에 있어서,
    지정 제스처는 이미지 센서의 시야의 지정 영역 내에서 펼쳐진 양손 제시, 펼쳐진 한 손 제시, 우측에서 좌측으로의 제스처로부터 선택되는
    증강 현실 방법.
  51. 제 48 항에 있어서,
    3차원 타이핑 영역에서 클릭 제스처를 수행하면 또는 지정된 활성화가능 아이콘이 위치한다고 인식되는 경우에, 키보드가 디스플레이될 수 있는
    증강 현실 방법.
  52. 제 1 항 내지 제 51 항 중 어느 한 항에 있어서,
    지정 물체가 위치하는 곳에서 뷰잉 장치 상에 활성화가능 아이콘의 일부분이 제시되지 않는
    증강 현실 방법.
  53. 제 1 항 내지 제 52 항 중 어느 한 항에 있어서,
    비디오 또는 사운드 중 하나 이상은 지정 제스처의 식별 이전에 지정 시간으로부터 시작되어 레코딩되는
    증강 현실 방법.
  54. 제 1 항 내지 제 53 항 중 어느 한 항에 따른 방법을 실행하도록 구성되는 장치를 포함하는 시스템.
  55. 제 1 항 내지 제 53 항의 모든 단계들을 수행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램으로서, 상기 프로그램이 컴퓨터 상에서 구동되는,
    컴퓨터 프로그램.
  56. 컴퓨터 판독 매체 상에서 구현되는 제 55 항의 컴퓨터 프로그램.
KR1020147009451A 2011-09-19 2012-09-19 증강 현실 시스템용 터치프리 인터페이스 KR20140069124A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161536144P 2011-09-19 2011-09-19
US61/536,144 2011-09-19
PCT/IL2012/050376 WO2013093906A1 (en) 2011-09-19 2012-09-19 Touch free interface for augmented reality systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034815A Division KR20190133080A (ko) 2011-09-19 2012-09-19 증강 현실 시스템용 터치프리 인터페이스

Publications (1)

Publication Number Publication Date
KR20140069124A true KR20140069124A (ko) 2014-06-09

Family

ID=47189999

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020147009451A KR20140069124A (ko) 2011-09-19 2012-09-19 증강 현실 시스템용 터치프리 인터페이스
KR1020227001961A KR20220032059A (ko) 2011-09-19 2012-09-19 증강 현실 시스템용 터치프리 인터페이스
KR1020197034815A KR20190133080A (ko) 2011-09-19 2012-09-19 증강 현실 시스템용 터치프리 인터페이스

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020227001961A KR20220032059A (ko) 2011-09-19 2012-09-19 증강 현실 시스템용 터치프리 인터페이스
KR1020197034815A KR20190133080A (ko) 2011-09-19 2012-09-19 증강 현실 시스템용 터치프리 인터페이스

Country Status (5)

Country Link
US (8) US20140361988A1 (ko)
JP (3) JP2014531662A (ko)
KR (3) KR20140069124A (ko)
CN (2) CN103858073B (ko)
WO (1) WO2013093906A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190662A1 (en) * 2014-06-12 2015-12-17 Lg Electronics Inc. Mobile terminal and control system
WO2016085073A1 (en) * 2014-11-26 2016-06-02 Samsung Electronics Co., Ltd. Ultrasound sensor and object detecting method thereof
KR101708455B1 (ko) * 2015-09-08 2017-02-21 엠더블유엔테크 주식회사 핸드 플로트 입체 메뉴 시스템
KR20170027109A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 전자 장치 및 그의 동작 방법
WO2017217752A1 (ko) * 2016-06-17 2017-12-21 이철윤 상품과 포장상자의 3차원 합성영상 생성 시스템 및 방법
WO2018016685A3 (ko) * 2016-07-18 2018-03-08 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20200041548A (ko) * 2018-10-12 2020-04-22 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법

Families Citing this family (241)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865125B2 (en) 2010-11-15 2018-01-09 Bally Gaming, Inc. System and method for augmented reality gaming
KR20140069124A (ko) 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
JP6110404B2 (ja) * 2011-12-23 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３次元超音波画像のインタラクティブ表示のための方法及び装置
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
KR102001218B1 (ko) * 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US9526443B1 (en) * 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
JP5991423B2 (ja) * 2013-02-21 2016-09-14 富士通株式会社 表示装置、表示方法、表示プログラムおよび位置設定システム
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US9507426B2 (en) * 2013-03-27 2016-11-29 Google Inc. Using the Z-axis in user interfaces for head mountable displays
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
US20140094148A1 (en) 2013-05-08 2014-04-03 Vringo Infrastructure Inc. Cognitive Radio System And Cognitive Radio Carrier Device
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
EP2818948B1 (en) * 2013-06-27 2016-11-16 ABB Schweiz AG Method and data presenting device for assisting a remote user to provide instructions
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
KR102157313B1 (ko) * 2013-09-03 2020-10-23 삼성전자주식회사 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체
KR102165818B1 (ko) * 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
JP5877824B2 (ja) * 2013-09-20 2016-03-08 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
KR102119659B1 (ko) * 2013-09-23 2020-06-08 엘지전자 주식회사 영상표시장치 및 그것의 제어 방법
CN103501473B (zh) * 2013-09-30 2016-03-09 陈创举 基于mems传感器的多功能耳机及其控制方法
KR101499044B1 (ko) * 2013-10-07 2015-03-11 홍익대학교 산학협력단 사용자의 손동작 및 음성에 기초하여 사용자가 의도한 텍스트를 취득하는 웨어러블 컴퓨터 및 사용자가 의도한 텍스트를 취득하는 방법
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
EP2899609B1 (en) * 2014-01-24 2019-04-17 Sony Corporation System and method for name recollection
DE102014201578A1 (de) * 2014-01-29 2015-07-30 Volkswagen Ag Vorrichtung und Verfahren zur Signalisierung eines Eingabebereiches zur Gestenerkennung einer Mensch-Maschine-Schnittstelle
US20150227231A1 (en) * 2014-02-12 2015-08-13 Microsoft Corporation Virtual Transparent Display
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
WO2015161062A1 (en) * 2014-04-18 2015-10-22 Bally Gaming, Inc. System and method for augmented reality gaming
US9501871B2 (en) 2014-04-30 2016-11-22 At&T Mobility Ii Llc Explorable augmented reality displays
TWI518603B (zh) 2014-05-22 2016-01-21 宏達國際電子股份有限公司 影像編輯方法與電子裝置
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
KR102303115B1 (ko) * 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
EP3180676A4 (en) * 2014-06-17 2018-01-10 Osterhout Group, Inc. External user interface for head worn computing
JP6500355B2 (ja) * 2014-06-20 2019-04-17 富士通株式会社 表示装置、表示プログラム、および表示方法
US20150379770A1 (en) * 2014-06-27 2015-12-31 David C. Haley, JR. Digital action in response to object interaction
JP6638195B2 (ja) * 2015-03-02 2020-01-29 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
CN104133593A (zh) * 2014-08-06 2014-11-05 北京行云时空科技有限公司 一种基于体感的文字输入系统及方法
CN104156082A (zh) * 2014-08-06 2014-11-19 北京行云时空科技有限公司 面向时空场景的用户界面及应用的控制系统及智能终端
US9696551B2 (en) * 2014-08-13 2017-07-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
US9690375B2 (en) * 2014-08-18 2017-06-27 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
CN104197950B (zh) * 2014-08-19 2018-02-16 奇瑞汽车股份有限公司 地理信息显示的方法及系统
US9910504B2 (en) * 2014-08-21 2018-03-06 Samsung Electronics Co., Ltd. Sensor based UI in HMD incorporating light turning element
JP5989725B2 (ja) * 2014-08-29 2016-09-07 京セラドキュメントソリューションズ株式会社 電子機器及び情報表示プログラム
DE102014217843A1 (de) * 2014-09-05 2016-03-10 Martin Cudzilo Vorrichtung zum Vereinfachen der Reinigung von Oberflächen und Verfahren zum Erfassen geleisteter Reinigungsarbeiten
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US20160109701A1 (en) * 2014-10-15 2016-04-21 GM Global Technology Operations LLC Systems and methods for adjusting features within a head-up display
TWI613615B (zh) * 2014-10-15 2018-02-01 在地實驗文化事業有限公司 導覽系統及方法
US10108256B2 (en) 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
EP3215909A2 (en) * 2014-11-06 2017-09-13 Koninklijke Philips N.V. Method and system of communication for use in hospitals
US10310624B2 (en) 2014-12-17 2019-06-04 Konica Minolta, Inc. Electronic apparatus, method for controlling electronic apparatus, and control program for the same
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
CN104537401B (zh) * 2014-12-19 2017-05-17 南京大学 基于射频识别和景深感知技术的现实增强系统及工作方法
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
US10317215B2 (en) 2015-01-09 2019-06-11 Boe Technology Group Co., Ltd. Interactive glasses and navigation system
TWI619041B (zh) * 2015-01-09 2018-03-21 Chunghwa Telecom Co Ltd Augmented reality unlocking system and method
CN104570354A (zh) * 2015-01-09 2015-04-29 京东方科技集团股份有限公司 交互式眼镜和导览系统
JP2016133541A (ja) * 2015-01-16 2016-07-25 株式会社ブリリアントサービス 電子眼鏡および電子眼鏡の制御方法
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
CA2976319C (en) 2015-02-20 2023-06-27 Ultrahaptics Ip Limited Algorithm improvements in a haptic system
US9886633B2 (en) * 2015-02-23 2018-02-06 Vivint, Inc. Techniques for identifying and indexing distinguishing features in a video feed
CN107407977B (zh) * 2015-03-05 2020-12-08 索尼公司 信息处理设备、控制方法及程序
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US20160292920A1 (en) * 2015-04-01 2016-10-06 Caterpillar Inc. Time-Shift Controlled Visualization of Worksite Operations
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
JP6534292B2 (ja) * 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
US10055888B2 (en) 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
DE102015211515A1 (de) * 2015-06-23 2016-12-29 Siemens Aktiengesellschaft Interaktionssystem
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US10156726B2 (en) * 2015-06-29 2018-12-18 Microsoft Technology Licensing, Llc Graphene in optical systems
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
CN105138763A (zh) * 2015-08-19 2015-12-09 中山大学 一种增强现实中实景与现实信息叠加的方法
JP6602383B2 (ja) * 2015-08-25 2019-11-13 株式会社日立ハイテクノロジーズ 自動分析装置および検体検査自動化システム
CN105205454A (zh) * 2015-08-27 2015-12-30 深圳市国华识别科技开发有限公司 自动捕捉目标物的系统和方法
CN105183173B (zh) * 2015-10-12 2018-08-28 重庆中电大宇卫星应用技术研究所 一种将战术和摩尔斯码手势输入并转换为语音的装置
DE102015221860A1 (de) * 2015-11-06 2017-05-11 BSH Hausgeräte GmbH System und Verfahren zur Erleichterung einer Bedienung eines Haushaltsgeräts
CN105872815A (zh) * 2015-11-25 2016-08-17 乐视网信息技术（北京）股份有限公司 视频播放的方法及装置
EP3182328A1 (en) * 2015-12-17 2017-06-21 Nokia Technologies Oy A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image
US9697648B1 (en) * 2015-12-23 2017-07-04 Intel Corporation Text functions in augmented reality
JP2017129406A (ja) * 2016-01-19 2017-07-27 日本電気通信システム株式会社 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム
CN105843390B (zh) * 2016-02-24 2019-03-19 上海理湃光晶技术有限公司 一种图像缩放的方法与基于该方法的ar眼镜
US10168768B1 (en) 2016-03-02 2019-01-01 Meta Company Systems and methods to facilitate interactions in an interactive space
US10133345B2 (en) 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US9933855B2 (en) * 2016-03-31 2018-04-03 Intel Corporation Augmented reality in a field of view including a reflection
SE541141C2 (en) * 2016-04-18 2019-04-16 Moonlightning Ind Ab Focus pulling with a stereo vision camera system
US9990779B2 (en) 2016-05-13 2018-06-05 Meta Company System and method for modifying virtual objects in a virtual environment in response to user interactions
US10186088B2 (en) 2016-05-13 2019-01-22 Meta Company System and method for managing interactive virtual frames for virtual objects in a virtual environment
ES2643863B1 (es) * 2016-05-24 2018-10-26 Sonovisión Ingenieros España, S.A.U. Método para proporcionar mediante realidad aumentada guiado, inspección y soporte en instalación o mantenimiento de procesos para ensamblajes complejos compatible con s1000d y dispositivo que hace uso del mismo
CN105915715A (zh) * 2016-05-25 2016-08-31 努比亚技术有限公司 来电提醒方法及其装置、佩戴式音频设备和移动终端
CN106125932A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN106157363A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 一种基于增强现实的拍照方法、装置和移动终端
CN106155315A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 一种拍摄中增强现实效果的添加方法、装置及移动终端
CN106066701B (zh) * 2016-07-05 2019-07-26 上海智旭商务咨询有限公司 一种ar和vr数据处理设备与方法
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN110337269B (zh) 2016-07-25 2021-09-21 脸谱科技有限责任公司 基于神经肌肉信号推断用户意图的方法和装置
EP3487595A4 (en) 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
WO2018022602A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
CN106354257A (zh) * 2016-08-30 2017-01-25 湖北睛彩视讯科技有限公司 一种基于增强现实技术的移动场景融合系统及方法
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US11119585B2 (en) 2016-10-13 2021-09-14 Ford Motor Company Dual-mode augmented reality interfaces for mobile devices
US10313552B2 (en) * 2016-10-26 2019-06-04 Orcam Technologies Ltd. Systems and methods for providing visual feedback of a field of view
JP2018082363A (ja) * 2016-11-18 2018-05-24 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10996814B2 (en) 2016-11-29 2021-05-04 Real View Imaging Ltd. Tactile feedback in a display system
CN108885533B (zh) * 2016-12-21 2021-05-07 杰创科科技有限公司 组合虚拟现实和增强现实
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) * 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
CN106682468A (zh) * 2016-12-30 2017-05-17 百度在线网络技术（北京）有限公司 解锁电子设备的方法以及电子设备
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
CN110622219B (zh) * 2017-03-10 2024-01-19 杰创科增强现实有限公司 交互式增强现实
EP4250066A3 (en) * 2017-03-21 2023-11-29 InterDigital VC Holdings, Inc. Method and system for the detection and augmentation of tactile interactions in augmented reality
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
US10620779B2 (en) * 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
US10481755B1 (en) * 2017-04-28 2019-11-19 Meta View, Inc. Systems and methods to present virtual content in an interactive space
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US20210117680A1 (en) * 2017-05-10 2021-04-22 Humane, Inc. Wearable multimedia device and cloud computing platform with laser projection system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
CN107340871A (zh) * 2017-07-25 2017-11-10 深识全球创新科技（北京）有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途
WO2019021446A1 (ja) * 2017-07-28 2019-01-31 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019021447A1 (ja) * 2017-07-28 2019-01-31 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN107635057A (zh) * 2017-07-31 2018-01-26 努比亚技术有限公司 一种虚拟现实终端控制方法、终端和计算机可读存储介质
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US10068403B1 (en) 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
CN112040858B (zh) 2017-10-19 2024-06-07 元平台技术有限公司 用于识别与神经肌肉源信号相关的生物结构的系统和方法
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control
JP2019086916A (ja) * 2017-11-02 2019-06-06 オリンパス株式会社 作業支援装置、作業支援方法、作業支援プログラム
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
EP3731073A4 (en) 2017-12-22 2021-02-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
WO2019147956A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11567573B2 (en) * 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11907423B2 (en) * 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10706628B2 (en) * 2018-02-28 2020-07-07 Lenovo (Singapore) Pte. Ltd. Content transfer
US20190324549A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
JP7354146B2 (ja) 2018-05-02 2023-10-02 ウルトラハプティクス アイピー リミテッド 改善された音響伝達効率のための遮断板構造体
US20190339837A1 (en) * 2018-05-04 2019-11-07 Oculus Vr, Llc Copy and Paste in a Virtual Reality Environment
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10768426B2 (en) 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
WO2019231911A1 (en) 2018-05-29 2019-12-05 Ctrl-Labs Corporation Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
WO2019241701A1 (en) 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
JP7056423B2 (ja) * 2018-07-10 2022-04-19 オムロン株式会社 入力装置
US11360558B2 (en) * 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020036958A1 (en) 2018-08-13 2020-02-20 Ctrl-Labs Corporation Real-time spike detection and identification
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10909762B2 (en) 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
CN112996430B (zh) 2018-08-31 2024-10-15 元平台技术有限公司 神经肌肉信号的相机引导的解释
CN109348003A (zh) * 2018-09-17 2019-02-15 深圳市泰衡诺科技有限公司 应用控制方法及装置
CN110942518B (zh) * 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
EP3857342A4 (en) 2018-09-26 2021-12-01 Facebook Technologies, LLC. NEUROMUSCULAR CONTROL OF PHYSICAL OBJECTS IN AN ENVIRONMENT
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10929099B2 (en) * 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
CN111273766B (zh) * 2018-12-04 2022-05-13 苹果公司 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
US10789952B2 (en) * 2018-12-20 2020-09-29 Microsoft Technology Licensing, Llc Voice command execution from auxiliary input
CN109782639A (zh) * 2018-12-29 2019-05-21 深圳市中孚能电气设备有限公司 一种电子设备工作模式的控制方法及控制装置
WO2020152828A1 (ja) * 2019-01-24 2020-07-30 マクセル株式会社 表示端末、アプリケーション制御システムおよびアプリケーション制御方法
US10885322B2 (en) 2019-01-31 2021-01-05 Huawei Technologies Co., Ltd. Hand-over-face input sensing for interaction with a device having a built-in camera
JP6720385B1 (ja) * 2019-02-07 2020-07-08 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
CN110109547A (zh) * 2019-05-05 2019-08-09 芋头科技（杭州）有限公司 基于手势识别的命令激活方法和系统
JP7331462B2 (ja) * 2019-05-24 2023-08-23 京セラドキュメントソリューションズ株式会社 ロボットシステム、ロボット制御方法及び電子装置
US10747371B1 (en) * 2019-06-28 2020-08-18 Konica Minolta Business Solutions U.S.A., Inc. Detection of finger press from live video stream
USD1009884S1 (en) * 2019-07-26 2024-01-02 Sony Corporation Mixed reality eyeglasses or portion thereof with an animated graphical user interface
JP2021026260A (ja) 2019-07-31 2021-02-22 セイコーエプソン株式会社 表示装置、表示方法、および、コンピュータープログラム
US10909767B1 (en) * 2019-08-01 2021-02-02 International Business Machines Corporation Focal and interaction driven content replacement into augmented reality
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
WO2021076989A1 (en) * 2019-10-16 2021-04-22 The Board Of Trustees Of The California State University Augmented reality marine navigation
US12089953B1 (en) 2019-12-04 2024-09-17 Meta Platforms Technologies, Llc Systems and methods for utilizing intrinsic current noise to measure interface impedances
CN113012214A (zh) * 2019-12-20 2021-06-22 北京外号信息技术有限公司 用于设置虚拟对象的空间位置的方法和电子设备
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
WO2021171616A1 (ja) * 2020-02-28 2021-09-02 日本電気株式会社 ロッカーシステム、ロッカー管理システム、ロッカー管理方法及び記憶媒体
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
JP2022022568A (ja) * 2020-06-26 2022-02-07 沖電気工業株式会社 表示操作部および装置
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11644902B2 (en) * 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer
EP4272064A1 (en) 2020-12-29 2023-11-08 Snap, Inc. Micro hand gestures for controlling virtual and graphical elements
EP4272051A1 (en) 2020-12-30 2023-11-08 Snap, Inc. Augmented reality precision tracking and display
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
CN113190110A (zh) * 2021-03-30 2021-07-30 青岛小鸟看看科技有限公司 头戴式显示设备的界面元素控制方法及装置
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
KR20230164185A (ko) * 2021-04-08 2023-12-01 스냅 인코포레이티드 가상 및 그래픽 요소들을 제어하기 위한 매핑된 손 영역들 사이의 양손 상호 작용들
EP4280599A4 (en) * 2021-04-09 2024-07-17 Samsung Electronics Co Ltd PORTABLE ELECTRONIC DEVICE WITH MULTIPLE CAMERAS
US11861070B2 (en) 2021-04-19 2024-01-02 Snap Inc. Hand gestures for animating and controlling virtual and graphical elements
CN113141529B (zh) * 2021-04-25 2022-02-25 聚好看科技股份有限公司 显示设备及媒资播放方法
US11435857B1 (en) * 2021-04-29 2022-09-06 Google Llc Content access and navigation using a head-mounted device
US11995899B2 (en) * 2021-04-29 2024-05-28 Google Llc Pointer-based content recognition using a head-mounted device
KR102629771B1 (ko) * 2021-09-30 2024-01-29 박두고 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치
US11967147B2 (en) * 2021-10-01 2024-04-23 At&T Intellectual Proerty I, L.P. Augmented reality visualization of enclosed spaces
CN114089879B (zh) * 2021-11-15 2022-08-05 北京灵犀微光科技有限公司 一种增强现实显示设备的光标控制方法
US20230221799A1 (en) * 2022-01-10 2023-07-13 Apple Inc. Devices and methods for controlling electronic devices or systems with physical objects
US20230315208A1 (en) * 2022-04-04 2023-10-05 Snap Inc. Gesture-based application invocation
CN115309271B (zh) * 2022-09-29 2023-03-21 南方科技大学 基于混合现实的信息展示方法、装置、设备及存储介质
KR102703511B1 (ko) * 2022-12-29 2024-09-06 서울과학기술대학교 산학협력단 오브젝트의 세부 레벨을 이용한 가상 공간 생성 시스템

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP3365246B2 (ja) 1997-03-14 2003-01-08 ミノルタ株式会社 電子スチルカメラ
JP3225882B2 (ja) * 1997-03-27 2001-11-05 日本電信電話株式会社 景観ラベリングシステム
DE19917660A1 (de) * 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
WO2001019365A1 (en) 1999-09-15 2001-03-22 Roche Consumer Health Ag Pharmaceutical and/or cosmetical compositions
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
EP1316055A4 (en) * 2000-05-29 2006-10-04 Vkb Inc DEVICE FOR ENTERING VIRTUAL DATA AND METHOD FOR ENTERING ALPHANUMERIC AND OTHER DATA
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
US7215322B2 (en) 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7676079B2 (en) * 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
IL161002A0 (en) 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
CN101375599A (zh) * 2004-06-01 2009-02-25 L-3通信公司 用于执行视频监视的方法和系统
US20060200662A1 (en) * 2005-02-01 2006-09-07 Microsoft Corporation Referencing objects in a virtual environment
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US7735018B2 (en) * 2005-09-13 2010-06-08 Spacetime3D, Inc. System and method for providing three-dimensional graphical user interface
JP4851771B2 (ja) * 2005-10-24 2012-01-11 京セラ株式会社 情報処理システム、および携帯情報端末
US7509588B2 (en) * 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
WO2008153599A1 (en) * 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
US8942764B2 (en) * 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
US8165345B2 (en) * 2007-12-07 2012-04-24 Tom Chau Method, system, and computer program for detecting and characterizing motion
KR101297144B1 (ko) * 2008-03-19 2013-08-21 가부시키가이샤 덴소 차량용 조작 입력 장치
JP5250834B2 (ja) * 2008-04-03 2013-07-31 コニカミノルタ株式会社 頭部装着式映像表示装置
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
WO2010042880A2 (en) * 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
US8397181B2 (en) * 2008-11-17 2013-03-12 Honeywell International Inc. Method and apparatus for marking a position of a real world object in a see-through display
US9041660B2 (en) * 2008-12-09 2015-05-26 Microsoft Technology Licensing, Llc Soft keyboard control
KR101632963B1 (ko) 2009-02-02 2016-06-23 아이사이트 모빌 테크놀로지 엘티디 비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법
JP5620928B2 (ja) * 2009-02-20 2014-11-05 コーニンクレッカ フィリップス エヌ ヴェ 装置をアクティブモードにするシステム、方法及び装置
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
KR101622196B1 (ko) * 2009-09-07 2016-05-18 삼성전자주식회사 휴대용 단말기에서 피오아이 정보 제공 방법 및 장치
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
KR20110075250A (ko) 2009-12-28 2011-07-06 엘지전자 주식회사 객체 추적 모드를 활용한 객체 추적 방법 및 장치
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8788197B2 (en) 2010-04-30 2014-07-22 Ryan Fink Visual training devices, systems, and methods
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US20120062602A1 (en) * 2010-09-13 2012-03-15 Nokia Corporation Method and apparatus for rendering a content display
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
CN102147926A (zh) * 2011-01-17 2011-08-10 中兴通讯股份有限公司 3d图标的处理方法、装置及移动终端
US9336240B2 (en) * 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
KR20140069124A (ko) * 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
WO2013136333A1 (en) 2012-03-13 2013-09-19 Eyesight Mobile Technologies Ltd. Touch free user interface

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190662A1 (en) * 2014-06-12 2015-12-17 Lg Electronics Inc. Mobile terminal and control system
KR20150142524A (ko) * 2014-06-12 2015-12-22 엘지전자 주식회사 이동 단말기 및 제어 시스템
US9886848B2 (en) 2014-06-12 2018-02-06 Lg Electronics Inc. Mobile terminal and control system
WO2016085073A1 (en) * 2014-11-26 2016-06-02 Samsung Electronics Co., Ltd. Ultrasound sensor and object detecting method thereof
KR20160063076A (ko) * 2014-11-26 2016-06-03 삼성전자주식회사 초음파 센서 및 초음파 센서의 대상체 인식 방법
US10684367B2 (en) 2014-11-26 2020-06-16 Samsung Electronics Co., Ltd. Ultrasound sensor and object detecting method thereof
KR20170027109A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR101708455B1 (ko) * 2015-09-08 2017-02-21 엠더블유엔테크 주식회사 핸드 플로트 입체 메뉴 시스템
WO2017217752A1 (ko) * 2016-06-17 2017-12-21 이철윤 상품과 포장상자의 3차원 합성영상 생성 시스템 및 방법
WO2018016685A3 (ko) * 2016-07-18 2018-03-08 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20200041548A (ko) * 2018-10-12 2020-04-22 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법

Also Published As

Publication number Publication date
US20220107687A1 (en) 2022-04-07
KR20190133080A (ko) 2019-11-29
KR20220032059A (ko) 2022-03-15
JP7297216B2 (ja) 2023-06-26
US11093045B2 (en) 2021-08-17
US20160259423A1 (en) 2016-09-08
CN115167675A (zh) 2022-10-11
JP2018028922A (ja) 2018-02-22
WO2013093906A1 (en) 2013-06-27
JP2014531662A (ja) 2014-11-27
US20170052599A1 (en) 2017-02-23
US20200097093A1 (en) 2020-03-26
US20140361988A1 (en) 2014-12-11
US20160320855A1 (en) 2016-11-03
US10401967B2 (en) 2019-09-03
CN103858073B (zh) 2022-07-29
US20160306433A1 (en) 2016-10-20
US20160291699A1 (en) 2016-10-06
JP2021007022A (ja) 2021-01-21
US11494000B2 (en) 2022-11-08
CN103858073A (zh) 2014-06-11

Similar Documents

Publication Publication Date Title
JP7297216B2 (ja) 拡張現実システムのためのタッチフリーインターフェース
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US11360551B2 (en) Method for displaying user interface of head-mounted display device
US11941764B2 (en) Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
JP2014186361A (ja) 情報処理装置、操作制御方法及びプログラム
CN103858074A (zh) 经由3d显示器与装置交互的系统和方法
US20240086031A1 (en) Method of grouping user interfaces in an environment
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20230325003A1 (en) Method of displaying selectable options
US20240273597A1 (en) Product comparison and upgrade in a virtual environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision