KR101657565B1 - 증강 원격제어장치 및 그 동작 방법 - Google Patents
증강 원격제어장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR101657565B1 KR101657565B1 KR1020100036990A KR20100036990A KR101657565B1 KR 101657565 B1 KR101657565 B1 KR 101657565B1 KR 1020100036990 A KR1020100036990 A KR 1020100036990A KR 20100036990 A KR20100036990 A KR 20100036990A KR 101657565 B1 KR101657565 B1 KR 101657565B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- remote control
- user
- content
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42208—Display device provided on the remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42208—Display device provided on the remote control
- H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 증강 현실 기술을 이용하여 사용자 인터페이스를 제공하는 증강 원격제어장치 및 그 동작 방법에 관련된다. 본 발명의 실시예에 따른 증강 원격제어장치의 동작 방법은 홈 네트워크로 연결된 영상표시장치를 인식하는 단계, 상기 영상표시장치를 통해 재생될 컨텐츠에 대한 컨텐츠 정보를 검색하는 단계, 상기 컨텐츠 정보를 수신하는 단계 및 상기 컨텐츠 정보에 따른 컨텐츠 안내 영상을 표시하는 단계를 포함한다. 사용자는 다양한 전자 기기를 하나의 원격제어장치를 통해 제어할 수 있으며, 각 전자 기기를 통해 재생되는 컨텐츠 또는 전자 기기로부터 제공되는 사용자 인터페이스에 보다 상세하고 개인화된 정보를 제공받을 수 있게 된다.
Description
본 발명은 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템에 관한 것이다. 증강 원격제어장치는 영상표시장치, 영상표시장치와 연결될 수 있는 외부장치, 영상표시장치 또는 외부장치에서 제공되는 컨텐츠 또는 다른 종류의 객체를 인식하고 관련 정보를 표시할 수 있다. 사용자는 증강 원격제어장치를 이용하여 주변에 존재하고 있는 객체를 제어하고 관련 정보를 제공받을 수 있다.
영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 영상표시장치를 통하여 방송을 시청할 수 있다. 영상표시장치는 외부장치와 연결될 수 있다. 사용자는 외부장치에서 제공하는 컨텐츠를 외부장치와 연결된 영상표시장치를 통하여 시청할 수 있다. 영상표시장치는 네트워크망을 통하여 소정 컨텐츠 제공자와 연결될 수 있다. 사용자는 소정 컨텐츠 제공자가 제공하는 컨텐츠를 네트워크망에 연결된 영상표시장치를 통하여 시청할 수 있다.
영상표시장치를 통하여 사용자가 시청할 수 있는 컨텐츠와 함께 컨텐츠와 관련된 정보가 증가하고 있다. 사용자는 영상표시장치를 통하여 컨텐츠를 시청하는 외에 시청하고 있는 컨텐츠와 관련된 정보를 제공받고자 한다. 또한 영상표시장치와 다양한 종류의 외부장치를 하나의 원격제어장치를 이용하여 효율적으로 제어하는 경우, 사용자의 편의가 증가하게 된다.
따라서, 본 발명의 목적 중 하나는 영상표시장치 또는 영상표시장치와 연결된 외부장치를 제어할 수 있는 원격제어장치를 제공함에 있다.
또한, 본 발명의 목적 중 하나는 영상표시장치 또는 영상표시장치와 연결된 외부장치에서 재생되거나 저장된 컨텐츠 및 컨텐츠 관련 정보를 사용자가 효율적으로 이용 및 관리할 수 있도록 하는 원격제어장치를 제공함에 있다.
특히 영상표시장치를 통해 재생되고 있거나 재생 가능한 컨텐츠들에 대하여 부가적인 정보를 검색 및 표시하고, 영상표시장치를 통해 제공되는 사용자 인터페이스 영상에 대하여 보다 상세한 정보 및 사용자 개개인에게 적합하게 편집된 정보를 제공하고자 한다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 증강 현실 기술을 이용하여 사용자 인터페이스를 제공하는 증강 원격제어장치의 동작 방법은 홈 네트워크로 연결된 영상표시장치를 인식하는 단계, 상기 영상표시장치를 통해 재생될 컨텐츠에 대한 컨텐츠 정보를 검색하는 단계, 상기 컨텐츠 정보를 수신하는 단계 및 상기 컨텐츠 정보에 따른 컨텐츠 안내 영상을 표시하는 단계를 포함한다.
본 발명의 실시예에 따르면, 영상표시장치 또는 영상표시장치와 연결된 외부장치를 하나의 원격제어장치를 이용하여 제어할 수 있다. 또한, 본 발명에 따르면 영상표시장치 또는 영상표시장치와 연결된 외부장치에서 재생되거나 저장된 컨텐츠 및 컨텐츠 관련 정보를 사용자가 효율적으로 이용 및 관리할 수 있다.
또한 영상표시장치를 통해 제공되는 사용자 인터페이스 또는 컨텐츠 정보에 보다 상세한 정보를 추가적으로 제공할 수 있다. 특히 사용자 인식 또는 인증 과정을 통해 사용자별로 개인화된 정보를 제공할 수 있으며, 개인화된 정보의 보안을 유지할 수 있다.
도 1은 본 발명의 일실시예에 의한 증강 원격제어장치 시스템이 도시된 블럭도.
도 2는 본 발명의 일실시예에 의한 증강 원격제어장치 시스템이 도시된 블럭도.
도 3은 본 발명의 일 실시예에 따른 영상표시장치의 내부 블록도.
도 4는 본 발명의 일 실시예에 따른 영상표시장치 중 영상/음성 처리부의 내부 블록도.
도 5는 본 발명의 일실시예에 의한 증강 원격제어장치의 내부 블록도.
도 6은 본 발명의 일실시예에 의한 증강 원격제어장치의 동작방법의 흐름을 설명한 순서도.
도 7은 본 발명의 일실시예에 의한 증강 원격제어장치의 외관을 간략히 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
도 11은 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
도 14 내지 도 17b는 본 발명의 실시예에 따라 증강 원격제어장치가 컨텐츠 안내 영상을 표시한 모습을 예시한 도면이다.
도 2는 본 발명의 일실시예에 의한 증강 원격제어장치 시스템이 도시된 블럭도.
도 3은 본 발명의 일 실시예에 따른 영상표시장치의 내부 블록도.
도 4는 본 발명의 일 실시예에 따른 영상표시장치 중 영상/음성 처리부의 내부 블록도.
도 5는 본 발명의 일실시예에 의한 증강 원격제어장치의 내부 블록도.
도 6은 본 발명의 일실시예에 의한 증강 원격제어장치의 동작방법의 흐름을 설명한 순서도.
도 7은 본 발명의 일실시예에 의한 증강 원격제어장치의 외관을 간략히 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
도 11은 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
도 14 내지 도 17b는 본 발명의 실시예에 따라 증강 원격제어장치가 컨텐츠 안내 영상을 표시한 모습을 예시한 도면이다.
이하에서는 도면을 참조하며 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 발명의 일 실시예에 의한 증강 원격제어장치는 사용자 주변에 존재하는 객체를 인식하고 인식한 객체에 관련된 정보를 사용자에게 제공함으로써 사용자에게 증강 현실 환경(Augmented Reality Environoment)을 제공할 수 있는 장치이다. 사용자 주변에 존재하는 객체는 증강 원격제어장치를 이용하여 제어할 수 있는 영상표시장치, 영상표시장치와 연결되는 외부장치, 영상표시장치 또는 외부장치에서 제공되는 컨텐츠, 또는 다른 종류의 객체일 수 있다.
증강 원격제어장치는 사용자 관련 정보를 수집하여 사용자 주변에 존재하는 객체를 인식할 수 있다. 일 예로 증강 원격제어장치는 GPS 또는 나침반을 이용하여 사용자의 위치 또는 사용자의 방향 등에 관한 정보를 수집할 수 있다. 또한 증강 원격제어장치는 카메라를 이용하여 사용자 주변 환경을 촬영하고 주변에 존재하는 객체를 인식할 수 있다. 또한 증강 원격 제어장치는 RFID 리더기를 이용하여 사용자 주변에 존재하는 객체를 인식할 수 있다.
증강 원격제어장치는 사용자 주변에 존재하는 객체를 인식하고 인식한 객체에 관련된 정보를 검색하여 표시할 수 있다. 증강 원격제어장치를 통하여 검색되는 정보의 종류는 인식한 객체의 종류에 대응할 수 있다.
일 예로, 증강 원격제어장치가 사용자 주변에 존재하는 영상표시장치 또는 외부장치를 인식한 경우 증강 원격제어장치는 영상표시장치 또는 외부장치를 통하여 제공될 수 있는 컨텐츠 목록에 관한 정보를 검색할 수 있다. 또한, 증강 원격제어장치는 영상표시장치 또는 외부장치를 제어할 수 있는 유저 인터페이스에 관한 정보를 검색할 수 있다. 증강 원격제어장치는 사용자 주변에 존재하는 영상표시장치 또는 외부장치에 관하여 검색한 정보를 사용자에게 표시할 수 있다.
또한, 증강 원격제어장치는 사용자 주변에 존재하는 영상표시장치 또는 외부장치에서 제공되는 컨텐츠를 인식할 수 있다. 이 경우 증강 원격제어장치는 컨텐츠에 관한 정보를 검색할 수 있다. 증강 원격제어장치는 영상표시장치 또는 외부장치에서 제공되고 있는 컨텐츠에 관한 정보를 사용자에게 표시할 수 있다. 또한 증강 원격제어장치는 영상표시장치 또는 외부장치에서 제공되는 컨텐츠를 편집, 재생하거나 전송할 수 있는 유저 인터페이스를 사용자에게 표시할 수 있다.
또한, 증강 원격제어장치는 사용자 주변에 존재하는 다른 종류의 객체를 인식할 수 있다. 일예로 사용자가 증강 원격제어장치에 장착된 카메라를 이용하여 주변에 존재하는 가구를 촬영할 수 있다. 증강 원격제어장치는 여러 객체의 영상에 관한 정보가 저장된 데이터베이스를 참조하여 카메라를 통하여 촬영된 영상에 해당하는 객체가 가구임을 인식할 수 있다. 증강 원격제어장치는 가구의 이름이나 제조사 등에 관한 정보를 검색하여 사용자에게 표시할 수 있다.
증강 원격제어장치는 카메라를 통하여 촬영한 객체에 관하여 검색한 정보를 카메라를 통하여 촬영한 실제 영상에 증강하여 표시할 수 있다. 일예로 증강 원격제어장치는 카메라를 통하여 촬영한 실제 영상을 디스플레이부에 표시할 수 있다. 증강 원격제어장치는 디스플레이부에 표시되는 실제 영상에 포함된 객체에 관한 정보를 검색할 수 있다. 증강 원격제어장치는 검색한 객체에 관한 정보를 디스플레이부에 팝업창이나 아이콘을 이용하여 표시할 수 있다. 또한 증강 원격제어장치는 검색한 객체에 관한 정보를 디스플레이부에 이미지 또는 텍스트로 표시할 수 있다.
사용자는 증강 원격제어장치에서 검색한 정보가 증강된 실제 영상(Augmented Real Image)을 증강 원격제어장치를 통하여 확인할 수 있다. 사용자는 카메라를 통하여 촬영되는 실제 영상에 오버랩되도록 표시되는 증강 정보(Augmented Information)를 통하여 실제 영상 또는 실제 영상에 포함되는 소정 객체에 관한 정보를 확인할 수 있다.
또한, 증강된 실제 영상이 표시되는 디스플레이부가 터치스크린인 경우 사용자는 증강 정보를 나타내는 팝업창, 아이콘, 이미지 또는 텍스트를 선택하여 증강 원격제어장치와 인터랙트(interact)할 수 있다. 일예로 사용자가 제1증강 정보를 나타내는 팝업창을 선택하면, 증강 원격제어장치는 제1증강 정보와 관련되는 상세 정보들을 디스플레이부에 표시할 수 있다. 또한 사용자가 제1증강 정보를 나타내는 팝업창을 선택하면, 증강 원격제어장치는 제1증강 정보와 관련되는 어플리케이션을 실행할 수 있다. 이때 증강 원격제어장치에서 실행하는 어플리케이션은 증강 실제 영상에 포함되는 영상표시장치 또는 외부장치 등의 객체를 제어할 수 있는 어플리케이션일 수 있다.
투명 디스플레이부를 사용하는 증강 원격제어장치의 경우, 증강 원격제어장치는 투명 디스플레이부를 통하여 투영되는 실제 영상에 증강 정보가 오버랩되도록 증강 정보를 표시할 수 있다. 증강 원격제어장치는 투명 디스플레이부를 통하여 투영되는 실제 영상에 포함되는 소정 객체에 관한 정보를 검색하고 검색한 정보를 증강 정보로써 투명 디스플레이부에 표시할 수 있다.
증강 원격제어장치는 영상표시장치 또는 영상표시장치와 연결될 수 있는 외부장치와 무선으로 신호를 송수신할 수 있다. 사용자는 증강 원격제어장치를 이용하여 영상표시장치 또는 외부장치를 제어할 수 있다. 또한 증강 원격제어장치는 영상표시장치 또는 외부장치의 동작상태에 관한 정보를 수신하여 디스플레이부에 표시할 수 있다.
증강 원격제어장치는 인터넷망을 포함하는 네트워크망에 연결될 수 있다. 증강 원격제어장치는 인식한 객체에 관한 정보를 네트워크망을 통하여 검색할 수 있다. 증강 원격제어장치는 네트워크망을 통하여 검색한 정보를 디스플레이부에 표시할 수 있다.
도 1은 본 발명의 일실시예에 의한 증강 원격제어장치 시스템이 도시된 블럭도이다.
증강 원격제어장치(200)는 영상표시장치(100), 영상표시장치(100)와 연결될 수 있는 외부장치(30), 네트워크 서버(300)와 신호를 송수신할 수 있다. 영상표시장치(100)는 다양한 종류의 컨텐츠를 재생할 수 있는 장치이다. 영상표시장치(100)는 외부로부터 컨텐츠에 대응하는 영상신호를 포함하는 신호를 수신할 수 있다. 영상표시장치(100)는 수신한 신호에 포함된 영상신호를 추출하고 추출된 영상신호에 대응하는 영상을 표시할 수 있다.
외부장치(30)는 소정 규격에 적합하도록 저장되는 컨텐츠를 재생할 수 있는 장치이다. 외부장치(30)는 디스플레이부를 구비할 수 있다. 이 경우 외부장치(30)는 재생되는 컨텐츠에 대응하는 영상을 외부장치(30)의 디스플레이부에 표시할 수 있다. 또한 외부장치(30)는 영상표시장치(100)와 연결될 수 있다. 이 경우 외부장치(30)는 컨텐츠에 대응하는 영상신호를 포함하는 신호를 영상표시장치(100)로 전송할 수 있다. 영상표시장치(100)는 외부장치(30)를 통하여 수신되는 신호에 포함되는 영상신호에 대응하는 영상을 표시할 수 있다.
영상표시장치(100)는 방송국(10)을 통하여 방송신호를 수신할 수 있다. 영상표시장치(100)는 방송신호에 포함되는 영상신호에 대응하는 영상을 표시할 수 있다. 영상표시장치(100)는 인터넷망을 포함하는 네트워크망에 존재하는 네트워크 서버(300)에서 영상신호를 포함하는 신호를 수신할 수 있다. 영상표시장치(100)는 네트워크 서버(300)에서 수신한 신호에 포함되는 영상신호에 대응하는 영상을 표시할 수 있다.
인터넷망에 연결되는 영상표시장치(100)의 경우 인터넷망에 구축되어 컨텐츠를 제공하는 컨텐츠 제공자(20)를 통하여 소정 컨텐츠에 대응하는 영상신호를 포함하는 신호를 수신할 수 있다. 영상표시장치(100)는 컨텐츠 제공자(20)가 전송하는 신호를 수신하고 그에 대응하는 영상을 표시할 수 있다.
증강 원격제어장치(200)는 영상표시장치(100) 또는 외부장치(30)를 인식할 수 있다. 증강 원격제어장치(200)는 카메라를 통하여 사용자 주변 환경을 촬영하고, 촬영한 이미지 판별을 통하여 영상표시장치(100) 또는 외부장치(30)를 인식할 수 있다. 또한 증강 원격제어장치(200)는 RFID가 부착된 영상표시장치(100) 또는 외부장치(30)에서 전송하는 신호를 RFID 리더기를 통하여 수신하고 RFID가 부착된 영상표시장치(100) 또는 외부장치(30)를 인식할 수 있다.
또한 증강 원격제어장치(200)는 다른 종류의 신호를 영상표시장치(100) 또는 외부장치(30)와 송수신하여 해당 영상표시장치(100) 또는 외부장치(30)를 인식할 수 있다. 일예로 증강 원격제어장치(200)는 IR 또는 RF 통신규격에 따른 신호를 영상표시장치(100) 또는 외부장치(30)와 송수할 수 있다. 증강 원격제어장치(200)는 IR 또는 RF 통신규격에 따른 신호를 송수신하는 영상표시장치(100) 또는 외부장치(30)와 페어링될 수 있다. 영상표시장치(100) 또는 외부장치(30)는 페어링이 완료된 증강 원격제어장치(200)에서 전송한 신호를 인식할 수 있다.
증강 원격제어장치(200)는 인식한 영상표시장치(100) 또는 외부장치(30)를 제어할 수 있는 메뉴를 증강 원격제어장치(200)의 디스플레이부에 표시할 수 있다. 사용자는 증강 원격제어장치(200)의 디스플레이부에 표시된 메뉴를 선택하거나 증강 원격제어장치(200)에 구비된 버튼이나 키를 조작하여 영상표시장치(100) 또는 외부장치(30)를 제어할 수 있는 명령을 입력할 수 있다. 증강 원격제어장치(200)는 사용자를 통하여 입력된 명령에 대응하는 신호를 영상표시장치(100) 또는 외부장치(30)로 전송할 수 있다. 영상표시장치(100) 또는 외부장치(30)는 증강 원격제어장치(200)를 통하여 전송되는 신호에 따라 제어될 수 있다.
증강 원격제어장치(200)는 카메라, RFID 리더기 등을 이용하여 영상표시장치(100) 또는 외부장치(30)를 인식할 수 있다. 증강 원격제어장치(200)는 인식한 영상표시장치(100) 또는 외부장치(30)에서 제공하는 컨텐츠 관련 정보를 영상표시장치(100) 또는 외부장치(30)에서 제공하는 메타데이터 등을 통하여 판별할 수 있다. 또한 증강 원격제어장치(200)는 인식한 영상표시장치(100) 또는 외부장치(30)에서 제공하는 컨텐츠 관련 정보를 네트워크 서버(300)에서 검색할 수 있다.
증강 원격제어장치(200)는 영상표시장치(100) 또는 외부장치(30)에서 제공하는 컨텐츠 관련 정보를 증강 원격제어장치(200)의 디스플레이부에 표시할 수 있다. 컨텐츠 관련 정보는 증강 원격제어장치(200)가 인식하는 컨텐츠의 종류에 대응할 수 있다.
일예로, 현재 제공되는 컨텐츠가 쇼핑과 관련된 컨텐츠인 경우, 증강 원격제어장치(200)는 해당 컨텐츠와 관련된 아이템의 가격, 제품명, 판매장소, 온라인 판매사이트 등에 관련된 정보를 검색할 수 있다. 또한 현재 제공되는 컨텐츠가 유명 관광지와 관련된 컨텐츠인 경우, 증강 원격제어장치(200)는 해당 컨텐츠와 관련된 관광지의 지명, 관광상품, 관련 사진이나 동영상 등에 관련된 정보를 검색할 수 있다. 또한 현재 제공되는 컨텐츠가 영화인 경우, 증강 원격제어장치(200)는 해당 영화 제작자, 제작사, 배우 등에 관련된 정보 또는 관련된 영화에 관한 정보를 검색할 수 있다. 사용자는 컨텐츠 종류별로 증강 원격제어장치(200)에서 검색하는 정보의 종류를 설정할 수 있다.
도 2는 본 발명의 일실시예에 의한 증강 원격제어장치 시스템이 도시된 블럭도이다.
도 2의 증강 원격제어장치(200)는 영상표시장치(100) 및 외부장치(30)와 직접 신호를 송수신하거나, 영상표시장치(100) 또는 외부장치(30)가 연결되는 홈 네트워크(40)의 홈 서버(50)와 신호를 송수신할 수 있다. 홈 네트워크(40)는 소정 개수의 영상표시장치(100) 또는 외부장치(30)가 소정 네트워크 통신 규격에 따라 신호를 송수신할 수 있는 네트워크이다. 홈 네트워크(40)는 컨텐츠 제공자(20)를 포함하는 네트워크 서버(300)가 구축되는 네트워크와 구별되는 독립적 네트워크일 수 있다. 홈 네트워크(40)는 사내에 또는 가정에 구축될 수 있다.
홈 서버(50)는 홈 네트워크(40)에 연결되는 영상표시장치(100)와 외부장치(30)에 관한 정보를 저장할 수 있다. 일예로, 홈 서버(50)는 홈 네트워크(40)에 연결된 영상표시장치(100) 또는 외부장치(30) 제품명, 모델명, 사용방법, 제공 컨텐츠 등에 관한 정보를 저장할 수 있다. 또한 홈 서버(50)는 홈 네트워크(40)의 신호 송수신을 제어할 수 있다.
증강 원격제어저장치(200)는 카메라, RFID 리더기를 통하여 홈 네트워크(40)에 연결된 영상표시장치(100) 또는 외부장치(30)의 종류를 인식할 수 있다. 증강 원격제어장치(200)는 인식한 영상표시장치(100), 외부장치(30), 영상표시장치(100) 또는 외부장치(30)에서 제공하는 컨텐츠에 관한 정보를 직접 영상표시장치(100) 또는 외부장치(30)를 통하여 제공받을 수 있다. 또한 증간 원격제어장치(200)는 관련 정보를 홈 서버(50)를 통하여 제공받을 수 있다. 또한 증강 원격제어장치(200)는 관련 정보를 네트워크 서버(300)를 통하여 검색하여 제공받을 수 있다.
증강 원격제어장치(200)는 검색한 정보를 증강 원격제어장치(200)의 디스플레이부에 표시할 수 있다. 증강 원격제어장치(200)에 표시되는 증강 정보는 카메라를 통하여 촬영한 영상 또는 투명 디스플레이부에 투영된 실제 영상에 오버랩될 수 있다. 증강 원격제어장치(200)는 증강 정보가 오버랩된 증강 실제 영상을 디스플레이부에 표시할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상표시장치의 내부 블록도이다.
도 3을 참조하면, 본 발명의 일실시예에 의한 영상표시장치(100)는 방송신호 수신부(110), 네트워크 인터페이스부(120), 외부장치 입출력부(130), 원격제어장치 인터페이스부(140), 제어부(150), 영상/음성 처리부(170), 디스플레이부(180), 음향출력부(185)를 포함할 수 있다.
방송신호 수신부(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 수신할 수 있다. 방송신호 수신부(110)는 수신된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환하여 영상/음성 처리부(170)로 출력할 수 있다.
또한, 방송신호 수신부(110)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다. 방송신호 수신부(110)는 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다. 이는, 디스플레이부(180)에 방송 채널에 해당하는 복수의 썸네일 영상을 포함하는 썸네일 목록을 도시하기 위한 것이다. 따라서 방송신호 수신부(110)는 선택 채널 또는 기저장된 모든 채널의 RF 방송 신호를 순차적/주기적으로 수신하는 것이 가능하다.
네트워크 인터페이스부(120)는 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다.
네트워크 인터페이스부(120)는 영상표시장치(100)를 무선으로 인터넷에 접속할 수 있는 무선 통신부를 포함할 수 있다. 무선 인터넷 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(120)는 네트워크를 통해 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 컨텐츠 제공자로부터 제공되는 방송, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다.
외부장치 입출력부(130)는 외부장치(30)와 영상표시장치(100)를 연결할 수 있다. 이를 위해, 외부장치 입출력부(130)는, A/V 입출력부 또는 무선 통신부를 포함할 수 있다.
외부장치 입출력부(130)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부장치(30)와 유/무선으로 연결된다. 외부장치 입출력부(130)는 연결된 외부장치(30)를 통하여 외부에서 입력되는 영상, 음성 또는 데이터신호를 영상표시장치(100)의 영상/음성 처리부(170)로 전달한다. 또한, 영상/음성 처리부(170)에서 처리된 영상, 음성 또는 데이터신호를 연결된 외부장치(30)로 출력할 수 있다.
A/V 입출력부는, 외부장치(30)의 영상 및 음성 신호를 영상표시장치(100)로 입력할 수 있도록, 이더넷(Ethernet)단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
또한, 무선 통신부는, 다른 외부장치와 무선 통신을 수행할 수 있다. 영상표시장치(100)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 입출력부(130)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다.
예를 들어, 셋탑 박스가 IP(internet Protocol) TV용 셋탑 박스인 경우, 외부장치 입출력부(130)는 양방향 통신이 가능하도록, IP TV용 셋탑 박스에서 처리된 영상, 음성 또는 데이터신호를 영상/음성 처리부(170)로 전달할 수 있다. 또한, 영상/음성 처리부(170)에서 처리된 신호들을 IP TV용 셋탑 박스로 전달할 수 있다.
한편, 상술한 IPTV는, 전송네트워크의 종류에 따라 ADSL-TV, VDSL-TV, FTTH-TV 등을 포함하는 의미일 수 있으며, TV over DSL, Video over DSL, TV overIP(TVIP), Broadband TV(BTV) 등을 포함하는 의미일 수 있다. 또한, IPTV는 인터넷 접속이 가능한 인터넷 TV, 풀브라우징 TV를 포함하는 의미일 수도 있다.
또한, 외부장치 입출력부(130)는 영상 또는 음성 통화를 할 수 있는 통신망과 연결될 수 있다. 통신망은 LAN을 통하여 연결되는 방송형 통신망, 공중전화망, 이동통신망 등을 포함하는 의미일 수 있다.
증강 원격제어장치 인터페이스부(140)는 증강 원격제어장치(200)과 무선으로 신호를 송수신할 수 있는 무선 통신부와, 증강 원격제어장치(200)의 동작에 대응하는 포인터의 좌표를 산출할 수 있는 좌표산출부를 구비할 수 있다. 증강 원격제어장치 인터페이스부(140)는 RF 모듈을 통하여 증강 원격제어장치(200)과 무선으로 신호를 송수신할 수 있다. 또한 IR 모듈을 통하여 증강 원격제어장치(200)이 IR 통신규격에 따라 전송한 신호를 수신할 수 있다.
증강 원격제어장치 인터페이스부(140)부의 좌표산출부는 증강 원격제어장치 인터페이스부(140)의 무선 통신부를 통하여 수신된 증강 원격제어장치(200)의 움직임에 대응하는 신호로부터 손떨림이나 오차를 수정할 수 있다. 좌표산출부는 손떨림이나 오차를 수정한 후 영상표시장치(100)의 디스플레이부(180)에 표시할 포인터의 좌표(x,y)를 산출할 수 있다.
증강 원격제어장치 인터페이스부(140)를 통하여 영상표시장치(100)로 입력된 증강 원격제어장치(200) 전송 신호는 영상표시장치(100)의 제어부(150)로 출력된다. 제어부(150)는 증강 원격제어장치(200)에서 전송한 신호로부터 증강 원격제어장치(200)의 움직임 및 키 조작에 관한 정보를 판별하고, 그에 대응하여 영상표시장치(100)를 제어할 수 있다.
또 다른 예로, 증강 원격제어장치(200)은 증강 원격제어장치(200)의 움직임에 대응하는 포인터 좌표를 산출하여 증강 원격제어장치 인터페이스부(140)로 출력할 수 있다. 이 경우, 증강 원격제어장치 인터페이스부(140)는 별도의 손떨림이나 오차 수정 과정 없이 수신된 포인터 좌표에 관한 정보를 제어부로 전송할 수 있다.
제어부(150)는 영상표시장치(100) 내의 전반적인 동작을 제어한다. 제어부(150)는 증강 원격제어장치 인터페이스부(140)를 통하여 증강 원격제어장치(200)가 전송한 신호를 수신할 수 있다. 또한, 영상표시장치(100)에 구비된 로컬키를 통하여 명령을 입력받을 수 있다. 제어부(150)는 수신한 신호에 포함된 명령 또는 로컬키 조작에 대응하는 명령을 판별하고 그에 대응하도록 영상표시장치(100)를 제어한다.
일예로, 사용자가 소정 채널 선택명령을 입력하면, 제어부(150)는 선택한 채널에서 제공되는 방송신호가 방송신호 수신부(110)를 통하여 입력되도록 방송신호 수신부(110)를 제어한다. 또한, 선택한 채널의 영상신호 및 음성신호가 처리되도록 영상/음성 처리부(170)를 제어한다. 또한, 사용자가 선택한 채널 정보 등이 영상신호 및 음성신호와 함께 디스플레이부(180) 또는 음성출력부(185)를 통하여 출력될 수 있도록 영상/음성 처리부(170)를 제어한다.
또 다른 예로, 사용자는 증강 원격제어장치(200)를 통하여 다른 종류의 영상 또는 음성 출력명령을 입력할 수 있다. 즉, 사용자는 방송신호 대신 외부장치 입출력부(130)를 통하여 입력되는 카메라 또는 캠코더 영상신호를 시청하기를 원할 수 있다. 이 경우 제어부(150)는 외부장치 입출력부(130)의 USB 입력부 등을 통하여 입력되는 영상신호 또는 음성신호가 디스플레이부(180) 또는 음성출력부(185)를 통해 출력되도록 영상/음성 처리부(170)를 제어할 수 있다.
영상표시장치(100)는 영상표시장치(100)와 관련된 그래픽 유저 인터페이스를 생성하는 유저 인터페이스 제어부를 구비할 수 있다. 유저 인터페이스 제어부의 기능은 제어부(150)에서 담당할 수 있다. 본 실시예에서는 편의상 유저 인터페이스 제어부를 별도의 구성요소로 설명한다.
유저 인터페이스 제어부를 통하여 생성된 그래픽 유저 인터페이스는 영상/음성 처리부(170)를 통하여 디스플레이부(180) 또는 음향 출력부(185)로 출력된다. 유저 인터페이스 제어부에서 생성되는 그래픽 유저 인터페이스는 증강 원격제어장치(200)를 통하여 수신된 신호에 포함된 명령, 영상표시장치(100)에 구비된 로컬 키를 통하여 입력된 명령, 또는 영상표시장치(100)의 동작에 기초하여 변경될 수 있다.
일예로, 증강 원격제어장치(200)(200)을 통하여 신호가 수신될 경우 유저 인터페이스 제어부는 증강 원격제어장치(200)(200)의 움직임에 대응하는 포인터 영상신호를 생성하여 영상/음성 처리부(170)로 출력할 수 있다. 제어부(150)는 증강 원격제어장치(200)을 통하여 수신된 신호로부터 산출된 포인터 좌표에 관한 정보를 유저 인터페이스 제어부로 출력할 수 있다. 유저 인터페이스 제어부는 제어부(150)에서 출력된 포인터 좌표에 관한 정보에 기초하여 포인터 영상신호를 생성할 수 있다. 영상/음성 처리부(170)는 유저 인터페이스 제어부에서 생성한 포인터 영상신호에 대응하는 포인터가 디스플레이부(180)에 표시되도록 디스플레이부(180)로 출력되는 영상신호를 처리한다. 디스플레이부(180)에 표시되는 포인터는 증강 원격제어장치(200)의 움직임에 대응한다.
또 다른 예로, 유저 인터페이스 제어부는 증강 원격제어장치(200)를 통하여 수신된 신호에 포함되는 명령, 로컬키를 통하여 입력된 명령 또는 영상표시장치(100)의 동작에 대응하는 객체로 이루어지는 유저 인터페이스의 영상신호를 생성하여 영상/음성 처리부(170)로 출력할 수 있다.
객체는 영상표시장치(100)로 명령을 입력할 수 있거나 영상표시장치(100) 관련 정보를 나타낼 수 있도록 디스플레이부(180)에 표시되는 다양한 종류의 위젯을 포함한다. 위젯은 OSD(On Screen Display)로 표시할 수 있다.
객체는 영상표시장치(100)의 음성 출력(볼륨) 레벨, 채널 정보, 현재 시간 등 영상표시장치(100) 또는 영상표시장치(100)에서 표시하고 있는 영상에 관한 정보를 나타내는 이미지 또는 텍스트를 포함한다. 객체는 영상표시장치(100)에서 표시될 수 있거나 표시되어야 하는 정보의 종류에 따라 다른 형태(ex) 동영상)로 구현될 수 있으며 본 실시예의 객체는 본 발명의 권리범위를 제한하지 아니한다.
위젯(Widget)은 GUI(Graphic User Interface)에서 사용자로 하여금 특정 데이터를 직접 변경할 수 있도록 하는 구성요소(element)를 의미한다. 일예로 위젯은 영상표시장치(100)의 디스플레이부(180)에 표시되는 볼륨 조절 버튼, 채널 조절 버튼, 메뉴, 아이콘, 네비게이션 탭, 스크롤 바, 프로그래스 바, 텍스트 박스, 윈도우 중 하나일 수 있다. 영상표시장치(100)에서 구현되는 위젯의 형태는 영상표시장치(100)에서 구현될 수 있거나 구현되어야 하는 GUI의 구체적인 사양에 따라 변경될 수 있으며 본 실시예의 위젯은 본 발명의 권리범위를 제한하지 아니한다.
영상/음성 처리부(170)는 방송신호 수신부(110), 네트워크 인터페이스부(120), 외부장치 입출력부(130)를 통하여 수신되는 신호에 포함되는 영상신호 또는 음성신호가 디스플레이부(180)에 적합하도록 처리한다. 영상/음성 처리부(170)는 영상신호 또는 음성신호와 함께 수신되는 데이터신호에 포함된 정보에 기초하여 영상신호 또는 음성신호를 처리할 수 있다.
영상/음성 처리부(170)는 유저 인터페이스 제어부를 통하여 입력되는 영상신호 또는 음성신호가 디스플레이부(180) 또는 음향출력부(185)에서 출력될 수 있도록 처리한다. 사용자는 유저 인터페이스 제어부에서 생성된 영상신호 또는 음성신호에 기초하여 디스플레이부(180)에 표시되는 그래픽 유저 인터페이스를 이용하여 영상표시장치(100)의 동작상태를 파악하거나, 영상표시장치(100) 관련 명령을 입력할 수 있다.
영상/음성 처리부(170)는 제어부(150)를 통하여 입력되는 사용자 명령에 대응하여 처리해야 하는 영상신호 또는 음성신호를 선택할 수 있다. 영상/음성 처리부(170)에서 처리되는 영상신호 또는 음성신호는 디스플레이부(180) 또는 음향출력부(185)를 통하여 출력되는 영상 또는 음성의 신호이다. 제어부(150)를 통하여 입력되는 명령은 방송채널 선택명령, 영상표시장치(100)로 입력되는 컨텐츠 중 재생하고자 하는 컨텐츠 선택명령 등이 있을 수 있다.
본 실시예의 영상/음성 처리부(170)는 외부에서 입력되는 2D 또는 3D 영상신호가 디스플레이부(180)에 표시될 수 있도록 영상신호를 처리할 수 있다. 영상/음성 처리부(170)는 유저 인터페이스 제어부를 통하여 생성된 유저 인터페이스가 디스플레이부(180)에서 입체적으로 표시되도록 영상신호를 처리할 수 있다. 영상/음성 처리부(170)의 상세한 설명은 도 4에서 후술한다.
디스플레이부(180)는, 영상/음성 처리부(170)에서 처리된 영상신호, 데이터신호, OSD 신호 또는 외부장치 입출력부(130)를 통해 수신되는 영상신호, 데이터신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다. 디스플레이부(180)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등이 가능하다. 본 실시예에서 디스플레이부(180)는 3차원 디스플레이(3D display)가 가능한 것이 바람직하다.
3차원 디스플레이는, 3차원 영상을 사용자가 인식하는 방식에 따라 추가 디스플레이 방식과 단독 디스플레이 방식으로 나뉠 수 있다.
단독 디스플레이 방식은, 별도의 보조 장치 없이 디스플레이에서 단독으로 3D 영상이 구현될 수 있는 방식이다. 단독 디스플레이 방식을 사용하는 디스플레이를 시청하는 사용자는 추가 장치(ex)평관안경)가 없어도 3차원 영상을 시청할 수 있다. 단독 디스플레이 방식으로는 렌티큘라 방식, 파라랙스 베리어(parallax barrier) 등이 있을 수 있다.
추가 디스플레이 방식은, 보조 장치를 사용하여 3D 영상을 구현하는 방식이다. 추가 디스플레이 방식으로는 헤드 마운트 디스플레이(HMD) 방식, 안경 방식 등이 있을 수 있다. 또한, 안경 방식에서 사용되는 안경으로는 편광 안경, 셔터 글래스, 스펙트럼 필터 등이 적용될 수 있다.
한편, 디스플레이부(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
음향출력부(185)는, 영상/음성 처리부(170)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 음향출력부(185)는 다양한 형태의 스피커로 구현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상표시장치 중 영상/음성 처리부(170)의 내부 블록도이다.
영상/음성 처리부(170)는 복조부(171), 역다중화부(172), 디코더부(173), 포맷터(175)를 포함하여 구성될 수 있다.
복조부(171)는 방송신호 수신부(110)에서 수신된 방송신호를 복조하는 동작을 수행할 수 있다. 일예로 복조부(171)는 방송신호 수신부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행할 수 있다. 또한 복조부(171)는 채널 복호화를 수행할 수 있다. 이를 위해 복조부(171)는 컨벌루션 디코더(convolution decoder), 디인터리버, 및 리드-솔로먼 디코더 등을 구비하여, 컨벌루션 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부(171)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 스트림 신호는 영상신호, 음성신호 또는 데이터신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상신호, 돌비(Dolby) AC-3 규격의 음성신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
복조부(171)는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비될 수 있다.
복조부(171)에서 출력한 스트림 신호는 역다중화부(172)로 입력될 수 있다.
역다중화부(172)는 수신되는 스트림 신호, 일예로 MPEG-2 TS를 역다중화하여 영상신호, 음성신호 및 데이터신호로 분리할 수 있다. 역다중화부(172)로 입력되는 스트림 신호는 복조부(171), 네트워크 인터페이스부(120), 외부장치 입출력부(130)에서 출력되는 스트림 신호일 수 있다.
역다중화된 데이터신호는 부호화된 데이터 신호일 수 있다. 부호화된 데이터 신호는 각 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 EPG(Electronic Progtam Guide) 정보를 포함할 수 있다. 예를 들어, EPG 정보는, ATSC방식인 경우, TSC-PSIP(ATSC-Program and System Information Protocol) 정보일 수 있으며, DVB 방식인 경우, DVB-SI(DVB-Service Information) 정보를 포함할 수 있다.
디코더부(173)는 역다중화된 신호를 복호화할 수 있다. 본 실시예의 디코더부(173)는 역다중화된 영상신호를 복호화하는 비디오 디코더와 복호화된 영상신호의 해상도가 영상표시장치(100)에서 출력될 수 있도록 조절하는 스케일러를 포함할 수 있다.
본 발명의 일실시예에 의한 영상/음성 처리부(170)는 외부에서 영상표시장치(100)로 입력되는 영상신호와 유저 인터페이스 제어부(160)에서 생성한 영상신호를 믹싱하는 믹서를 별도로 구비할 수 있다. 믹서의 기능은 포맷터(175)가 담당할 수 있다. 본 실시예에서는 편의상 믹서를 포맷터(175)와 구별하여 설명한다. 디스플레이부(180)는 믹싱된 영상신호에 기초하는 영상을 표시한다. 믹서에서 믹싱된 영상신호는 포맷터(175)로 출력된다.
포맷터(175)는 믹싱된 영상신호의 포맷을 영상신호와 관련된 데이터신호를 참조하여 판별할 수 있다. 포맷터(175)는 믹싱된 영상신호를 디스플레이부(180)에 적합한 포맷으로 변환하여 디스플레이부(180)로 출력할 수 있다.
본 실시예의 영상표시장치(100)는 디스플레이부(180)에 3D 영상을 표시할 수 있다. 포맷터(175)는 믹싱된 영상신호를 복수시점 영상으로 분리하여 소정 포맷에 따른 3D 영상신호를 생성할 수 있다. 포맷터(175)는 생성한 3D 영상신호를 디스플레이부(180)로 출력한다. 디스플레이부(180)는 생성한 3D 영상신호에 기초한 3D 영상을 표시한다.
3D 영상은 복수시점 영상으로 이루어진다. 사용자는 복수시점 영상을 좌안과 우안을 통하여 시청할 수 있다. 사용자는 좌안과 우안을 통하여 시청되는 영상의 차이를 통하여 3D 영상의 입체감을 느낄 수 있다. 3D 영상을 구현하기 위한 복수시점 영상은 일반적으로 사용자가 좌안을 통하여 인식할 수 있는 좌안용 영상 및 우안을 통하여 인식할 수 있는 우안용 영상으로 이루어진다.
3D 영상신호 포맷은 3D 영상을 구현하기 위하여 생성된 좌안용 영상과 우안용 영상을 배치하는 방법에 따라 결정될 수 있다. 좌안용 영상과 우안용 영상이 좌,우로 배치하는 방식은 사이드 바이 사이드(Side by Side) 포맷이라 칭한다. 좌안용 영상과 우안용 영상을 상,하로 배치하는 방식은 탑 다운(Top / Down) 포맷이라 칭한다. 좌안용 영상과 우안용 영상을 시분할로 배치하는 방식은 프레임 시퀀셜(Frame Sequential) 포맷이라 칭한다. 좌안용 영상과 우안용 영상을 라인 별로 혼합하는 방식을 인터레이스 (Interlaced) 포맷이라 칭한다. 좌안용 영상과 우안용 영상을 박스별로 혼합하는 방식을 체커 박스(Checker Box) 포맷이라 칭한다.
외부에서 영상표시장치(100)로 입력된 신호에 포함된 영상신호가 3D 영상을 구현할 수 있는 3D 영상신호일 수 있다. 또한, 유저 인터페이스 제어부(160)에서 생성되는 그래픽 유저 인터페이스 영상신호는 3D 영상을 구현할 수 있는 3D 영상신호일 수 있다. 믹서는 외부에서 영상표시장치(100)로 입력된 신호에 포함된 3D 영상신호와 유저 인터페이스 제어부에서 생성되는 3D 영상신호를 믹싱하여 포맷터(175)로 출력할 수 있다.
포맷터(175)는 믹싱된 3D 영상신호의 포맷을 관련된 데이터신호를 참조하여 판별할 수 있다. 포맷터(175)는 판별한 포맷에 적합하도록 3D 영상신호를 처리하여 디스플레이부(180)에 출력할 수 있다. 또한, 디스플레이부(180)에서 출력될 수 있는 3D 영상신호 포맷이 제한되어 있는 경우, 포맷터(175)는 수신한 3D 영상신호를 디스플레이부(180)에서 출력될 수 있는 3D 영상신호 포맷에 적합하도록 변환하여 디스플레이부(180)에 출력할 수 있다.
포맷터(175)로 입력되는 믹싱 3D 영상신호의 데이터신호로부터 포맷이 판별될 수 없는 경우, 포맷터(175)는 소정 알고리즘을 이용하여 입력되는 3D 영상신호의 포맷을 판별할 수 있다. 일예로, 포맷터(175)는 입력되는 3D 영상신호에 기초하여 생성되는 영상의 엣지(Edge) 등을 분석하여 3D 영상신호의 포맷을 판별할 수 있다.
또한, 포맷터(175)로 입력되는 믹싱 영상신호가 2D 영상을 구현할 수 있는 2D 영상신호인 경우, 포맷터(175)는 2D 영상을 3D 영상으로 변환하는 알고리즘을 통하여 3D 영상신호를 생성할 수 있다.
도 5는 본 발명의 일실시예에 의한 증강 원격제어장치(200)의 내부 블록도이다. 증강 원격제어장치(200)는 무선 통신부(210), 저장부(220), 사용자 인터페이스부(230), 센서부(240), 식별부(250), 디스플레이부(260), 음향출력부(270), 제어부(280)를 포함할 수 있다.
무선 통신부(210)는 영상표시장치(100), 외부장치(30), 홈 서버(50) 또는 네트워크 서버(300) 등의 전자기기와 신호를 송수신할 수 있다. 본 실시예에서, 증강 원격제어장치(200)는 RF 통신 규격에 따라 주변기기와 신호를 송수신할 수 있는 RF 모듈를 구비할 수 있다. 또한 증강 원격제어장치(200)는 IR 통신 규격에 따라 주변기기와 신호를 송수신할 수 있는 IR 모듈을 구비할 수 있다.
무선 통신부(210) 이외에도 다양한 종류의 통신 규격에 따라 전자기기와 신호를 송수신할 수 있으며 해당 통신 규격에 따른 신호를 송수신하기에 적합한 모듈을 구비한다. 증강 원격제어장치(200)의 무선 통신부(210)를 통하여 송수신될 수 있는 신호의 무선 통신 규격의 예로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee)가 있을 수 있다.
무선 통신부(210)는 이외에도 다양한 종류의 무선 인터넷 규격에 따라 인터넷 망과 신호를 송수신할 수 있으며, 해당 무선 인터넷 규격에 따른 신호를 송수신하기에 적합한 모듈을 구비한다. 증강 원격제어장치(200)에서 사용할 수 있는 무선 인터넷 규격은 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access)가 있을 수 있다.
본 실시예에서, 증강 원격제어장치(200)는 전자기기로 증강 원격제어장치(200)의 동작에 관한 정보가 담긴 신호를 무선 통신부(210)를 통하여 전송한다. 또한, 증강 원격제어장치(200)는 전자기기가 전송한 신호를 RF 모듈을 통하여 수신할 수 있다. 또한, 증강 원격제어장치(200)는 필요에 따라 IR 모듈을 통하여 전자기기로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
저장부(220)는 증강 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 어플리케이션 데이터 등이 저장될 수 있다. 만일 증강 원격제어장치(200)이 전자기기와 RF 모듈을 통하여 무선으로 신호를 송수신할 경우 증강 원격제어장치(200)와 전자기기는 소정 주파수 대역을 통하여 신호를 송수신한다. 증강 원격제어장치(200)의 제어부(280)는 증강 원격제어장치(200)와 페어링된 주변기기와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(220)에 저장하고 참조할 수 있다.
사용자 인터페이스부(230)는 키패드나 버튼으로 구성될 수 있다. 사용자는 사용자 인터페이스부(230)를 조작하여 증강 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 인터페이스부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 증강 원격제어장치(200)로 전자기기와 관련된 명령을 입력할 수 있다. 사용자 인터페이스부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 증강 원격제어장치(200)로 전자기기와 관련된 명령을 입력할 수 있다. 또한, 사용자 인터페이스부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있다.
센서부(240)는 증강 원격제어장치(200)를 사용하는 사용자 관련 정보를 수집할 때 사용할 수 있는 센서를 포함한다. 센서부(240)는 GPS, 콤파스(나침반), 자이로센서, 가속도센서, 적외선센서 등을 구비할 수 있다. GPS는 사용자의 위치를 판별하는데 사용될 수 있다. 콤파스는 사용자의 방향을 판별하는데 사용될 수 있다.
자이로센서는 사용자 또는 사용자가 조작하고 있는 증강 원격제어장치(200)의 움직임에 관한 정보를 판별하는데 사용될 수 있다. 일예로, 자이로센서는 증강 원격제어장치(200)의 움직임에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있다. 가속도센서(243)는 공간리모콘의 이동속도 등에 관한 정보를 센싱할 수 있다.
증강 원격제어장치(200)는 센서부(240)를 통하여 수집된 사용자 관련 정보를 참조하여 사용자 주변 환경에 존재하는 객체를 판별하는데 사용할 수 있다. 또한, 증강 원격제어장치(200)는 센서부(240)를 통하여 수집된 사용자 관련 정보를 참조하여 사용자 제스쳐를 판별할 수 있다. 증강 원격제어장치(200)는 사용자 제스쳐에 대응하는 명령에 따라 제어될 수 있다. 또한 증강 원격제어장치(200)는 사용자 제스쳐에 대응하는 명령이 전자기기 제어명령인 경우, 해당 전자기기로 해당 제어명령이 포함된 신호를 전송할 수 있다.
식별부(250)는 전자기기를 포함하는 사용자 주변 객체를 식별할 수 있다. 식별부(250)는 카메라, RFID 리더기, 적외선센서 등을 포함할 수 있다. 식별부(250)는 카메라를 이용하여 사용자 주변 격체를 촬영할 수 있다. 식별부(250)를 통하여 촬영된 객체의 영상은 저장부(220), 홈 서버(50) 또는 네트워크 서버(300)에 저장된 다양한 객체의 영상과 비교될 수 있다. 식별부(250)는 영상의 패턴을 분석하고 촬영한 영상의 패턴과 동일한 패턴을 가지는 영상에 대응하는 객체에 관한 정보를 추출하여 촬영한 객체를 인식할 수 있다.
또한, 식별부(250)는 객체에 장착된 RFID 관련 정보를 RFID 리더기를 통하여 판독하고 해당 객체를 인식할 수 있다. 또한, 식별부(250)는 적외선센서를 통하여 사용자 주변에 객체가 존재하는지 여부를 판별할 수 있다. 증강 원격제어장치(200)는 사용자 위치 또는 방향별로 존재하는 객체에 관한 정보를 참조할 수 있다. 사용자 위치 또는 방향별로 존재하는 객체에 관한 정보는 저장부(220), 홈 서버(50) 또는 네트워크 서버(300)에 저장되어 있을 수 있다.
식별부(250)는 센서부(240)를 통하여 수집한 사용자 관련 정보를 바탕으로 현재 사용자의 위치 및 방향을 판별하고, 저장되어 있는 객채에 관한 정보 중 적외선센서를 통하여 존재가 감지된 객체의 위치 및 방향에 대응하는 객체에 관한 정보를 추출하여 사용자 주변에 존재하는 객체를 인식할 수 있다. 일예로, 증강 원격제어장치(200)는 소정 사용자 위치 및 방향별 위치하는 건물에 관한 정보가 저장된 맵 정보를 참조할 수 있다. 이 경우, 증강 원격제어장치(200)는 증강 원격제어장치(200)를 소지하는 사용자 위치 및 방향에 대응하는 주변 객체의 정보를 맵 정보에서 참조하여 실제 사용자 주변 건물을 인식할 수 있다.
또한, 식별부(250)는 카메라를 통하여 촬영한 사람의 안면, 지문, 홍채 등을 인식할 수 있다. 식별부(250)는 인식한 안면, 지문, 홍채 등의 패턴을 저장되어 있는 사람별 안면, 지문, 홍채 패턴과 비교하여 증강 원격제어장치(200)를 통해 촬영한 사람을 인식할 수 있다. 제어부(280)는 식별부(250)를 통하여 인식한 컨텐츠 관련 정보를 검색하여 출력할 수 있다. 일예로 식별부(250)를 통하여 사람을 인식한 경우, 인식한 사람 관련 정보(ex)이름, 나이, 개인별 선호 컨텐츠 등)를 검색하여 출력할 수 있다.
디스플레이부(260) 및 음향출력부(270)는 사용자 인터페이스부(230)의 조작에 대응하거나 영상표시장치(100), 외부장치(30), 홈 서버(50), 네트워크 서버(300) 등 전자기기에서 전송한 신호에 대응하는 영상 또는 음성을 출력할 수 있다. 디스플레이부(260) 및 음향출력부(270)를 통하여 사용자는 사용자 인터페이스부(230)의 조작 여부 또는 전자기기의 제어 여부를 인지할 수 있다.
디스플레이부(260)는 카메라를 통하여 촬영되는 영상에 포함되는 객체 관련 정보를 표시할 수 있다. 디스플레이부(260)는 카메라를 통하여 촬영되는 영상에 검색한 증강 정보를 오버랩한 증강 실제 영상을 표시할 수 있다. 또 다른 예로 디스플레이부(260)가 투명 패널로 이루어진 투명 디스플레이부인 경우, 사용자는 주변 환경의 실제 영상을 투명 디스플레이부를 통하여 볼 수 있다. 증강 원격제어장치(200)는 투명 디스플레이부에 투영되고 있는 실제 영상에 포함되는 객체 관련 정보를 검색할 수 있다. 증강 원격제어장치(200)는 투명 디스플레이부에 검색한 객체 관한 정보를 표시할 수 있다.
제어부(280)는 카메라를 통하여 촬영되는 영상에 증강 정보를 오버랩하여 디스플레이부(260)로 출력할 수 있다. 또한 제어부(280)는 투명 디스플레이부에 투영되는 영상에 포함된 객체에 관련된 증강 정보가 현재 투명 디스플레이부에 투영되고 있는 실제 영상에 오버랩되도록 디스플레이부(260)로 증강 정보에 관련된 영상신호를 출력할 수 있다. 또한, 제어부(280)는 증강 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다.
제어부(280)는 사용자 인터페이스부(230)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 증강 원격제어장치(200)의 동작에 대응하는 신호를 무선통신부(210)를 통하여 해당 전자기기로 전송할 수 있다.
도 3 내지 도 5에 도시된 영상표시장치(100) 및 증강 원격제어장치(200)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100), 증강 원격제어장치(200)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 6은 본 발명의 일실시예에 의한 증강 원격제어장치(200)의 동작방법의 흐름을 설명한 순서도이다.
본 실시예의 증강 원격제어장치(200)는 사용자 주변 객체를 인식할 수 있다(S10). 증강 원격제어장치(200)는 인식한 객체 관련 정보를 검색할 수 있다(S20). 증강 원격제어장치(200)는 검색한 객체 관련 정보를 표시할 수 있다(S30).
증강 원격제어장치(200)가 인식할 수 있는 사용자 주변 객체는 여러 종류가 있을 수 있다. 사용자는 증강 원격제어장치(200)를 통하여 인식하기를 원하는 객체의 종류를 선택할 수 있다. 일예로 사용자는 증강 원격제어장치(200)에서 전자기기를 인식하도록 선택할 수 있다. 이 경우 증강 원격제어장치(200)는 전자기기에 부착된 RFID를 이용하여 사용자 주변에 존재하는 전자기기를 인식할 수 있다.
또한 사용자는 영상표시장치(100) 또는 외부장치(30)에서 제공하고 있는 컨텐츠를 인식하도록 선택할 수 있다. 이 경우 증강 원격제어장치(200)는 영상표시장치(100), 외부장치(30) 또는 홈 서버(50)에서 제공받은 메타데이터 등을 이용하여 현재 영상표시장치(100) 또는 외부장치(30)에서 제공하고 있는 컨텐츠를 인식할 수 있다. 즉, 사용자가 증강 원격제어장치(200)에 장착된 카메라 또는 RFID 리더기 등 식별수단이 현재 컨텐츠가 재생중인 영상표시장치(100)를 향하도록 위치하는 경우, 증강 원격제어장치(200)는 식별수단을 통하여 현재 사용자가 식별하기를 원하는 컨텐츠가 재생중인 전자기기를 인식하고, 해당 전자기기 관련 메타데이터를 이용하여 영상표시장치(100)에서 재생중인 컨텐츠를 인식할 수 있다.
또한 사용자는 특정인을 인식하도록 선택할 수 있다. 이 경우 증강 원격제어장치(200)는 식별부(250) 중 카메라, 지문인식기, 홍채인식기 등을 통하여 특정인의 안면, 지문, 홍채 등을 판독할 수 있다. 증강 원격제어장치(200)는 데이터베이스에 저장된 사람별 안면, 지문, 홍채 등에 관한 정보와 판독한 정보를 비교하여 증강 원격제어장치(200)를 통하여 촬영한 특정인의 신분 등을 인식할 수 있다.
또한 사용자는 주변 객체(ex)건물, 가구 등)를 인식하도록 선택할 수 있다. 이 경우 증강 원격제어장치(200)는 GPS나 나침반을 이용하여 사용자 위치 또는 방향에 관련된 사용자 관련 정보를 수집할 수 있다. 또한 증강 원격제어장치(200)는 카메라를 이용하여 주변 객체의 영상을 촬영할 수 있다. 증강 원격제어장치(200)는 사용자 위치 및 방향별 객체 정보가 저장된 데이터베이스 중 현재 사용자 위치 또는 방향에 대응하는 주변 객체의 영상 정보를 참조하여 촬영한 주변 객체를 인식할 수 있다.
객체를 인식하는 과정에서 증강 원격제어장치(200)가 참조하는 정보는 영상표시장치(100), 외부장치(30), 증강 원격제어장치(200)의 저장부(220), 홈 서버(50) 또는 네트워크 서버(300)에 저장될 수 있다. 또한, 증강 원격제어장치(200)는 인식한 객체 관련 정보를 영상표시장치(100), 외부장치(30), 증강 원격제어장치(200)의 저장부(220), 홈 서버(50) 또는 네트워크 서버(300)에서 검색할 수 있다.
일예로, 증강 원격제어장치(200)는 영상표시장치(100) 혹은 외부장치(30)를 인식한 경우, 해당 전자기기에서 재생중인 컨텐츠 목록을 검색할 수 있다. 또한 영상표시장치(100) 또는 외부장치(30)에 저장된 컨텐츠 목록 검색할 수 있다. 또한, 영상표시장치(100)로 수신되는 방송신호 관련 정보를 검색할 수 있다. 또한 영상표시장치(100) 혹은 외부장치(30) 등 해당 전자기기를 제어할 수 있는 메뉴를 포함하는 정보를 검색할 수 있다.
또한, 증강 원격제어장치(200)는 영상표시장치(100) 혹은 외부장치(30)에서 재생중이거나 저장된 컨텐츠를 인식한 경우, 컨텐츠 관련 정보를 검색할 수 있다. 컨텐츠 관련 정보는 해당 컨텐츠의 타이틀정보, 쇼핑정보 등이 있을 수 있다.
또한, 증강 원격제어장치(200)는 특정인을 인식한 경우, 특정인과 관련된 정보를 검색할 수 있다. 특정인과 관련된 정보는 특정인의 이름이나 나이, 직업, 연락처 등에 관한 정보 또는 특정인이 선호하는 컨텐츠나 특정인이 시청한 컨텐츠 히스토리 정도 등이 있을 수 있다.
또한, 증강 원격제어장치(200)는 사용자 주변 실제 객체(ex)건물, 가구, 예술작품 등)를 인식한 경우, 실제 객체에 관련된 정보를 검색할 수 있다. 실제 객체와 관련된 정보는 실제 객체의 이름, 제조사, 판매가격, 판매장소, 사용방법 등이 있을 수 있다.
증강 원격제어장치(200)는 검색한 정보를 디스플레이부(260)에 표시할 수 있다. 증강 원격제어장치(200)는 검색한 정보를 팝업창이나 아이콘을 이용하여 표시할 수 있다. 또한 검색한 정보에 대응하는 이미지 또는 텍스트를 표시할 수 있다. 증강 원격제어장치(200)는 카메라를 통하여 촬영되는 영상에 검색한 증강 정보를 오버랩하여 디스플레이부(260)에 표시할 수 있다.
이때 제어부(280)는 주변 환경에 포함된 객체 중 검색한 정보에 대응하는 객체와 검색한 정보가 오버랩되지 않도록 디스플레이부(260)에 표시되는 화면을 구성할 수 있다. 투명 디스플레이부에 증강 정보를 표시하는 경우에도 제어부(280)는 검색한 정보에 대응하는 객체와 오버랩되지 않은 영역에 증강 정보가 표시되도록 디스플레이부(260)에 표시되는 화면을 구성할 수 있다.
도 7은 본 발명의 일실시예에 의한 증강 원격제어장치(200)의 외관을 간략히 도시한 도이다.
증강 원격제어장치(200)의 디스플레이부(260)에 표시되는 화면(261)은 증강 원격제어장치(200)가 인식한 객체(1001) 및 인식한 객체(1001) 관련 정보(1002, 1003)를 포함할 수 있다.
본 실시예에서 증강 원격제어장치(200)가 인식한 객체(1001)는 증강 원격제어장치(200)의 카메라를 통하여 실제 촬영되는 객체의 영상이다. 또한, 관련 정보(1002, 1003)은 증강 원격제어장치(200)가 검색한 정보로 이루어진 증강 정보이다. 도시된 바와 같이 증강 원격제어장치(200)는 실제 촬영되는 객체의 영상과 함께 증강 정보를 화면(261)에 표시한다. 사용자는 실제 촬영되는 객체에 관한 정보를 화면(261)에 포함된 증강 정보를 통하여 확인할 수 있다.
객체 관련 정보는 해당 객체를 제어할 수 있는 메뉴를 포함할 수 있다. 본 실시예에서 관련 정보2(1003)은 영상표시장치(100), 외부장치(30)로 관련 명령을 입력할 수 있는 메뉴일 수 있다. 또한 본 실시예에서 관련 정보2(1003)은 현재 재생중인 컨텐츠의 재생을 중단하거나, 다른 전자기기로 전송할 수 있는 메뉴일 수 있다.
사용자는 화면(261)이 터치스크린에 표시되는 경우, 터치스크린을 터치하여 해당 객체(1001) 관련 정보가 화면(261)에 표시되도록 할 수 있다. 또한 화면(261)에 표시되는 관련 정보2(1003)에 포함된 메뉴 중 소정 아이콘을 선택하여 선택한 아이콘에 대응하는 명령을 증강 원격제어장치(200)로 입력할 수 있다.
증강 원격제어장치(200)는 키패드(231)를 구비할 수 있다. 사용자는 키패드(231)를 구성하는 소정의 키를 조작하여 소정 명령을 증강 원격제어장치(200)로 입력할 수 있다.
그리고, 본 발명에 따른 공간리모콘 페어링방법 및 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
증강 원격제어장치는 식별부(250)를 통해 홈 네트워크로 연결된 영상표시장치를 인식한다(S810). 본 실시예에서 증강 원격제어장치가 인식하는 객체는 영상표시장치로 예시되었으나, 증강 원격제어장치가 인식하는 객체에는 컨텐츠가 재생될 수 있는 영상표시장치, 외부장치 등을 포함하는 전자기기를 포함할 수 있다. 그리고, 증강 원격제어장치는 증강 원격제어장치가 인식한 영상표시장치, 외부장치 등에 표시되고 있는 영상도 인식할 수 있다. 여기서 영상에는 소정의 컨텐츠가 재생됨에 따라 보여지는 정지 영상 또는 동영상, EPG 영상 또는 채널 브라우져, 채널 목록 안내 영상 등이 모두 포함될 수 있다. 이 경우 증강 원격제어장치는 영상표시장치에서 재생되고 있는 컨텐츠 관련 메타데이터를 영상표시장치 또는 영상표시장치가 연결된 홈 서버를 통하여 수신하고, 현재 영상표시장치에서 재생되고 있는 컨텐츠 관련 정보를 인식할 수 있다.
도 8을 참조하여 설명하는 실시예에 따르면, 우선 증강 원격제어장치는 식별부(250)를 통해 영상표시장치 또는 홈 네트워크에 연결된 하나 이상의 외부장치를 인식한다. 증강 원격제어장치는 카메라, RFID 리더기와 같은 식별수단을 이용하여 객체를 인식할 수 있다. 일예로, 사용자가 증강 원격제어장치의 카메라가 영상표시장치를 향하도록 움직이면, 증강 원격제어장치는 영상표시장치를 인식할 수 있다.
외부장치의 인식 과정은 보통 증강 원격제어장치가 해당 외부장치를 촬영하여 프리뷰 이미지를 생성하는 과정과 함께 수행될 수 있다. 따라서 증강 원격제어장치에는 피사체 인식 및 그에 대한 프리뷰 이미지 생성 기능 및 이미지 캡쳐 및 저장 기능을 가진 모듈 즉 카메라 등의 식별부(250)와, 해당 프리뷰 이미지 또는 저장된 이미지를 실시간으로 표시하고 저장할 수 있는 디스플레이부(260)가 장착된다.
또한, 앞서 설명한 바와 같이 증강 원격제어장치의 식별부(250)는 RFID 등을 통해 외부장치를 인식할 수 있다. 증강 원격제어장치는 다양한 방법을 통하여 해당 외부장치의 시리얼 넘버나 제품 코드 등의 외부장치 식별정보를 읽어오거나 획득한다. 또는 해당 외부장치를 촬영하여 생성된 영상 데이터를 외부장치 식별을 위해 이용할 수도 있다. 여기서 외부장치를 촬영하여 생성된 영상 데이터는 스트리밍되는 프리뷰 이미지 데이터 또는 캡쳐 후 저장된 영상 데이터 중 하나 이상일 수 있다.
그리고 증강 원격제어장치는 영상표시장치를 통해 재생될 컨텐츠에 대한 컨텐츠 정보를 검색한다(S820). 컨텐츠 정보를 검색할 수 있는 데이터베이스는 영상표시장치 내에 저장되어 있을 수도 있고, 무선통신망을 통해 증강 원격제어장치가 접속 가능한 서버에 저장되어 있을 수도 있다. 컨텐츠 정보가 저장되어 있는 서버의 예로는 앞서 언급한 네트워크 서버와 홈 서버가 있다. 만일 여기서의 컨텐츠가 방송국으로 수신되는 영상물인 경우, 컨텐츠 정보는 컨텐츠와 함께 방송국으로부터 영상표시장치 또는 증강 원격제어장치로 전송될 수도 있다.
여기서 검색하는 컨텐츠 정보는 영상표시장치의 사용자에 따라 개인화된 컨텐츠 정보일 수 있다. 즉 해당 영상표시장치에 대한 컨텐츠 정보 중, 특히 그 영상표시장치의 사용자별로 적합하게 편집되거나 수정된 컨텐츠 정보가 검색 및 수신의 대상이 될 수 있다. 개인화된 컨텐츠 정보, 이에 따른 개인화된 컨텐츠 안내 영상에 대해서는 이후 도 9를 참조한 설명 및 그 이하에서 보다 상세하게 설명하도록 한다.
그리고 증강 원격제어장치는 무선통신부(210)를 통해 검색된 컨텐츠 정보를 수신한다(S830). 증강 원격제어장치가 네트워크 서버 또는 홈 서버에 저장된 컨텐츠 정보의 데이터베이스로부터 컨텐츠 정보를 검색한 경우, 이를 다운로드받는 형식으로 컨텐츠 정보를 수신할 수 있다.
증강 원격제어장치의 제어부(280)는 수신한 컨텐츠 정보를 이용하여 컨텐츠 안내 영상을 생성한다. 그리고 증강 원격제어장치의 디스플레이부(260)가 컨텐츠 안내 영상을 표시한다. 컨텐츠 안내 영상과 함께, 인식된 영상표시장치 및 그 컨텐츠의 재생 영상이 디스플레이부(260)에 표시될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 도면이다.
증강 원격제어장치는 센서부(240) 또는 식별부(250)를 통해 영상표시장치를 인식한다(S910). 증강 원격제어장치가 전자 기기를 인식하는 방법이나 과정에 대해서는 도 8을 참조한 설명에서 이미 언급하였으므로 반복된 설명은 생략하도록 한다. 영상표시장치와 함께 증강 원격제어장치는 센서부(240) 또는 식별부(250)를 통해 영상표시장치의 사용자를 인식할 수 있다. 사용자를 인식함으로써 증강 원격제어장치는 사용자 인증을 수행할 수 있다. 사용자 인증은 해당 영상표시장치를 사용하거나 사용하려고 하는 주체가 미리 등록된 사용자인지를 확인하는 과정으로서, 영상표시장치의 사용자가 미리 등록되거나 허가된 사용자인지 아닌지의 여부를 판단하는 과정을 의미할 수 있다. 그리고 영상표시장치의 사용자로 2인 이상이 등록된 경우, 현재 인식된 사용자가 그 중 누구인지를 판별하는 과정 역시 사용자 인증 과정에 포함될 수 있다.
사용자 인증의 방법에는 다양한 수단이 이용될 수 있다. 예컨대, 증강 원격제어장치는 식별부(250)에 마련된 카메라를 이용하여 사용자 안면을 인식한다. 즉 사용자 안면에 대한 영상 데이터를 생성한다. 그리고 사용자 안면에 대한 영상 데이터로서 데이터베이스에 저장되어 있는 영상 데이터과 현재 생성된 영상 데이터를 비교하여, 안면의 패턴의 매칭 여부에 따라 매칭되는 사용자를 검색함으로써 사용자 인증을 수행할 수 있다. 매칭되는 영상 데이터가 존재하는 경우 사용자 인증은 성공하며, 그렇지 않은 경우 사용자 인증은 실패한 것으로 간주된다.
또는 암호 등의 일정 신호를 입력받는 방식이 사용자 인증을 위해 사용될 수 있다. 즉 증강 원격제어장치는 사용자 인터페이스부(230), 센서부(240) 또는 식별부(250)를 통해 사용자로부터 미리 암호를 입력받아 저장부(220)에 저장한다. 그리고 이후 사용자 인터페이스부(230), 센서부(240) 또는 식별부(250)를 통해 사용자로부터 보안용 신호를 입력받으면, 제어부(280)는 입력된 보안용 신호를 미리 저장된 암호와 비교한다. 입력받은 보안용 신호와 저장되어 있는 암호가 일치하는 경우에 한하여 사용자 인증이 성공적으로 수행된 것으로 간주한다.
여기서 보안용 신호는 비밀번호나 패스워드의 텍스트 형태의 신호 뿐만이 아니고 음성신호, 지문 이미지 등 다양한 형태를 가질 수 있다. 미리 저장되는 암호 역시 마찬가지이다. 음성의 경우 음성 자체의 특성을 분석하여 사용자를 인증하는 방법과 음성에 의해 전달되는 내용을 파악하여 사용자 인증을 수행하는 방법이 모두 포함될 수 있다. 증강 원격제어장치의 제어부(280)는 이외에도, 지문 인식, 홍채 인식, 음성 인식 또는 사용자의 특정 동작을 센싱하는 등의 방법을 통하여 사용자 인증을 수행할 수 있다.
사용자 인증에 성공하는 경우(S920), 증강 원격제어장치는 해당 영상표시장치 또는 해당 영상표시장치를 통해 재생 중인 컨텐츠와 관련하여 개인화된 컨텐츠 정보를 검색한다(S930). 예컨대 해당 사용자가 등록한 선호 채널 또는 해당 사용자에게 보여지도록 설정된 채널에 관한 정보를 검색한다. 또는 컨텐츠 정보로서 제공될 수 있는 정보들 중에서 사용자가 미리 정보의 분류를 지정하면, 그 분류에 해당되는 컨텐츠 정보만이 검색의 대상이 될 수도 있다. 예컨대, 영상표시장치에 컨텐츠들이 저장되어 있고, 사용자가 그 컨텐츠의 파일 형식과 파일명, 저장 일자만을 검색 분류로 지정한 경우를 가정한다. 이 경우 증강 원격제어장치는 사용자 인증 후 컨텐츠 정보 검색 시, 해당 영상표시장치에 저장된 컨텐츠들의 파일 형식과 파일명, 저장 일자에 대한 정보만을 검색하게 된다.
이와 같이 증강 원격제어장치는 인식된 영상표시장치가 무엇인지, 그리고 사용자 인증에 성공하였는지 또는 인식된 사용자가 누구인지의 여부에 따라 적합한 컨텐츠 정보를 검색하고, 검색된 결과를 수신한다(S940).
만일 사용자 인증에 실패하는 경우(S950), 영상표시장치 또는 증강 원격제어장치의 동작이 종료될 수 있으나, 개인화된 정보와 무관한 기능은 계속 제공될 수도 있다. 예컨대 인증에 실패한 사용자의 경우, 사용자의 개인화된 설정과는 무관하게 디폴트 설정에 따라 증강 원격제어장치는 컨텐츠에 대한 정보를 제공할 수 있다. 따라서 사용자에 의해 잠금 처리되어 있는 컨텐츠 정보, 미리 요청되지 않은 컨텐츠 정보 등은 제공되지 않는다. 도 9를 참조하여 설명하는 예에 따르면, 사용자 인증에 실패한 경우 증강 원격제어장치는 디폴트 설정에 따라 컨텐츠 정보를 검색하여 수신한다(S960).
컨텐츠 정보를 수신한 증강 원격제어장치는 수신된 컨텐츠 정보에 따라 컨텐츠 안내 영상을 표시한다(S970). 만일 사용자 인증을 거쳐 개인화된 컨텐츠 정보가 검색 및 수신된 경우, 개인화된 컨텐츠 안내 영상이 제공될 수 있다. 컨텐츠 안내 영상에 포함된 컨텐츠 정보의 내용 뿐만이 아니라 컨텐츠 정보의 배열 방식이나 컨텐츠 안내 영상의 여러 설정이 사용자의 개인화된 정보에 따라 달라질 수도 있다. 위 과정에 따라 증강 원격제어장치는 사용자 인증 과정을 거친 후 사용자별 등록된 선호 채널 또는 잠금 해제된 채널에 관한 정보를 증강 원격제어장치의 디스플레이부(260)에 표시할 수 있다.
상술한 과정을 일 예를 요약하여 설명하면 다음과 같다. 영상표시장치에서 EPG 또는 채널 브라우저가 표시되고 있는 경우, 증강 원격제어장치는 EPG 또는 채널 브라우저가 영상표시장치에서 표시되고 있는 것을 인식하고, EPG 또는 채널 브라우저와 관련된 개인화된 정보(personalized data)를 검색한다. 본 실시예에서 개인화된 정보는 사용자별로 등록된 선호 컨텐츠, 잠금 설정되거나 해제된 컨텐츠에 관한 정보일 수 있다. 따라서 EPG 또는 채널 브라우져에 관련된 개인화된 정보는 사용자별 등록된 선호 채널, 잠금 설정되거나 해제된 채널에 관한 정보일 수 있다. 안면 인식 등의 방법을 통해 사용자 인증 후, 해당 사용자가 등록한 선호 채널 또는 해당 사용자에게 보여지도록 설정된 채널에 관한 정보를 증강 원격제어장치의 디스플레이부(260)에 표시할 수 있다.
도 10은 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
증강 원격제어장치는 센서부(240) 또는 식별부(250)를 통해 영상표시장치를 인식한다(S1010). 그리고 증강 원격제어장치는 컨텐츠 정보를 검색하기 전에, 유/무선 통신망을 통해 서버에 접속한다(S1020). 따라서 서버 접속은 증강 원격제어장치의 무선 통신부(210)가 수행할 수 있다. 여기서 서버는 네트워크 서버 또는 홈 서버일 수 있다.
증강 원격제어장치가 네트워크 서버에 접속하는 경우, 무선 통신부(210)는 IP(Internet Protocol) 망을 통해 네트워크 서버에 접속할 수 있다. 또한 증강 원격제어장치가 홈 서버에 접속하는 경우, 무선 통신부(210)는 홈 네트워크를 통해 홈 서버에 접속하게 된다. 네트워크 서버 또는 홈 서버에는 컨텐츠 정보의 데이터베이스가 저장되어 있음을 가정한다.
증강 원격제어장치는 서버에 접속한 후, 인식된 영상표시장치에 상응하는 컨텐츠 정보를 검색한다(S1030). 여기서 사용자 인식 또는 사용자 인증이 미리 수행된 경우,증강 원격제어장치의 제어부(280)는 사용자별로 개인화된 컨텐츠 정보를 검색할 수 있다. 컨텐츠 정보 또는 개인화된 컨텐츠 정보의 검색에는 인식된 영상표시장치의 식별 정보 및/또는 사용자에 대한 식별 정보가 이용될 수 있다. 또한, 이전에 동일한 영상표시장치 및/또는 동일한 컨텐츠와 관련하여 컨텐츠 정보를 검색하고 컨텐츠 안내 영상을 표시한 이력이 있는 경우, 컨텐츠 정보 관련 데이터베이스에는 이전에 생성하였든 컨텐츠 안내 영상이 저장되어 있을 수 있다. 이 경우에는 증강 원격제어장치는 컨텐츠 안내 영상을 검색 및 수신할 수 있다.
증강 원격제어장치는 무선 통신부를 통해 검색된 컨텐츠 정보, 개인화된 컨텐츠 정보 또는 컨텐츠 안내 영상을 수신한다(S1040), 그리고 수신된 정보에 따라 컨텐츠 안내 영상을 디스플레이부(260)에 표시한다(S1050).
도 11은 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
증강 원격제어장치는 식별부(240) 또는 센서부(250)를 통해 영상표시장치를 인식한다(S1110).
그리고 영상표시장치의 온/오프 여부를 판별한다(S1120). 영상표시장치의 온/오프 여부 판별에는 다양한 방법이 사용될 수 있다. 그 중 몇가지 예를 들면, 영상표시장치로부터 수신되는 신호가 존재하지 않는 경우, 영상표시장치를 통해 수신된 메타데이터가 없는 등의 경우 영상표시장치의 전원이 꺼져있다고 판단할 수 있다. 그리고 송수신되는 신호가 없는 상태가 일정 시간 이상 지속되는 경우에 영상표시장치의 전원이 꺼져 있다고 판단하기 위해, 타이머를 사용할 수도 있다. 또는 증강 원격제어장치는 카메라를 통하여 촬영된 영상을 분석하여 해당 영상표시장치의 전원이 오프되어 있는 것을 인식할 수 있다. 또한 홈 서버를 통하여서도 영상표시장치가 오프되어 있는지 여부를 확인할 수 있다.
만일 영상표시장치의 전원이 꺼져 있는 경우라면, 증강 원격제어장치는 무선 통신부(210)를 통해 홈 서버에 접속한다(S1130). 본 실시예에서 증강 원격제어장치는 오프되어 있는 영상표시장치와 관련된 사용자 별 컨텐츠 관련 정보를 홈 서버 등에서 검색할 수 있다. 컨텐츠 관련 정보는 영상표시장치에서 재생된 컨텐츠에 관련된 정보로서, 인식 또는 인증된 사용자에 적합하게 개인화된 컨텐츠 관련 정보일 수 있다. 이를 위해 서버 접속 전, 사용자를 확인하는 과정이 수행될 수 있다. 증강 원격제어장치는 홈 서버에서 컨텐츠 관련 정보를 검색하고, 수신한다(S1140). 영상표시장치의 전원이 꺼져 있지 않은 경우라면 증강 원격제어장치는 영상표시장치를 통해 컨텐츠 관련 정보를 검색할 수 있으며, 물론 홈 서버, 네트워크 서버 등을 통해 컨텐츠 관련 정보를 검색하는 것도 가능하다(S1150).
증강 원격제어장치가 영상표시장치 또는 홈 서버 등을 통해 사용자별 컨텐츠 관련 정보를 수신하면, 증강 원격제어장치의 제어부(280)는 수신된 컨텐츠 관련 정보를 이용하여 컨텐츠 안내 영상을 생성하고, 디스플레이부(260)는 생성된 컨텐츠 안내 영상을 표시한다(S1160)
즉, 전원이 꺼져 있는 상태의 영상표시장치와 관련된 개인화된 정보는 해당 영상표시장치에서 재생되고 있었던 컨텐츠 관련 정보이다. 일예로 컨텐츠 관련 정보는 해당 영상표시장치의 선호 채널이나 해당 영상표시장치에서 재생되었던 컨텐츠 히스토리에 관한 정보일 수 있다.
증강 원격제어장치는 검색된 정보를 증강 원격제어장치의 디스플레이부에 표시할 수 있다. 따라서 사용자는 영상표시장치의 전원이 꺼져있는 경우, 반드시 영상표시장치의 전원을 켜지 않고도 해당 영상표시장치에 관련된 개인화된 정보를 확인할 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
증강 원격제어장치는 식별부(240) 또는 센서부(250)를 통해 영상표시장치 및 메인 영상을 인식한다(S1210). 메인 영상을 영상표시장치를 통해 컨텐츠가 재생됨에 따라 표시되는 영상이거나, 채널 목록 영상 또는 EPG 영상과 같은 사용자 인터페이스 영상일 수 있다.
따라서 메인 영상을 인식한다고 함은 영상표시장치를 인식할 당시에 재생되고 있는 컨텐츠가 무엇인지를 인식하는 것을 의미할 수 있다. 여기서 컨텐츠는 영상 또는 영상과 음성 등이 결합된 멀티미디어 컨텐츠일 수 있다. 증강 원격제어장치가 영상표시장치와 그 메인 영상을 인식하는 과정에서 컨텐츠 재생에 따른 메인 영상이 표시되고 있는 영상표시장치를 촬영하며 프리뷰 이미지를 생성하거나 또는 영상표시장치에 대한 영상을 저장하는 동작이 함께 수행될 수 있다.
영상표시장치를 인식하는 다양한 방법은 앞에서 이미 언급하였으므로 중복된 설명은 생략하도록 한다. 증강 원격제어장치는 영상표시장치로부터 메인 영상에 대한 메타 데이터를 수신할 수 있다. 또는 증강 원격제어장치는 메인 영상에 상응하는 컨텐츠 또는 사용자 인터페이스 영상을 전송한 방송국 또는 네트워크 서버로부터 해당 컨텐츠 또는 사용자 인터페이스 영상에 대한 메타 데이터를 수신함으로써 메인 영상을 인식할 수 있다.
증강 원격제어장치는 무선 통신부(210)를 통해, 영상표시장치와 함께 인식된 메인 영상에 대한 부가 정보를 수신한다(S1220). 메인 영상에 대한 부가 정보는 영상표시장치 또는 해당 메인 영상에 대응되는 컨텐츠를 송신한 방송국 또는 네트워크 서버, 홈 서버 등으로부터 수신할 수 있다. 그리고 부가 정보의 수신을 위해 증강 원격제어장치는 영상표시장치, 네트워크 서버, 방송국 등으로 해당 컨텐츠에 대한 부가 정보를 요청하는 신호를 송신할 수 있다.
여기서 부가 정보는 컨텐츠에 대한 음향 속성, 화면 비율, 화질, 장르, 명칭, 줄거리, 등장 인물, 재생 시간에 대한 정보 중 하나 이상을 포함할 수 있다. 또는 부가 정보는 시간대별 영상표시장치로 멀티미디어 컨텐츠가 전송된 채널들 중 전송 빈도가 높았던 채널들의 목록 정보일 수 있다. 그리고 현재 시간에 대한 전송 빈도가 높았던 채널들의 목록 정보 또는 현재 시간대의 선호 채널 목록 정보 역시 제공될 수 있다.
컨텐츠에 대한 부가 정보를 수신하면, 증강 원격제어장치는 부가 정보를 이용하여, 부가 정보가 포함된 컨텐츠 안내 영상을 표시할 수 있다. 부가 정보가 포함된 컨텐츠 안내 영상은 전술한 영상표시장치, 영상표시장치를 통해 표시되고 있는 메인 영상과 함께 증강 원격제어장치의 디스플레이부(260)에 표시될 수 있다.
또 다른 실시예에서 증강 원격제어장치는 방송국에서 제공되는 영상신호에 따른 영상이 표시되고 있는 영상표시장치를 인식한 경우 사용자를 인식하고, 인식한 사용자별 EPG 또는 채널 브라우져를 증강 원격제어장치의 디스플레이부에 표시할 수 있다. 사용자별 EPG 또는 채널 브라우져는 사용자에게 적합하도록 퍼스널라이즈된 정보이다.
즉, 방송신호에 따른 컨텐츠를 객체로 인식한 증강 원격제어장치는 사용자를 인식하고, 인증과정에서 인증된 사용자별 EPG 또는 채널 브라우져를 증강 원격제어장치의 디스플레이부에 표시할 수 있다. 사용자별 EPG 또는 채널 브라우져는 사용자가 선호하는 정보를 표시하도록 구성되는 EPG 또는 사용자가 선호하는 채널에 관한 정보로 이루어진 채널 브라우져일 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른 증강 원격제어장치의 동작 방법을 나타낸 흐름도이다.
증강 원격제어장치는 영상표시장치를 인식한다(S1310). 그리고 컨텐츠에 관련된 정보를 수신하고(S1320), 컨텐츠 안내 영상을 표시한다(S1330). 영상표시장치를 인식하고, 컨텐츠 관련 정보를 이용하여 사용자별 컨텐츠 안내 영상을 표시하는 증강 원격제어장치의 동작에 관하여서는 앞에서도 이미 설명하였으므로, 중복된 설명은 생략하도록 한다.
여기서 컨텐츠 안내 영상은 사용자 인터페이스 영상의 기능을 할 수 있다. 따라서 사용자는 컨텐츠 안내 영상에 표시 또는 지시된 바에 따라 사용자 명령 등의 소정의 신호를 입력할 수 있으며, 이를 통해 증강 원격제어장치 및/또는 영상표시장치의 동작을 제어할 수 있다.
사용자는 컨텐츠 안내 영상에 표시된 바에 따라, 사용자 신호를 입력할 수 있다. 이에 따라 증강 원격제어장치는 사용자 인터페이스부(230)를 통해 사용자 신호를 수신하게 된다(S1340). 사용자 신호에 따라 증강 원격제어장치는 원격제어신호를 생성하여 영상표시장치로 전송한다(S1350).
즉, 컨텐츠 안내 영상이 채널 목록 영상인 경우, EPG 영상인 경우, 채널이나 프로그램 선택을 위한 사용자 신호가 입력되면, 증강 원격제어장치의 제어부(280)는 이에 상응하는 원격제어신호를 생성하여 영상표시장치로 송신한다. 그러면 영상표시장치는 원격제어신호에 따라 채널 변경 또는 프로그램 선택을 수행할 수 있다.
도 14 내지 도 17은 본 발명의 실시예에 따라 증강 원격제어장치가 컨텐츠 안내 영상을 표시한 모습을 예시한 도면이다.
우선 도 14를 참조하여 설명하는 실시예에서는, 증강 원격제어장치(200)가 컨텐츠 안내 영상으로서 채널 목록 영상(1410)을 표시하고 있다.
영상표시장치(100)에는 소정의 컨텐츠가 재생되고 있으며, 이에 따라 영상표시장치(100)의 디스플레이부(180)에는 메인 영상(1400)이 표시되고 있다. 증강 원격제어장치(200)가 영상표시장치(100)를 인식함에 따라, 증강 원격제어장치(200)의 디스플레이부(260)에는 영상표시장치(100)의 영상(1405)과 채널 목록 영상(1410)이 컨텐츠 안내 영상으로서 표시된다.
채널 목록 영상(1410)은 현재 컨텐츠가 송신되고 있는 채널과 그 인접 채널 또는 유사 채널들의 목록을 나타내는 사용자 인터페이스 영상일 수 있다. 채널 목록 영상(1410) 중에서 현재 방송되고 있는 컨텐츠에 상응하는 채널은 '현재 채널'과 같은 형태로 별도로 표시될 수 있다.
만일 영상표시장치(100)의 인식 과정과 함께 사용자 인증 과정이 수행된 경우, 채널 목록 영상(1410)은 인증된 사용자에 맞게 개인화된 정보에 따라 편집된 채널 목록 정보를 제공할 수 있다. 예컨대 사용자별로 상이하게 등록된 선호 채널 정보들이 존재하는 경우, 그중 하나의 사용자가 사용자 인증 과정을 거치면 증강 원격제어장치(200)는 컨텐츠 관련 정보를 제공할 때 해당 사용자가 등록한 선호 채널 목록을 표시한다. 특히, 사용자별 컨텐츠 관련 정보가 다르게 저장되고, 잠금 기능이 설정되는 경우, 인증된 사용자는 다른 사용자들이 자신이 등록한 정보를 열람하는 것을 방지할 수 있다.
도 15를 참조하여 설명하는 실시예에서는, 증강 원격제어장치가 컨텐츠 안내 영상으로서 EPG 영상을 표시하고 있다.
도 15를 참조하여 설명하는 실시예에서는, 증강 원격제어장치가 컨텐츠 안내 영상으로서 EPG 영상(1510)을 표시하고 있다.
영상표시장치(100)에는 소정의 컨텐츠가 재생되고 있으며, 해당 컨텐츠는 방송국으로부터 수신되는 방송 프로그램인 것을 가정한다. 이 경우 영상표시장치(100)의 디스플레이부(180)에는 방송 영상이 메인 영상(1400)으로 표시된다. 증강 원격제어장치(200)가 영상표시장치(100)를 인식함에 따라, 증강 원격제어장치(200)의 디스플레이부(260)에는 영상표시장치(100)의 영상(1405)과 EPG 영상(1510)이 컨텐츠 안내 영상으로서 표시된다.
도 15를 참조하여 설명하는 예에 따르면, EPG 영상(1510)은 현재 메인 영상으로 표시되고 있는 방송 컨텐츠에 상응하는 프로그램에 관한 정보가 포함된 프로그램 안내 영상의 형태를 가진다.
여기서, 사용자별 개인화된 EPG 정보를 제공하기 위해, 사용자 인증 과정이 미리 수행될 수 있다. 사용자 인증 과정은, 사용자가 등록된 사용자인지 또는 등록된 사용자 중 누구인지를 확인하는 과정이다. 따라서 인증된 사용자만이 해당 사용자의 개인화된 정보에 따른 컨텐츠 관련 정보를 제공받을 수 있다. 또한 사용자 인증을 통해 사용자는 각자의 편의에 따라 편집된 정보를 위주로 컨텐츠 안내 영상을 이용할 수 있게 된다.
인증된 사용자는 개인화된 정보에 따라 편집된 EPG 영상을 제공받을 수 있다. 즉, 증강 원격제어장치(200)는 사용자 별 개인화된 정보에 따라 EPG 영상을 생성할 수 있다. 예컨대 사용자가 EPG 영상을 통해 제공받고자 하는 방송 시간대나 선호 채널을 등록하면, 증강 원격제어장치(200)는 그에 따라 컨텐츠 관련 정보를 검색 및 수집하여 EPG 영상을 생성한다. 그리고 EPG 영상(1510) 중에서 현재 방송되고 있는 컨텐츠에 상응하는 방송 프로그램은 '현재 프로그램'과 같은 형태로 별도로 표시될 수 있다.
도 16a 내지 도 16c를 참조하여 설명하는 실시예에서는, 증강 원격제어장치가 컨텐츠 안내 영상을 통해 컨텐츠 관련 부가 정보를 표시하고 있다. 여기서 컨텐츠는 물론 영상표시장치에서 재생되고 있는 멀티미디어 컨텐츠를 의미한다.
도 16a 내지 도 16c에 도시된 예에 따른 증강 원격제어장치(200)는 영상표시장치(100) 및 메인 영상(1400)을 인식한다. 따라서 영상표시장치(100)의 디스플레이부(180)를 통해 재생되고 있는 컨텐츠에 관한 정보를 영상표시장치(100) 또는 방송국, 네트워크 서버, 홈 서버 등으로부터 수신한다.
증강 원격제어장치(200)의 디스플레이부(260)에는 컨텐츠가 재생에 따라 메인 영상(1400)이 표시되고 있는 영상표시장치(100)에 상응하는 영상(1405)이 표시된다. 그리고 해당 컨텐츠에 대하여 사용자가 어떤 정보를 제공받을 것인지를 선택 가능하게 하는 사용자 인터페이스 영상(1610)이 함께 표시된다. 사용자 인터페이스 영상에는 2 이상의 선택 가능한 항목들, 즉 '채널 정보 보기', '프로그램 정보 보기' 및 '부가정보 보기' 항목 등이 표시된다. 도 16a에 도시된 바에 따르면 사용자는 '부가정보 보기' 항목을 선택한 상태이다.
컨텐츠가 방송국으로부터 수신되는 방송 프로그램인 경우, 컨텐츠에 관한 메타 데이터는 증강 원격제어장치(200)가 방송국으로부터 직접 수신할 수도 있고, 영상표시장치로부터 수신할 수도 있다. 컨텐츠에 관한 부가 정보를 표시하기 위해, 증강 원격제어장치(200)는 컨텐츠에 상응하는 메타 데이터를 컨텐츠 관련 정보의 검색에 이용할 수 있다.
여기서 컨텐츠 관련 정보로서 표시되는 부가 정보는, 도 16을 참조하면 해당 컨텐츠의 제목 또는 명칭, 장르, 출연자 등 컨텐츠의 내용에 관한 것일 수 있으며, 이 밖에도 화면 비율, 음향 설정 정보 등 해당 컨텐츠의 속성과 관련된 것일 수도 있다. 이들 정보는 앞서 설명한 바와 같이 증강 원격제어장치(200)가 영상표시장치(100) 또는 해당 컨텐츠를 송신한 방송국으로부터 수신할 수도 있고, 또는 증강 원격제어장치(200)가 네트워크 서버에 접속한 웹 페이지에서 관련 정보를 검색함으로써 획득할 수도 있다. 이 경우, 증강 원격제어장치(200)는 해당 컨텐츠의 메타 데이터나 이미 획득한 일부의 컨텐츠 관련 정보를 바탕으로 보다 상세한 컨텐츠 관련 부가 정보를 검색하는 것이 가능하다.
도 16b를 참조하면, 증강 원격제어장치(200)의 디스플레이부(260)에는 영상표시장치(100)에 상응하는 영상(1405)과 현재 제공 가능한 부가 정보들의 목록(1620)이 나타나 있다. 제공 가능한 부가 정보들의 목록에는 해당 컨텐츠의 제목(1621), 장르(1622), 출연자(1623) 및 화면비율(1624) 등이 있다. 도 16b에서 사용자는 이들 부가 정보의 목록들 중에서 출연자(1623) 항목을 선택한 상태이다. 이에 따라, 도 16c를 참조하면 해당 컨텐츠의 출연자에 관한 부가 정보를 안내하는 컨텐츠 안내 영상(1630)이 표시된다. 컨텐츠 안내 영상(1630)에는, 해당 컨텐츠에 대한 부가 정보가 다양한 형태의 데이터로 표시될 수 있다. 도 16c에서 예시하는 바와 같이 출연자에 대한 부가 정보가 요청된 경우, 출연자의 사진 또는 다른 출연작에 대한 정보가 정지 영상 또는 동영상의 형태로 제공될 수 있다. 물론 출연자에 다양한 정보가 텍스트 데이터의 형태로도 제공되며, 음성 데이터가 함께 제공될 수도 있다.
도 17a 내지 도 17b를 참조하여 설명하는 실시예에서는, 증강 원격제어장치가 컨텐츠 안내 영상을 통해 EPG 관련 부가 정보 및 이를 위한 사용자 인터페이스 영상(1710)를 표시하고 있다. 여기서 EPG 영상은 증강 원격제어장치의 타겟이 되는 영상표시장치를 통해 표시되고 있다.
즉 영상표시장치(100)를 통해 표시되는 메인 영상(1700)은 컨텐츠의 재생에 따라 표시되는 영상이거나 영상표시장치(100)가 사용자에게 제공하는 사용자 인터페이스 영상일 수도 있다. 메인 영상으로 표시되는 사용자 인터페이스 영상에는 영상표시장치를 통해 수신 가능한 채널의 목록을 나타내는 채널 목록 영상 또는 영상표시장치에 수신되는 TV 프로그램을 안내하는 EPG 영상(1700) 등이 있을 수 있다. 도 17을 참조하여서는 메인 영상이 사용자 인터페이스 영상 중 EPG 영상(1700)인 경우를 예시하여 설명하고자 한다.
도 17a 내지 도 17b를 참조하여 설명하는 실시예에서도, 증강 원격제어장치(200)는 영상표시장치(100) 및 메인 영상을 인식한다. 다만, 여기서의 메인 영상은 EPG 영상(1700)이다. 그리고 EPG 영상(1700)에 대하여 사용자가 개인화된 정보 또는 EPG 관련 부가 정보를 저장하고자 하는 경우, 증강 원격제어장치(200)는 이를 위한 사용자 인터페이스 영상(1710)을 제공할 수 있다. 도 17a를 통해 예시되는 바에 따르면, 사용자는 EPG 영상(1700)에 포함된 프로그램들 중 하나의 프로그램을 지정하여, 사용자 인터페이스 영상(1710)을 통해 해당 채널을 선호채널로 등록하거나, 해당 프로그램을 선호 프로그램으로 등록할 수 있다. 만일 특정 프로그램을 선호 프로그램으로 등록하는 경우, 이후 EPG 영상(1700)에 관한 개인화된 EPG 관련 정보로서, 선호 프로그램으로 등록되었다는 정보가 표시된다.
도 17b에 따르면, 증강 원격제어장치(200)의 디스플레이부(260)를 통해 표시되는 컨텐츠 안내 영상은 EPG 관련 부가 정보를 나타낸다. 이 경우에도 부가 정보가 컨텐츠 관련 정보라는 점은 앞의 실시예들과 동일하다. EPG 관련 부가 정보는 EPG 영상과 같은 사용자 인터페이스 영상에 부가적으로 제공 가능한 정보로서, 사용자 인터페이스 영상을 통해 제공되는 정보를 보충하거나 보완하는 정보일 수 있다. 특히, 사용자 별로 개인화된 정보가 추가 제공되는 경우, 이러한 개인화된 정보는 부가 정보의 형태로 표시될 수 있다.
예를 들어, EPG 관련 부가 정보는 영상표시장치의 사용자에 의해 미리 등록된 사용자별 채널 정보, 사용자에 의해 미리 지정된 채널의 분류를 나타내는 채널 카테고리 정보, 메인 영상을 수신한 채널에 인접한 전후 채널에 대한 정보 등일 수 있다. 사용자 별 채널 정보는 사용자의 취향이나 필요에 따라 등록된 채널들의 목록을 나타내는 정보일 수 있다. 예컨대 사용자가 선호도에 따라 채널 목록을 구분하여 정리한 정보, 시간대별로 주로 시청하는 채널의 정보 등이 이에 해당된다. 채널 카테고리 정보는 해당 채널을 통해 수신되는 방송 프로그램의 장르가 주로 어디에 속하는지를 나타내는 정보이다. 또는 사용자가 해당 채널을 통해 수신되는 방송 중 어느 장르에 속하는 프로그램을 주로 이용하는지를 나타내는 정보일 수도 있다.
이 밖에도, 단순히 메인 영상을 통해 표시되고 있는 방송 프로그램을 송신한 채널과 채널 넘버가 인접하여 있는 전후 채널들의 정보가 EPG 관련 부가 정보로서 제공될 수도 있다. 이 밖에도, 현재 인증 또는 인식된 사용자가 주로 영상표시장치를 이용한 시간대 및 그 시간대에 주로 이용한 채널들에 대한 정보가 EPG 관련 부가 정보로서 디스플레이부(260)에 표시될 수 있다.
증강 원격제어장치(200)의 디스플레이부(260)에 EPG 영상(1700)이 표시되고 있는 영상표시장치의 영상(1405)이 표시됨으로써, 사용자가 증강 원격제어장치(200)의 디스플레이부(260)를 통해 하나의 프로그램이나 채널을 선택하면, 선택된 프로그램이나 채널에 대한 EPG 관련 부가 정보가 제공될 수 있다. 여기서는 해당 프로그램이나 채널이 사용자가 미리 등록한 선호 채널이라는 정보, 해당 프로그램이나 채널과 유사한 카테고리에 포함되는 다른 채널이나 프로그램에 관한 정보 등이 EPG 관련 부가 정보로서 제공된다.
상술한 바와 같이, EPG 관련 부가 정보는 다양한 형태와 내용을 가질 수 있다. 다만 도 17b를 참조하여 설명하는 실시예에서는 EPG 영상에 표시된 프로그램들에 관한 썸네일 영상(1720)이 EPG 관련 부가 정보로서 제공될 수 있다. 그리고 사용자는 썸네일 영상(1720)을 제공받고자 하는 프로그램을 증강 원격제어장치(200)의 디스플레이부(260)를 통해 선택할 수도 있고, 사용자의 선택과 무방하게 각각의 프로그램들에 관하여 생성된 썸네일 영상(1720)은 모두 증강 원격제어장치의 디스플레이부(260)에 표시될 수 있다. 썸네일 영상(1720)의 표시를 위해, 증강 원격제어장치(200)는 EPG 영상에 표시된 프로그램들에 대한 이미지 정보를 검색 또는 수신하여 해당 프로그램의 한 장면을 정지 영상 또는 동영상의 형태로 캡쳐하여 썸네일 영상(1720)을 생성할 수 있다.
썸네일 영상(1720) 또는 그 외의 부가 정보를 제공받기 위해 사용자는 증강 원격제어장치(200)의 사용자 인터페이스부(230)를 통해 사용자 신호를 입력할 수 있다. 물론 터치 스크린 기능이 구비된 증강 원격제어장치(200)의 경우, 디스플레이부(260)를 통해서도 사용자 신호가 입력될 수 있다.
한편, 본 발명은 영상표시장치 또는 증강 원격제어장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 방송국 30 : 외부장치
40 : 홈 네트워크 50 : 홈 서버
100 : 영상표시장치 200 : 증강 원격제어장치
300 : 네트워크 서버
40 : 홈 네트워크 50 : 홈 서버
100 : 영상표시장치 200 : 증강 원격제어장치
300 : 네트워크 서버
Claims (19)
- 통신 인터페이스를 제공하는 무선 통신부;
홈 네트워크로 연결된 영상표시장치를 향하는 카메라를 통해 입력되는 프리뷰 영상(preview image)을 표시하는 디스플레이부;
상기 프리뷰 영상을 분석하여 상기 영상표시장치를 인식하는 식별부; 및
상기 영상표시장치를 통해 재생 가능한 컨텐츠에 대한 컨텐츠 정보를 검색하고, 상기 컨텐츠 정보를 상기 무선 통신부를 통해 수신하며, 상기 컨텐츠 정보에 따른 컨텐츠 안내 영상을 상기 프리뷰 영상에 증강하여 표시하는 제어부를 포함하는 증강 원격제어장치. - 제1항에 있어서,
상기 제어부는, 상기 영상표시장치를 인식한 후, 상기 영상표시장치의 사용자가 미리 등록된 사용자인지를 확인하는 사용자 인증을 수행하는 것을 특징으로 하는 증강 원격제어장치. - 제2항에 있어서,
상기 제어부는, 상기 사용자 인증이 수행되면 상기 사용자별로 개인화된 상기 컨텐츠 정보를 검색하고, 상기 개인화된 컨텐츠 정보에 따라 상기 컨텐츠 안내 영상을 표시하는 것을 특징으로 하는 증강 원격제어장치. - 제1항에 있어서,
상기 제어부는, 상기 컨텐츠 정보를 검색하기 전에, 무선통신망을 통해 네트워크 서버 또는 홈 서버에 접속하고, 상기 네트워크 서버 또는 홈 서버에 저장된 상기 영상표시장치의 사용자에 따라 개인화된 상기 컨텐츠 정보를 검색하며, 상기 개인화된 컨텐츠 정보에 따라 상기 컨텐츠 안내 영상을 표시하는 것을 특징으로 하는 증강 원격제어장치. - 제1항에 있어서,
상기 제어부는, 상기 영상표시장치의 전원 온/오프 여부를 판별하고, 상기 영상표시장치의 전원이 꺼져있는 경우, 상기 홈 네트워크의 홈 서버에 접속하며, 상기 영상표시장치에 관하여 상기 홈 서버에 저장되어 있는 상기 컨텐츠 정보를 검색하는 것을 특징으로 하는 증강 원격제어장치. - 제1항에 있어서,
상기 제어부는, 상기 식별부를 통해 상기 영상표시장치를 통해 표시되고 있는 메인 영상을 인식하고, 상기 메인 영상에 대한 부가 정보를 더 표시하는 것을 특징으로 하는 증강 원격제어장치. - 제6항에 있어서,
상기 부가 정보는,
상기 메인 영상에 대응하는 멀티미디어 컨텐츠에 대한 음향 속성, 화면 비율, 화질, 상기 멀티미디어 컨텐츠의 장르, 명칭, 줄거리, 등장 인물, 재생 시간에 대한 정보 중 하나 이상을 포함하는 것을 특징으로 하는 증강 원격제어장치. - 제6항에 있어서,
상기 메인 영상은, 상기 영상표시장치를 통해 수신 가능한 채널의 목록을 나타내는 채널 목록 영상 또는 상기 영상표시장치에 수신되는 TV 프로그램을 안내하는 EPG(Electronic Program Guide) 영상 중 하나 이상인 것을 특징으로 하는 증강 원격제어장치. - 제1항에 있어서,
상기 제어부는, 상기 컨텐츠 안내 영상을 통해 수신되는 사용자 신호에 따라 상기 영상표시장치의 동작을 제어하는 원격제어 신호를 상기 영상표시장치로 송신하는 것을 특징으로 하는 증강 원격제어장치. - 제1항에 있어서,
상기 컨텐츠 안내 영상은, 상기 사용자에 따라 다르게 등록된 EPG 영상 또는 채널 목록 영상 중 하나 이상인 것을 특징으로 하는 증강 원격제어장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100036990A KR101657565B1 (ko) | 2010-04-21 | 2010-04-21 | 증강 원격제어장치 및 그 동작 방법 |
| US12/959,696 US8646000B2 (en) | 2009-12-04 | 2010-12-03 | Augmented remote controller and method for operating the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100036990A KR101657565B1 (ko) | 2010-04-21 | 2010-04-21 | 증강 원격제어장치 및 그 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110117496A KR20110117496A (ko) | 2011-10-27 |
| KR101657565B1 true KR101657565B1 (ko) | 2016-09-19 |
Family
ID=44083310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100036990A KR101657565B1 (ko) | 2009-12-04 | 2010-04-21 | 증강 원격제어장치 및 그 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8646000B2 (ko) |
| KR (1) | KR101657565B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190143709A (ko) * | 2018-06-21 | 2019-12-31 | 전자부품연구원 | 증강현실 시뮬레이터의 콘텐츠 표현 방법 |
Families Citing this family (194)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8203580B2 (en) * | 2009-05-04 | 2012-06-19 | Broadcom Corporation | Adaptive control of LCD display characteristics based on video content |
| KR20100135145A (ko) * | 2009-06-16 | 2010-12-24 | 삼성전자주식회사 | 원격제어장치 및 그의 디스플레이방법 |
| WO2011021886A2 (en) | 2009-08-21 | 2011-02-24 | Samsung Electronics Co., Ltd. | Device capable of notifying operation state change thereof through network and communication method of the device |
| JP5617246B2 (ja) * | 2010-01-12 | 2014-11-05 | ソニー株式会社 | 画像処理装置、物体選択方法及びプログラム |
| TW201133275A (en) * | 2010-03-26 | 2011-10-01 | Modiotek Co Ltd | Remote controller and related system |
| US20110252328A1 (en) * | 2010-04-12 | 2011-10-13 | Jeyhan Karaoguz | System and method in a network controller for remotely monitoring and/or controlling devices |
| US8621514B2 (en) * | 2010-06-23 | 2013-12-31 | Echostar Broadcasting Corporation | Apparatus, systems and methods for a video thumbnail electronic program guide |
| US9319625B2 (en) * | 2010-06-25 | 2016-04-19 | Sony Corporation | Content transfer system and communication terminal |
| US8866587B2 (en) * | 2010-08-17 | 2014-10-21 | Empire Technology Development Llc | Remote display control |
| EP2608547B1 (en) | 2010-08-17 | 2018-03-21 | LG Electronics Inc. | Apparatus and method for receiving digital broadcasting signal |
| KR20120019635A (ko) * | 2010-08-26 | 2012-03-07 | 삼성전자주식회사 | 방송 채널 전환 방법 및 이를 수행하는 방송 수신 장치 |
| KR101404251B1 (ko) * | 2010-09-10 | 2014-06-09 | 한국전자통신연구원 | 컨텐츠의 부가서비스 정보를 보조 단말기에 표시하는 시스템 및 방법 |
| US20120089923A1 (en) * | 2010-10-08 | 2012-04-12 | Microsoft Corporation | Dynamic companion device user interface |
| JP2012094060A (ja) * | 2010-10-28 | 2012-05-17 | Sharp Corp | 電子装置 |
| US20120117588A1 (en) * | 2010-11-10 | 2012-05-10 | Sony Network Entertainment International Llc | Method and device to control iptv settings from a second display |
| KR101739784B1 (ko) * | 2010-11-17 | 2017-05-25 | 삼성전자주식회사 | 무선기기에서 이미지 촬영을 통해 상대기기를 인식 및 연결하기 위한 장치 및 방법 |
| US9111418B2 (en) * | 2010-12-15 | 2015-08-18 | Bally Gaming, Inc. | System and method for augmented reality using a player card |
| JP2012134676A (ja) * | 2010-12-20 | 2012-07-12 | Samsung Electronics Co Ltd | 表示制御装置、表示制御方法およびプログラム |
| US9429940B2 (en) | 2011-01-05 | 2016-08-30 | Sphero, Inc. | Self propelled device with magnetic coupling |
| US9090214B2 (en) | 2011-01-05 | 2015-07-28 | Orbotix, Inc. | Magnetically coupled accessory for a self-propelled device |
| US9218316B2 (en) | 2011-01-05 | 2015-12-22 | Sphero, Inc. | Remotely controlling a self-propelled device in a virtualized environment |
| US10281915B2 (en) | 2011-01-05 | 2019-05-07 | Sphero, Inc. | Multi-purposed self-propelled device |
| US8751063B2 (en) | 2011-01-05 | 2014-06-10 | Orbotix, Inc. | Orienting a user interface of a controller for operating a self-propelled device |
| JP5191070B2 (ja) * | 2011-01-07 | 2013-04-24 | シャープ株式会社 | リモコン、表示装置、テレビ受像機、およびリモコン用プログラム |
| JP6042596B2 (ja) * | 2011-01-21 | 2016-12-14 | ソニー株式会社 | 情報処理装置、テレビ受像機、情報処理方法、プログラム、および情報処理システム |
| US20120192092A1 (en) * | 2011-01-25 | 2012-07-26 | David Neil Slatter | Systems and methods for building complex documents employing feedforward indicators |
| TW201235924A (en) * | 2011-02-18 | 2012-09-01 | Amtran Technology Co Ltd | System using a control device to control and display images of a controllable device and method thereof |
| JP5857450B2 (ja) * | 2011-05-30 | 2016-02-10 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2013004001A (ja) * | 2011-06-21 | 2013-01-07 | Sony Corp | 表示制御装置、表示制御方法、およびプログラム |
| US9600499B2 (en) * | 2011-06-23 | 2017-03-21 | Cyber Ai Entertainment Inc. | System for collecting interest graph by relevance search incorporating image recognition system |
| TWI499298B (zh) * | 2011-06-27 | 2015-09-01 | Hannstar Display Corp | 電視控制裝置、系統及方法 |
| US9965564B2 (en) | 2011-07-26 | 2018-05-08 | Schneider Electric It Corporation | Apparatus and method of displaying hardware status using augmented reality |
| US20130031585A1 (en) * | 2011-07-29 | 2013-01-31 | Hitachi Consumer Electronics Co., Ltd. | Portable terminal, system, information processing method and program |
| US20130036442A1 (en) * | 2011-08-05 | 2013-02-07 | Qualcomm Incorporated | System and method for visual selection of elements in video content |
| US20130044912A1 (en) * | 2011-08-19 | 2013-02-21 | Qualcomm Incorporated | Use of association of an object detected in an image to obtain information to display to a user |
| KR20130022608A (ko) * | 2011-08-25 | 2013-03-07 | 삼성전자주식회사 | 디스플레이 장치 및 이의 애플리케이션 실행 방법, 그리고 디스플레이 장치를 원격으로 제어하는 외부기기 및 이의 애플리케이션 조작 화면 제공 방법 |
| US8907906B2 (en) * | 2011-09-27 | 2014-12-09 | Z124 | Secondary single screen mode deactivation |
| KR101888681B1 (ko) * | 2011-10-06 | 2018-08-17 | 삼성전자 주식회사 | 모바일기기 및 그 제어방법 |
| JP5987299B2 (ja) * | 2011-11-16 | 2016-09-07 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
| US8819296B2 (en) | 2011-11-17 | 2014-08-26 | Nokia Corporation | Apparatus, a method and a computer program |
| US9525905B2 (en) * | 2011-12-14 | 2016-12-20 | Echostar Uk Holdings Limited | Mapping visual display screen to portable touch screen |
| US20130179925A1 (en) * | 2012-01-06 | 2013-07-11 | United Video Properties, Inc. | Systems and methods for navigating through related content based on a profile associated with a user |
| EP2620865A3 (en) * | 2012-01-27 | 2016-08-24 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| US9773345B2 (en) * | 2012-02-15 | 2017-09-26 | Nokia Technologies Oy | Method and apparatus for generating a virtual environment for controlling one or more electronic devices |
| WO2013138370A1 (en) * | 2012-03-12 | 2013-09-19 | Mini Broadcasting | Interactive overlay object layer for online media |
| JP2013200775A (ja) * | 2012-03-26 | 2013-10-03 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| US11588778B2 (en) * | 2012-03-30 | 2023-02-21 | Fox Sports Productions, Llc | System and method for enhanced second screen experience |
| CN104204994B (zh) * | 2012-04-26 | 2018-06-05 | 英特尔公司 | 增强现实计算装置、设备和系统 |
| US20130285937A1 (en) * | 2012-04-27 | 2013-10-31 | Mobitv, Inc | Connected multi-screen video management |
| WO2013173389A1 (en) | 2012-05-14 | 2013-11-21 | Orbotix, Inc. | Operating a computing device by detecting rounded objects in an image |
| US9827487B2 (en) | 2012-05-14 | 2017-11-28 | Sphero, Inc. | Interactive augmented reality using a self-propelled device |
| US9292758B2 (en) * | 2012-05-14 | 2016-03-22 | Sphero, Inc. | Augmentation of elements in data content |
| KR102004851B1 (ko) * | 2012-05-15 | 2019-07-29 | 삼성전자 주식회사 | 디스플레이장치 및 디스플레이장치의 제어방법 |
| KR20130130453A (ko) * | 2012-05-22 | 2013-12-02 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법 |
| KR20130137379A (ko) * | 2012-06-07 | 2013-12-17 | 삼성전자주식회사 | 홈 네트워크에서 사용자 정보를 저장하는 장치 및 방법 |
| US9854328B2 (en) | 2012-07-06 | 2017-12-26 | Arris Enterprises, Inc. | Augmentation of multimedia consumption |
| US10056791B2 (en) | 2012-07-13 | 2018-08-21 | Sphero, Inc. | Self-optimizing power transfer |
| JP6010373B2 (ja) * | 2012-07-21 | 2016-10-19 | 日本放送協会 | サブ情報提示装置、映像提示装置及びプログラム |
| US9087403B2 (en) | 2012-07-26 | 2015-07-21 | Qualcomm Incorporated | Maintaining continuity of augmentations |
| US20140029913A1 (en) * | 2012-07-30 | 2014-01-30 | General Instrument Corporation | Controlling Trick Play And Progress of Media Playback For Multiple Media Devices |
| KR102101818B1 (ko) * | 2012-07-30 | 2020-04-17 | 삼성전자주식회사 | 단말기의 데이터전송 제어장치 및 방법 |
| KR101952724B1 (ko) * | 2012-07-31 | 2019-02-28 | 삼성전자주식회사 | 방송 시스템에서 엔-스크린 서비스 제공 장치 및 방법 |
| US9721036B2 (en) * | 2012-08-14 | 2017-08-01 | Microsoft Technology Licensing, Llc | Cooperative web browsing using multiple devices |
| US20140053189A1 (en) * | 2012-08-17 | 2014-02-20 | Electronics And Telecommunications Research Institute | Apparatus and method for providing personalized home screen |
| KR101526491B1 (ko) * | 2012-08-17 | 2015-06-05 | 한국전자통신연구원 | 개인화 된 홈 스크린 제공 장치 및 그 방법 |
| WO2014031126A1 (en) * | 2012-08-24 | 2014-02-27 | Empire Technology Development Llc | Virtual reality applications |
| JP5980432B2 (ja) | 2012-08-27 | 2016-08-31 | エンパイア テクノロジー ディベロップメント エルエルシー | 拡張現実見本の生成 |
| KR102047494B1 (ko) * | 2012-09-10 | 2019-11-21 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그 객체 선택 방법 |
| TWI637312B (zh) * | 2012-09-19 | 2018-10-01 | 三星電子股份有限公司 | 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體 |
| JP5964190B2 (ja) * | 2012-09-27 | 2016-08-03 | 京セラ株式会社 | 端末装置 |
| TWI539802B (zh) * | 2012-10-08 | 2016-06-21 | 瑞軒科技股份有限公司 | 顯示器之控制方法 |
| JP2014082722A (ja) * | 2012-10-18 | 2014-05-08 | Toshiba Corp | 電子機器、電子機器の制御方法、及び電子機器のプログラム |
| US9116604B2 (en) * | 2012-10-25 | 2015-08-25 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Multi-device visual correlation interaction |
| KR102117841B1 (ko) * | 2012-10-30 | 2020-06-02 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| JP2014090386A (ja) * | 2012-10-31 | 2014-05-15 | Sony Corp | 情報処理システム、情報処理装置、およびプログラム |
| TWI585581B (zh) * | 2012-11-14 | 2017-06-01 | 瑞軒科技股份有限公司 | 影音播放系統之控制方法 |
| CN103823607B (zh) * | 2012-11-16 | 2017-06-20 | 华为终端有限公司 | 一种控制大屏设备的方法、移动终端 |
| KR102105167B1 (ko) * | 2012-11-19 | 2020-04-24 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| KR101483191B1 (ko) * | 2012-11-22 | 2015-01-15 | 주식회사 케이티 | 대화형 서비스를 제공하는 장치 및 방법 그리고, 서버 |
| TWI516105B (zh) * | 2012-11-22 | 2016-01-01 | 緯創資通股份有限公司 | 影音串流的播放系統與方法 |
| US9398342B1 (en) * | 2012-11-29 | 2016-07-19 | Amazon Technologies, Inc. | Interactive applications |
| SG11201502432UA (en) | 2012-11-30 | 2015-05-28 | Hitachi Maxell | Picture display device, and setting modification method and setting modification program therefor |
| JP2014112766A (ja) * | 2012-12-05 | 2014-06-19 | Toshiba Corp | 電子機器、制御方法、及び制御プログラム |
| JP5902079B2 (ja) | 2012-12-07 | 2016-04-13 | 日立マクセル株式会社 | 映像表示装置および端末装置 |
| KR20140077015A (ko) * | 2012-12-13 | 2014-06-23 | 삼성전자주식회사 | 디스플레이 장치, 원격 제어 장치 및 그들의 사용자 인터페이스 제공 방법 |
| TW201427401A (zh) * | 2012-12-18 | 2014-07-01 | Hon Hai Prec Ind Co Ltd | 電視機、遙控裝置及菜單顯示方法 |
| US20140181678A1 (en) * | 2012-12-20 | 2014-06-26 | Sigal Louchheim | Interactive augmented reality system, devices and methods using the same |
| US8872983B2 (en) * | 2012-12-27 | 2014-10-28 | Kabushiki Kaisha Toshiba | Information processing apparatus and display processing method |
| US8804042B2 (en) * | 2013-01-14 | 2014-08-12 | International Business Machines Corporation | Preemptive preloading of television program data |
| US8878994B2 (en) * | 2013-01-31 | 2014-11-04 | Kabushiki Kaisha Toshiba | Information processing apparatus, remote operation support method and storage medium |
| US9286323B2 (en) | 2013-02-25 | 2016-03-15 | International Business Machines Corporation | Context-aware tagging for augmented reality environments |
| US8959562B2 (en) * | 2013-02-26 | 2015-02-17 | Roku, Inc. | Method and apparatus for automatic second screen engagement |
| US20140282677A1 (en) * | 2013-03-12 | 2014-09-18 | Cbs Interactive Inc. | Second screen application linked to media content delivery |
| US20140267074A1 (en) * | 2013-03-14 | 2014-09-18 | Qualcomm Incorporated | System and method for virtual user interface controls in multi-display configurations |
| KR20140113137A (ko) * | 2013-03-15 | 2014-09-24 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| KR102053823B1 (ko) * | 2013-03-20 | 2019-12-09 | 삼성전자주식회사 | 디스플레이장치, 원격제어장치 및 그 제어방법 |
| KR20140118605A (ko) * | 2013-03-29 | 2014-10-08 | 인텔렉추얼디스커버리 주식회사 | 증강 객체를 전송하는 서버 및 방법 |
| US20140317659A1 (en) * | 2013-04-19 | 2014-10-23 | Datangle, Inc. | Method and apparatus for providing interactive augmented reality information corresponding to television programs |
| CN103945274A (zh) * | 2013-04-19 | 2014-07-23 | 达腾科公司 | 提供对应于电视节目的交互增强现实信息的方法和设备 |
| JPWO2014171281A1 (ja) * | 2013-04-19 | 2017-02-23 | シャープ株式会社 | 番組再生装置およびプログラム |
| US9811737B2 (en) * | 2013-07-03 | 2017-11-07 | Ortiz And Associates Consulting, Llc | Methods and systems enabling access by portable wireless handheld devices to data associated with programming rendering on flat panel displays |
| US8938760B1 (en) * | 2013-08-01 | 2015-01-20 | Browan Communications Inc. | Television box and method for controlling display to display audio/video information |
| CN103442280B (zh) * | 2013-08-06 | 2017-11-17 | 深圳Tcl新技术有限公司 | 实现分布式遥控的方法、装置及其电视端和移动终端 |
| KR102123062B1 (ko) * | 2013-08-06 | 2020-06-15 | 삼성전자주식회사 | 콘텐츠에 관한 정보를 획득하는 방법 및 이를 이용한 영상 표시 장치, 그리고 콘텐츠에 관한 정보를 제공하는 서버 시스템. |
| TWI530169B (zh) * | 2013-08-23 | 2016-04-11 | 晨星半導體股份有限公司 | 處理影音資料之方法以及相關模組 |
| US9536493B2 (en) * | 2013-09-25 | 2017-01-03 | Samsung Electronics Co., Ltd. | Display apparatus and method of controlling display apparatus |
| KR102382497B1 (ko) * | 2013-09-25 | 2022-04-05 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
| US9625992B2 (en) * | 2013-10-21 | 2017-04-18 | I-Interactive Llc | Remote control with dual activated touch sensor input |
| US9478124B2 (en) * | 2013-10-21 | 2016-10-25 | I-Interactive Llc | Remote control with enhanced touch surface input |
| US9084013B1 (en) * | 2013-11-15 | 2015-07-14 | Google Inc. | Data logging for media consumption studies |
| KR20150069155A (ko) * | 2013-12-13 | 2015-06-23 | 삼성전자주식회사 | 전자 장치의 터치 인디케이터 디스플레이 방법 및 그 전자 장치 |
| US9829882B2 (en) | 2013-12-20 | 2017-11-28 | Sphero, Inc. | Self-propelled device with center of mass drive system |
| KR102179506B1 (ko) | 2013-12-23 | 2020-11-17 | 삼성전자 주식회사 | 전자장치 및 그 제어방법 |
| EP3100226A4 (en) | 2014-01-31 | 2017-10-25 | Empire Technology Development LLC | Augmented reality skin manager |
| WO2015116186A1 (en) * | 2014-01-31 | 2015-08-06 | Empire Technology Development, Llc | Evaluation of augmented reality skins |
| JP6205498B2 (ja) | 2014-01-31 | 2017-09-27 | エンパイア テクノロジー ディベロップメント エルエルシー | 対象者選択式拡張現実スキン |
| EP3100256A4 (en) | 2014-01-31 | 2017-06-28 | Empire Technology Development LLC | Augmented reality skin evaluation |
| US9431002B2 (en) | 2014-03-04 | 2016-08-30 | Tribune Digital Ventures, Llc | Real time popularity based audible content aquisition |
| US9798509B2 (en) | 2014-03-04 | 2017-10-24 | Gracenote Digital Ventures, Llc | Use of an anticipated travel duration as a basis to generate a playlist |
| US9454342B2 (en) | 2014-03-04 | 2016-09-27 | Tribune Digital Ventures, Llc | Generating a playlist based on a data generation attribute |
| US20150255055A1 (en) * | 2014-03-04 | 2015-09-10 | Tribune Digital Ventures, Llc | Personalized News Program |
| US10599706B2 (en) | 2014-03-20 | 2020-03-24 | Gracenote Digital Ventures, Llc | Retrieving and playing out media content for a personalized playlist |
| EP3130149B1 (fr) * | 2014-04-08 | 2021-10-27 | The Swatch Group Research and Development Ltd | Système d'appareils connectés |
| US9496922B2 (en) * | 2014-04-21 | 2016-11-15 | Sony Corporation | Presentation of content on companion display device based on content presented on primary display device |
| KR20150136316A (ko) * | 2014-05-27 | 2015-12-07 | 삼성전자주식회사 | 정보 제공을 위한 전자 장치, 방법 및 시스템 |
| KR20150137452A (ko) * | 2014-05-29 | 2015-12-09 | 삼성전자주식회사 | 디스플레이 장치 제어 방법 및 이를 위한 원격 제어 장치 |
| US20170085956A1 (en) * | 2014-06-04 | 2017-03-23 | Saronikos Trading And Services, Unipessoal Lda | Method for Generating Messages, Comprising Information About Radio-Television Programs, in Reply to a Query Made on One or More Radio-Television Program Databases and/or on the Internet, and Radio-Television Apparatus and System Thereof |
| US10613585B2 (en) * | 2014-06-19 | 2020-04-07 | Samsung Electronics Co., Ltd. | Transparent display apparatus, group play system using transparent display apparatus and performance methods thereof |
| US20150373295A1 (en) * | 2014-06-24 | 2015-12-24 | Samsung Electronics Co., Ltd. | Apparatus and method for device configuration |
| US20150373408A1 (en) * | 2014-06-24 | 2015-12-24 | Comcast Cable Communications, Llc | Command source user identification |
| US10019155B2 (en) * | 2014-06-30 | 2018-07-10 | Honda Motor Co., Ltd. | Touch control panel for vehicle control system |
| US10388068B2 (en) | 2014-07-14 | 2019-08-20 | Ademco Inc. | System and method of augmented reality alarm system installation |
| US10362094B2 (en) | 2014-07-25 | 2019-07-23 | Gracenote Digital Ventures, Llc | Retrieval and playout of media content |
| WO2016017945A1 (en) * | 2014-07-29 | 2016-02-04 | Samsung Electronics Co., Ltd. | Mobile device and method of pairing the same with electronic device |
| KR102437104B1 (ko) | 2014-07-29 | 2022-08-29 | 삼성전자주식회사 | 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치 |
| BR112017010167A2 (pt) * | 2014-11-17 | 2018-02-14 | Visa Int Service Ass | autenticação e transações em um dispositivo de exibição de aumento de imagem tridimensional |
| US9900541B2 (en) * | 2014-12-03 | 2018-02-20 | Vizio Inc | Augmented reality remote control |
| US9621961B1 (en) * | 2014-12-31 | 2017-04-11 | The Directv Group, Inc. | Method and system for controlling a centralized content distribution system with a remote control |
| US10297002B2 (en) * | 2015-03-10 | 2019-05-21 | Intel Corporation | Virtual touch pad method and apparatus for controlling an external display |
| KR20160139481A (ko) * | 2015-05-27 | 2016-12-07 | 삼성전자주식회사 | 사용자 단말 장치 및 그 제어 방법 |
| CN105095372A (zh) * | 2015-06-30 | 2015-11-25 | 小米科技有限责任公司 | 获取搜索结果的方法及装置 |
| US10014967B2 (en) * | 2015-11-23 | 2018-07-03 | Huami Inc. | System and method for authenticating a broadcast device using facial recognition |
| KR20170072666A (ko) * | 2015-12-17 | 2017-06-27 | 삼성전자주식회사 | 디스플레이 장치, 원격 제어 장치 및 그 제어 방법 |
| JP2017117159A (ja) * | 2015-12-24 | 2017-06-29 | シャープ株式会社 | 端末装置及び双方向通信システム |
| US9928022B2 (en) * | 2015-12-29 | 2018-03-27 | The Directv Group, Inc. | Method of controlling a content displayed in an in-vehicle system |
| US10261964B2 (en) | 2016-01-04 | 2019-04-16 | Gracenote, Inc. | Generating and distributing playlists with music and stories having related moods |
| US9965841B2 (en) | 2016-02-29 | 2018-05-08 | Schneider Electric USA, Inc. | Monitoring system based on image analysis of photos |
| EP3214536B1 (en) * | 2016-03-03 | 2020-01-08 | Wipro Limited | System and method for remotely controlling a device |
| KR20170112797A (ko) * | 2016-04-01 | 2017-10-12 | 삼성전자주식회사 | 디스플레이 장치, 시스템 및 그 제어 방법 |
| US10545343B2 (en) * | 2016-05-27 | 2020-01-28 | Assa Abloy Ab | Augmented reality security verification |
| KR20180005521A (ko) * | 2016-07-06 | 2018-01-16 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US9918129B2 (en) * | 2016-07-27 | 2018-03-13 | The Directv Group, Inc. | Apparatus and method for providing programming information for media content to a wearable device |
| KR102509934B1 (ko) * | 2016-08-01 | 2023-03-15 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
| US20180310066A1 (en) * | 2016-08-09 | 2018-10-25 | Paronym Inc. | Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein |
| US10110678B2 (en) | 2016-08-19 | 2018-10-23 | Sony Corporation | System and method for data communication based on image processing |
| GB2555410B (en) * | 2016-10-25 | 2020-11-04 | Sony Interactive Entertainment Inc | Video content synchronisation method and apparatus |
| CN108124167A (zh) * | 2016-11-30 | 2018-06-05 | 阿里巴巴集团控股有限公司 | 一种播放处理方法、装置和设备 |
| US10019225B1 (en) | 2016-12-21 | 2018-07-10 | Gracenote Digital Ventures, Llc | Audio streaming based on in-automobile detection |
| US10419508B1 (en) | 2016-12-21 | 2019-09-17 | Gracenote Digital Ventures, Llc | Saving media for in-automobile playout |
| US10565980B1 (en) | 2016-12-21 | 2020-02-18 | Gracenote Digital Ventures, Llc | Audio streaming of text-based articles from newsfeeds |
| WO2018123152A1 (ja) * | 2016-12-26 | 2018-07-05 | ソニー株式会社 | 投影システム、プロジェクションデバイスおよびクレードル |
| US10171862B2 (en) * | 2017-02-16 | 2019-01-01 | International Business Machines Corporation | Interactive video search and presentation |
| US10545954B2 (en) * | 2017-03-15 | 2020-01-28 | Google Llc | Determining search queries for obtaining information during a user experience of an event |
| EP3386204A1 (en) | 2017-04-04 | 2018-10-10 | Thomson Licensing | Device and method for managing remotely displayed contents by augmented reality |
| TWI650705B (zh) * | 2017-08-17 | 2019-02-11 | 凌華科技股份有限公司 | 架構於非侵入式資料擷取系統客製化顯示畫面的系統模組及方法 |
| KR102418297B1 (ko) * | 2017-11-01 | 2022-07-08 | 삼성전자주식회사 | 보안 알림을 제공하는 전자 장치 및 제어 방법 |
| KR101922690B1 (ko) * | 2017-11-20 | 2019-02-27 | 삼성전자주식회사 | 디스플레이 장치 및 이의 애플리케이션 실행 방법, 그리고 디스플레이 장치를 원격으로 제어하는 외부기기 및 이의 애플리케이션 조작 화면 제공 방법 |
| US11222081B2 (en) | 2017-11-27 | 2022-01-11 | Evoqua Water Technologies Llc | Off-line electronic documentation solutions |
| JP6463826B1 (ja) * | 2017-11-27 | 2019-02-06 | 株式会社ドワンゴ | 動画配信サーバ、動画配信方法及び動画配信プログラム |
| US20190212901A1 (en) * | 2018-01-08 | 2019-07-11 | Cisco Technology, Inc. | Manipulation of content on display surfaces via augmented reality |
| US20190253751A1 (en) * | 2018-02-13 | 2019-08-15 | Perfect Corp. | Systems and Methods for Providing Product Information During a Live Broadcast |
| US11087538B2 (en) * | 2018-06-26 | 2021-08-10 | Lenovo (Singapore) Pte. Ltd. | Presentation of augmented reality images at display locations that do not obstruct user's view |
| JP7147317B2 (ja) * | 2018-07-20 | 2022-10-05 | オムロンヘルスケア株式会社 | 端末装置、情報処理方法、及びプログラム |
| CN109101169A (zh) * | 2018-08-06 | 2018-12-28 | 百度在线网络技术（北京）有限公司 | 电器的控制方法、终端、电器、电子设备与存储介质 |
| US11006182B2 (en) * | 2018-08-14 | 2021-05-11 | Home Box Office, Inc. | Surf mode for streamed content |
| US11393170B2 (en) | 2018-08-21 | 2022-07-19 | Lenovo (Singapore) Pte. Ltd. | Presentation of content based on attention center of user |
| US10991139B2 (en) | 2018-08-30 | 2021-04-27 | Lenovo (Singapore) Pte. Ltd. | Presentation of graphical object(s) on display to avoid overlay on another item |
| US10516863B1 (en) * | 2018-09-27 | 2019-12-24 | Bradley Baker | Miniature portable projector device |
| KR102033769B1 (ko) * | 2018-11-21 | 2019-10-17 | 삼성전자주식회사 | 디스플레이 장치 및 이의 애플리케이션 실행 방법, 그리고 디스플레이 장치를 원격으로 제어하는 외부기기 및 이의 애플리케이션 조작 화면 제공 방법 |
| US10999640B2 (en) * | 2018-11-29 | 2021-05-04 | International Business Machines Corporation | Automatic embedding of information associated with video content |
| US11470376B2 (en) | 2019-01-04 | 2022-10-11 | Voxx International Corporation | Vehicle entertainment system providing remote user control of video content on a monitor display and related methods |
| CA3066419C (en) * | 2019-01-04 | 2022-08-02 | Voxx International Corporation | Vehicle entertainment system providing remote user control of video content on a monitor display and related methods |
| KR20190109337A (ko) * | 2019-09-06 | 2019-09-25 | 엘지전자 주식회사 | 증강현실 기반의 기기 제어 장치 및 그 방법 |
| KR102184496B1 (ko) * | 2019-10-11 | 2020-11-30 | 삼성전자주식회사 | 디스플레이 장치 및 이의 애플리케이션 실행 방법, 그리고 디스플레이 장치를 원격으로 제어하는 외부기기 및 이의 애플리케이션 조작 화면 제공 방법 |
| KR20210094214A (ko) | 2020-01-21 | 2021-07-29 | 삼성전자주식회사 | 로봇 제어 장치 및 방법 |
| US11543945B1 (en) * | 2020-03-30 | 2023-01-03 | Amazon Technologies, Inc. | Accurate local depiction of preview of a program window included in a remote graphical desktop |
| KR102561210B1 (ko) * | 2020-05-07 | 2023-07-31 | 단국대학교 산학협력단 | 스마트홈 환경에서 ａｒ 기술을 활용한 슬립테크 제어를 위한 장치 및 방법 |
| US20210358294A1 (en) * | 2020-05-15 | 2021-11-18 | Microsoft Technology Licensing, Llc | Holographic device control |
| CN112084200B (zh) * | 2020-08-24 | 2024-08-20 | 中国银联股份有限公司 | 数据读写处理方法、数据中心、容灾系统及存储介质 |
| CN114323089A (zh) * | 2020-10-12 | 2022-04-12 | 群创光电股份有限公司 | 光检测元件 |
| US11762458B2 (en) * | 2021-02-15 | 2023-09-19 | Sony Group Corporation | Media display device control based on eye gaze |
| US11868595B2 (en) * | 2021-06-11 | 2024-01-09 | Roku, Inc. | Intelligent user interface customization for one-handed use |
| TWI783529B (zh) * | 2021-06-18 | 2022-11-11 | 明基電通股份有限公司 | 模式切換方法及其顯示設備 |
| US12077297B2 (en) * | 2022-07-14 | 2024-09-03 | Rockwell Collins, Inc. | System and method for augmented reality mobile device to select aircraft cabin display and video content for aircraft cabin |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010041617A (ja) * | 2008-08-07 | 2010-02-18 | Sony Corp | 携帯情報端末、情報提供方法、情報処理プログラム、情報提供サーバ、放送受信装置および情報提供システム |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6037936A (en) * | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
| JPH09128190A (ja) * | 1995-10-27 | 1997-05-16 | Fujitsu Ltd | 通信端末およびその表示制御システム |
| US6064354A (en) * | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| US6791467B1 (en) * | 2000-03-23 | 2004-09-14 | Flextronics Semiconductor, Inc. | Adaptive remote controller |
| EP1185902B1 (de) * | 2000-04-11 | 2004-12-22 | DRS Digitale Repro-Systeme GmbH | Verfahren und vorrichtung zum automatischen einzug von auf einem sichtgerät anzuzeigenden und/oder in einem digitalisierungsgerät abzulichtenden dokumentenvorlagen |
| US7779097B2 (en) | 2000-09-07 | 2010-08-17 | Sonic Solutions | Methods and systems for use in network management of content |
| JP3811025B2 (ja) | 2001-07-03 | 2006-08-16 | 株式会社日立製作所 | ネットワーク・システム |
| US8863184B2 (en) * | 2001-07-13 | 2014-10-14 | Universal Electronics Inc. | System and method for presenting program guide information in an electronic portable device |
| US7627860B2 (en) | 2001-08-14 | 2009-12-01 | National Instruments Corporation | Graphically deployment of a program with automatic conversion of program type |
| US8176432B2 (en) * | 2001-11-20 | 2012-05-08 | UEI Electronics Inc. | Hand held remote control device having an improved user interface |
| US7562397B1 (en) | 2002-02-27 | 2009-07-14 | Mithal Ashish K | Method and system for facilitating search, selection, preview, purchase evaluation, offering for sale, distribution, and/or sale of digital content and enhancing the security thereof |
| US7454511B2 (en) | 2003-05-29 | 2008-11-18 | Intel Corporation | Visibility of UPNP media renderers and initiating rendering via file system user interface |
| JP4510486B2 (ja) * | 2004-02-27 | 2010-07-21 | ソニー株式会社 | 番組表表示方法，番組表表示装置，およびコンピュータプログラム |
| US20060253874A1 (en) * | 2005-04-01 | 2006-11-09 | Vulcan Inc. | Mobile interface for manipulating multimedia content |
| US20060269056A1 (en) | 2005-05-19 | 2006-11-30 | Bruce Montag | Messaging interface for protected digital outputs |
| US8849821B2 (en) | 2005-11-04 | 2014-09-30 | Nokia Corporation | Scalable visual search system simplifying access to network and device functionality |
| KR100772385B1 (ko) * | 2005-12-07 | 2007-11-01 | 삼성전자주식회사 | 분산 스토리지 시스템 상에서 컨텐트를 송수신하는 방법 및장치 |
| US20070136778A1 (en) | 2005-12-09 | 2007-06-14 | Ari Birger | Controller and control method for media retrieval, routing and playback |
| JP2007179207A (ja) | 2005-12-27 | 2007-07-12 | Hitachi Ltd | コンテンツ探索方法 |
| JP5219184B2 (ja) | 2007-04-24 | 2013-06-26 | 任天堂株式会社 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
| US8180396B2 (en) * | 2007-10-18 | 2012-05-15 | Yahoo! Inc. | User augmented reality for camera-enabled mobile devices |
| US9582937B2 (en) * | 2008-01-02 | 2017-02-28 | Nokia Technologies Oy | Method, apparatus and computer program product for displaying an indication of an object within a current field of view |
| JP5282447B2 (ja) | 2008-05-29 | 2013-09-04 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
| US8850052B2 (en) * | 2008-09-30 | 2014-09-30 | Apple Inc. | System and method for simplified resource sharing |
| US8650290B2 (en) | 2008-12-19 | 2014-02-11 | Openpeak Inc. | Portable computing device and method of operation of same |
-
2010
- 2010-04-21 KR KR1020100036990A patent/KR101657565B1/ko active IP Right Grant
- 2010-12-03 US US12/959,696 patent/US8646000B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010041617A (ja) * | 2008-08-07 | 2010-02-18 | Sony Corp | 携帯情報端末、情報提供方法、情報処理プログラム、情報提供サーバ、放送受信装置および情報提供システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190143709A (ko) * | 2018-06-21 | 2019-12-31 | 전자부품연구원 | 증강현실 시뮬레이터의 콘텐츠 표현 방법 |
| KR102086012B1 (ko) * | 2018-06-21 | 2020-03-06 | 전자부품연구원 | 증강현실 시뮬레이터의 콘텐츠 표현 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110138416A1 (en) | 2011-06-09 |
| US8646000B2 (en) | 2014-02-04 |
| KR20110117496A (ko) | 2011-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101657565B1 (ko) | 증강 원격제어장치 및 그 동작 방법 | |
| KR101694159B1 (ko) | 증강 원격제어장치 및 그 동작 방법 | |
| KR101730881B1 (ko) | 증강 원격제어장치 및 그 동작 방법 | |
| KR20110118421A (ko) | 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템 | |
| CN107925791B (zh) | 图像显示设备和移动终端 | |
| KR101627214B1 (ko) | 영상표시장치 및 그 동작방법 | |
| US9250707B2 (en) | Image display apparatus and method for operating the same | |
| CN102088638B (zh) | 图像显示装置及其操作方法 | |
| KR101220037B1 (ko) | 전자 기기 연결 제어 방법 및 그를 이용한 휴대용 단말기 | |
| EP3396965B1 (en) | Image display device | |
| CN102668573A (zh) | 图像显示装置及其操作方法 | |
| CN108886634B (zh) | 显示装置及操作显示装置的方法 | |
| US20150237402A1 (en) | Image display apparatus, server and method for operating the same | |
| CN109076265B (zh) | 提供爬取功能的显示装置及其操作方法 | |
| KR20110072970A (ko) | 영상표시장치 및 그 동작 방법 | |
| KR20110081603A (ko) | 영상표시장치 및 그 동작 방법 | |
| KR102056166B1 (ko) | 영상표시장치, 서버 및 그 동작방법 | |
| KR101655804B1 (ko) | 3ｄ 썸네일을 표시하는 영상표시장치 및 그 동작 제어방법 | |
| KR101694166B1 (ko) | 증강 원격제어장치 및 그 동작 방법 | |
| KR101735608B1 (ko) | 영상표시장치 및 그 동작방법 | |
| KR20160004739A (ko) | 디스플레이 장치 및 그의 동작 방법 | |
| KR102700206B1 (ko) | 디스플레이 장치 | |
| KR101638536B1 (ko) | 영상표시장치 및 그 제어방법 | |
| KR101698787B1 (ko) | 영상표시장치 및 그 동작방법 | |
| KR101680038B1 (ko) | 영상표시장치 및 그 동작방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |