Nothing Special   »   [go: up one dir, main page]

KR20160123622A - 디스플레이 장치 및 그 제어방법 - Google Patents

디스플레이 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20160123622A
KR20160123622A KR1020150053878A KR20150053878A KR20160123622A KR 20160123622 A KR20160123622 A KR 20160123622A KR 1020150053878 A KR1020150053878 A KR 1020150053878A KR 20150053878 A KR20150053878 A KR 20150053878A KR 20160123622 A KR20160123622 A KR 20160123622A
Authority
KR
South Korea
Prior art keywords
user
display device
image
unit
predetermined
Prior art date
Application number
KR1020150053878A
Other languages
English (en)
Inventor
박해윤
강동구
윤여준
이용연
차상옥
곽지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150053878A priority Critical patent/KR20160123622A/ko
Priority to US15/080,826 priority patent/US20160309090A1/en
Priority to EP16165383.7A priority patent/EP3082019A3/en
Priority to CN201610239605.5A priority patent/CN106055218A/zh
Publication of KR20160123622A publication Critical patent/KR20160123622A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Instrument Panels (AREA)

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는, 복수의 그래픽 오브젝트를 표시하고, 기설정된 이벤트가 발생하면 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단하는 투명 디스플레이부, 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성하는 촬상부 및 생성된 촬상 영상과 기결정된 그래픽 오브젝트를 합성하는 제어부를 포함한다.

Description

디스플레이 장치 및 그 제어방법{DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이 장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 실제 사물과 투명 디스플레이부에 표시되는 그래픽 오브젝트의 종합적인 뷰를 제공하는 디스플레이 장치 및 그 제어방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 분야에서, 다양한 유형의 디스플레이 장치가 사용되고 있다. 특히, 최근에는 투명 디스플레이 장치와 같은 차세대 디스플레이 장치에 대한 연구 논의가 가속화되고 있다.
투명 디스플레이 장치란 투명한 성질을 가져서 디스플레이 장치 뒤쪽 배경이 그대로 비치는 디스플레이 장치를 의미한다. 종래에는 실리콘(Si), 갈륨비소(GaAs) 등과 같은 불투명 반도체 화합물을 이용하여 디스플레이 패널을 제작하였으나, 기존의 디스플레이 패널로는 감당할 수 없는 다양한 응용분야가 개척되면서, 새로운 형태의 전자 소자에 대한 개발 노력이 이루어졌었다. 이러한 노력 하에 개발된 것 중 하나가 투명 디스플레이 장치이다.
투명 디스플레이 장치는 투명한 산화물 반도체 막을 포함하는 형태로 구현되어, 투명한 성질을 가지게 된다. 투명 디스플레이 장치를 사용할 경우 사용자는 장치 뒤쪽에 위치하는 후면 배경을 보면서, 필요한 정보를 투명 디스플레이 장치 화면을 통해 볼 수 있게 된다. 따라서, 기존 디스플레이 장치들이 가지고 있는 공간적, 시간적 제약을 해소할 수 있게 되므로, 다양한 용도로 다양한 환경에서 편리하게 사용될 수 있다.
투명 디스플레이 장치는 투명한 성질의 디스플레이 유닛을 통해서 각종 정보를 디스플레이하기 때문에, 후면에 비치는 실제 사물의 모습과 디스플레이된 정보가 조화를 이루게 된다.
따라서, 사용자의 니즈가 점차 다양해 짐에 따라, 투명 디스플레이 장치를 좀 더 다양한 환경에서 사용하면서, 좀 더 새로운 방식으로 정보를 제공할 수 있는 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 실제 사물과 투명 디스플레이부에 표시되는 그래픽 오브젝트의 종합적인 뷰를 제공하는 디스플레이 장치 및 그 제어방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 복수의 그래픽 오브젝트를 표시하고, 기설정된 이벤트가 발생하면 상기 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단하는 투명 디스플레이부, 상기 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성하는 촬상부 및 상기 생성된 촬상 영상과 상기 기결정된 그래픽 오브젝트를 합성하는 제어부를 포함한다.
이 경우, 상기 투명 디스플레이부는, 상기 기설정된 이벤트가 발생하면, 상기 촬상부의 기능 제어와 관련된 그래픽 오브젝트를 상기 기 결정된 그래픽 오브젝트와 함께 표시할 수 있다.
한편, 상기 기 설정된 이벤트는, 상기 디스플레이 장치의 기 설정된 움직임이 감지되는 이벤트 또는 상기 디스플레이 장치의 특정 부분에 압력이 감지되는 이벤트일 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 사용자 얼굴의 위치 및 사용자 시선을 인식하며, 상기 투명 디스플레이부의 표시방향에 배치된 감지부를 더 포함하며, 상기 촬상부는, 상기 표시방향과 반대방향에 배치되며, 상기 제어부는, 상기 감지부에서 인식된 사용자 얼굴의 위치 및 사용자 시선에 기초하여 상기 촬상부에 의해 촬상된 촬상 영상에서 사용자 시점에 대응하는 영역을 검출하고, 상기 검출된 영역과 상기 기 결정된 그래픽 오브젝트를 합성할 수 있다.
한편, 상기 기 결정된 그래픽 오브젝트는, 사용자가 입력한 텍스트 오브젝트 및 펜을 통해 입력된 그래픽 오브젝트 중 적어도 하나일 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 상기 투명 디스플레이부에 표시된 컨텐츠를 선택받기 위한 입력부를 더 포함하며, 상기 기 결정된 그래픽 오브젝트는, 상기 입력부를 통해 선택된 컨텐츠일 수 있다.
한편, 상기 기 결정된 그래픽 오브젝트는, 상기 디스플레이 장치에서 재생중인 음악 정보일 수 있다.
이 경우, 상기 제어부는, 상기 음악 정보와 상기 촬상 영상을 합성한 합성 영상을 생성하고, 상기 생성된 합성 영상에 상기 기 설정된 이벤트 발생 당시 재생중인 음악을 배경음악으로 추가할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 상기 투명 디스플레이부에서 투영되는 피사체를 줌 인 또는 줌아웃하기 위한 사용자 조작을 입력받는 입력부를 더 포함하고, 상기 촬상부는, 상기 입력된 사용자 조작에 따라 피사체가 확대 또는 축소 촬상된 촬상 영상을 생성하고, 상기 투명 디스플레이부는, 상기 기 결정된 이벤트가 발생하고 상기 사용자 조작이 입력되면, 상기 생성된 촬상 영상을 상기 기 결정된 그래픽 오브젝트와 함께 표시할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 외부의 통신 칩과 무선 통신이 가능한 통신부, 사용자의 필기 입력을 받기 위한 입력부 및 입력된 필기를 저장하기 위한 저장부를 더 포함하며, 상기 제어부는, 상기 촬상부가 책의 특정 페이지를 촬상하여 생성된 촬상 영상에서 마커를 검출하고, 검출된 마커에 포함된 상기 책의 정보 및 페이지 정보를 획득하고, 상기 필기 입력 동안 상기 통신부를 통해 상기 책에 부착된 복수의 통신 칩 중 적어도 하나와 통신하여 상기 책에 대한 상기 디스플레이 장치의 상대적인 위치를 결정하며, 상기 획득된 책의 정보, 페이지 정보 및 상기 결정된 위치에 대한 정보를 상기 입력된 필기와 함께 상기 저장부에 저장할 수 있다.
이 경우, 상기 저장부는 전자책을 저장하며, 상기 제어부는, 상기 저장된 책의 정보, 페이지 정보 및 위치에 대한 정보에 대응하는 상기 전자책의 특정 페이지의 특정 영역에 상기 입력된 필기를 추가하여 상기 전자책을 업데이트할 수 있다.
이 경우, 상기 제어부는, 상기 디스플레이 장치가 상기 책에 부착된 복수의 통신 칩과의 통신 가능 범위를 벗어난 것으로 판단되면, 상기 업데이트된 전자책의 페이지를 표시하도록 상기 투명 디스플레이부를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 투명 디스플레이부를 갖는 디스플레이 장치의 제어방법은, 복수의 그래픽 오브젝트를 표시하는 단계, 기설정된 이벤트가 발생하면 상기 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단하는 단계, 상기 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성하는 단계 및 상기 생성된 촬상 영상과 상기 기결정된 그래픽 오브젝트를 합성하는 단계를 포함한다.
이 경우, 상기 표시를 중단하는 단계는, 상기 기설정된 이벤트가 발생하면, 촬상과 관련된 그래픽 오브젝트를 상기 기 결정된 그래픽 오브젝트와 함께 표시할 수 있다.
한편, 상기 기 설정된 이벤트는, 상기 디스플레이 장치의 기 설정된 움직임이 감지되는 이벤트 또는 상기 디스플레이 장치의 특정 부분에 압력이 감지되는 이벤트일 수 있다.
한편, 본 발명의 일 실시 예에 따른 투명 디스플레이부를 갖는 디스플레이 장치의 제어방법은, 사용자 얼굴의 위치 및 사용자 시선을 인식하는 단계를 더 포함하며, 상기 합성하는 단계는, 상기 인식된 사용자 얼굴의 위치 및 사용자 시선에 기초하여 상기 촬상 영상에서 사용자 시점에 대응하는 영역을 검출하고, 상기 검출된 영역과 상기 기 결정된 그래픽 오브젝트를 합성할 수 있다.
한편, 상기 기 결정된 그래픽 오브젝트는, 사용자가 입력한 텍스트 오브젝트 및 펜을 통해 입력된 그래픽 오브젝트 중 적어도 하나일 수 있다.
한편, 상기 기 결정된 그래픽 오브젝트는, 상기 디스플레이 장치에서 재생중인 음악 정보일 수 있다.
이 경우, 상기 합성하는 단계는, 상기 음악 정보와 상기 촬상 영상을 합성한 합성 영상을 생성하고, 상기 생성된 합성 영상에 상기 기 설정된 이벤트 발생 당시 재생중인 음악을 배경음악으로 추가할 수 있다.
본 발명의 일 실시 예에 따른 투명 디스플레이부를 갖는 디스플레이 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 디스플레이 장치의 제어 방법은, 복수의 그래픽 오브젝트를 표시하는 단계, 기설정된 이벤트가 발생하면 상기 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단하는 단계, 상기 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성하는 단계, 및 상기 생성된 촬상 영상과 상기 기결정된 그래픽 오브젝트를 합성하는 단계를 포함한다.
상술한 다양한 실시 예에 따르면, 투명 디스플레이 장치는 투명 디스플레이부를 이용하여 다양한 정보를 제공할 수 있게 되어, 사용자 만족도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치를 설명하기 위한 개념도,
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블럭도,
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 모드 변경을 설명하기 위한 도면,
도 4 내지 도 5는 본 발명의 다양한 실시 예에 따른 모드 변경을 위한 이벤트 발생을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 촬상 화면의 변경을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른 디스플레이 장치의 맵 기능을 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치의 증강 현실기능을 설명하기 위한 도면,
도 9 내지 도 11은 본 발명의 일 실시 예에 따른 디스플레이 장치의 촬상 영상의 오차 보정 기능을 설명하기 위한 도면,
도 12 내지 도 14는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 다양한 기능을 설명하기 위한 도면,
도 15 내지 도 20은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 합성 영상 생성을 설명하기 위한 도면,
도 21 내지 도 23은 본 발명의 일 실시 예에 따른 디스플레이 장치의 필기 입력 기능을 설명하기 위한 도면,
도 24 내지 도 25는 본 발명의 다양한 실시 예에 따라 디스플레이 장치의 듀얼 디스플레이를 활용한 기능을 설명하기 위한 도면,
도 26은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블럭도, 그리고,
도 27은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 다만, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치를 설명하기 위한 도면이다.
도 1(a)에 따르면, 디스플레이 장치(100)는 디스플레이 화면이 투명하게 구현되어, 후방 사물(20)이 투명하게 비치게 된다.　이에 따라, 도 1(b)에 도시된 바와 같이, 디스플레이 장치(100)에 표시되는 그래픽 오브젝트(1)와 후방 사물(20)의 실물이 사용자(30)에게 종합적으로 보여지게 된다.
디스플레이 장치(100)는 예를 들어 핸드폰, 태블릿 PC, TV, 데스크탑 컴퓨터, MP3 Player, PMP, 리모컨 등과 같은 다양한 유형의 전자 기기로 구현될 수 있으며, 가구, 창문, 투명 문, 액자, 쇼윈도, 벽 등과 같이 다양한 분야에 적용되어 사용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블럭도이다. 도 2를 참고하면, 디스플레이 장치(100)는 투명 디스플레이부(110), 촬상부(120) 및 제어부(130)를 포함한다.
투명 디스플레이부(110)는 후방에 위치한 사물이 투명하기 비치는 상태에서 그래픽 오브젝트를 표시할 수 있다. 그래픽 오브젝트란 이미지, 텍스트, 어플리케이션 실행 화면, 웹 브라우저 화면 등이 될 수 있다. 투명 디스플레이부(110)는 제어부(130)의 제어에 따라 이와 같이 다양한 그래픽 오브젝트를 표시할 수 있다.
투명 디스플레이부(110)는 실시 예에 따라 투명 LCD(Liquid Crystal Display) 형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투명 OLED 형, 투사형 등과 같은 다양한 형태로 구현될 수 있다.
투명 LCD 형이란 현재 사용되고 있는 LCD 장치에서 백라이트 유닛을 제거하고, 한 쌍의 편광판, 광학 필름, 투명 박막 트랜지스터, 투명 전극 등을 사용하여 구현한 투명 디스플레이 장치를 의미한다. 투명 LCD 장치에서는 편광판이나 광학 필름등에 의해 투과도가 떨어지고, 백라이트 유닛 대신 주변 광을 이용하게 되므로 광 효율이 떨어지지만, 대면적 투명 디스플레이를 구현할 수 있다는 장점이 있다. 투명 TFEL 형이란 투명 전극, 무기 형광체, 절연막으로 이루어진 교류형 무기박막 EL 디스플레이(AC-TFEL)를 사용하는 장치를 의미한다. AC-TFEL은 무기 형광체 내부에 가속이 된 전자가 지나가면서 형광체를 여기시켜 빛을 내게 하는 디스플레이이다. 투명 디스플레이부(110)가 투명 TFEL 형태로 구현된 경우, 제어부(130)는 적절한 위치로 전자가 투사되도록 조정하여, 정보 표시 위치를 결정할 수 있다. 무기 형광체, 절연막이 투명한 특성을 가지므로, 매우 투명한 디스플레이를 구현할 수 있다.
그 밖에, 투명 OLED형이란 자체 발광이 가능한 OLED를 이용하는 투명 디스플레이 장치를 의미한다. 유기 발광층이 투명하기 때문에, 양쪽 전극을 투명 전극으로 사용하면, 투명 디스플레이부(110) 구현이 가능하다. OLED는 유기 발광층 양쪽에서 전자와 정공을 주입하여 이들이 유기 발광층 내에서 결합되면서 빛을 내게 된다. 투명 OLED 장치는 이러한 원리를 사용하여 원하는 위치에 전자 및 정공을 주입하여, 정보를 표시한다.
촬상부(120)는 제어부(130)의 제어에 따라, 디스플레이부(110)에서 투영되는 피사체를 촬상하여 촬상 영상을 생성할 수 있다.
디스플레이 장치(100)는 복수의 촬상부(120)를 가질 수 있으며, 일 실시 예에 따르면, 디스플레이부(110)의 앞면(표시 방향)과 디스플레이부(110)의 뒷면에 각각 촬상부가 배치될 수 있다. 앞면에 배치된 촬상부는 사용자를 촬상하는데 이용되고, 뒷면에 배치된 촬상부는 피사체를 촬상하는데 이용될 수 있다.
제어부(130)는 디스플레이 장치(100)의 전반적인 동작을 제어하는 구성이다.
특히, 제어부(130)는 기 설정된 이벤트가 발생하면, 투명 디스플레이부(120) 상에 표시되던 특정 그래픽 오브젝트의 표시를 중단하거나, 새로운 그래픽 오브젝트를 표시할 수 있다.
일 예로, 홈 화면(초기 화면)이 표시 중인 상태에서 기 설정된 이벤트가 발생하면, 촬상부(120) 제어를 위한 그래픽 오브젝트가 표시될 수 있고, 촬상부(120) 제어를 위한 그래픽 오브젝트에 대한 사용자 조작에 따라 제어부(130)는 촬상부(120)를 구동하여 촬상 영상을 생성할 수 있다. 본 실시 예는 도 3을 참고하여 좀 더 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 촬상 모드 진입을 설명하기 위한 도면이다.
도 3(a)처럼 홈 화면이 표시되던 중, 기 설정된 이벤트가 발생하면, 도 3(b)처럼 홈 화면에 표시되던 그래픽 오브젝트들의 투명도가 높아지고(즉, 피사체가 더 잘 투과되어 보이도록 흐려지고), 촬상 모드 진입을 알리는 그래픽 오브젝트가 표시될 수 있다. 예컨대, 도 3(b)에서처럼, 촬상 초점 오브젝트(34)와 촬상 오브젝트(32)가 표시될 수 있다. 촬상 오브젝트(32)가 선택되면, 제어부(130)는 촬상부(120)를 구동하여 피사체를 촬상한 촬상 영상을 생성한다. 촬상 후, 제어부(130)는 도 3(c)처럼 촬상된 영상을 투명 디스플레이부(110)에 표시할 수 있다.
여기서 기 설정된 이벤트는 매우 단순한 사용자 조작으로 이루어진다. 예컨대, 디스플레이 장치(100)의 특정 움직임이 감지되는 이벤트일 수 있다. 특정 움직임의 예로, 도 4(a)에 도시된 것처럼 디스플레이 장치(100)가 수직으로 되는 움직임이 있을 수 있다. 또 다른 예로, 디스플레이 장치(100)의 쉐이킹 움직임 등이 있을 수 있다.
한편, 디스플레이 장치(100)의 특정 움직임만으로 촬상 모드로 진입하게 된다면 사용자가 의도치 않은 경우에도 촬상 모드로 진입되는 문제가 있을 수 있다. 이를 방지하기 위하여, 본 발명의 또 다른 실시 예에 따르면 도 4(b)에 도시된 것처럼 디스플레이 장치(100)의 특정 움직임과 함께 사용자(30) 시선이 감지되는 경우에만 촬상 모드로 진입할 수 있다. 또는 특정 움직임 대신, 도 4(c)에 도시된 것처럼 디스플레이 장치(100)의 특정 부분(ex. 모서리)에 압력이 가해지는 경우 촬상 모드로 진입할 수 있다. 또는 디스플레이 장치(100)의 특정 부분에 압력이 가해짐과 동시에 디스플레이 장치(100)의 특정 움직임이 감지되는 경우에만 촬상 모드로 진입하도록 구현될 수도 있다.
상술한 실시 예들에 따르면, 카메라 어플리케이션 실행을 위한 복잡한 조작 없이도, 홈 화면에서 빠르게 촬상 모드로 진입이 가능하므로, 사용자의 편의가 향상될 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 상기 기 설정된 이벤트 발생과 함께 추가적인 사용자 조작이 입력된 경우에만 촬상 모드로 진입되도록 구현될 수도 있다. 본 실시 예에 대해선 이하 도 5를 참고하여 설명하도록 한다.
구체적으로, 도 5(a)에서처럼 홈 화면이 표시되던 중, 기 설정된 이벤트가 발생하면, 도 5(b)에서처럼 촬상 모드 진입 준비를 알리는 촬상 준비 오브젝트(52)가 표시될 수 있다. 이 경우, 홈 화면에 존재하던 일부 아이콘의 표시는 중단되면서, 그 자리에 촬상 준비 오브젝트(52)가 표시될 수 있다. 이후, 사용자가 촬상 준비 오브젝트(52) 이외의 영역(51)을 선택하면, 도 5(c)와 같이 다시 기존의 홈 화면이 표시될 수 있다. 반면, 사용자가 촬상 준비 오브젝트(52)를 선택하면, 도 5(d)와 같이 촬상 모드로 진입하게 된다. 이후, 촬상 오브젝트(32)가 선택되면, 제어부(130)는 촬상부(120)를 구동하여 피사체를 촬상한 촬상 영상을 생성할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 도 5(d)에서와 같이 촬상 모드로 진입하여 1차 촬상이 이루어지고 난 후엔, 제어부(130)는 홈 화면의 아이콘들을 모두 제거하여 좀 더 깨끗한 화면에서 2차 촬상이 이루어질 수 있도록 한다. 1차 촬상이 이루어졌으므로, 사용자의 촬상 의사를 확인한 것으로 볼 수 있기 때문이다. 본 실시 예는 도 6을 통해 좀 더 구체적으로 설명하도록 한다.
도 6을 참고하면, 도 6(a)에 도시된 것처럼 촬상 모드에 진입하여 촬상 오브젝트(32)가 선택되어 1차 촬상이 이루어지면, 제어부(130)는 화면상에 표시되던 아이콘들(61)을 모두 제거하여 도 6(b)와 같이 촬상 관련 메뉴들만 표시할 수 있다. 이에 따라, 사용자는 2차 촬상시엔 보다 깨끗한 화면을 통해 피사체를 관찰할 수 있게 된다. 한편, 이 경우, 1차 촬상된 촬상 영상은 촬상 영상 열람 오브젝트(62)를 선택하여 확인할 수 있다.
한편, 디스플레이 장치(100)는 상술한 촬상 기능 이외에도 다양한 기능을 수행할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 맵 기능을 설명하기 위한 도면이다.
상술한 것과 같은 기 설정된 이벤트가 발생하면, 도 7(a)에 도시된 것처럼 맵 오브젝트(31), 촬상 오브젝트(32) 및 증강 현실 오브젝트(33)가 투명 디스플레이부(110)에 표시될 수 있다. 맵 오브젝트(31)가 선택되면, 도 7(b)와 같이 투명 디스플레이부(110)에 투과되어 표시되는 건물 등에 대한 정보가 표시될 수 있다. 이와 같은 맵 기능에선 또한, 다양한 서브 기능을 제공하는데, 예컨대 보행 가능한 길을 알려주는 기능, 자전거 이용가능한 길을 알려주는 기능 및 차로 이동가능한 길을 알려주는 기능 등을 제공할 수 있다. 구체적으로, 길탐색 오브젝트(71)를 드래그하면, 도 7(c)처럼 상기 서브 기능들 중 어느 하나를 선택할 수 있다. 또한, 이와 같은 맵 기능에서 집 안내 오브젝트(72)를 선택하면, 기 저장한 집 주소로 가는 길 안내가 시작되며, 목적지 설정 오브젝트(73)을 선택하면, 새로운 목적지를 설정할 수 있다. 만약 자전거 이용가능한 길을 알려주는 기능이 설정되어 있고, 집 안내 오브젝트(72)가 선택된 상태이면, 도 7(d)처럼 자전거로 집까지 가능 경로가 안내된다.
상술한 실시 예에 따르면, 투명 디스플레이부(110)를 통해 실제 건물, 도로 등을 보며 길안내를 받을 수 있으므로 사용자의 이해도가 높아질 수 있다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 증강 현실 기능을 설명하기 위한 도면이다.
상술한 것과 같은 기 설정된 이벤트가 발생하면, 도 8(a)에 도시된 것처럼 맵 오브젝트(31), 촬상 오브젝트(32) 및 증강 현실 오브젝트(33)가 투명 디스플레이부(110)에 표시될 수 있다. 증강 현실 오브젝트(33)가 선택되면, 투명 디스플레이부(110)를 통해 보여지는 건물등에 대한 다양한 정보를 얻을 수 있다. 예컨대, 도 8(b)에 도시된 것처럼, 카페에서 제공하는 쿠폰, 사용자가 적립하여 놓은 포인트 및 관련 쿠폰, 와이파이 가능 상태, 사용자 리뷰 등과 같은 다양한 정보가 제공될 수 있다.
상술한 실시 예에 따르면, 사용자는 디스플레이 장치(100)를 가게에 비추어보는 것만으로도 그 가게에 대한 다양한 정보를 얻을 수 있게 되며, 증강 현실 경험을 제공받을 수 있게 된다.
이러한 투명 디스플레이부(110)를 이용하게 되면, 투명 디스플레이부(110)의 프레임 안에 들어온 사물이 그대로 촬상 프리뷰로 활용 가능하다. 촬상 프리뷰란 사용자가 촬상을 수행하기 전에 촬상될 영상을 미리 확인할 수 있게 해주는 것으로, 기존의 장치들에선 촬상부가 구동되어야지만 디스플레이부상에 촬상 프리뷰가 표시될 수 있었다. 따라서 기존의 장치에 비교하여 본 디스플레이 장치(100)는 전력 소비가 절감된다는 효과를 거둘 수 있다. 하지만 이 경우, 촬상부(120)에 의해 촬상이 수행되고 나서 생성된 촬상 영상이, 사용자가 투명 디스플레이부(110)를 통해 바라봤던 사물과 불일치할 수 있다. 따라서 사용자가 투명 디스플레이부(110)를 통해 본 대로 촬상 영상이 생성될 필요가 있다.
이를 위해, 본 발명의 일 실시 예에 따르면, 디스플레이 장치(100)는 촬상부(130)에서 촬상된 영상 중 사용자의 시점에 대응되는 영역으로 최종 촬상 영상을 생성할 수 있다. 본 실시 예는 도 9 내지 도 11를 통해 설명하도록 한다.
도 9 내지 도 11은 디스플레이 장치(100)의 촬상 영상 생성을 설명하기 위한 도면이다.
도 9를 참고하면, 디스플레이 장치(100)는 사용자 얼굴의 위치 및 사용자 시선을 인식하며, 투명 디스플레이부의 표시방향에 배치된 감지부(140)와 상기 표시방향과 반대방향에 배치된 촬상부(120)를 포함할 수 있다.
그리고 제어부(130)는 감지부(140)에서 인식된 사용자 얼굴의 위치 및 사용자 시선에 기초하여 촬상부(120)에 의해 촬상된 촬상 영상에서 사용자 시점에 대응하는 영역을 검출하고, 검출된 영역으로 최종 촬상 영상을 생성한다.
감지부(140)는 사용자의 얼굴 검출을 통해 사용자(30)의 얼굴의 위치를 인식할 수 있으며, 인식되는 크기에 비례하여 디스플레이 장치(100)와의 거리를 유추할 수 있다. 또한 감지부(140)는 사용자가 바라보는 시선을 인식할 수 있다. 이러한 감지부(140)는 예컨대 이미지 센서, 적외선 센서, 초음파 센서, 근접 센서(Proximity Sensor) 등으로 구현가능하다.
도 10(a)은 실제로 촬상부(120)가 촬상할 수 있는 영역(10)을 도시한 것이다. 제어부(130)는 감지부(140)에서 인식된 사용자 얼굴의 위치 및 사용자 시선에 기초하여, 촬상부(120)가 실제로 촬상 가능한 영역(10) 중 일부 영역만을 촬상 영상으로 생성할 수 있다. 예컨대, 도 10(b) 내지 (d)와 같이 촬상부(120)는 촬상 가능한 영역(10) 중, 사용자 시선에 해당하는 영역(12)만을 촬상 영상으로 생성할 수 있다.
또한, 사용자는 동일한 위치에서 시선만을 변경할 수 있으므로, 사용자가 동일한 위치에 있는 경우라도 투명 디스플레이부(110)를 통해 보는 곳은 달라진다. 즉, 도 11(a) 내지 도 11(c)에 도시된 것처럼, 사용자(30)와 디스플레이 장치(100) 간의 거리는 같더라도, 시선에 따라 투명 디스플레이부(110)를 통해 보여지는 곳은 달라진다. 따라서, 디스플레이 장치(100)는 사용자가 실제 바라보는 곳과 대응되는, 즉 사용자 시선에 해당하는 영역(12)의 촬상 영상을 생성할 수 있어야하므로, 제어부(130)는 감지부(140)에서 인식된 사용자 얼굴의 위치뿐만 아니라, 사용자의 시선에 기초하여 촬상 영상을 생성한다. 본 실시 예에 따르면, 사용자 얼굴의 위치만을 기초로 촬상 영상을 생성하였을 때 발생할 수 있는 오차를 없앨 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 디스플레이 장치(100)의 촬상 영상 생성을 설명하기 위한 도면이다.
도 12(a)에서와 같이, 투명 디스플레이부(110)에서 투영되는 피사체를 줌 인 또는 줌아웃하기 위한 사용자 조작이 입력되면, 디스플레이 장치(100)는 이러한 사용자 조작에 따라, 촬상부(120)를 구동하여 피사체가 확대 또는 축소 촬상된 촬상 영상을 생성할 수 있고, 도 12(b)에서와 같이 투명 디스플레이부(110)에 확대 또는 축소 촬상된 촬상 영상을 표시할 수 있다. 상기 사용자 조작은 디스플레이 장치(100)의 입력부를 통해 입력 가능하고, 일 실시 예에 따르면 입력부는 터치 감지부가 내장된 터치스크린으로 구현될 수 있다. 이 경우, 줌 아웃을 위한 조작은 손가락을 터치스크린 상에서 오므리는 조작(핀치 인)일 수 있고, 줌 인을 위한 조작은 손가락을 터치스크린 상에서 펼치는 조작(핀치 아웃)일 수 있다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 돋보기 기능을 설명하기 위한 도면이다.
도 13을 참고하면, 제어부(130)는 돋보기 영역(13)을 통해 투영되는 물체가 확대된 촬상 영상을 생성하도록 촬상부(120)를 제어하고, 생성된 확대 영상을 투명 디스플레이부(110)에 표시할 수 있다. 이와 같은 돋보기 영역(13)은 디스플레이 장치(100)가 턴-온 되었을 때부터 항상 활성화된 상태일 수 있고, 사용자 설정에 따라 비활성화될 수 있다.
본 실시 예에 따르면, 투명 디스플레이부(110)의 투명한 성질을 활용하여, 투과되는 물체의 실물과 함께 특정 부분이 확대된 영상을 얻을 수 있으므로, 사용자는 마치 실제 돋보기를 사용하고 있는 것과 같은 경험을 제공받을 수 있다.
도 14는 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 전화번호 인식 기능을 설명하기 위한 도면이다.
도 14를 참고하면, 예컨대 전화 번호가 기재되어 있는 전단지에 디스플레이 장치(100)가 위치하게 되면, 제어부(130)는 촬상부(120)를 통해 촬상된 이미지로부터 전화번호를 인식한다. 이 경우, 인식된 전화번호 영역에 전화 번호 인식 오브젝트(14)가 표시될 수 있다. 사용자가 전화번호 인식 오브젝트(14)를 선택하면, 도 14(b)와 같이 바로 전화 어플리케이션이 실행되어 해당 전화번호로 전화가 걸릴 수 있다.
한편, 본 실시 예에선 전화번호를 인식하는 것으로 설명하였으나, 웹 주소를 인식하여 해당 웹 주소의 웹 페이지 화면이 표시될 수 있고, 계좌 번호를 인식하여 해당 계좌 번호로의 이체화면이 표시될 수 있는 등, 다양한 방식의 인식이 가능하다.
본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)는 촬상부(120)에서 생성된 영상과 투명 디스플레이부(110)를 통해 표시되던 특정 그래픽 오브젝트를 합성할 수 있다.
구체적으로, 투명 디스플레이부(110)는 복수의 그래픽 오브젝트를 표시하고, 기설정된 이벤트가 발생하면 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단할 수 있다. 여기서 기 설정된 이벤트란 앞서 설명하였듯이, 디스플레이 장치(100)의 기 설정된 움직임이 감지되는 이벤트 또는 디스플레이 장치(100)의 특정 부분에 압력이 감지되는 이벤트일 수 있다.
상기 기결정된 그래픽 오브젝트만 표시된 상태에서, 사용자가 투명 디스플레이부(110)를 바라보면, 도 1에서 설명한 것처럼 후방 사물과 투명 디스플레이부(110)에 표시된 기결정된 그래픽 오브젝트가 종합적으로 보이게 될 것이다. 제어부(130)는 이와 같이 종합적으로 보이는 형상 자체로 이미지를 생성할 수 있다. 즉, 제어부(130)는 촬상부(120)에 의해 생성된 촬상 영상과 투명 디스플레이부(110)에 표시 중인 기결정된 그래픽 오브젝트를 합성할 수 있다.
여기서 기 결정된 그래픽 오브젝트란 실행 중인 어플리케이션에 따라 다양하게 결정된 것이다. 합성에 이용되는 그래픽 오브젝트에 대해선, 이하 도 15 내지 도 20을 통해 설명하도록 한다.
도 15 내지 도 16은 사용자가 입력한 컨텐츠를 촬상 영상과 합성하는 실시 예를 설명하기 위한 도면이다. 여기서 사용자가 입력한 컨텐츠는 텍스트 또는 이미지 등일 수 있다. 도 15는 텍스트인 경우를 설명하기 위한 도면이고, 도 16은 이미지인 경우를 설명하기 위한 도면이다.
도 15(a)를 참고하면, 투명 디스플레이 장치(100)에 사용자는 텍스트를 입력할 수 있다. 사용자가 입력한 텍스트가 메시지 입력창(1510)에 텍스트 오브젝트(1511)로 표시된 상태에서 기 설정된 이벤트가 발생하면, 도 15(b)와 같이 투명 디스플레이부(110)는 텍스트 오브젝트(1511)를 제외한 나머지 그래픽 오브젝트의 표시를 중단한다. 그러면 도 15(b)와 같이 디스플레이 장치(100)의 후면에 존재하는 피사체가 투명하게 비치게 되어, 텍스트 오브젝트(1511)와 종합적으로 보이게 된다. 그리고 도 15(b)에 도시된 것처럼 촬상부(130)의 기능 제어와 관련된 그래픽 오브젝트들(1520, 1530) 등이 투명 디스플레이부(110)에 표시될 수 있다.
여기서 기 설정된 이벤트란, 디스플레이 장치(100)의 특정 움직임이 감지되는 이벤트일 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 특정 각도로 올리는 움직임 또는 디스플레이 장치(100)를 흔드는 움직임이 감지되는 이벤트일 수 있다. 또는, 이러한 특정 움직임과 함께 사용자 시선이 감지되는 이벤트일 수 있다. 또는, 디스플레이 장치(100)의 특정 부분에 압력이 가해지는 이벤트일 수 있다. 예를 들어, 디스플레이 장치(100)의 모서리 또는 베젤(bezel) 부분에 압력이 가해지는 이벤트일 수 있다. 또는, 특정 움직임과 함께 압력이 가해지는 이벤트일 수도 있다. 다만 이에 한정되는 것은 아니며, 투명 디스플레이부(110)를 통해 표시되는 소프트 버튼이 선택되는 이벤트, 디스플레이부(100)에 마련된 물리 버튼이 선택되는 이벤트 등 다양한 사용자 조작이 감지되는 이벤트가 가능하다.
이 상태에서, 카메라 오브젝트(1520) 또는 비디오 오브젝트(1530)가 선택되면, 제어부(130)는 촬상부(120)를 통해 피사체를 촬상하고, 촬상된 영상과 텍스트 오브젝트(1511)를 합성한다. 카메라 오브젝트(1520)가 선택되었을 경우엔 정지 영상과 텍스트 오브젝트(1511)가 합성된 영상이 생성될 것이고, 비디오 오브젝트(1530)가 선택되었을 경우엔 동영상과 텍스트 오브젝트(1511)가 합성될 수 있다. 이와 같이 합성된 영상은 디스플레이 장치(100)의 저장부에 저장된다.
한편, 본 발명의 일 실시 예에 따르면, 채팅 애플리케이션 실행 중에 상술한 동작들이 이루어진 경우, 합성된 영상을 대화 상대방에게 바로 전송할 수 있다. 예컨대, 합성이 완료되고 나면, 도 15(c)에 도시된 바와 같이 합성된 영상을 전송할 것인지 문의하는 팝업 창(1540)이 표시되고, 사용자가 'no'를 선택하면 다시 도 15(b) 화면으로 돌아간다. 사용자가 'yes'를 선택하면, 도 15(d)에 도시된 바와 같이 합성 영상이 대화 상대방에게 전송된다.
상술한 실시 예에 따르면, 사용자가 텍스트를 입력하던 도중, 예컨대 디스플레이 장치(100)를 흔들기만 하면, 입력중인 텍스트만 추출되어 촬상 영상에 합성될 수 있다. 더 나아가, 채팅 애플리케이션을 통해 텍스트가 입력되던 중이였다면, 사용자는 합성 영상을 바로 대화 상대방에게 보낼 수도 있다.
도 16은 본 발명의 또 다른 실시 예에 따라 합성 영상을 생성하는 방법을 설명하기 위한 것으로, 사용자가 입력한 이미지가 합성 영상 생성에 이용되는 것을 설명하기 위한 도면이다.
도 16(a)를 참고하면, 사용자는 입력 수단을 이용하여 디스플레이 장치(100)에 이미지를 입력할 수 있다. 예를 들어, 디스플레이 장치(100)가 터치 스크린을 구비한 경우, 입력 수단은 터치 입력 가능한 펜(1620)일 수 있다. 사용자가 입력한 이미지가 이미지 오브젝트(1610)로 표시된 상태에서 기 설정된 이벤트가 발생하면, 도 16(b)와 같이 투명 디스플레이부(110)는 이미지 오브젝트(1610)를 제외한 나머지 그래픽 오브젝트의 표시를 중단한다. 그러면 도 16(b)와 같이 디스플레이 장치(100)의 후면에 존재하는 피사체가 투명하게 비치게 되어, 이미지 오브젝트(1610)와 종합적으로 보이게 된다. 그리고 도 16(b)에 도시된 것처럼 촬상부(130)의 기능 제어와 관련된 그래픽 오브젝트들(1520, 1530) 등이 투명 디스플레이부(110)에 표시될 수 있다.
여기서 기 설정된 이벤트란, 디스플레이 장치(100)의 특정 움직임이 감지되는 이벤트일 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 특정 각도로 올리는 움직임 또는 디스플레이 장치(100)를 흔드는 움직임이 감지되는 이벤트일 수 있다. 또는, 이러한 특정 움직임과 함께 사용자 시선이 감지되는 이벤트일 수 있다. 또는, 디스플레이 장치(100)의 특정 부분에 압력이 가해지는 이벤트일 수 있다. 예를 들어, 디스플레이 장치(100)의 모서리 또는 베젤(bezel) 부분에 압력이 가해지는 이벤트일 수 있다. 또는, 특정 움직임과 함께 압력이 가해지는 이벤트일 수도 있다. 다만 이에 한정되는 것은 아니며, 투명 디스플레이부(110)를 통해 표시되는 소프트 버튼이 선택되는 이벤트, 디스플레이부(100)에 마련된 물리 버튼이 선택되는 이벤트 등 다양한 사용자 조작이 감지되는 이벤트가 가능하다.
이 상태에서, 카메라 오브젝트(1520) 또는 비디오 오브젝트(1530)가 선택되면, 제어부(130)는 촬상부(120)를 통해 피사체를 촬상하고, 촬상된 영상과 이미지 오브젝트(1610)를 합성한다. 카메라 오브젝트(1520)가 선택되었을 경우엔 정지 영상과 이미지 오브젝트(1610)가 합성된 영상이 생성될 것이고, 비디오 오브젝트(1530)가 선택되었을 경우엔 동영상과 이미지 오브젝트(1610)가 합성될 수 있다. 이와 같이 합성된 영상은 디스플레이 장치(100)의 저장부에 저장된다.
한편, 도 15 내지 도 16에선 사용자가 입력한 텍스트 또는 이미지 오브젝트가 합성 영상 생성에 그대로 이용되는 것으로 설명하였으나, 사용자는 촬상 전에 텍스트 또는 이미지 오브젝트를 편집할 수도 있다. 즉, 도 15(b)와 같은 상태에서 사용자는 텍스트 오브젝트(1511) 중 일부 텍스트를 지우거나, 추가적으로 텍스트를 입력할 수 있으며, 또한 텍스트 오브젝트(1511)의 표시 위치를 이동시킬 수 있으며, 텍스트 오브젝트(1511)의 디자인을 바꿀 수 있다. 마찬가지로, 도 16(b)와 같은 상태에서 사용자는 이미지 오브젝트(1610)를 지우거나, 펜(1620)을 이용해 추가 이미지를 입력할 수 있고, 이미지 오브젝트(1610)의 표시 위치를 옮기거나, 이미지 오브젝트(1610)의 컬러를 바꾸는 등의 편집을 할 수 있다. 이와 같이 편집이 이루어진 상태에서 촬상이 수행되면, 제어부(130)는 편집된 텍스트 또는 이미지 오브젝트와 촬상 영상을 합성한다.
한편, 본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)에 저장된 컨텐츠를 합성 영상 생성에 이용할 수도 있다. 본 실시 예에 대해선 이하 도 17 내지 도 18을 참고하여 설명하도록 한다. 한편, 컨텐츠란, 디스플레이 장치(100)를 통해 출력될 수 있는 형태의 정보를 의미하는 것으로, 텍스트 컨텐츠, 사진 컨텐츠, 동영상 컨텐츠, 컨텐츠, 음악 컨텐츠 등이 있을 수 있다.
도 17(a)를 참고하면, 투명 디스플레이부(110)에 사용자가 선택한 컨텐츠(1710)가 표시될 수 있다. 일 예로, 사용자가 선택한 컨텐츠(1710)는 앨범 애플리케이션에서 제공되는 이미지 컨텐츠일 수 있다. 사용자가 선택한 컨텐츠(1710)가 표시된 상태에서 기 설정된 이벤트가 발생하면, 도 17(b)와 같이 투명 디스플레이부(110)는 선택된 컨텐츠(1710)를 제외한 나머지 그래픽 오브젝트의 표시를 중단한다.
이 경우, 사용자가 선택한 컨텐츠가 본래의 형태를 유지한 채로 표시될 수 있고, 또는 도 17(b)에 도시된 것처럼 배경이 제거된 객체(아기)만이 표시될 수도 있다.
그러면, 도 17(b)와 같이 디스플레이 장치(100)의 후면에 존재하는 피사체가 투명하게 비치게 되어, 선택된 컨텐츠(1710)와 종합적으로 보이게 된다. 그리고 도 17(b)에 도시된 것처럼 촬상부(130)의 기능 제어와 관련된 그래픽 오브젝트들(1520, 1530) 등이 투명 디스플레이부(110)에 표시될 수 있다.
여기서 기 설정된 이벤트란, 디스플레이 장치(100)의 특정 움직임이 감지되는 이벤트일 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 특정 각도로 올리는 움직임 또는 디스플레이 장치(100)를 흔드는 움직임이 감지되는 이벤트일 수 있다. 또는, 이러한 특정 움직임과 함께 사용자 시선이 감지되는 이벤트일 수 있다. 또는, 디스플레이 장치(100)의 특정 부분에 압력이 가해지는 이벤트일 수 있다. 예를 들어, 디스플레이 장치(100)의 모서리 또는 베젤(bezel) 부분에 압력이 가해지는 이벤트일 수 있다. 또는, 특정 움직임과 함께 압력이 가해지는 이벤트일 수도 있다. 다만 이에 한정되는 것은 아니며, 투명 디스플레이부(110)를 통해 표시되는 소프트 버튼이 선택되는 이벤트, 디스플레이부(100)에 마련된 물리 버튼이 선택되는 이벤트 등 다양한 사용자 조작이 감지되는 이벤트가 가능하다.
이 상태에서, 카메라 오브젝트(1520) 또는 비디오 오브젝트(1530)가 선택되면, 제어부(130)는 촬상부(120)를 통해 피사체를 촬상하고, 촬상된 영상과 선택된 컨텐츠(1710)를 합성한다. 카메라 오브젝트(1520)가 선택되었을 경우엔 정지 영상과 선택된 컨텐츠(1710)가 합성된 영상이 생성될 것이고, 비디오 오브젝트(1530)가 선택되었을 경우엔 동영상과 선택된 컨텐츠(1710)가 합성될 수 있다. 이와 같이 합성된 영상은 디스플레이 장치(100)의 저장부에 저장된다.
도 18은 선택된 복수의 컨텐츠가 촬상 영상에 합성되는 실시 예를 설명하기 위한 도면이다.
도 18(a)와 같이 복수의 컨텐츠(1810a, 1810b)가 선택된 상태에서 기 설정된 이벤트가 발생하면, 투명 디스플레이부(110)는 선택된 복수의 컨텐츠(1810a, 1810b)를 제외한 나머지 그래픽 오브젝트의 표시를 중단한다. 그러면 도 18(b)와 같이 디스플레이 장치(100)의 후면에 존재하는 피사체가 투명하게 비치게 되어, 선택된 복수의 컨텐츠(1810a, 1810b)와 종합적으로 보이게 된다. 그리고 도 18(b)에 도시된 것처럼 촬상부(130)의 기능 제어와 관련된 그래픽 오브젝트들(1520, 1530) 등이 투명 디스플레이부(110)에 표시될 수 있다.
여기서 기 설정된 이벤트란, 디스플레이 장치(100)의 특정 움직임이 감지되는 이벤트일 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 특정 각도로 올리는 움직임 또는 디스플레이 장치(100)를 흔드는 움직임이 감지되는 이벤트일 수 있다. 또는, 이러한 특정 움직임과 함께 사용자 시선이 감지되는 이벤트일 수 있다. 또는, 디스플레이 장치(100)의 특정 부분에 압력이 가해지는 이벤트일 수 있다. 예를 들어, 디스플레이 장치(100)의 모서리 또는 베젤(bezel) 부분에 압력이 가해지는 이벤트일 수 있다. 또는, 특정 움직임과 함께 압력이 가해지는 이벤트일 수도 있다. 다만 이에 한정되는 것은 아니며, 투명 디스플레이부(110)를 통해 표시되는 소프트 버튼이 선택되는 이벤트, 디스플레이부(100)에 마련된 물리 버튼이 선택되는 이벤트 등 다양한 사용자 조작이 감지되는 이벤트가 가능하다.
한편, 선택된 컨텐츠의 표시 위치를 변경하는 것도 가능하다. 도 18(b)에서처럼, 사용자는 강아지 오브젝트(1810a)를 아기 오브젝트(1810b)와 겹치지 않도록 이동시킬 수 있다.
이 상태에서, 카메라 오브젝트(1520) 또는 비디오 오브젝트(1530)가 선택되면, 제어부(130)는 촬상부(120)를 통해 피사체를 촬상하고, 촬상된 영상과 복수의 컨텐츠(1810a, 1810b)를 합성한다. 카메라 오브젝트(1520)가 선택되었을 경우엔 정지 영상과 복수의 컨텐츠(1810a, 1810b)가 합성된 영상이 생성될 것이고, 비디오 오브젝트(1530)가 선택되었을 경우엔 동영상과 복수의 컨텐츠(1810a, 1810b)가 합성될 수 있다. 이와 같이 합성된 영상은 디스플레이 장치(100)의 저장부에 저장된다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자가 선택한 텍스트가 합성에 사용될 수 있다. 본 실시 예에 대해선 도 19를 통해 설명하도록 한다.
도 19(a)를 참고하면, 사용자는 투명 디스플레이부(110)에 표시된 텍스트 중 일부 텍스트를 선택할 수 있다. 예를 들어, 전자책 또는 웹 페이지가 표시된 상태에서, 사용자는 드래그 조작 등을 통하여 텍스트를 선택할 수 있다. 텍스트(1910)가 선택된 상태에서 기 설정된 이벤트가 발생하면, 투명 디스플레이부(110)는 선택된 텍스트(1910)를 제외한 나머지 그래픽 오브젝트의 표시를 중단한다. 즉, 선택되지 않은 텍스트 및 기타 그래픽 오브젝트의 표시를 중단한다. 그러면 도 19(b)와 같이 디스플레이 장치(100)의 후면에 존재하는 피사체가 투명하게 비치게 되어, 선택된 텍스트(1910)와 종합적으로 보이게 된다. 그리고 도 19(b)에 도시된 것처럼 촬상부(130)의 기능 제어와 관련된 그래픽 오브젝트들(1520, 1530) 등이 투명 디스플레이부(110)에 표시될 수 있다.
여기서 기 설정된 이벤트란, 디스플레이 장치(100)의 특정 움직임이 감지되는 이벤트일 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 특정 각도로 올리는 움직임 또는 디스플레이 장치(100)를 흔드는 움직임이 감지되는 이벤트일 수 있다. 또는, 이러한 특정 움직임과 함께 사용자 시선이 감지되는 이벤트일 수 있다. 또는, 디스플레이 장치(100)의 특정 부분에 압력이 가해지는 이벤트일 수 있다. 예를 들어, 디스플레이 장치(100)의 모서리 또는 베젤(bezel) 부분에 압력이 가해지는 이벤트일 수 있다. 또는, 특정 움직임과 함께 압력이 가해지는 이벤트일 수도 있다. 다만 이에 한정되는 것은 아니며, 투명 디스플레이부(110)를 통해 표시되는 소프트 버튼이 선택되는 이벤트, 디스플레이부(100)에 마련된 물리 버튼이 선택되는 이벤트 등 다양한 사용자 조작이 감지되는 이벤트가 가능하다.
한편, 도 19(b)와 같은 상태에서 사용자는 선택된 텍스트(1910) 중 일부 텍스트를 지우거나, 추가적으로 텍스트를 입력할 수 있으며, 또한 선택된 텍스트(1910)의 표시 위치를 이동시킬 수 있으며, 선택된 텍스트(1910)의 디자인을 바꾸는 등의 편집을 할 수 있다.
이 상태에서, 카메라 오브젝트(1520) 또는 비디오 오브젝트(1530)가 선택되면, 제어부(130)는 촬상부(120)를 통해 피사체를 촬상하고, 촬상된 영상과 선택된 텍스트(1910)를 합성한다. 카메라 오브젝트(1520)가 선택되었을 경우엔 정지 영상과 선택된 텍스트(1910)가 합성된 영상이 생성될 것이고, 비디오 오브젝트(1530)가 선택되었을 경우엔 동영상과 선택된 텍스트(1910)가 합성될 수 있다. 이와 같이 합성된 영상은 디스플레이 장치(100)의 저장부에 저장된다.
한편, 본원 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)를 통해 음악 재생 중에, 상술한 합성 동작이 이루어질 수 있다. 본 실시 예에 대해선 도 20을 통해 설명하도록 한다.
도 20(a)를 참고하면, 디스플레이 장치(100)는 음악을 재생하면서 도 20(a)와 같은 음악 재생 화면을 표시할 수 있고, 음악 재생 화면엔 음악에 대한 각종 정보들이 포함될 수 있다. 예컨대, 음악 제목이 음악 재생 화면에 표시될 수 있다. 디스플레이 장치(100)에서 음악이 재생되는 도중, 기 설정된 이벤트가 발생하면, 도 20(b)에 도시된 것처럼 투명 디스플레이부(110)는 재생중인 음악 정보(2010)를 제외한 나머지 그래픽 오브젝트의 표시를 중단할 수 있다. 그리고 도 20(b)에 도시된 것처럼 촬상부(130)의 기능 제어와 관련된 그래픽 오브젝트들(1520, 1530) 등이 투명 디스플레이부(110)에 표시될 수 있다.
여기서 기 설정된 이벤트란, 디스플레이 장치(100)의 특정 움직임이 감지되는 이벤트일 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 특정 각도로 올리는 움직임 또는 디스플레이 장치(100)를 흔드는 움직임이 감지되는 이벤트일 수 있다. 또는, 이러한 특정 움직임과 함께 사용자 시선이 감지되는 이벤트일 수 있다. 또는, 디스플레이 장치(100)의 특정 부분에 압력이 가해지는 이벤트일 수 있다. 예를 들어, 디스플레이 장치(100)의 모서리 또는 베젤(bezel) 부분에 압력이 가해지는 이벤트일 수 있다. 또는, 특정 움직임과 함께 압력이 가해지는 이벤트일 수도 있다. 다만 이에 한정되는 것은 아니며, 투명 디스플레이부(110)를 통해 표시되는 소프트 버튼이 선택되는 이벤트, 디스플레이부(100)에 마련된 물리 버튼이 선택되는 이벤트 등 다양한 사용자 조작이 감지되는 이벤트가 가능하다.
이 상태에서, 음악의 재생은 유지되며, 카메라 오브젝트(1520) 또는 비디오 오브젝트(1530)가 선택되면, 제어부(130)는 촬상부(120)를 통해 피사체를 촬상하고, 촬상된 영상과 재생중인 음악 정보(2010)를 합성한다. 카메라 오브젝트(1520)가 선택되었을 경우엔 정지 영상과 재생중인 음악 정보(2010)가 합성된 영상이 생성될 것이고, 비디오 오브젝트(1530)가 선택되었을 경우엔 동영상과 재생중인 음악 정보(2010)가 합성될 수 있다. 이와 같이 합성된 영상은 디스플레이 장치(100)의 저장부에 저장된다.
한편, 본 실시 예에선 합성 영상 생성시 재생중이던 음악이 배경음악으로 추가될 수도 있다. 구체적으로, 제어부(130)는 재생중인 음악 정보(2010)와 촬상 영상을 합성한 합성 영상을 생성하고, 생성된 합성 영상에 기 설정된 이벤트 발생 당시 재생중인 음악을 배경음악으로 추가할 수 있다. 이 경우, 촬상이 완료되고 나면 재생중인 음악을 배경음악으로 추가할 것인지 여부를 문의하는 팝업 창이 표시될 수 있다. 사용자가 팝업창을 통해 음악을 배경음악으로 추가할 것으로 선택하면, 촬상 영상과 음악 정보가 합성된 영상에 음악이 배경음악으로 추가될 수 있다. 예컨대, 합성된 영상이 동영상인 경우, 동영상 재생시 음악이 배경음악으로 함께 재생될 것이다.
한편, 음악 정보(2010)는 제외하고, 촬상된 영상에 현재 재생중인 음악만이 배경음악으로 추가되어 영상이 생성될 수 있다. 즉, 음악 재생 중에 상술한 기 설정된 이벤트가 발생하면, 촬상부(130)의 기능 제어와 관련된 그래픽 오브젝트들(1520, 1530)만이 표시되고, 촬상이 완료되면 재생 중이던 음악이 배경음악으로 추가된 영상이 생성될 수 있다.
한편, 도 15 내지 도 20을 통해 설명한 실시 예에서 동영상을 촬영하는 경우, 합성 대상 그래픽 오브젝트를 이동시키며 동영상 촬영하는 것이 가능하다. 도 17(b)를 다시 참고하여 본 실시 예를 설명하도록 한다.
도 17(b)를 참고하면, 컨텐츠(1710)가 표시된 상태에서 비디오 오브젝트(1530)가 선택되면, 동영상 촬영이 시작된다. 동영상 촬영중, 사용자는 컨텐츠(1710)를 움직일 수 있다. 예컨대, 컨텐츠(1710)를 터치하여 원하는 곳으로 이동시킬 수 있다. 그리고 동영상 촬영이 완료되면, 제어부(130)는 컨텐츠(1710)의 이동까지 반영된 동영상을 생성할 수 있다.
상술한 실시 예들에 따르면, 사용자는 단순한 조작만으로도 디스플레이 장치(100)에서 표시 중인 복수의 그래픽 오브젝트 중 특정 오브젝트를 합성 영상 생성에 이용할 수 있게 된다. 또한, 본 디스플레이 장치(100)는 투명 디스플레이부(110)를 구비하고 있기 때문에, 사용자는 실제 피사체를 보면서 합성 영상을 생성할 수 있다.
한편, 사용자가 투명 디스플레이부(110)를 통해 바라보는 피사체와, 촬상부(130)가 촬상하는 대상 간의 오차가 발생할 수 있으므로, 이를 방지하기 위해, 도 9 내지 도 11에서 설명한 오차 보정 기능이 합성 영상 생성시 이용될 수 있다. 즉, 기 설정된 이벤트가 발생하여 복수의 그래픽 오브젝트 중 기 결정된 그래픽 오브젝트만 표시된 상태에서 촬상이 수행되면, 제어부(130)는 감지부(140)에서 인식된 사용자 얼굴의 위치 및 사용자 시선에 기초하여 촬상부(130)에 의해 촬상된 촬상 영상에서 사용자 시점에 대응하는 영역을 검출하고, 검출된 영역과 기 결정된 그래픽 오브젝트를 합성할 수 있다.
또한, 합성 영상 생성시, 도 12를 통해 설명한, 줌 인 또는 줌아웃 사용자 조작에 의한 촬상 영상이 이용될 수 있다. 즉, 기 설정된 이벤트가 발생하여 복수의 그래픽 오브젝트 중 기 결정된 그래픽 오브젝트만 표시된 상태에서, 투명 디스플레이부(110)에서 투영되는 피사체를 줌 인 또는 줌아웃하기 위한 사용자 조작이 입력되면, 촬상부(120)는 입력된 사용자 조작에 따라 피사체가 확대 또는 축소 촬상된 촬상 영상을 생성하고, 투명 디스플레이부(110)는 피사체가 확대 또는 축소 촬상된 촬상 영상을 기 결정된 그래픽 오브젝트와 함께 표시한다. 그리고 촬상이 완료되면, 제어부(130)는 피사체가 확대 또는 축소 촬상된 촬상 영상과 기 결정된 그래픽 오브젝트가 합성된 영상을 생성한다.
이하에선 디스플레이 장치(100)에 구비된 투명 디스플레이부(110)의 투명한 성질을 이용한 또 다른 실시 예들에 대해 설명하도록 한다.
도 21 내지 도 23은 디스플레이 장치(100)의 필기 입력 기능을 설명하기 위한 도면이다. 본 필기 입력 기능은 특수한 책을 사용해서 실현될 수 있다. 도 21은 그러한 특수한 책을 설명하기 위한 도면이다.
도 21(a)를 참고하면, 책(2100)의 커버에는 복수의 통신 칩(2110a 내지 2110h)이 부착되어 있다. 복수의 통신 칩(2110a 내지 2110h)은 디스플레이 장치(100)에 구비된 통신부와 통신할 수 있는 것으로, 예를 들어 근거리 무선 통신(NFC)칩으로 구현된 것일 수 있다.
그리고 도 21(b)를 참고하면 책(2100)의 각 페이지에는 책에 대한 정보 및 몇 페이지인지에 대한 정보를 담고 있는 마커(2120)가 존재한다.
도 22는 도 21에서 상술한 책을 이용하여 디스플레이 장치(100)에 필기를 입력하는 실시 예를 설명하기 위한 도면이다.
도 22(a)를 참고하면, 사용자가 디스플레이 장치(100)를 책(2100)에 위치시킨 채로, 필기를 입력한다. 이때 입력 수단으로 펜(1620)이 이용될 수 있다. 디스플레이 장치(100)는 입력된 필기(2130)을 표시하고, 그 결과 사용자는 투명 디스플레이부(110)를 통해 보여지는 후면의 책(2100) 내용과, 입력된 필기(2130)를 종합적으로 볼 수 있다.
이때, 디스플레이 장치(100)는 필기 입력 동안 책(2100)에 부착되어 있는 복수의 통신 칩(2110a 내지 2110h) 중 적어도 하나와 통신함으로써, 책에 대한 디스플레이 장치(100)의 상대적인 위치를 결정할 수 있다. 그리고, 디스플레이 장치(100)는 촬상부(120)가 책(2100)의 특정 페이지를 촬상하여 생성된 촬상 영상에서 마커(2120)를 검출하고, 검출된 마커에 포함된 책의 정보 및 페이지 정보를 획득할 수 있다.
그리고 디스플레이 장치(100)는, 필기 입력 동안 결정된 책에 대한 디스플레이 장치(100)의 상대적인 위치, 획득된 책 정보 및 페이지 정보를 입력된 필기(2130)와 함께 저장한다.
그리고, 디스플레이 장치(100)는 책(2100)에 대응되는 전자책(E-book)을 저장하고 있으며, 저장된 책의 정보, 페이지 정보 및 위치에 대한 정보에 대응하는 전자책의 특정 페이지의 특정 영역에 입력된 필기(2130)를 추가하여 전자책을 업데이트할 수 있다.
그리고, 도 22(b)에 도시된 것처럼 디스플레이 장치(100)가 책(2100)으로부터 일정 거리 이상 떨어져 책(2100)에 부착된 복수의 통신 칩(2110a 내지 2110h)과의 통신 가능 범위를 벗어난 것으로 판단되면, 필기가 입력된 전자책의 페이지를 표시할 수 있다.
이후, 도 23에서와 같이 디스플레이 장치(100)가 책(2100)의 마커(2120)를 재촬영하였을 때, 디스플레이 장치(100)는 필기가 입력된 전자책의 해당 페이지를 표시할 수 있다. 더 나아가, 디스플레이 장치(100)는 검색 기능을 제공하는데, 표시된 전자책의 일부 영역이 선택되면, 디스플레이 장치(100)는 선택된 영역에 대응하는 텍스트 또는 이미지를 검색키로 하여 인터넷 검색 결과를 제공할 수 있다. 사용자는 펜(1620)을 통해 전자책의 특정 영역을 선택할 수 있다.
디스플레이 장치(100)는 도 23에 도시된 것처럼 듀얼 디스플레이부를 구비한 장치로 구현될 수 있어, 보다 많은 정보를 한꺼번에 표시할 수 있다. 따라서 이 경우, 제1 디스플레이부(110-1)를 통해선 필기가 입력된 전자책 페이지가 표시되고, 제1 디스플레이부(110-1)에서 선택된 텍스트에 대한 인터넷 검색 결과가 제2 디스플레이부(110-2)에서 표시될 수 있다.
듀얼 디스플레이부를 구비한 장치로 구현되는 경우, 일 예에 따르면, 디스플레이 장치(100)는 복수의 디스플레이 레이어를 가진다. 즉, 제1 디스플레이부(110-1)가 제2 디스플레이부(110-2)에 포개질 수 있다. 이 경우, 제1 디스플레이부(110-1)와 제2 디스플레이부(110-2)는 물리적으로 연결된 것일 수 있다. 반면에, 무선 통신을 통해 연결되어 제1 디스플레이부(110-1)와 제2 디스플레이부(110-2)가 각각 존재하는 형태도 가능하다. 이 경우엔 블루투스, NFC 등과 같은 무선 통신 방식이 이용되어 제1 디스플레이부(110-1)와 제2 디스플레이부(110-2) 간의 상호작용이 가능하다. 제1 디스플레이부(110-1)와 제2 디스플레이부(110-2)는 모두 투명 디스플레이로 구현되거나, 이 중 어느 하나만 투명 디스플레이로 구현되고 나머지 하나는 투명하기 않은 일반 디스플레이로 구현될 수 있다.
듀얼 디스플레이부를 구비한 디스플레이 장치(100)를 이용한 또 다른 실시 예에 대해 이하 도 24 내지 도 25를 통해 설명하도록 한다.
도 24는 듀얼 디스플레이부를 구비한 디스플레이 장치(100)를 이용하여 동영상 촬영하는 실시 예를 설명하기 위한 도면이다.
도 24(a)를 참고하면, 사용자는 투명한 제1 디스플레이부(110-1)을 통해 후면 피사체를 볼 수 있고, 동영상 촬영할 궤적(path)을 지정할 수 있다. 도 24(a)에서와 같이 A 지점에서 B 지점으로 이어지는 궤적이 입력되면, 디스플레이 장치(100)는 도 24(b) 내지 도 24(c)에서와 같이 입력된 궤적에 대응하는 피사체를 촬상하여 동영상을 생성한다. 이 경우, 촬영되는 피사체는 제2 디스플레이부(110-2)를 통해 실시간으로 확인할 수 있다.
본 실시 예에 따르면, 사용자는 동영상 촬영시 디스플레이 장치(100)를 움직일 필요가 없게 된다.
도 25는 듀얼 디스플레이부를 구비한 디스플레이 장치(100)를 이용하여 사진 촬영하는 실시 예를 설명하기 위한 도면이다.
도 25(a)는 1차 촬영 당시를 도시한 도면이고, 도 25(b)는 2차 촬영 당시를 도시한 도면이다. 사용자는 도 25(a)에서와 같이 투명한 제1 디스플레이부(110-1)를 통해 피사체를 확인하고, 1차 촬영을 한다. 그러면 1차 촬영 영상이 제2 디스플레이부(110-2)를 통해 표시될 수 있다. 이후, 사용자가 2차 촬영을 수행하고자 할때, 도 25(b)에서와 같이 제1 디스플레이부(110-1)는 1차 촬영 영상을 표시한다. 이로써, 사용자는 1차 촬영 영상을 보면서 2차 촬영을 수행할 수 있는 것이다. 즉, 도 25(b)에서와 같이 제1 디스플레이부(110-1)를 통해 사용자는 피사체와 1차 촬영 영상을 동시에 확인하면서 2차 촬영을 수행할 수 있다. 2차 촬영이 수행되고 나면, 2차 촬영 영상이 도 25(b)에서와 같이 제2 디스플레이부(110-2)에 표시될 수 있다.
본 실시 예에 따르면, 사용자는 이전에 촬영한 사진에 찍힌 피사체와 현재 촬영하고자 하는 피사체를 비교하면서 촬영을 수행할 수 있게 된다.
본 발명의 또 다른 실시 예에 따르면, 제1 디스플레이부(110-1)를 통해 사용자는 복수의 필터 효과 중 어느 하나의 필터 효과를 적용하여 피사체를 바라볼 수 있고, 제2 디스플레이부(110-1)는 선택된 필터 효과가 적용된 촬상 영상을 표시할 수 있다. 필터 효과의 적용이란 사진의 밝기, 채도, 색상에 변화를 주는 것을 의미한다. 본 실시 예에 따르면, 사용자는 제1 디스플레이부(110-1)를 통해 필터 효과가 적용된 실제 피사체를 보면서 촬영을 할 수 있게 된다.
한편, 도면들에 도시된 일부 투명 디스플레이부는, 뒷 배경이 투과되지 않는 불투명 상태로 도시하였으나, 이는 투명 디스플레이부의 투명도 변화를 극명하게 보여주기 위함이다. 따라서 불투명하게 도시된 경우에 있어서도 실제 구현시엔 뒷 배경이 투과되어 보일 수 있다는 점은 이해되어야할 것이다.
도 26은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치에 구비 가능한 다양한 구성요소들을 설명하기 위한 도면이다. 한편, 도 26의 구성을 설명함에 있어 상술한 구성과 중복되는 부분에 대해선 추가 설명은 생략한다.
도 26에 따르면, 디스플레이 장치(100')는 투명 디스플레이부(110), 촬상부(120), 제어부(130), 감지부(140), 터치 감지부(150), 통신부(160), GPS 수신부(170), 저장부(180), 오디오 처리부(190), 이미지 처리부(195), 스피커(191), 버튼(192), 마이크(193)를 포함한다.
투명 디스플레이부(110)는 제어부(130)의 제어에 따라 각종 그래픽 오브젝트를 표시하는 구성이다. 특히, 기 설정된 이벤트 발생에 따라 그래픽 오브젝트의 표시 상태를 변경할 수 있다.
촬상부(120)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 촬상부(120)는 전면 촬상부(120-1)와 후면 촬상부(120-2)를 포함할 수 있다. 전면 촬상부(120-1)는 투명 디스플레이부(110)를 기준으로 사용자 방향, 즉 디스플레이 방향에 배치되고, 후면 촬상부(120-1)는 디스플레이 방향과 반대 방향에 배치된다. 전면 촬상부(120-1)는 사용자를 촬상한 영상을 생성하고, 제어부(130)는 전면 촬상부(120-1)에 의해 생성된 영상에서 사용자 얼굴과 시선의 위치를 인식할 수 있다.
제어부(130)는 전면 촬상부(120-1)에 의해 촬상된 영상에서 인식된 사용자 얼굴과 시선의 위치에 기초하여, 후면 촬상부(120-2)에 의해 촬상된 영상에서 사용자 시점에 대응되는 영상을 검출할 수 있다.
감지부(140)는 복수의 모션 감지 센서(140-1 ~ 140-m)를 포함할 수 있다.
복수 개의 모션 감지 센서(180-1 ~ 180-m)들은 디스플레이 장치(100)의 회전 상태, 사용자의 위치 등을 감지하기 위한 센서이다. 회전 상태를 감지하기 위한 센서로는 지자기 센서, 가속도 센서, 자이로 센서 등이 사용될 수 있다. 가속도 센서는 그 센서가 부착된 장치의 기울기에 따라 변화되는 중력 가속도에 대응되는 센싱값을 출력한다. 자이로 센서는 회전 운동이 일어나면, 그 속도 방향으로 작용하는 코리올리의 힘을 측정하여, 각속도를 검출하는 센서이다. 지자기 센서는 방위각을 감지하기 위한 센서이다. 사용자의 위치를 감지하기 위한 센서로는 이미지 센서, 적외선 센서, 초음파 센서, 근접 센서가 있다. 이와 같은 감지부(140)를 통하여서도 사용자의 얼굴의 위치 및 시선의 위치 감지가 가능하다.
터치 감지부(150)는 사용자 또는 펜의 터치 조작을 감지할 수 있다. 터치 감지부(150)는 터치 센서를 포함하고, 터치 센서는 정전식 또는 감압식으로 구현될 수 있다. 정전식은 디스플레이 레이어 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이 레이어 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 이상과 같이 터치 센서는 다양한 형태로 구현될 수 있다.
펜이 입력 수단으로 이용되는 경우에 있어서, 펜이 내부에 코일을 포함하는 펜인 경우, 터치 감지부(150)는 펜 내부의 코일에 의해 변화되는 자기장을 감지할 수 있는 자기장 감지 센서를 포함할 수도 있다. 이에 따라, 터치 조작 뿐만 아니라 근접 조작, 즉, 호버링(hovering)도 감지할 수 있게 된다.
터치 감지부(150)는 입력부로서 역할을 하며, 사용자로부터 컨텐츠를 선택받을 수 있고, 투명 디스플레이부(110)에서 투영되는 피사체를 줌 인 또는 줌아웃하기 위한 사용자 조작을 입력받을 수 있고, 사용자 또는 펜에 의한 필기를 입력받을 수 있다.
제어부(130)는 터치 감지부(150)의 터치 센서에서 감지되는 감지 신호에 기초하여 터치 조작의 형태를 판단할 수 있다. 터치 조작에는 단순 터치, 탭, 터치앤홀드, 무브, 플릭, 드래그앤드랍, 핀치 인, 핀치 아웃 등과 같은 다양한 조작이 있을 수 있다. 제어부(130)는 터치 감지부(150)에서 감지되는 사용자 터치에 따라 디스플레이 장치(100)의 각종 구성을 제어할 수 있다.
저장부(180)에는 O/S나 각종 어플리케이션과 같은 프로그램과, 사용자 설정 데이터, 어플리케이션 수행 과정에서 생성된 데이터, 멀티미디어 컨텐츠 등과 같은 다양한 데이터를 저장할 수 있다.
특히, 저장부(180)에는 도 15 내지 도 20을 통해 설명한 것처럼, 생성된 합성 영상을 저장할 수 있다. 그리고, 저장부(180)에는 도 21 내지 도 23에서 설명한 것처럼, 사용자가 입력한 필기를 저장할 수 있으며, 책에 부착된 복수의 통신 칩과 통신하여 결정된 책에 대한 디스플레이 장치(100)의 상대적인 위치, 책의 마커를 촬상하여 획득된 책의 정보, 페이지 정보가 저장할 수 있다. 그리고 저장부(180)에는 전자책을 저장할 수 있다. 또한 저장부(180)에는 디스플레이 장치(100)의 맵 기능에 이용되는 집 주소 등을 저장할 수 있다.
제어부(130)는 터치 감지부(150) 및 복수 개의 모션 감지 센서(140-1 ~ 140-m)를 통해 감지되는 감지 결과나, 버튼(192) 조작 상태, 촬상부(120)를 이용하여 획득되는 사용자의 모션 제스쳐, 마이크(193)를 이용하여 획득되는 음성 코맨드 등에 따라 이미지 처리부(195)를 제어하여, 다양한 화면을 투명 디스플레이(110)에 디스플레이할 수 있다.
제어부(130)는 통신부(160)를 통해서 외부 기기들과 통신을 수행할 수도 있다.
통신부(160)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(160)는 와이파이칩(161), 블루투스 칩(162), NFC칩(163), 무선 통신 칩(164) 등과 같은 다양한 통신 칩을 포함한다.
와이파이 칩(161), 블루투스 칩(162), NFC 칩(163)은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩(163)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩(161)이나 블루투스 칩(162)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(164)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 제어부(130)는 통신부(160)를 통해 외부 기기로부터 수신되는 데이터를 각 투명 디스플레이 레이어에 표시할 수 있다.
한편, GPS 수신부(170)는 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 디스플레이 장치(100)의 현재 위치를 산출하기 위한 구성요소이다. 제어부(130)는 맵 기능이 실행되었을 때, GPS 수신부(170)에 의해 수신된 GPS 신호를 이용하여 현재 위치를 산출하고, 그 현재 위치를 반영한 경로 안내 화면을 투명 디스플레이에 디스플레이할 수 있다. 이에 따라, 사용자는 입체감 있는 길 안내 화면을 볼 수 있게 된다.
이미지 처리부(195)는 상술한 바와 같이 투명 디스플레이부(110)에 표시되는 화면을 구성하는 역할을 한다. 이미저 처리부(195)는 비디오 데이터에 대한 인코딩이나 디코딩을 수행하기 위한 코덱, 파서, 스케일러, 노이즈 필터, 프레임 레이트 변환 모듈 등과 같은 다양한 구성 요소를 포함할 수 있다.
오디오 처리부(190)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(190)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 제어부(130)는 오디오 신호를 포함하는 컨텐츠가 재생되는 경우, 오디오 처리부(190)를 제어하여 그 오디오 신호를 출력할 수 있다. 오디오 신호는 스피커(191)로 제공되어, 출력된다.
스피커(191)는 오디오 처리부(190)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.
버튼(192)은 디스플레이 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다. 버튼(192)은 입력부로서의 역할을 수행하여, 사용자로부터 컨텐츠를 선택받을 수 있고, 투명 디스플레이부에서 투영되는 피사체를 줌 인 또는 줌아웃하기 위한 사용자 조작을 입력받을 수 있고, 사용자의 필기를 입력받을 수 있다.
마이크(193)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(130)는 마이크(193)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(180)에 저장할 수 있다.
제어부(130)는 마이크(193)를 통해 입력되는 사용자 음성이나 촬상부(120)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 디스플레이 장치(100)는 사용자의 터치나 버튼 조작에 의해 제어되는 일반 모드 이외에도 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(130)는 촬상부(120)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 제어부(130)는 마이크(193)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다.
그 밖에, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트들이 더 포함될 수도 있다.
상술한 제어부(130)의 동작은 저장부(180)에 저장된 프로그램에 의해 이루어질 수 있다. 저장부(180)에는 디스플레이 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어, 각종 어플리케이션, 어플리케이션 실행 중에 입력되거나 설정되는 각종 데이터, 컨텐츠, 터치 제스쳐, 모션 제스쳐, 음성 코맨드, 이벤트 정보 등이 저장될 수 있다.
제어부(130)는 저장부(180)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 동작을 전반적으로 제어한다.
제어부(130)는 RAM(131), ROM(132), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(133)를 포함한다. RAM(131), ROM(132) 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(133)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(134)는 저장부(180)에 액세스하여, 저장부(180)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(180)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(134)는 ROM(132)에 저장된 명령어에 따라 저장부(180)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(134)는 저장부(180)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU(134)는 터치 감지부(150), 복수 개의 모션 감지 센서(140-1 ~ 140-m), 버튼(192), 촬상부(120), 마이크(193) 등을 통해 다양한 유형의 사용자 조작이 감지되면, 그 감지 결과를 이용하여 저장부(180)에 저장된 이벤트 정보에 매칭되는 이벤트가 발생하였는지 여부를 판단한다. 상술한 바와 같이 이벤트는 다양하게 설정될 수 있다. 가령, 사용자 터치나 버튼 선택이 이루어지는 이벤트, 모션 제스쳐 음성 코맨드 등이 입력되는 이벤트, 어플리케이션 실행 명령이 입력되는 이벤트, 컨텐츠 재생 명령이 입력되는 이벤트, 기 설정된 시간이나 주기가 도래하는 이벤트, 시스템 알림 메시지가 발생하는 이벤트, 외부 소스와의 통신이 이루어지는 이벤트 등이 있을 수 있다.
그 밖에, 도 26에 도시하지는 않았으나, 실시 예에 따라서는, 디스플레이 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.
이하에선, 디스플레이 장치의 제어방법을 흐름도를 이용하여 구체적으로 설명한다.
도 27은 본 발명의 일 실시 예에 따른 투명 디스플레이부를 갖는 디스플레이 장치의 제어방법을 설명하기 위한 흐름도이다. 도 27을 참고하면, 먼저 디스플레이 장치는 복수의 그래픽 오브젝트를 표시한다(S2710). 그래픽 오브젝트란 이미지, 텍스트, 어플리케이션 실행 화면, 웹 브라우저 화면 등이 될 수 있다.
그리고, 디스플레이 장치는 기설정된 이벤트가 발생하면(S2720), 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단한다(S2730). 즉, 복수의 그래픽 오브젝트 중 기 결정된 그래픽 오브젝트만 표시된다. 기설정된 이벤트는 디스플레이 장치(100)의 특정 움직임이 감지되는 이벤트 등이다. 그리고 기 결정된 그래픽 오브젝트는 디스플레이 장치(100)에 표시되는 화면 상황마다 다르게 결정된다. 예컨대, 사용자가 입력하고 있는 컨텐츠가 실시간으로 표시되는 상황인 경우, 기 결정된 컨텐츠는 화면 상에 표시된 복수의 그래픽 오브젝트 중 실시간으로 입력중인 컨텐츠에 해당하는 그래픽 오브젝트일 수 있다. 일 예로, 사용자가 메시지 입력 창에 입력중인 텍스트가 이에 해당한다. 또 다른 예로, 사용자가 선택한 컨텐츠가 화면에 표시되는 상황인 경우, 기 결정된 컨텐츠는 화면 상에 표시된 복수의 그래픽 오브젝트 중 선택된 컨텐츠에 해당하는 그래픽 오브젝트일 수 있다. 일 예로, 화면에 표시된 전자책 페이지 중 사용자가 선택한 문구가 이에 해당한다.
한편, 기설정된 이벤트가 발생하였을 때 디스플레이 장치에 구비된 촬상부의 기능 제어와 관련된 그래픽 오브젝트를 기 결정된 그래픽 오브젝트와 함께 표시할 수 있다.
그리고, 디스플레이 장치는 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성한다(S2740). 특히, 투명 디스플레이부에서 투영되는 피사체를 줌 인 또는 줌아웃하기 위한 사용자 조작이 입력되면, 디스플레이 장치는 입력된 사용자 조작에 따라 피사체가 확대 또는 축소 촬상된 촬상 영상을 생성할 수 있다. 이 경우, 디스플레이 장치는 상술한 기 결정된 이벤트가 발생한 상태에서 이와 같은 사용자 조작이 입력되면, 피사체가 확대 또는 축소 촬상된 촬상 영상을 기 결정된 그래픽 오브젝트와 함께 표시할 수 있다.
디스플레이 장치는 생성된 촬상 영상과 기결정된 그래픽 오브젝트를 합성한다(S2750). 특히, 디스플레이 장치는 감지부를 통해 사용자 얼굴의 위치 및 사용자 시선을 인식할 수 있으며, 감지부에서 인식된 사용자 얼굴의 위치 및 사용자 시선에 기초하여 촬상부에 의해 촬상된 촬상 영상에서 사용자 시점에 대응하는 영역을 검출할 수 있다. 그리고 검출된 영역과 기 결정된 그래픽 오브젝트를 합성할 수 있다.
또한, 디스플레이 장치를 통해 음악이 재생되는 동안 상술한 기 설정된 이벤트가 발생하면, 디스플레이 장치는 재생중인 음악 정보와 촬상 영상을 합성한 합성 영상을 생성하고, 생성된 합성 영상에 기 설정된 이벤트 발생 당시 재생중인 음악을 배경음악으로 추가할 수 있다.
이 밖에도, 상술한 다양한 실시 예들에서 설명한 디스플레이 장치의 제어 동작이 수행될 수 있으나, 각 실시 예들에 대한 구체적인 흐름도는 그 도시 및 설명을 생략한다.
이상과 같이 디스플레이 장치는 다양한 제어 방법을 지원할 수 있다. 상술한 각 실시 예들은 실시 예 별로 별도로 구현될 수도 있으나, 필요에 따라 서로 조합되어 구현될 수 있음은 물론이다.
상술한 다양한 실시 예들에 따른 디스플레이 장치의 제어 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
일 예로, 복수의 그래픽 오브젝트를 표시하는 단계, 기설정된 이벤트가 발생하면 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단하는 단계, 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성하는 단계, 및 생성된 촬상 영상과 기결정된 그래픽 오브젝트를 합성하는 단계를 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체(non-transitory readable medium)에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 디스플레이부
120: 촬상부 130: 제어부

Claims (20)

  1. 디스플레이 장치에 있어서,
    복수의 그래픽 오브젝트를 표시하고, 기설정된 이벤트가 발생하면 상기 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단하는 투명 디스플레이부;
    상기 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성하는 촬상부; 및
    상기 생성된 촬상 영상과 상기 기결정된 그래픽 오브젝트를 합성하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 투명 디스플레이부는,
    상기 기설정된 이벤트가 발생하면, 상기 촬상부의 기능 제어와 관련된 그래픽 오브젝트를 상기 기 결정된 그래픽 오브젝트와 함께 표시하는 것을 특징으로 하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 기 설정된 이벤트는,
    상기 디스플레이 장치의 기 설정된 움직임이 감지되는 이벤트 또는 상기 디스플레이 장치의 특정 부분에 압력이 감지되는 이벤트인 것을 특징으로 하는 디스플레이 장치.
  4. 제1항에 있어서,
    사용자 얼굴의 위치 및 사용자 시선을 인식하며, 상기 투명 디스플레이부의 표시방향에 배치된 감지부;를 더 포함하며,
    상기 촬상부는, 상기 표시방향과 반대방향에 배치되며,
    상기 제어부는,
    상기 감지부에서 인식된 사용자 얼굴의 위치 및 사용자 시선에 기초하여 상기 촬상부에 의해 촬상된 촬상 영상에서 사용자 시점에 대응하는 영역을 검출하고, 상기 검출된 영역과 상기 기 결정된 그래픽 오브젝트를 합성하는 것을 특징으로 하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 기 결정된 그래픽 오브젝트는,
    사용자가 입력한 텍스트 오브젝트 및 펜을 통해 입력된 그래픽 오브젝트 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 투명 디스플레이부에 표시된 컨텐츠를 선택받기 위한 입력부;를 더 포함하며,
    상기 기 결정된 그래픽 오브젝트는,
    상기 입력부를 통해 선택된 컨텐츠인 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 기 결정된 그래픽 오브젝트는,
    상기 디스플레이 장치에서 재생중인 음악 정보인 것을 특징으로 하는 디스플레이 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 음악 정보와 상기 촬상 영상을 합성한 합성 영상을 생성하고, 상기 생성된 합성 영상에 상기 기 설정된 이벤트 발생 당시 재생중인 음악을 배경음악으로 추가하는 것을 특징으로 하는 디스플레이 장치.
  9. 제1항에 있어서,
    상기 투명 디스플레이부에서 투영되는 피사체를 줌 인 또는 줌아웃하기 위한 사용자 조작을 입력받는 입력부;를 더 포함하고,
    상기 촬상부는,
    상기 입력된 사용자 조작에 따라 피사체가 확대 또는 축소 촬상된 촬상 영상을 생성하고,
    상기 투명 디스플레이부는,
    상기 기 결정된 이벤트가 발생하고 상기 사용자 조작이 입력되면, 상기 생성된 촬상 영상을 상기 기 결정된 그래픽 오브젝트와 함께 표시하는 것을 특징으로 하는 디스플레이 장치.
  10. 제1항에 있어서,
    외부의 통신 칩과 무선 통신이 가능한 통신부;
    사용자의 필기 입력을 받기 위한 입력부; 및
    입력된 필기를 저장하기 위한 저장부;를 더 포함하며,
    상기 제어부는,
    상기 촬상부가 책의 특정 페이지를 촬상하여 생성된 촬상 영상에서 마커를 검출하고, 검출된 마커에 포함된 상기 책의 정보 및 페이지 정보를 획득하고, 상기 필기 입력 동안 상기 통신부를 통해 상기 책에 부착된 복수의 통신 칩 중 적어도 하나와 통신하여 상기 책에 대한 상기 디스플레이 장치의 상대적인 위치를 결정하며, 상기 획득된 책의 정보, 페이지 정보 및 상기 결정된 위치에 대한 정보를 상기 입력된 필기와 함께 상기 저장부에 저장하는 것을 특징으로 하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 저장부는 전자책을 저장하며,
    상기 제어부는,
    상기 저장된 책의 정보, 페이지 정보 및 위치에 대한 정보에 대응하는 상기 전자책의 특정 페이지의 특정 영역에 상기 입력된 필기를 추가하여 상기 전자책을 업데이트하는 것을 특징으로 하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 통신부가 상기 책에 부착된 복수의 통신 칩과의 통신 가능 범위를 벗어난 것으로 판단되면, 상기 업데이트된 전자책의 페이지를 표시하도록 상기 투명 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  13. 투명 디스플레이부를 갖는 디스플레이 장치의 제어방법에 있어서,
    복수의 그래픽 오브젝트를 표시하는 단계;
    기설정된 이벤트가 발생하면 상기 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단하는 단계;
    상기 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성하는 단계; 및
    상기 생성된 촬상 영상과 상기 기결정된 그래픽 오브젝트를 합성하는 단계;를 포함하는 디스플레이 장치의 제어방법.
  14. 제13항에 있어서,
    상기 표시를 중단하는 단계는,
    상기 기설정된 이벤트가 발생하면, 촬상과 관련된 그래픽 오브젝트를 상기 기 결정된 그래픽 오브젝트와 함께 표시하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  15. 제13항에 있어서,
    상기 기 설정된 이벤트는,
    상기 디스플레이 장치의 기 설정된 움직임이 감지되는 이벤트 또는 상기 디스플레이 장치의 특정 부분에 압력이 감지되는 이벤트인 것을 특징으로 하는 디스플레이 장치의 제어방법.
  16. 제13항에 있어서,
    사용자 얼굴의 위치 및 사용자 시선을 인식하는 단계;를 더 포함하며,
    상기 합성하는 단계는,
    상기 인식된 사용자 얼굴의 위치 및 사용자 시선에 기초하여 상기 촬상 영상에서 사용자 시점에 대응하는 영역을 검출하고, 상기 검출된 영역과 상기 기 결정된 그래픽 오브젝트를 합성하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  17. 제13항에 있어서,
    상기 기 결정된 그래픽 오브젝트는,
    사용자가 입력한 텍스트 오브젝트 및 펜을 통해 입력된 그래픽 오브젝트 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치의 제어방법.
  18. 제13항에 있어서,
    상기 기 결정된 그래픽 오브젝트는,
    상기 디스플레이 장치에서 재생중인 음악 정보인 것을 특징으로 하는 디스플레이 장치의 제어방법.
  19. 제18항에 있어서,
    상기 합성하는 단계는,
    상기 음악 정보와 상기 촬상 영상을 합성한 합성 영상을 생성하고, 상기 생성된 합성 영상에 상기 기 설정된 이벤트 발생 당시 재생중인 음악을 배경음악으로 추가하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  20. 투명 디스플레이부를 갖는 디스플레이 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 디스플레이 장치의 제어 방법은,
    복수의 그래픽 오브젝트를 표시하는 단계;
    기설정된 이벤트가 발생하면 상기 표시된 복수의 그래픽 오브젝트 중 기결정된 그래픽 오브젝트를 제외한 나머지 그래픽 오브젝트의 표시를 중단하는 단계;
    상기 투명 디스플레이부에서 투영되는 피사체를 촬상하여 촬상 영상을 생성하는 단계; 및
    상기 생성된 촬상 영상과 상기 기결정된 그래픽 오브젝트를 합성하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.
KR1020150053878A 2015-04-16 2015-04-16 디스플레이 장치 및 그 제어방법 KR20160123622A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150053878A KR20160123622A (ko) 2015-04-16 2015-04-16 디스플레이 장치 및 그 제어방법
US15/080,826 US20160309090A1 (en) 2015-04-16 2016-03-25 Display apparatus and method for controlling the same
EP16165383.7A EP3082019A3 (en) 2015-04-16 2016-04-14 Display apparatus and method for controlling the same
CN201610239605.5A CN106055218A (zh) 2015-04-16 2016-04-18 显示装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150053878A KR20160123622A (ko) 2015-04-16 2015-04-16 디스플레이 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20160123622A true KR20160123622A (ko) 2016-10-26

Family

ID=55755425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150053878A KR20160123622A (ko) 2015-04-16 2015-04-16 디스플레이 장치 및 그 제어방법

Country Status (4)

Country Link
US (1) US20160309090A1 (ko)
EP (1) EP3082019A3 (ko)
KR (1) KR20160123622A (ko)
CN (1) CN106055218A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190098293A (ko) * 2018-02-12 2019-08-22 박상현 프로젝션 매핑 장치 및 시스템
KR20190119725A (ko) * 2018-04-13 2019-10-23 유브갓프렌즈 주식회사 가상아이템을 이용한 사용자 제작형 전자책콘텐츠 관리서버

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN108227914B (zh) 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
TWI659334B (zh) * 2016-12-12 2019-05-11 Industrial Technology Research Institute 透明顯示裝置、使用其之控制方法以及其之控制器
US10627911B2 (en) 2017-04-25 2020-04-21 International Business Machines Corporation Remote interaction with content of a transparent display
CN109388233B (zh) 2017-08-14 2022-07-29 财团法人工业技术研究院 透明显示装置及其控制方法
CN109686276B (zh) * 2017-10-19 2021-09-14 张家港康得新光电材料有限公司 智能橱窗系统
USD852841S1 (en) * 2017-11-07 2019-07-02 Microsoft Corporation Display screen with animated graphical user interface
USD852221S1 (en) * 2017-11-07 2019-06-25 Microsoft Corporation Display screen with animated graphical user interface
US11054977B2 (en) 2018-03-01 2021-07-06 Samsung Electronics Co., Ltd. Devices, methods, and computer program for displaying user interfaces
KR102338901B1 (ko) * 2018-04-03 2021-12-13 삼성전자주식회사 전자 장치 및 그 동작 방법
CN109782848A (zh) * 2018-12-24 2019-05-21 武汉西山艺创文化有限公司 一种基于透明液晶显示屏的智能显示器及其交互方法
US11039173B2 (en) * 2019-04-22 2021-06-15 Arlo Technologies, Inc. Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method
CN115866391A (zh) * 2021-09-23 2023-03-28 北京字跳网络技术有限公司 一种视频生成方法、装置、设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285420A (ja) * 2000-03-24 2001-10-12 Telefon Ab L M Ericsson 移動無線通信装置、通信システム及び印刷装置
JP2002261918A (ja) * 2001-03-02 2002-09-13 Hitachi Ltd 携帯電話機
JP3135098U (ja) * 2007-05-18 2007-09-06 パラダイスリゾート株式会社 電子メール画像提供システム
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법
KR101688942B1 (ko) * 2010-09-03 2016-12-22 엘지전자 주식회사 다중 디스플레이에 기반한 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US8941683B2 (en) * 2010-11-01 2015-01-27 Microsoft Corporation Transparent display interaction
KR20120075845A (ko) * 2010-12-29 2012-07-09 삼성전자주식회사 터치스크린 단말기에서 메모 방법 및 장치
JP5830987B2 (ja) * 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
KR101817657B1 (ko) * 2011-12-21 2018-01-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
EP2648086A3 (en) * 2012-04-07 2018-04-11 Samsung Electronics Co., Ltd Object control method performed in device including transparent display, the device, and computer readable recording medium thereof
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US9583032B2 (en) * 2012-06-05 2017-02-28 Microsoft Technology Licensing, Llc Navigating content using a physical object
KR102051656B1 (ko) * 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR102056175B1 (ko) * 2013-01-28 2020-01-23 삼성전자 주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
KR20150026565A (ko) * 2013-09-03 2015-03-11 엘지전자 주식회사 디스플레이 장치 및 그것의 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190098293A (ko) * 2018-02-12 2019-08-22 박상현 프로젝션 매핑 장치 및 시스템
KR20190119725A (ko) * 2018-04-13 2019-10-23 유브갓프렌즈 주식회사 가상아이템을 이용한 사용자 제작형 전자책콘텐츠 관리서버

Also Published As

Publication number Publication date
US20160309090A1 (en) 2016-10-20
EP3082019A3 (en) 2017-01-04
CN106055218A (zh) 2016-10-26
EP3082019A2 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
KR20160123622A (ko) 디스플레이 장치 및 그 제어방법
AU2022291520B2 (en) Device, method, and graphical user interface for navigating media content
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
KR101812191B1 (ko) 컨텐츠를 표시하는 사용자 단말 장치 및 그 방법
US10470538B2 (en) Portable terminal and display method thereof
US9696899B2 (en) Multi display apparatus and multi display method
US20140101575A1 (en) Multi-display apparatus and method of controlling the same
JP2021511728A (ja) 追加オブジェクトの表示方法及びその、装置、コンピュータ装置並びに記憶媒体
US9239642B2 (en) Imaging apparatus and method of controlling the same
KR20140085048A (ko) 멀티 디스플레이 장치 및 제어 방법
KR20160000793A (ko) 이동단말기 및 그 제어방법
KR20140017420A (ko) 투명 디스플레이 장치 및 그 디스플레이 방법
KR20180017638A (ko) 이동단말기 및 그 제어방법
KR20180057034A (ko) 이동 단말기 및 그 제어방법
AU2020220096B2 (en) Device, method and, graphical user interface for navigating media content
AU2016101667B4 (en) Device, method, and graphical user interface for navigating media content
AU2016100651B4 (en) Device, method, and graphical user interface for navigating media content
KR102269075B1 (ko) 디스플레이 장치 및 그 제어방법
KR20160000796A (ko) 이동단말기 및 그 제어방법