Nothing Special   »   [go: up one dir, main page]

KR20210025812A - 전자장치, 디스플레이장치 및 그 제어방법 - Google Patents

전자장치, 디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20210025812A
KR20210025812A KR1020190105614A KR20190105614A KR20210025812A KR 20210025812 A KR20210025812 A KR 20210025812A KR 1020190105614 A KR1020190105614 A KR 1020190105614A KR 20190105614 A KR20190105614 A KR 20190105614A KR 20210025812 A KR20210025812 A KR 20210025812A
Authority
KR
South Korea
Prior art keywords
voice
electronic device
processor
display device
external device
Prior art date
Application number
KR1020190105614A
Other languages
English (en)
Inventor
김한수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190105614A priority Critical patent/KR20210025812A/ko
Priority to US16/997,443 priority patent/US11354090B2/en
Priority to PCT/KR2020/011298 priority patent/WO2021040369A1/en
Publication of KR20210025812A publication Critical patent/KR20210025812A/ko
Priority to US17/733,180 priority patent/US11907616B2/en
Priority to US18/406,395 priority patent/US20240201945A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 전자장치, 디스플레이장치 및 그 제어방법에 관한 것으로서, 전자장치는, 사운드를 출력할 수 있는 스피커와; 사용자음성을 수신할 수 있는 마이크와; 통신을 수행할 수 있는 통신부와; 사용자음성이 수신되는 것에 기초하여, 통신부를 통해 외부장치의 상태를 식별하고, 외부장치가 턴오프 상태로 식별된 것에 기초하여, 수신된 사용자음성을 처리하여, 처리 결과에 대응하는 사운드가 스피커를 통해 출력되도록 하고, 외부장치가 턴온 상태로 식별된 것에 기초하여, 수신된 사용자음성의 정보를 외부장치로 전송하여, 음성의 처리를 요청하도록 통신부를 제어하는 프로세서를 포함한다.

Description

전자장치, 디스플레이장치 및 그 제어방법{ELECTRONIC APPARATUS, DISPLAY APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 발명은 전자장치, 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 사용자음성에 대하여 음성 처리를 수행하는 전자장치, 디스플레이장치 및 그 제어방법에 관한 것이다.
인공지능 스피커(artificial intelligence speaker)는 사용자의 음성을 인식하여 음악 감상, 정보 검색 등의 기능을 수행할 수 있다.
인공지능 스피커를 이용하면, 음성인식을 통해 가정 내 기기를 음성으로 제어함으로써 손쉽게 스마트홈 환경을 구축할 수 있어, 최근 그 사용이 점차 확산되고 있다.
인공지능 스피커는, 스마트폰과의 연동을 통해 통신연결과 같은 다양한 기능의 설정이 이루어지는 것이 통상적이며, 이러한 설정 과정에 복잡한 점이 있어, 전자기기의 사용이 익숙하지 않은 사용자에게는 불편이 초래될 수 있다.
또한, 인공지능 스피커를 이용한 서비스의 제공이, 음성출력에 의한 제한적인 방식으로 이루어지고 있음으로 인하여, 그 기능을 확장하는데 한계가 있을 수 있다.
본 발명은, 사용자음성을 수신하여 처리 가능한 전자장치가 디스플레이장치의 온/오프 상태에 따라, 그 사용자음성을 전자장치 자체적으로 또는 디스플레이장치에 의해 선택적으로 처리 및 처리 결과를 제공할 수 있도록 함으로써, 기능 및 서비스의 확장이 이루어지도록 하는 전자장치, 디스플레이장치 및 그 제어방법을 제공하는 것이다.
또한, 본 발명은, 음성 처리에 따라 제공되는 서비스/컨텐트 타입에 대응하여 수신된 사용자음성을 전자장치 자체적으로 또는 디스플레이장치에 의해 선택적으로 처리 및 처리 결과를 제공할 수 있도록 함으로써, 시각적 피드백이 필요한 경우 스크린을 통해 보다 효율적으로 서비스/컨텐트를 제공받을 수 있도록 하는 전자장치, 디스플레이장치 및 그 제어방법을 제공하는 것이다.
또한, 본 발명은, 전자장치가 사용자음성의 처리에 대한 오류에 관한 정보를 디스플레이장치로 제공하여, 디스플레이장치를 이용하여 해당 오류를 복구할 수 있도록 하는 전자장치, 디스플레이장치 및 그 제어방법을 제공하는 것이다.
본 발명 일 실시예에 따른 전자장치는, 사운드를 출력할 수 있는 스피커와; 사용자음성을 수신할 수 있는 마이크와; 통신을 수행할 수 있는 통신부와; 사용자음성이 수신되는 것에 기초하여, 통신부를 통해 외부장치의 상태를 식별하고, 외부장치가 턴오프 상태로 식별된 것에 기초하여, 수신된 사용자음성을 처리하여, 처리 결과에 대응하는 사운드가 스피커를 통해 출력되도록 하고, 외부장치가 턴온 상태로 식별된 것에 기초하여, 수신된 사용자음성의 정보를 외부장치로 전송하여, 음성의 처리를 요청하도록 통신부를 제어하는 프로세서를 포함한다.
프로세서는, 외부장치가 턴오프 상태로 식별된 것에 기초하여, 외부장치를 턴온시킬 것을 사용자에게 안내하는 사운드를 스피커를 통해 출력하도록 할 수 있다.
프로세서는, 외부장치가 턴오프 상태로 식별된 것에 기초하여, 외부장치가 턴온할 것을 요청하는 신호를 외부장치로 전송하도록 통신부를 제어할 수 있다.
프로세서는, 음성의 처리에 대한 오류가 발생하는지 여부를 식별하고, 오류가 발생된 것으로 식별됨에 기초하여, 외부장치를 턴온시킬 것을 사용자에게 안내하는 사운드를 스피커를 통해 출력하도록 할 수 있다.
프로세서는, 음성의 처리에 대한 오류가 발생하는지 여부를 식별하고, 오류가 발생된 것으로 식별됨에 기초하여, 오류에 관한 정보를 외부장치로 전송하도록 통신부를 제어할 수 있다.
프로세서는, 사용자음성에 대한 서비스 타입을 식별하고, 식별된 서비스 타입에 기초하여, 음성의 처리를 외부장치에 요청할 것인지 여부를 식별할 수 있다.
프로세서는, 서비스 타입이 시각적 컨텐트와 관한 것으로 식별된 것에 기초하여, 수신된 사용자음성의 정보를 외부장치로 전송하여, 음성의 처리를 요청하도록 통신부를 제어할 수 있다.
한편, 본 발명 일 실시예에 따른 디스플레이장치는, 영상을 표시할 수 있는 디스플레이와; 통신을 수행할 수 있는 통신부와; 턴오프 상태에서 턴온 상태로 변경된 것으로 식별됨에 기초하여, 통신부를 통하여 외부장치가 연결되는지 여부를 식별하고, 외부장치가 연결된 것으로 식별됨에 기초하여, 통신부를 통해 외부장치로부터 사용자음성의 정보를 수신하고, 사용자음성을 처리하여, 처리 결과에 대응하는 영상이 표시되도록 디스플레이를 제어하는 프로세서를 포함한다.
사용자입력을 수신할 수 있는 사용자입력부를 더 포함하고, 프로세서는, 수신되는 사용자입력에 기초하여 턴오프 상태에서 턴온 상태로 변경된 것으로 식별할 수 있다.
프로세서는, 통신부를 통해 외부장치로부터 디스플레이장치가 턴 온할 것을 요청하는 신호가 수신된 것으로 식별됨에 기초하여, 턴오프 상태에서 턴온 상태로 변경된 것으로 식별할 수 있다.
통신부를 통해 외부장치로부터 음성 처리의 오류에 관한 정보가 수신된 것으로 식별됨에 기초하여, 오류에 관한 UI를 표시하도록 디스플레이부를 제어할 수 있다.
프로세서는, 턴오프 상태에서 턴온 상태로 변경된 것으로 식별됨에 기초하여, 오류에 관한 정보가 수신되는지 여부를 식별할 수 있다.
한편, 본 발명 일 실시예에 따른, 전자장치의 제어방법은, 마이크를 통해 사용자음성이 수신되는 것에 기초하여, 외부장치의 상태를 식별하는 단계; 외부장치가 턴오프 상태로 식별된 것에 기초하여, 수신된 사용자음성을 처리하여, 처리 결과에 대응하는 사운드가 스피커를 통해 출력되도록 하는 단계; 및 외부장치가 턴온 상태로 식별된 것에 기초하여, 수신된 사용자음성의 정보를 외부장치로 전송하여, 음성의 처리를 요청하도록 하는 단계를 포함한다.
외부장치가 턴오프 상태로 식별된 것에 기초하여, 외부장치를 턴온시킬 것을 사용자에게 안내하는 사운드를 스피커를 통해 출력하는 단계를 더 포함할 수 있다.
외부장치가 턴오프 상태로 식별된 것에 기초하여, 외부장치가 턴온할 것을 요청하는 신호를 외부장치로 전송하는 단계를 더 포함할 수 있다.
음성의 처리에 대한 오류가 발생하는지 여부를 식별하는 단계; 및 오류가 발생된 것으로 식별됨에 기초하여, 외부장치를 턴온시킬 것을 사용자에게 안내하는 사운드를 스피커를 통해 출력하는 단계를 더 포함할 수 있다.
음성의 처리에 대한 오류가 발생하는지 여부를 식별하는 단계; 및 오류가 발생된 것으로 식별됨에 기초하여, 오류에 관한 정보를 외부장치로 전송하는 단계를 더 포함할 수 있다.
사용자음성에 대한 서비스 타입을 식별하는 단계; 및 식별된 서비스 타입에 기초하여, 음성의 처리를 외부장치에 요청할 것인지 여부를 식별하는 단계를 더 포함할 수 있다.
한편, 본 발명 일 실시예에 따른 디스플레이장치의 제어방법은, 턴오프 상태에서 턴온 상태로 변경된 것으로 식별됨에 기초하여, 외부장치가 통신 가능하게 연결되는지 여부를 식별하는 단계; 외부장치가 연결된 것으로 식별됨에 기초하여, 외부장치로부터 사용자음성의 정보를 수신하는 단계; 및 사용자음성을 처리하여, 처리 결과에 대응하는 영상을 표시하는 단계를 포함한다.
외부장치로부터 음성 처리의 오류에 관한 정보가 수신된 것으로 식별됨에 기초하여, 오류에 관한 UI를 표시하는 단계를 더 포함할 수 있다.
상기한 바와 같은 본 발명의 전자장치, 디스플레이장치 및 그 제어방법에 따르면, 사용자음성을 수신하여 처리 가능한 전자장치가 디스플레이장치의 온/오프 상태를 식별하여, 사용자음성을 전자장치 자체적으로 또는 디스플레이장치에 의해 선택적으로 처리 및 처리 결과를 제공할 수 있도록 함으로써, 기능 및 서비스의 확장이 이루어지는 효과가 있다.
또한, 본 발명의 전자장치, 디스플레이장치 및 그 제어방법에 따르면, 음성 처리에 따라 제공되는 서비스/컨텐트 타입을 식별하고, 그 식별 결과에 대응하여 수신된 사용자음성을 전자장치 자체적으로 또는 디스플레이장치에 의해 선택적으로 처리 및 처리 결과를 제공할 수 있도록 함으로써, 시각적 피드백이 필요한 경우 스크린을 통해 보다 효율적으로 서비스/컨텐트를 제공할 수 있게 된다.
또한, 본 발명의 전자장치, 디스플레이장치 및 그 제어방법에 따르면, 전자장치가 사용자음성의 처리에 대한 오류를 식별하고, 그 식별된 오류에 관한 정보를 디스플레이장치로 제공하여, 디스플레이장치를 이용하여 해당 오류를 복구할 수 있도록 하는 자동 복구 기능을 실현할 수 있게 된다.
도 1은 본 발명 일 실시예에 의한 전자장치와 디스플레이장치를 도시한다.
도 2는 본 발명 다른 실시예에 의한 전자장치와 디스플레이장치를 도시한다.
도 3은 본 발명 일 실시예에 따른 전자장치의 구성을 도시한 블록도이다.
도 4는 본 발명 일 실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 5와 도 6은 본 발명 제1실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이다.
도 7은 본 발명 제1실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
도 8은 본 발명 제1실시예에 따라 전자장치에서 사용자음성을 처리하는 일례를 도시한 도면이다.
도 9는 본 발명 제1실시예에 따라 디스플레이장치에서 사용자음성을 처리하는 일례를 도시한 도면이다.
도 10은 본 발명 제2실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이다.
도 11은 본 발명 제2실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
도 12는 본 발명 제3실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이다.
도 13은 본 발명 제3실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
도 14는 본 발명 제4실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이다.
도 15는 본 발명 제4실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다.
도 16은 본 발명 제5실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이다.
도 17은 본 발명 제5실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
도 18은 본 발명 제5실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다.
도 19, 도 20 및 도 21은 본 발명 제5실시예에서 디스플레이장치에 표시되는 UI들을 도시한 도면이다.
도 22는 본 발명 제6실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이다.
도 23은 본 발명 제6실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 본 발명 일 실시예에 의한 전자장치와 디스플레이장치를 도시하며, 도 2는 본 발명 다른 실시예에 의한 전자장치와 디스플레이장치를 도시한다.
본 발명 일 실시예에 따른 전자장치(10)는, 도 1 및 도 2에 도시된 바와 같이, 사운드 즉, 음향을 출력함으로써, 사용자에게 오디오 컨텐트를 제공할 수 있다.
전자장치(10)는, 사운드를 출력할 수 있는 출력부로서 적어도 하나의 스피커(loudspeaker)(도 3의 110)가 마련된 출력장치로서 구현될 수 있다. 본 발명에서 전자장치(10)에 마련되는 스피커(110)의 개수, 형태 및 설치 위치는 한정되지 않는다.
전자장치(10)는 사용자에 의해 발화된 음성(이하, 사용자음성 이라고도 한다)을 수신하고, 음성을 처리함으로써 그 수신된 음성에 대응하는 동작을 수행할 수 있다. 여기서, 전자장치(10)는 수신된 음성에 대응하는 동작으로서, 사용자음성의 처리 결과에 대응하는 사운드를 출력부로서 마련된 스피커(110)를 통해 출력할 수 있다.
전자장치(10)에는, 사용자음성을 수신할 수 있는 입력부로서 적어도 하나의 마이크(microphone)(도 3의 120)가 마련될 수 있다. 본 발명에서 전자장치(10)에 마련되는 마이크(120)의 개수, 형태 및 설치 위치는 한정되지 않는다.
일 실시예에서 전자장치(10)는 통신부(도 3의 140)를 통해 적어도 하나의 외부장치, 예를 들면, 텔레비전(TV)와 같은 디스플레이장치(20)로부터 입력 오디오신호(이하, 음향신호 라고도 한다)를 수신하고, 이를 처리하여 출력 오디오신호를 생성할 수 있다. 처리된 오디오신호에 대응하는 음향 즉, 사운드는 스피커(110)를 통해 출력될 수 있다.
본 발명에서 전자장치(10)에 오디오신호를 제공할 수 있는 외부장치는 도 1 및 도 2에 도시된 디스플레이장치(20)에 한정되지 않는다. 외부장치는, 예를 들면 셋탑박스(STB), A/V 리시버, DVD나 블루레이 등의 광디스크 재생장치, 모바일장치 등 다양한 형태의 장치를 포함하여, 전자장치(10)로 입력 오디오신호를 제공할 수 있다.
일 실시예에서, 전자장치(10)는, 도 1에 도시된 바와 같이, 인공지능 스피커(artificial intelligence speaker)(이하, AI 스피커 또는 스마트 스피커 라고도 한다)로서 구현될 수 있다.
AI 스피커는 사용자로부터 음성을 수신하고, 그 수신된 음성에 대한 음성인식을 통해 음악 감상, 정보 검색 등 다양한 기능을 수행할 수 있다. AI 스피커는 음성인식 기능과, 클라우드 등을 활용함으로써, 단순하게 사운드를 출력하는 스피커 장치가 아니라, 사용자와의 상호작용 즉, 인터랙션(interaction)이 가능한 가상비서/음성비서가 내장된 장치로서 사용자에게 다양한 서비스를 제공할 수 있도록 구현된다.
본 발명에서 AI 스피커로서 전자장치(10)의 구현 형태는, 도 1에 도시된 바에 한정되지 않는다. 다른 실시예로서, 예를 들면, 전자장치(10)는, 도 2에 도시된 바와 같이, 디스플레이장치(20)의 하부에 설치되는 사운드 바(sound bar) 형태로서 구현되어, AI 스피커의 기능을 수행하도록 구현될 수도 있다.
또 다른 실시예로서 전자장치(10)는 랩탑(laptop), 태블릿(tablet), 모바일 폰, 멀티미디어 재생기, MP3 플레이어, 셋탑박스 등 오디오신호를 처리하고, 자체적으로 마련되거나 유선 또는 무선 통신에 의해 연결된 스피커를 통해 사운드를 출력할 수 있는 다양한 장치로 구현되어, AI 스피커로서의 기능을 수행할 수 있다. 이 경우, 전자장치(10)에는 AI 스피커 기능을 위한 어플리케이션이 설치 및 구동될 수 있다.
전자장치(10)는 통신부(140)를 통해 디스플레이장치(20)와 서버(30)를 포함한 다양한 외부장치와 통신을 수행할 수 있다.
본 발명에서, 전자장치(10)와 외부장치의 통신방식은 한정되지 않으므로, 전자장치(10)는 다양한 방식의 유선 또는 무선 접속(예를 들어, 블루투스, 와이파이, 또는 와이파이 다이렉트 등)에 의해 외부장치와 통신 가능하도록 구현된다.
일 실시예에서, 전자장치(10)는 외부장치로서의 디스플레이장치(20)와 통신을 수행할 수 있으며, 통신부(140)를 통해 디스플레이장치(20)의 상태를 식별하고, 그 식별 결과에 기초하여, 사용자음성을 자체적으로 처리하거나, 또는 통신부(140)를 통해 사용자음성 또는 사용자음성의 정보를 디스플레이장치(20)로 전송하여 처리를 요청할 수 있다.
디스플레이장치(20)는 전자장치(10)로부터 사용자음성의 정보를 수신하여 사용자음성을 처리하고, 그 처리 결과를 디스플레이(도 4의 230)를 통해 출력할 수 있다. 또한, 처리 결과에 대응하는 신호를 전자장치(10)로 전송하여, 전자장치(10)에서 그 처리 결과를 사운드로서 출력하도록 할 수 있다.
서버(30)는 전자장치(10) 및 디스플레이장치(20)와 유선 또는 무선 통신을 수행할 수 있도록 마련된다. 서버(30)는, 예를 들면 클라우드 타입으로 구현되어, 전자장치(10)와 디스플레이장치(20)의 사용자계정을 저장 및 관리할 수 있다.
일 실시예에서, 서버(30)에는 사용자로부터 발화된 음성을 인식하기 위한 데이터 즉, 정보가 저장된 데이터베이스(database, DB)가 마련될 수 있다. 데이터베이스는, 예를 들면, 음성의 신호적인 특성을 모델링하여 미리 결정된 복수의 음향모델(Acoustic Model)을 포함할 수 있다. 또한, 데이터베이스는 인식대상 어휘에 해당하는 단어나 음절 등의 언어적인 순서 관계를 모델링하여 미리 결정된 언어모델(Language Model)을 더 포함할 수 있다.
전자장치(10) 또는 디스플레이장치(20)는 유선 또는 무선 네트워크에 의해 서버(30)에 접속하여 그 데이터베이스에 억세스함으로써, 수신된 사용자음성을 식별하여 처리하고, 그 처리 결과를 사운드 또는 영상을 통해 출력할 수 있게 된다.
이하에서는, 본 발명의 일 실시예에 따른 전자장치와 디스플레이장치의 보다 구체적인 구성 및 그에 의한 동작에 관해 설명한다.
도 3은 본 발명 일 실시예에 따른 전자장치의 구성을 도시한 블록도이다.
도 3에 도시된 바와 같이, 본 발명 일 실시예의 전자장치(10)는 스피커(110), 마이크(120), 영상처리부(220), 통신부(140), 저장부(150) 및 프로세서(160)를 포함한다.
다만, 도 3에 도시된 본 발명의 일 실시예에 의한 전자장치(10)의 구성은 하나의 예시일 뿐이며, 다른 실시예에 의한 전자장치는 도 3에 도시된 구성 외에 다른 구성으로 구현될 수 있다. 즉, 본 발명의 전자장치는 도 3에 도시된 구성 외 다른 구성이 추가되거나, 혹은 도 3에 도시된 구성 중 적어도 하나가 배제되어 구현될 수도 있다.
스피커(110)는 음향 즉, 사운드를 출력한다. 스피커(110)는 예를 들어, 가청주파수인 20Hz 내지 20KHz 대역의 사운드를 출력하게 마련될 수 있다. 스피커(110)는 복수의 채널의 오디오신호에 대응하는 사운드를 출력할 수 있다.
일 실시예에서 스피커(110)는 마이크(120)를 통해 수신되는 사용자음성의 처리에 따른 사운드를 출력할 수 있다.
마이크(120)는 사용자로부터 발화된 음성 즉, 음파를 수신할 수 있다.
마이크(120)를 통해 입력된 음파는 신호변환부에 의해 전기적인 신호로 변환된다. 일 실시예에서 신호변환부는 아날로그 음파를 디지털 신호로 변환하는 AD 변환부를 포함할 수 있다. 또한, 일 실시예에서 신호변환부는 후술하는 신호처리부(130)에 포함될 수 있다.
본 발명 일 실시예에서 마이크(120)는 전자장치(10)에 자체적으로 마련되도록 구현된다.
다만, 다른 실시예에서 마이크(120)는 전자장치(10)에 포함되는 구성이 아닌 별도의 장치에 마련된 행태로서 구현될 수 있다.
예를 들면, 사용자음성이 수신 가능한 스마트폰과 같은 모바일장치는 마이크(120)가 별도의 장치에 마련된 일례가 된다. 이 경우, 모바일장치를 통해 수신된 사용자음성은 전기적인 신호(음성신호)로 변환되어 전자장치(10)로 전송될 수 있다. 여기서, 전자장치(10)가 AI 스피커로 구현된 경우, 전자장치에는 AI 스피커와의 연동을 위한 AI 스피커 어플리케이션이 저장 및 설치될 수 있으며, 전자장치는 AI 스피커 어플리케이션이 실행 및 활성화된 상태에서 사용자로부터 발화된 음성을 수신할 수 있다.
다른 예로서, 전자장치(10)는, 디스플레이장치(20) 또는 디스플레이장치(20)의 입력부로서 마련되는 리모컨(remote control)에 설치된 마이크를 통해 사용자음성이 수신되고, 그에 대응하는 음성신호를 디스플레이장치(20)로부터 수신할 수도 있다.
신호처리부(130)는 오디오신호(음향신호)를 처리한다. 신호처리부(120)에서 처리된 오디오신호는, 스피커(110)를 통해 사운드로서 출력됨으로써 사용자에게 오디오 컨텐트가 제공될 수 있다.
신호처리부(130)는 디지털 신호 프로세서(DSP)와 같은 마이크로 프로세서로 구현될 수 있다.
일 실시예에서 신호처리부(130)는 전자장치(10)에 내장되는 인쇄회로기판(PCB) 상에 실장되는 메인 SoC에 포함되는 형태로서 구현 가능하며, 메인 SoC는 후술하는 프로세서(160)를 구현하는 예시인 CPU(Central Processing Unit) 또는 응용 프로세서(application processor, AP)를 더 포함할 수 있다.
통신부(140)는 디스플레이장치(20), 서버(30), 모바일장치 등을 포함한 다양한 외부장치와 통신을 수행한다.
통신부(140)는 디스플레이장치(20)와 서버(30)를 포함하는 외부장치에 대응하는 다양한 통신 방식에 의해 구현된다.
통신부(140)는 다양한 종류의 통신 프로토콜에 대응하는 무선 통신모듈(S/W module, chip 등)을 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
일 실시예에서 통신부(140)는 무선랜유닛을 포함한다. 무선랜유닛은 프로세서(160)의 제어에 따라 억세스 포인트(access point, AP)를 통해 무선으로 외부장치와 연결될 수 있다. 무선랜유닛은 와이파이(Wi-Fi) 통신모듈을 포함한다.
일 실시예에서 통신부(140)는 억세스 포인트 없이 무선으로 전자장치(10)와 외부장치 사이에 다이렉트로 통신을 지원하는 근거리 통신모듈을 포함한다. 근거리 통신모듈은 와이파이 다이렉트(Wi-Fi Direct), 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), RF(radio frequency) 통신, 적외선통신(IrDA, infrared data association), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication) 중 적어도 하나를 포함할 수 있다. 전자장치(10)가 외부장치와 다이렉트로 통신을 수행하는 경우, 저장부(150)에는 통신 대상 기기인 외부장치에 대한 식별정보(예를 들어, MAC address 또는 IP address)가 저장될 수 있다.
본 발명 실시예에 따른 전자장치(10)에서, 통신부(140)는 성능에 따라 무선랜유닛과 근거리 통신모듈 중 적어도 하나에 의해 외부장치와 무선 통신을 수행하도록 마련된다.
일 실시예에서 통신부(140)는 이더넷(Ethernet) 등과 같은 유선통신모듈을 포함할 수 있다. 다른 실시예에서 통신부(140)는 LTE와 같은 이동통신, 자기장을 포함하는 EM 통신, 가시광통신 등의 다양한 통신방식에 의한 통신모듈을 더 포함할 수 있다.
일 실시예에서 통신부(140)는 HDMI(High Definition Multimedia Interface), HDMI-CFC(Consumer Electronics Control), USB, 컴포넌트(Component) 등의 규격에 따른 신호/데이터를 송/수신하는 접속부를 포함할 수 있다. 여기서, 통신부(140)는 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터 또는 단자를 포함한다.
일 실시예에서 통신부(140)는 마이크(120)를 통해 수신된 사용자음성의 정보로서 소정 데이터를 외부장치 즉, 디스플레이장치(20)로 전송할 수 있다. 여기서, 전송되는 데이터의 형태/종류는 한정되지 않으며, 예를 들면, 사용자로부터 발화된 음성에 대응하는 오디오신호나, 오디오신호로부터 추출된 음성특징 등을 포함할 수 있다.
또한, 통신부(140)는 디스플레이장치(20)로부터 해당 사용자음성의 처리 결과의 데이터를 수신할 수 있다. 전자장치(10)는 수신된 데이터에 기초하여, 음성 처리결과에 대응하는 사운드를 스피커(110)를 통해 출력하게 된다.
저장부(150)는 전자장치(10)의 다양한 데이터를 저장하도록 구성된다. 저장부(150)는 전자장치(10)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(writable ROM)로 구비될 수 있다. 즉, 저장부(150)는 플래쉬 메모리(flash memory), EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다.
저장부(150)는 전자장치(10)의 읽기 또는 쓰기 속도가 비휘발성 메모리에 비해 빠른 DRAM 또는 SRAM과 같은 휘발성 메모리(volatile memory)를 더 구비할 수 있다.
저장부(150)에 저장되는 데이터는, 예를 들면 전자장치(10)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 소프트웨어, 프로그램, 어플리케이션, 부가데이터 등을 포함한다.
본 발명 일 실시예에 따른 전자장치(10)에서 저장부(150)에 저장 및 설치되는 어플리케이션은, 마이크(120)를 통해 수신되는 사용자음성을 인식하고, 그에 따른 동작을 수행하기 위한 AI 스피커 어플리케이션을 포함할 수 있다. 일 실시예에서, AI 스피커 어플리케이션은, 마이크(120)를 통한 소정 키워드의 입력, 전자장치(10)의 특정 버튼에 대한 사용자 조작 등이 식별되면 실행 또는 활성화됨으로써, 사용자로부터 발화된 음성에 대한 음성인식 기능을 수행할 수 있다. 여기서, 어플리케이션의 활성화는 어플리케이션의 실행 상태가 백그라운드 모드(background mode)에서 포그라운드 모드(foreground mode)로 전환하는 것을 포함할 수 있다.
일 실시예의 전자장치(10)에서, 저장부(150)는, 도 3에 도시된 바와 같이, 마이크(120)를 통해 수신될 수 있는 사용자음성을 인식하기 위한 데이터 즉, 정보가 저장된 데이터베이스(151)를 포함할 수 있다.
데이터베이스(151)는, 예를 들면, 음성의 신호적인 특성을 모델링하여 미리 결정된 복수의 음향모델을 포함할 수 있다. 또한, 데이터베이스(151)는 인식대상 어휘에 해당하는 단어나 음절 등의 언어적인 순서 관계를 모델링하여 미리 결정된 언어모델을 더 포함할 수 있다.
다른 실시예에서, 사용자음성을 인식하기 위한 정보가 저장된 데이터베이스는, 전술한 바와 같이 통신부(140)를 통하여 유선 또는 무선 네트워크에 의해 접속 가능한 외부장치의 일례인 서버(30)에 마련될 수 있다. 서버(30)는, 예를 들면 클라우드 타입으로 구현될 수 있다.
프로세서(160)는 전자장치(10)의 제반 구성들이 동작하기 위한 제어를 수행한다.
프로세서(160)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)을 실행한다. 프로세서(160)는 제어프로그램이 설치된 비휘발성의 메모리로부터 제어프로그램의 적어도 일부를 휘발성의 메모리로 로드하고, 로드된 제어프로그램을 실행하는 적어도 하나의 범용 프로세서를 포함하며, 예를 들면 CPU(Central Processing Unit) 또는 응용 프로세서(application processor, AP)로 구현될 수 있다.
프로세서(160)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서(160)는 복수의 프로세서, 예를 들어, 주 프로세서(main processor) 및 슬립 모드(sleep mode, 예를 들어, 대기 전원만 공급되고 사운드를 출력하는 전자장치로서 동작하지 않는)에서 동작하는 부 프로세서(sub processor)를 포함할 수 있다. 또한, 프로세서, 롬 및 램은 내부 버스(bus)를 통해 상호 연결되며, 롬과 램은 저장부(150)에 포함된다.
본 발명에서 프로세서(160)를 구현하는 일례인 CPU 또는 응용 프로세서는 전자장치(10)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다. 일 실시예에서 메인 SoC는 전술한 신호처리부(130)를 더 포함할 수 있다.
제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(10)의 제조 시에 전자장치(10)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 전자장치(10)에 설치될 수 있다. 응용 프로그램의 데이터는, 예를 들면, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(10)로 다운로드될 수도 있다. 이와 같은 외부 서버는, 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
프로세서(160)는, 도 3에 도시된 바와 같이, 사용자로부터 발화된 음성을 인식할 수 있는 음성인식모듈(161)(이하, 음성인식엔진 이라고도 한다)을 포함할 수 있다.
일 실시예에서 음성인식모듈(161)의 음성인식기능은 하나 이상의 음성인식알고리즘을 이용하여 수행될 수 있다. 예를 들면, 음성인식모듈(161)은 사용자음성으로부터 음성특징을 나타내는 벡터를 추출하고, 그 추출된 벡터를 데이터베이스(151) 또는 서버(30)의 음향모델과 비교하여, 음성인식을 수행할 수 있다. 여기서, 음향모델은 미리 수행된 학습에 따른 모델인 것을 일례로 한다.
음성인식모듈(161)은 프로세서(160)로서 마련된 CPU에 상주하는 임베디드 타입으로 구현된 것을 예로 들어 설명하지만, 본 발명은 이에 한정되지 않는다. 그에 따라, 음성인식모듈(161)은 CPU와 별개인 전자장치(10)의 구성 예를 들면, 음성인식기능을 위한 전용 프로세서로서 마련되는 마이컴(Micro Computer)과 같은 별도의 칩으로 구현될 수 있다.
일 실시예에서 프로세서(160)는 마이크(120)를 통해 사용자음성이 수신되는 것에 기초하여, 통신부(140)를 통해 외부장치로서 마련된 디스플레이장치(20)의 상태를 식별하고, 그 식별결과에 대응하여, 수신된 사용자음성을 처리하여 처리 결과에 대응하는 사운드가 스피커(110)를 통해 출력되도록 하거나, 수신된 사용자음성을 디스플레이장치(20)로 전송하여 음성의 처리를 요청하도록 통신부(140)를 제어할 수 있다.
일 실시예로서, 프로세서(160)의 동작은 전자장치(10)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다. 이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서(160)에 의해 실행되면, 사용자음성이 수신되는 것에 기초하여, 디스플레이장치(20)의 상태를 식별하고, 그 식별결과에 대응하여, 수신된 사용자음성을 처리하여 처리 결과에 대응하는 사운드가 출력되도록 하거나, 수신된 사용자음성을 디스플레이장치(20)로 전송하여 음성의 처리를 요청하도록 통신부(140)를 제어하는 것을 포함한다.
이에 따라, 전자장치(10)의 프로세서(160)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 다운로드 및 실행하여, 상기와 같은 인스트럭션의 동작을 수행할 수 있다.
도 4는 본 발명 일 실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
본 발명 일 실시예에 따르면, 디스플레이장치(20)는 외부의 신호공급원 즉, 영상소스로부터 제공되는 영상신호를 기 설정된 프로세스에 따라 처리하여 영상으로 표시한다.
일 실시예에서 디스플레이장치(20)는 방송국의 송출장비로부터 제공되는 방송신호, 방송정보, 또는 방송데이터 중 적어도 하나에 기초한 방송신호를 처리하여 영상으로 표시할 수 있는 텔레비전(TV)을 포함한다.
본 발명에서 컨텐트를 제공하는 영상소스의 종류는 한정되지 않으므로, 디스플레이장치(20)는, 예를 들어, 셋탑박스, 블루레이(Blu-ray) 또는 DVD(digital versatile disc)와 같은 광디스크 재생장치, 테스크탑(desktop) 또는 랩탑(laptop)을 포함하는 컴퓨터(PC), 콘솔 게임기, 스마트폰(smart phone)이나 태블릿(tablet)과 같은 스마트패드(smart pad)를 포함하는 모바일 장치(mobile device) 등으로부터 영상신호를 수신할 수 있다.
디스플레이장치(20)가 텔레비전인 경우, 디스플레이장치(20)는 방송국으로부터 송출되는 RF(radio frequency) 신호 즉, 방송신호를 무선으로 수신할 수 있으며, 이를 위해 방송신호를 수신하는 안테나와 방송신호를 채널 별로 튜닝하기 위한 튜너가 마련될 수 있다.
디스플레이장치(20)에서, 방송신호는 지상파, 케이블, 위성 등을 통해서 수신 가능하며, 신호공급원은 외부장치(200)나 방송국에 한정되지 않는다. 즉, 데이터의 송수신이 가능한 장치 또는 스테이션이라면 본 발명의 영상소스에 포함될 수 있다.
디스플레이장치(20)에서 수신되는 신호의 규격은 장치의 구현 형태에 대응하여 다양한 방식으로 구성될 수 있으며, 예를 들면, HDMI(high definition multimedia interface), 디스플레이 포트(display port, DP), DVI(digital visual interface), 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART(Syndicat des Constructeurs d'Appareils Radiorecepteurs et Televiseurs), USB(universal serial bus) 등에 의하여 유선으로 영상 컨텐트를 수신할 수 있다.
디스플레이장치(20)는 컨텐트 제공을 위해 마련된 서버 등으로부터 유선 또는 무선 네트워크 통신에 의해 영상 컨텐트를 제공받을 수도 있으며, 통신의 종류는 한정되지 않는다.
일 실시예에서 디스플레이장치(20)는 액세스 포인트(access point, AP)를 통한 무선 통신 또는 AP 없이 타 기기와 다이렉트 연결되는 무선 통신 중 적어도 하나를 수행할 수 있다. 예를 들면, 디스플레이장치(20)는 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication) 등의 무선 네트워크 통신을 통해 영상소스로부터 컨텐트를 수신할 수 있다.
또한, 다른 실시예에서 디스플레이장치(20)는 이더넷(Ethernet) 등과 같은 유선 네트워크 통신을 통해 컨텐트를 수신할 수 있다.
일 실시예에서, 디스플레이장치(20)는 스마트폰과 같은 다양한 주변기기가 무선 통신을 수행하도록 하는 AP의 역할을 수행할 수 있다.
디스플레이장치(20)는 상기와 같은 유선 또는 무선 네트워크를 통해 실시간 스트리밍에 따른 파일 형태로 제공되는 컨텐트를 수신할 수 있다.
또한, 디스플레이장치(20)는 내부/외부의 저장매체에 저장된 신호/데이터에 기초한 동영상, 정지영상, 어플리케이션(application), OSD(on-screen display), 다양한 동작 제어를 위한 사용자 인터페이스(user interface, UI)(이하, GUI(graphic user interface) 라고도 한다) 등을 화면에 표시하도록 신호를 처리할 수 있다.
일 실시예에서 디스플레이장치(20)는 스마트 TV 또는 IP TV(Internet Protocol TV)로 동작 가능하다. 스마트 TV는 실시간으로 방송신호를 수신하여 표시할 수 있고, 웹 브라우징 기능을 가지고 있어 실시간 방송신호의 표시와 동시에 인터넷을 통하여 다양한 컨텐트의 검색 및 소비가 가능하고 이를 위하여 편리한 사용자 환경을 제공할 수 있는 텔레비전이다. 또한, 스마트 TV는 개방형 소프트웨어 플랫폼을 포함하고 있어 사용자에게 양방향 서비스를 제공할 수 있다. 따라서, 스마트 TV는 개방형 소프트웨어 플랫폼을 통하여 다양한 컨텐트, 예를 들어 소정의 서비스를 제공하는 어플리케이션을 사용자에게 제공할 수 있다. 이러한 어플리케이션은 다양한 종류의 서비스를 제공할 수 있는 응용 프로그램으로서, 예를 들어 SNS, 금융, 뉴스, 날씨, 지도, 음악, 영화, 게임, 전자 책 등의 서비스를 제공하는 어플리케이션을 포함한다.
본 발명 일 실시예의 디스플레이장치(20)는, 도 4에 도시된 바와 같이, 신호수신부(210), 영상처리부(220), 디스플레이(230), 통신부(240), 저장부(250), 프로세서(260) 및 사용자입력부(270)를 포함한다.
다만, 도 4에 도시된 본 발명의 일 실시예에 의한 디스플레이장치(20)의 구성은 하나의 예시일 뿐이며, 다른 실시예에 의한 디스플레이장치는 도 4에 도시된 구성 외에 다른 구성으로 구현될 수 있다. 즉, 본 발명의 디스플레이장치는 도 4에 도시된 구성 외 다른 구성이 추가되거나, 혹은 도 4에 도시된 구성 중 적어도 하나가 배제되어 구현될 수도 있다.
신호수신부(210)는 외부의 영상소스로부터 신호, 즉 영상컨텐트를 수신한다. 일 실시예에서 신호수신부(210)는 방송신호를 채널 별로 튜닝하는 튜너를 포함할 수 있다.
일 실시예에서 신호수신부(210)는 영상소스와 유선 연결되도록 하는 접속부를 포함한다. 디스플레이장치(20)는, 유선 연결된 접속부를 통해 영상소스로부터 컨텐트를 제공받을 수 있다.
접속부는 다양한 종류의 통신 프로토콜에 대응하는 통신모듈(S/W module, chip 등)과 포트(port) 등이 조합된 데이터 입출력 인터페이스를 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
일 실시예에서 접속부는 예를 들면, HDMI(high definition multimedia interface), HDMICEC(consumer electronics control), USB, 컴포넌트(component) 등의 규격에 따른 신호/데이터를 송신 또는 수신할 수 있으며, 이들 각각의 규격에 대응하는 적어도 하나의 커넥터 또는 단자를 포함한다.
접속부는 기본적으로는 영상소스로부터 신호를 수신하지만, 양방향으로 신호를 송수신 가능하게 마련될 수 있다.
일 실시예에서 접속부를 통해 디스플레이장치(20)와 유선 연결되는 영상소스는 셋탑박스나 PC와 같은 외부장치가 되지만, 본 발명은 이에 한정되지 않는다. 예를 들면, 다른 실시예로서 디스플레이장치(20)는 접속부를 통해 모바일장치와 유선 연결될 수도 있다.
영상처리부(220)는 수신된 컨텐트 즉, 영상신호에 대해 기 설정된 다양한 영상처리를 수행한다. 영상처리부(220)는 이러한 영상처리 프로세스를 수행하여 생성 또는 결합한 영상신호를 디스플레이부(230)에 출력함으로써, 디스플레이부(230)에 영상신호에 대응하는 영상이 표시되게 한다. 영상처리부(220)에서 처리되는 영상신호는 플래시메모리, 하드디스크 등과 같은 비휘발성의 저장부(250)에 저장된 데이터로부터 기인한 것일 수 있다.
영상처리부(220)는 영상신호를 디스플레이장치(20)의 영상 포맷에 대응하도록 디코드하는 디코더(decoder)와, 영상신호를 디스플레이부(140)의 출력규격에 맞도록 조절하는 스케일러(scaler)를 포함할 수 있다.
일 실시예에서, 디코더는 예를 들어, H.264 디코더인 것을 일례로 하지만 이에 한정되는 것은 아니다. 즉, 본 발명 실시예에 따른 비디오 디코더는 MPEG(Moving Picture Experts Group) 디코더 또는 HEVC(High Efficiency Video Codec) 디코더 등 다양한 압축 표준에 따른 디코더로서 구현 가능하다.
본 발명에서 영상처리부(220)가 처리하는 컨텐트의 종류는 한정되지 않는다. 예를 들어, 영상처리부(220)가 처리하는 컨텐트는 비디오와 같은 동영상뿐 아니라, JPEG 파일과 같은 사진, 배경화면 등의 정지화상을 포함한다.
영상처리부(220)가 수행하는 프로세스의 종류는 한정되지 않는바, 예를 들면 인터레이스(interlace) 방식의 방송신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환, 라인 스캐닝(line scanning)과 같은 다양한 프로세스 중 적어도 하나를 더 수행할 수 있다.
영상처리부(220)는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적 구성의 그룹으로 구현되거나, 또는 여러 기능을 통합시킨 메인 SoC(System-on-Chip)에 포함되는 형태로서 구현 가능하다. 메인 SoC는 후술하는 프로세서(180)를 구현하는 예시인 적어도 하나의 응용프로세서 또는 CPU를 더 포함할 수 있다.
일 실시예에서 영상처리부(220)는 이러한 각 프로세스를 수행하기 위한 다양한 칩셋, 메모리, 전자부품, 배선 등의 회로 구성이 인쇄회로기판(PCB) 상에 실장된 영상보드로 구현될 수 있다. 이 경우, 디스플레이장치(20)에는 영상처리부(220) 및 프로세서(260)가 단일의 영상보드에 마련될 수 있다. 물론, 이는 일례에 불과하고 서로 통신 가능하게 연결된 복수의 인쇄회로기판에 배치될 수도 있다.
영상처리부(220)에 의해 프로세스를 수행함으로써 생성 또는 결합한 신호는 디스플레이(230)로 출력된다.
디스플레이(230)는 영상처리부(220)로부터 수신된 신호에 대응하는 영상을 화면 상에 표시한다.
디스플레이(230)의 구현 방식은 한정되지 않으며, 예를 들면 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
일 실시예에서, 디스플레이(230)는 영상을 표시하는 디스플레이 패널을 포함하며, 그 구현 방식에 따라서 부가적인 구성(구동부)을 더 포함할 수 있다. 구동부는 하나 이상의 드라이버 IC(integrated circuit)로 구현되어, 영상처리부(220)로부터 수신된 신호에 기초하여 디스플레이(130)에 영상이 표시되도록, 광원 또는 스크린을 구성하는 전자소자 등을 구동하는 전기적 신호를 출력할 수 있다.
통신부(240)는 전자장치(10), 서버(30) 등을 포함한 다양한 외부장치와 통신을 수행한다.
통신부(240)는 전자장치(10)와 서버(30)를 포함하는 외부장치에 대응하는 다양한 통신 방식에 의해 구현된다.
통신부(240)는 다양한 종류의 통신 프로토콜에 대응하는 무선 통신모듈(S/W module, chip 등)을 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
일 실시예에서 통신부(240)는 무선랜유닛을 포함한다. 무선랜유닛은 프로세서(260)의 제어에 따라 억세스 포인트(access point, AP)를 통해 무선으로 외부장치와 연결될 수 있다. 무선랜유닛은 와이파이(Wi-Fi) 통신모듈을 포함한다.
일 실시예에서 통신부(240) 는 억세스 포인트 없이 무선으로 전자장치(10)와 외부장치 사이에 다이렉트로 통신을 지원하는 근거리 통신모듈을 포함한다. 근거리 통신모듈은 와이파이 다이렉트(Wi-Fi Direct), 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), RF(radio frequency) 통신, 적외선통신(IrDA, infrared data association), 지그비(Zigbee), UWB(Ultra Wideband), NFC(Near Field Communication) 중 적어도 하나를 포함할 수 있다. 디스플레이장치(20)가 외부장치와 다이렉트로 통신을 수행하는 경우, 저장부(250)에는 통신 대상 기기인 외부장치에 대한 식별정보(예를 들어, MAC address 또는 IP address)가 저장될 수 있다.
본 발명 실시예에 따른 디스플레이장치(20)에서, 통신부(240)는 성능에 따라 무선랜유닛과 근거리 통신모듈 중 적어도 하나에 의해 외부장치와 무선 통신을 수행하도록 마련된다.
일 실시예에서 통신부(240)는 이더넷(Ethernet) 등과 같은 유선통신모듈을 포함할 수 있다.
일 실시예에서 통신부(240)는 전자장치(10)로부터 사용자음성의 정보로서 데이터를 수신할 수 있다. 여기서, 수신되는 데이터의 형태/종류는 한정되지 않으며, 예를 들면, 사용자로부터 발화된 음성에 대응하는 오디오신호나, 오디오신호로부터 추출된 음성특징 등을 포함할 수 있다.
또한, 통신부(240)는 수신된 사용자음성의 정보에 기초한, 해당 음성의 처리 결과의 데이터를 전자장치(10)로 출력할 수 있다. 전자장치(10)는 수신된 데이터에 기초하여, 음성 처리결과에 대응하는 사운드를 스피커(110)를 통해 출력하게 된다.
저장부(250)는 디스플레이장치(20)의 다양한 데이터를 저장하도록 구성된다. 저장부(250)는 디스플레이장치(20)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(writable ROM)로 구비될 수 있다. 즉, 저장부(250)는 플래쉬 메모리(flash memory), 하드디스크(HDD), EPROM 또는 EEPROM 중 적어도 하나를 포함할 수 있다.
저장부(250)는 RAM과 같은 휘발성 메모리(volatile memory)를 더 포함하며, 휘발성 메모리는 디스플레이장치(20)의 읽기 또는 쓰기 속도가 비휘발성 메모리에 비해 빠른 DRAM 또는 SRAM으로 구비될 수 있다.
본 명세서에서 저장부라는 용어는 비휘발성 메모리뿐 아니라, 휘발성 메모리, 프로세서(260)의 내부에 마련되는 캐시메모리, 소정 규격에 따른 접속부를 통해 디스플레이장치(20)에 장착 가능한 메모리 카드(예를 들어, micro SD 카드, 메모리 스틱 등)를 포괄하는 용어로서 정의된다.
저장부(250)에 저장되는 데이터는, 예를 들면 디스플레이장치(20)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 소프트웨어, 프로그램, 어플리케이션, 영상데이터, 그래픽데이터, 부가데이터 등을 포함한다.
그래픽데이터는 영상처리부(220)에 의해 처리된 영상신호로서 디스플레이(230)로 출력되어, 디스플레이(230) 화면의 일 영역에 OSD(on-screen display) 또는 그래픽 유저 인터페이스(graphic user interface, GUI)(이하, UI(user interface) 라고도 한다) 등의 그래픽으로 표시될 수 있다.
본 발명 일 실시예에 따른 디스플레이장치(20)에서 저장부(250)에 저장 및 설치되는 어플리케이션은, 전자장치(10) 또는 디스플레이장치(20)의 본체나 리모컨 등을 통해 수신되는 사용자음성을 인식하고, 그에 따른 동작을 수행하기 위한 AI 스피커 어플리케이션을 포함할 수 있다. 일 실시예에서, AI 스피커 어플리케이션은, 사용자음성이 수신된 전자장치(10)로부터의 요청에 의해 디스플레이장치가 턴온되면 실행 또는 활성화됨으로써, 전자장치(10)로부터 수신된 사용자음성에 대한 음성인식 기능을 수행할 수 있다. 여기서, 어플리케이션의 활성화는 어플리케이션의 실행 상태가 백그라운드 모드(background mode)에서 포그라운드 모드(foreground mode)로 전환하는 것을 포함할 수 있다.
일 실시예의 디스플레이장치(20)에서, 저장부(250)는, 도 4에 도시된 바와 같이, 전자장치(20)로부터 수신되는 사용자음성을 인식하기 위한 데이터 즉, 정보가 저장된 데이터베이스(251)를 포함할 수 있다.
데이터베이스(251)는, 예를 들면, 음성의 신호적인 특성을 모델링하여 미리 결정된 복수의 음향모델을 포함할 수 있다. 또한, 데이터베이스(251)는 인식대상 어휘에 해당하는 단어나 음절 등의 언어적인 순서 관계를 모델링하여 미리 결정된 언어모델을 더 포함할 수 있다.
다른 실시예에서, 사용자음성을 인식하기 위한 정보가 저장된 데이터베이스는, 전술한 바와 같이 통신부(240)를 통하여 유선 또는 무선 네트워크에 의해 접속 가능한 외부장치의 일례인 서버(30)에 마련될 수 있다. 서버(30)는, 예를 들면 클라우드 타입으로 구현될 수 있다.
프로세서(260)는 디스플레이장치(20)의 제반 구성들이 동작하기 위한 제어를 수행한다.
프로세서(260)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)을 실행한다. 프로세서(260)는 제어프로그램이 설치된 비휘발성의 메모리로부터 제어프로그램의 적어도 일부를 휘발성의 메모리로 로드하고, 로드된 제어프로그램을 실행하는 적어도 하나의 범용 프로세서를 포함하며, 예를 들면 CPU(central processing unit) 또는 응용 프로세서(application processor, AP)로 구현될 수 있다.
프로세서(260)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서, 롬 및 램은 내부 버스(bus)를 통해 상호 연결되며, 롬과 램은 저장부(250)에 포함된다.
일 실시예에서 프로세서(260)는 복수의 프로세서를 포함할 수 있다. 다시 말해, 프로세서(260)는, 도 4에 도시된 바와 같이, 주 프로세서(main processor)로서 마련된 제1프로세서(261)와, 부 프로세서(sub processor)로서 마련된 제2프로세서(262)로 구성될 수 있다.
제2프로세서(262)는, 대기모드 즉, 슬립 모드(sleep mode, 예를 들어, 대기 전원만 공급되고 영상을 표시하는 디스플레이장치로서 동작하지 않는 절전상태)에서 동작할 수 있다.
디스플레이장치(20)가 대기모드일 때 제1프로세서(261)는 절전 상태 즉, 턴오프 상태를 유지한다. 여기서, 턴오프 상태는 디스플레이장치(20)로 공급되는 전원이 완전히 차단된 상태가 아닌, 일종의 소프트 턴오프 상태로서, 대기모드인 디스플레이장치(20)에서, 제2프로세서(262)는 후술하는 사용자입력부(270)를 통한 사용자입력이나, 전자장치(10)로부터의 신호가 수신되는 경우, 이를 감지하여 제1프로세서(261)를 웨이크업(wake-up) 하도록 한다. 웨이크업된 제1프로세서(261)는 턴오프 상태에서 턴온 상태로 변경되며, 이를 통해 디스플레이장치(20)의 모드 변경, 즉 대기모드인 턴오프 상태에서 정상모드인 턴온 상태로 변경되는 것을 식별할 수 있게 된다.
본 발명에서 프로세서(260)를 구현하는 일례인 CPU 또는 응용 프로세서는 디스플레이장치(20)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다. 일 실시예에서 메인 SoC는 전술한 영상처리부(220)를 더 포함할 수 있다.
제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(20)의 제조 시에 전자장치(20)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 전자장치(20)에 설치될 수 있다. 응용 프로그램의 데이터는, 예를 들면, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(20)로 다운로드될 수도 있다. 이와 같은 외부 서버는, 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
프로세서(260)는, 도 4에 도시된 바와 같이, 사용자로부터 발화된 음성을 인식할 수 있는 음성인식모듈(261)(이하, 음성인식엔진 이라고도 한다)을 포함할 수 있다.
일 실시예에서 음성인식모듈(261)의 음성인식기능은 하나 이상의 음성인식알고리즘을 이용하여 수행될 수 있다. 예를 들면, 음성인식모듈(261)은 사용자음성으로부터 음성특징을 나타내는 벡터를 추출하고, 그 추출된 벡터를 데이터베이스(251)의 음향모델과 비교하여, 음성인식을 수행할 수 있다. 여기서, 음향모델은 미리 수행된 학습에 따른 모델인 것을 일례로 한다.
음성인식모듈(261)은 프로세서(260)로서 마련될 수 있는, 예를 들면 CPU에 상주하는 임베디드 타입으로 구현된 것을 예로 들어 설명하지만, 본 발명은 이에 한정되지 않는다. 그에 따라, 음성인식모듈(261)은 CPU와 별개인 전자장치(20)의 구성, 예를 들면, 음성인식기능을 위한 전용 프로세서로서 마련되는 마이크로 프로세서(microprocessor)과 같은 별도의 IC 칩으로 구현될 수 있다.
일 실시예에서 프로세서(260)는 디스플레이장치(20)가 턴오프 상태(대기모드)에서 턴온 상태(정상모드)로 변경된 것으로 식별됨에 기초하여, 통신부(240)를 통하여 외부장치로서 마련된 전자장치(10)로부터 사용자음성의 정보를 수신하고, 그 사용자음성을 처리하여 처리 결과에 대응하는 영상이 표시되도록 디스플레이(230)를 제어할 수 있다.
일 실시예로서, 프로세서(260)의 동작은 디스플레이장치(20)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다. 이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서(260)에 의해 실행되면, 디스플레이장치(20)가 턴오프 상태(대기모드)에서 턴온 상태(정상모드)로 변경된 것으로 식별됨에 기초하여, 통신부(240)를 통하여 외부장치로서 마련된 전자장치(10)로부터 사용자음성의 정보를 수신하고, 그 사용자음성을 처리하여 처리 결과에 대응하는 영상이 표시되도록 디스플레이(230)를 제어하는 것을 포함한다.
이에 따라, 디스플레이장치(20)의 프로세서(260)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 다운로드 및 실행하여, 상기와 같은 인스트럭션의 동작을 수행할 수 있다.
사용자입력부(270)는 사용자의 입력에 의해, 기설정된 다양한 제어 커맨드 또는 한정되지 않은 정보를 프로세서(260)에 전달한다.
사용자입력부(270)는 디스플레이장치(20) 본체에 마련된 전원키, 숫자키, 메뉴키 등의 버튼을 포함하는 키패드로서 마련되는 조작패널(또는 입력패널)을 포함한다.
일 실시예에서 사용자입력부(270)는 디스플레이장치(20)를 원격으로 제어 가능하게 기설정된 커맨드/데이터/정보/신호를 생성하여 디스플레이장치(20)로 전송하는 입력장치를 포함한다. 입력장치는 리모컨(remote control), 키보드(keyboard), 마우스(mouse) 등을 포함하며, 디스플레이장치(20) 본체와 이격 분리되어, 사용자 입력을 수신할 수 있다. 리모컨에는 사용자의 터치입력을 수신하는 터치 감지부 및/또는 사용자에 의한 자체 모션을 감지하는 모션 감지부가 마련될 수 있다. 입력장치는 리모컨 어플리케이션이 설치된 스마트 폰과 같은 단말장치를 포함하며, 이 경우 터치스크린을 통한 사용자의 터치입력이 수신 가능하다.
입력장치는 디스플레이장치(20) 본체와 무선통신이 가능한 외부장치가 되며, 무선통신은 블루투스, 적외선 통신, RF 통신, 무선랜, 와이파이 다이렉트 등을 포함한다.
일 실시예에서 사용자입력부(270)는 사용자로부터 발화된 음성/사운드 즉, 사용자음성을 수신할 수 있는 마이크를 더 포함할 수 있으며, 마이크는 디스플레이장치(20) 본체나, 리모컨 등에 마련될 수 있다.
이하, 도면들을 참조하여, 본 발명 전자장치 또는 디스플레이장치에서 사용자음성을 처리하는 실시예들을 설명한다.
도 5와 도 6은 본 발명 제1실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이고, 도 7은 본 발명 제1실시예에 따른 전자장치의 제어방법을 도시한 흐름도이고, 도 8은 본 발명 제1실시예에 따라 전자장치에서 사용자음성을 처리하는 일례를 도시한 도면이고, 도 9는 본 발명 제1실시예에 따라 디스플레이장치에서 사용자음성을 처리하는 일례를 도시한 도면이다.
본 발명 제1실시예에 따른 전자장치(10)는, 마이크(120)를 통해 사용자음성이 수신되는 것에 기초하여, 도 5 및 도 6에 도시된 바와 같이, 디스플레이장치(20)의 전원 상태, 즉 디스플레이장치(20)가 턴온 또는 턴오프 상태인지 여부를 식별하고, 그 식별 결과에 기초하여 TV 오프(OFF) 모드 또는 TV 온(ON) 모드로 동작하도록 구현될 수 있다.
전자장치(10)는 디스플레이장치(20)가 턴오프 상태로 식별된 것에 기초하여, 도 5에 도시된 바와 같이, TV 오프 모드(단독 사용 모드)로 동작함으로써, 전자장치(10)가 수신된 사용자음성을 처리하고, 그 처리 결과를 사운드로서 스피커(110)를 통해 출력할 수 있다.
전자장치(10)는 디스플레이장치(20)가 턴온 상태로 식별된 것에 기초하여, 도 6에 도시된 바와 같이, TV 온 모드(TV 연동 모드)로 동작함으로써, 수신된 사용자음성의 정보를 통신부(140)를 통해 디스플레이장치(20)로 전송하여, 디스플레이장치(20)에 음성의 처리를 요청하도록 할 수 있다. 디스플레이장치(20)는 사용자음성을 처리하고, 그 처리 결과를 영상으로서 디스플레이(230)를 통해 출력할 수 있다.
구체적으로, 도 7에 도시된 바와 같이, 전자장치(10)는 사용자로부터 발화된 사용자음성을 마이크(120)를 통해 수신할 수 있다(401). 전자장치(10)는 마이크(120)를 통해 한정되지 않은 다양한 사용자음성을 수신할 수 있으며, 일례로서, 도 8에 도시된 바와 같이, 검색을 요청하는 음성이 수신될 수 있다.
일 실시예에서, 프로세서(160)는, 사용자로부터 발화되는 소정 키워드(이하, 웨이크업 키워드 라고도 한다), 예를 들면 도 8에서의 "하이빅스비"를 감지함으로써, 마이크(120)를 통해 사용자음성이 수신되는 것을 식별할 수 있다. 웨이크업 키워드는 전자장치(10)의 제조사나 서비스 제공자 등에 의해 하나 이상이 미리 설정되거나, 사용자에 의해 설정될 수도 있다.
여기서, 프로세서(160)는 마이크(120)를 통해 사용자음성으로서 소정 키워드의 입력이 식별되면, 전자장치(10)에 설치된 AI 스피커 어플리케이션이 실행 또는 활성화되도록 할 수 있다. 일례로, 프로세서(160)가 "하이빅스비"와 같은 웨이크업 키워드가 입력되는 것을 식별하면, AI 스피커 어플리케이션의 실행 상태가 백그라운드 모드에서 포그라운드 모드로 전환될 수 있다.
프로세서(160)는 단계 401에서 사용자음성이 수신되는 것에 기초하여, 통신부(140)를 통해 외부장치 즉, 디스플레이장치(20)의 상태를 식별한다(402). 예를 들면, 프로세서(160)는 통신부(140)를 통해 디스플레이장치(20)로 미리 정해진 신호를 전송하고, 디스플레이장치(20)로부터 그에 대한 응답 신호가 수신되는지 여부에 따라 디스플레이장치(20)의 전원 상태 즉, 디스플레이장치(20)가 턴온 또는 턴오프 상태인지 여부를 식별할 수 있다.
단계 402의 식별에 따라 디스플레이장치(20)는 턴온 상태 또는 턴오프 상태로 식별로 식별될 수 있다(403).
프로세서(160)는, 단계 403에서 디스플레이장치(20)가 턴오프 상태로 식별된 것에 기초하여, 단계 401에서 수신된 사용자음성을 처리할 수 있다(404).
구체적으로, 전자장치(10)는 TV 오프 모드로 동작함으로써, 프로세서(160)가 사용자음성에 대한 음성인식을 수행하고, 그 음성인식에 결과에 기초한 동작이 수행될 수 있도록 사용자음성을 처리할 수 있다.
프로세서(160)는 마이크(120)를 통해 수신된 사용자음성 즉, 음파를 전기적인 신호로 변환하도록 신호처리부(130)를 제어할 수 있다.
일 실시예에서 프로세서(160)의 음성인식모듈(161)은 변환된 사용자음성의 신호로부터 음성 특징을 나타내는 벡터를 추출하고, 그 추출된 벡터를 데이터베이스(151) 또는 서버(30)의 음향모델과 비교하는 방식으로, 음성인식을 수행할 수 있다.
프로세서(160)는 상기와 같은 음성인식에 따라 사용자음성을 처리하고, 그 처리 결과가 출력될 수 있도록 동작을 수행하게 된다.
일례로, 도 8에 도시된 바와 같이, 사용자음성이 주변 레스토랑과 같은 검색 요청인 경우, 프로세서(160)는 통신부(140)를 통해 검색을 수행하고, 그 처리 결과(검색 결과)에 대응하는 오디오 피드백 즉, 응답 음성을 생성하도록 신호처리부(130)를 제어할 수 있다.
프로세서(160)는 단계 404의 처리 결과에 대응하는 사운드를 스피커(110)를 통해 출력할 수 있다(405). 예를 들어, 단계 404의 사용자음성의 처리가 주변 레스트랑 등의 같은 검색인 경우, 도 8에 도시된 바와 같이, 그 검색 결과에 대응하는 사운드가 스피커(110)를 통해 출력되며, 이 사운드는 단계 404에서 생성된 응답 음성에 대응하게 된다.
한편, 프로세서(160)는, 단계 403에서 디스플레이장치(20)가 턴온 상태로 식별된 것에 기초하여, 단계 401에서 수신된 사용자음성의 정보를 디스플레이장치(20)로 전송하여 음성의 처리를 요청할 수 있다(406).
여기서, 전자장치(10)는 TV 온 모드로 동작함으로써, 프로세서(160)가 마이크(120)를 통해 수신된 사용자음성 즉, 음파를 전기적인 신호로 변환하도록 신호처리부(130)를 제어하고, 변환된 신호에 대한 데이터를 사용자음성의 정보로서 통신부(140)를 통해 디스플레이장치(20)로 전송할 수 있다.
디스플레이장치(20)의 프로세서(260)는, 사용자음성에 대한 음성인식을 수행하고, 그 음성인식에 결과에 기초한 동작이 수행될 수 있도록 사용자음성을 처리할 수 있다. 여기서, 프로세서(260)는 전자장치(10)로부터 사용자음성의 정보가 수신되면, 디스플레이장치(20)에 설치된 AI 스피커 어플리케이션이 실행 또는 활성화되도록 할 수 있으며, 활성화는 AI 스피커 어플리케이션의 실행 상태가 백그라운드 모드에서 포그라운드 모드로 전환되는 것을 포함한다.
일 실시예에서 프로세서(260)의 음성인식모듈(261)은 수신된 사용자음성의 정보로부터 음성 특징을 나타내는 벡터를 추출하고, 그 추출된 벡터를 데이터베이스(251) 또는 서버(30)의 음향모델과 비교하는 방식으로, 음성인식을 수행할 수 있다.
디스플레이장치(20)의 프로세서(260)는 상기와 같은 음성인식에 따라 사용자음성을 처리하고, 그 처리 결과를 출력하도록 동작을 수행하게 된다.
일례로, 도 8에 도시된 바와 같이, 사용자음성이 주변 레스토랑과 같은 검색 요청인 경우, 프로세서(260)는 통신부(240)를 통해 검색을 수행하고, 그 검색 결과를 나타내는 UI(501)를 표시하도록 디스플레이(230)를 제어할 수 있다. 여기서, 검색 결과를 나타내는 UI(501)는 사용자의 선택이 가능한 복수의 항목(502)을 포함하는 리스트로 구성될 수 있다. 사용자가 리스트에서 어느 하나의 항목(502)를 선택하면, 프로세서(260)는 선택된 항목에 대한 추가 정보, 예를 들면, 지도, 연락처, 사용자 리뷰 등을 디스플레이(230)에 표시하도록 제어할 수 있으며, 그에 따라 사용자가 다양한 정보를 더 획득할 수 있게 된다.
도 8에서는 사용자음성으로서 레스토랑과 같은 외부 검색 요청이 수신되면 그에 대한 처리 결과를 표시하는 경우를 예로 들어 도시하고 있으나, 본 발명에서 사용자음성에 따른 처리 또는 검색 대상은 한정되는 것이 아니므로, 예를 들어 TV 채널 검색이나, 프로그램/컨텐트 검색 등 TV 서비스와 관련된 다양한 사용자음성에 대한 처리가 이루어질 수 있을 것이다.
또한, 프로세서(260)는 그 처리 결과(검색 결과)에 대응하는 신호를 통신부(240)를 통해 전자장치(10)로 출력할 수 있다.
전자장치(10)의 프로세서(160)는 디스플레이장치(20)로부터 단계 406의 처리 결과를 수신하고, 그에 대응하는 사운드를 스피커(110)를 통해 출력할 수 있다(407). 예를 들어, 단계 406의 사용자음성의 처리가 주변 레스트랑 등의 같은 검색인 경우, 도 8에 도시된 바와 같이, 검색 결과가 디스플레이장치(20)에 표시될 뿐 아니라, 검색 결과에 대응하는 오디오 피드백 즉, 응답 음성에 해당하는 사운드가 스피커(110)를 통해 출력될 수 있게 된다.
상기와 같은 본 발명 제1실시예에 따르면, 전자장치(10)가 통신 가능한 외부장치 즉, 디스플레이장치(20)가 턴오프 상태 또는 턴온 상태인지 여부에 따라, 사용자음성을 자체적으로 또는 디스플레이장치(20)에서 선택적으로 처리할 수 있게 된다. 그에 따라, 전자장치(10)를 통한 오디오 피드백만 제공되는 경우와 비교하여, 디스플레이장치(20)의 스크린을 통한 시각적 피드백을 더 제공받을 수 있으므로, 처리 결과에 대한 사용자의 접근성이 향상되며, 필요 시 추가 정보를 보다 용이하게 획득할 수 있게 편의가 증대된다.
도 10은 본 발명 제2실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이고, 도 11은 본 발명 제2실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
본 발명 제2실시예에 따른 전자장치(10)는, 마이크(120)를 통해 사용자음성이 수신되는 것에 기초하여, 도 10에 도시된 바와 같이, 디스플레이장치(20)의 전원 상태, 즉 디스플레이장치(20)가 턴온 또는 턴오프 상태인지 여부를 식별하고, 디스플레이장치(20)가 턴오프 상태로 식별된 경우 디스플레이장치(20)로 턴온 요청을 전송하도록 구현될 수 있다.
여기서, 전자장치(10)는 턴온 상태인 디스플레이장치(20)를 턴온할 것을 안내하는 사운드를 스피커(110)를 통해 출력할 수 있으며, 전자장치(10)로부터의 요청에 응답하여 디스플레이장치(20)는 턴오프 상태로부터 턴온 상태로 전환될 수 있다.
전자장치(10)는 디스플레이장치(20)가 턴오프 상태로부터 턴온 상태로 전환된 것에 기초하여, 도 10에 도시된 바와 같이, TV 온 모드(TV 연동모드)로 동작하게 된다. 전자장치(10)는 TV 온 모드로 동작함으로써, 수신된 사용자음성의 정보를 통신부(140)를 통해 디스플레이장치(20)로 전송하여, 디스플레이장치(20)에 음성의 처리를 요청하도록 할 수 있다. 디스플레이장치(20)는 사용자음성을 처리하고, 그 처리 결과를 영상으로서 디스플레이(230)를 통해 출력할 수 있다.
구체적으로, 도 11에 도시된 바와 같이, 전자장치(10)는 사용자로부터 발화된 사용자음성을 마이크(120)를 통해 수신할 수 있다(601). 여기서, 전자장치(10)는 마이크(120)를 통해 한정되지 않은 다양한 사용자음성을 수신할 수 있다.
일 실시예에서, 프로세서(160)는, 사용자로부터 발화되는 소정 키워드 즉, 웨이크업 키워드를 감지함으로써, 마이크(120)를 통해 사용자음성이 수신되는 것을 식별할 수 있다.
프로세서(160)는 마이크(120)를 통해 사용자음성으로서 소정 키워드의 입력이 식별되면, 전자장치(10)에 설치된 AI 스피커 어플리케이션이 실행 또는 활성화되도록 할 수 있으며, 활성화는 AI 스피커 어플리케이션의 실행 상태가 백그라운드 모드에서 포그라운드 모드로 전환되는 것을 포함한다.
프로세서(160)는 단계 601에서 사용자음성이 수신되는 것에 기초하여, 통신부(140)를 통해 외부장치 즉, 디스플레이장치(20)의 상태를 식별한다(602). 예를 들면, 프로세서(160)는 통신부(140)를 통해 디스플레이장치(20)로 미리 정해진 신호를 전송하고, 디스플레이장치(20)로부터 그에 대한 응답 신호가 수신되는지 여부에 따라 디스플레이장치(20)의 전원 상태 즉, 디스플레이장치(20)가 턴온 또는 턴오프 상태인지 여부를 식별할 수 있다.
단계 602의 식별에 따라 디스플레이장치(20)는 턴온 상태 또는 턴오프 상태로 식별로 식별될 수 있다(603).
일 실시예에서 프로세서(160)는, 단계 603에서 디스플레이장치(20)가 턴오프 상태로 식별된 것에 기초하여, 디스플레이장치(20)를 턴온시킬 것을 사용자에게 안내하는 사운드를 스피커(110)를 통해 출력할 수 있다(604). 본 발명에서, 출력되는 안내 사운드는 한정되지 않으며, 예를 들면 전자장치(10)의 디스플레이장치(20)로 턴온 요청이 전송되도록 특정 버튼에 대한 누름(press)과 같은 조작을 할 것을 안내하는 내용을 포함하거나, 디스플레이장치(20)를 턴온하라고 안내하는 내용을 포함할 수 있다.
다른 실시예에서, 전자장치(10)에서 단계 604의 안내 사운드 출력은 생략될 수 있다.
프로세서(160)는 단계 603에서 디스플레이장치(20)가 턴오프 상태로 식별된 것에 기초하여, 디스플레이장치(20)가 턴온할 것을 요청하는 신호를 디스플레이장치(20)로 전송하도록 통신부(140)를 제어할 수 있다(605).
일 실시예에서, 프로세서(160)는 예를 들어, 단계 604에서 특정 버튼을 조작할 것을 안내하는 사운드 출력에 기초하여, 사용자로부터 해당 버튼에 대한 누름 조작이 이루어지면, 디스플레이장치(20)로 턴온을 요청하는 신호를 통신부(140)를 통해 전송할 수 있다.
다른 실시예에서, 프로세서(160)는 단계 604의 안내 사운드 출력이나, 사용자의 조작 없이, 디스플레이장치(20)가 턴오프 상태인 것을 식별하면 바로 디스플레이장치(20)에 턴온을 요청하는 신호를 통신부(140)를 통해 전송할 수 있다.
단계 605의 턴온을 요청하는 신호는 디스플레이장치(20)에 의해 수신되고, 그 수신에 응답하여, 디스플레이장치(20)는 턴오프 상태로부터 턴온 상태로 전환될 수 있다. 디스플레이장치(20)의 프로세서(260)는 자신이 턴온 되었음을 나타내는 신호를 전자장치(10)로 전송하도록 통신부(240)를 제어할 수 있으며, 그에 따라 턴온 요청에 대한 피드백 신호가 전자장치(10)로 전송될 수 있다.
프로세서(160)는, 단계 603에서 디스플레이장치(20)가 턴온 상태로 식별된 것에 기초하여, 단계 601에서 수신된 사용자음성의 정보를 디스플레이장치(20)로 전송하여 음성의 처리를 요청할 수 있다(606). 프로세서(160)는 전자장치(10)로부터의 응답 신호에 기초하여, 디스플레이장치(20)를 턴온 상태로 식별할 수 있다. 일 실시예에서, 응답 신호는 전술한 턴온 요청에 대한 피드백 신호에 대응할 수 있다.
여기서, 전자장치(10)는 TV 온 모드로 동작함으로써, 프로세서(160)가 단계 601에서 마이크(120)를 통해 수신된 사용자음성 즉, 음파를 전기적인 신호로 변환하도록 신호처리부(130)를 제어하고, 그 변환된 신호에 관한 데이터를 사용자음성의 정보로서 통신부(140)를 통해 디스플레이장치(20)로 전송할 수 있다.
디스플레이장치(20)의 프로세서(260)는, 사용자음성에 대한 음성인식을 수행하고, 그 음성인식에 결과에 기초한 동작이 수행될 수 있도록 사용자음성을 처리할 수 있다. 여기서, 프로세서(260)는 전자장치(10)로부터 사용자음성의 정보가 수신되면, 디스플레이장치(20)에 설치된 AI 스피커 어플리케이션이 실행 또는 활성화되도록 할 수 있으며, 활성화는 AI 스피커 어플리케이션의 실행 상태가 백그라운드 모드에서 포그라운드 모드로 전환되는 것을 포함한다.
일 실시예에서 프로세서(260)의 음성인식모듈(261)은 수신된 사용자음성의 정보로부터 음성 특징을 나타내는 벡터를 추출하고, 그 추출된 벡터를 데이터베이스(251) 또는 서버(30)의 음향모델과 비교하는 방식으로, 음성인식을 수행할 수 있다.
디스플레이장치(20)의 프로세서(260)는 상기와 같은 음성인식에 따라 사용자음성을 처리하고, 그 처리 결과를, 도 8에 도시된 바와 같이, 디스플레이(230)에 표시하도록 동작을 수행하게 된다. 또한, 프로세서(260)는 그 처리 결과(검색 결과)에 대응하는 신호를 통신부(140)를 통해 전자장치(10)로 출력할 수 있다.
전자장치(10)의 프로세서(160)는 디스플레이장치(20)로부터 단계 606의 처리 결과를 수신하고, 그에 대응하는 사운드를 스피커(110)를 통해 출력할 수 있다(607). 그에 따라, 단계 606의 사용자음성의 처리 결과가 디스플레이장치(20)에 표시될 뿐 아니라, 처리 결과에 대응하는 오디오 피드백 즉, 응답 음성에 해당하는 사운드가 스피커(110)를 통해 출력될 수 있게 된다.
상기와 같은 본 발명 제2실시예에 따르면, 전자장치(10)가 통신 가능한 외부장치 즉, 디스플레이장치(20)가 턴오프 상태인 경우, 디스플레이장치(20)가 턴온 상태가 되도록 함으로써, 사용자음성을 디스플레이장치(20)에서 처리할 수 있게 된다. 그에 따라, 전자장치(10)를 통한 오디오 피드백만 제공되는 경우와 비교하여, 디스플레이장치(20)의 스크린을 통한 시각적 피드백을 더 제공받을 수 있으므로, 처리 결과에 대한 사용자의 접근성이 향상되며, 필요 시 추가 정보를 보다 용이하게 획득할 수 있게 편의가 증대된다.
도 12는 본 발명 제3실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이고, 도 13은 본 발명 제3실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
본 발명 제3실시예에 따른 전자장치(10)는, 마이크(120)를 통해 사용자음성이 수신되는 것에 기초하여, 도 12에 도시된 바와 같이, 수신된 사용자음성에 대한 서비스 타입(또는 컨텐트 타입)을 식별하고, 그 식별 결과에 기초하여, 음성의 처리를 자체적으로 수행하거나 또는 디스플레이장치(20)가 수행하도록 요청하도록 구현될 수 있다.
일례로, 수신된 사용자음성이, 예를 들면 음악 재생, 날씨 안내, 시간 안내, 타이머 등과 같은 청각적 컨텐트 즉, 오디오/사운드를 제공하는 서비스인 것으로 식별되면, 전자장치(10)는 해당 음성의 처리를 자신이 직접 수행할 수 있다.
이 경우, 전자장치(10)는 TV 오프 모드로 동작함으로써, 자체적으로 사용자음성을 처리하고, 그 처리 결과를 스피커(110)를 통해 출력할 수 있다.
다른 예로서, 수신된 사용자음성이, 예를 들면 영화, TV 프로그램 등과 같은 시각적 컨텐트 즉, 비디오/영상을 제공하는 서비스인 것으로 식별되면, 전자장치(10)는 해당 음성의 처리를 디스플레이장치(20)가 수행하도록 요청할 수 있다.
이 경우, 전자장치(10)는, 디스플레이장치(20)로 음성 처리를 요청하는 신호를 전송하여, 도 12에 도시된 바와 같이, TV 온 모드(TV 연동모드)로 동작하게 된다. 전자장치(10)는 TV 온 모드로 동작함으로써, 수신된 사용자음성의 정보를 통신부(140)를 통해 디스플레이장치(20)로 전송하여, 디스플레이장치(20)에 음성의 처리를 요청하도록 할 수 있다. 디스플레이장치(20)는 사용자음성을 처리하고, 그 처리 결과를 영상으로서 디스플레이(230)를 통해 출력할 수 있다.
구체적으로, 도 13에 도시된 바와 같이, 전자장치(10)는 사용자로부터 발화된 사용자음성을 마이크(120)를 통해 수신할 수 있다(701). 여기서, 전자장치(10)는 마이크(120)를 통해 한정되지 않은 다양한 사용자음성을 수신할 수 있다.
일 실시예에서, 프로세서(160)는, 사용자로부터 발화되는 소정 키워드 즉, 웨이크업 키워드를 감지함으로써, 마이크(120)를 통해 사용자음성이 수신되는 것을 식별할 수 있다.
프로세서(160)는 마이크(120)를 통해 사용자음성으로서 소정 키워드의 입력이 식별되면, 전자장치(10)에 설치된 AI 스피커 어플리케이션이 실행 또는 활성화되도록 할 수 있으며, 활성화는 AI 스피커 어플리케이션의 실행 상태가 백그라운드 모드에서 포그라운드 모드로 전환되는 것을 포함한다.
프로세서(160)는 단계 701에서 사용자음성이 수신되는 것에 기초하여, 수신된 사용자음성에 대한 서비스 타입을 식별한다(702). 예를 들면, 프로세서(160)는 사용자음성이 영화, TV 프로그램 등의 시각적 컨텐트에 대한 서비스와 관련되는지 또는 음악, 날씨, 시간, 타이머 등의 청각적 컨텐트에 대한 서비스와 관련되는지 여부를 식별할 수 있다.
단계 702의 식별에 따라 사용자음성에 대한 서비스 타입이 시각적 컨텐트에 관한 서비스 또는 청각적 컨텐트에 관한 서비스로 식별될 수 있다(703).
프로세서(160)는, 단계 703에서 사용자음성의 서비스 타입이 시각적 컨텐트에 관한 것으로 식별된 것에 기초하여, 디스플레이장치(20)가 턴오프 또는 턴온 상태인지 여부를 식별할 수 있다(703). 예를 들면, 프로세서(160)는 통신부(140)를 통해 디스플레이장치(20)로 미리 정해진 신호를 전송하고, 디스플레이장치(20)로부터 그에 대한 응답 신호가 수신되는지 여부에 따라 디스플레이장치(20)의 전원 상태 즉, 디스플레이장치(20)가 턴온 또는 턴오프 상태인지 여부를 식별할 수 있다.
프로세서(160)는, 단계 703에서 디스플레이장치(20)가 턴오프 상태로 식별된 것에 기초하여, 디스플레이장치(20)를 턴온시킬 것을 사용자에게 안내하는 사운드를 스피커(110)를 통해 출력할 수 있다(705). 본 발명에서, 출력되는 안내 사운드는 한정되지 않으며, 예를 들면 전자장치(10)의 디스플레이장치(20)로 턴온 요청이 전송되도록 특정 버튼에 대한 누름(press)과 같은 조작을 할 것을 안내하는 내용을 포함할 수 있다.
다른 실시예에서, 전자장치(10)에서 단계 705의 안내 사운드 출력은 생략될 수 있다.
프로세서(160)는 단계 704에서 디스플레이장치(20)가 턴오프 상태로 식별된 것에 기초하여, 디스플레이장치(20)가 턴온할 것을 요청하는 신호를 디스플레이장치(20)로 전송하도록 통신부(140)를 제어할 수 있다(706).
일 실시예에서, 프로세서(160)는 예를 들어, 단계 705에서 특정 버튼을 조작할 것을 안내하는 사운드 출력에 기초하여, 사용자로부터 해당 버튼에 대한 누름 조작이 이루어지면, 디스플레이장치(20)로 턴온을 요청하는 신호를 통신부(140)를 통해 전송할 수 있다.
다른 실시예에서, 프로세서(160)는 단계 405의 안내 사운드 출력이나, 사용자의 조작 없이, 디스플레이장치(20)가 턴오프 상태인 것을 식별하면 바로 디스플레이장치(20)에 턴온을 요청하는 신호를 통신부(140)를 통해 전송할 수 있다.
단계 706의 턴온을 요청하는 신호는 디스플레이장치(20)에 의해 수신되고, 그 수신에 응답하여, 디스플레이장치(20)는 턴오프 상태로부터 턴온 상태로 전환될 수 있다. 디스플레이장치(20)의 프로세서(260)는 자신이 턴온 되었음을 나타내는 신호를 전자장치(10)로 전송하도록 통신부(240)를 제어할 수 있으며, 그에 따라 턴온 요청에 대한 피드백 신호가 전자장치(10)로 전송될 수 있다.
프로세서(160)는, 단계 704에서 디스플레이장치(20)가 턴온 상태로 식별된 것에 기초하여, 단계 701에서 수신된 사용자음성의 정보를 디스플레이장치(20)로 전송하여 음성의 처리를 요청할 수 있다(707). 프로세서(160)는 전자장치(10)로부터의 응답 신호에 기초하여, 디스플레이장치(20)를 턴온 상태로 식별할 수 있다. 일 실시예에서, 응답 신호는 전술한 턴온 요청에 대한 피드백 신호에 대응할 수 있다.
여기서, 프로세서(160)는, TV 온 모드로 동작함으로써, 단계 701에서 마이크(120)를 통해 수신된 사용자음성 즉, 음파를 전기적인 신호로 변환하도록 신호처리부(130)를 제어하고, 그 변환된 신호에 관한 데이터를 사용자음성의 정보로서 통신부(140)를 통해 디스플레이장치(20)로 전송할 수 있다.
디스플레이장치(20)의 프로세서(260)는, 사용자음성에 대한 음성인식을 수행하고, 그 음성인식에 결과에 기초한 동작이 수행될 수 있도록 사용자음성을 처리할 수 있다. 여기서, 프로세서(260)는 전자장치(10)로부터 사용자음성의 정보가 수신되면, 디스플레이장치(20)에 설치된 AI 스피커 어플리케이션이 실행 또는 활성화되도록 할 수 있으며, 활성화는 AI 스피커 어플리케이션의 실행 상태가 백그라운드 모드에서 포그라운드 모드로 전환되는 것을 포함한다.
일 실시예에서 프로세서(260)의 음성인식모듈(261)은 수신된 사용자음성의 정보로부터 음성 특징을 나타내는 벡터를 추출하고, 그 추출된 벡터를 데이터베이스(251) 또는 서버(30)의 음향모델과 비교하는 방식으로, 음성인식을 수행할 수 있다.
디스플레이장치(20)의 프로세서(260)는 상기와 같은 음성인식에 따라 사용자음성을 처리하고, 그 처리 결과를, 예를 들면 도 8에 도시된 바와 같이, 디스플레이(230)에 표시하도록 동작을 수행하게 된다. 또한, 프로세서(260)는 그 처리 결과(검색 결과)에 대응하는 신호를 통신부(140)를 통해 전자장치(10)로 출력할 수 있다.
전자장치(10)의 프로세서(160)는 디스플레이장치(20)로부터 단계 707의 처리 결과를 수신하고, 그에 대응하는 사운드를 스피커(110)를 통해 출력할 수 있다(708). 그에 따라, 단계 707의 사용자음성의 처리 결과가 디스플레이장치(20)에 표시될 뿐 아니라, 처리 결과에 대응하는 오디오 피드백 즉, 응답 음성에 해당하는 사운드가 스피커(110)를 통해 출력될 수 있게 된다.
한편, 프로세서(160)는, 단계 703에서 사용자음성의 서비스 타입이 청각적 컨텐트에 관한 것으로 식별된 것에 기초하여, 단계 701에서 수신된 사용자음성을 처리할 수 있다(709).
구체적으로, 전자장치(10)는 TV 오프 모드로 동작함으로써, 프로세서(160)가 사용자음성에 대한 음성인식을 수행하고, 그 음성인식에 결과에 기초한 동작이 수행될 수 있도록 사용자음성을 처리할 수 있다.
프로세서(160)는 마이크(120)를 통해 수신된 사용자음성 즉, 음파를 전기적인 신호로 변환하도록 신호처리부(130)를 제어할 수 있다.
일 실시예에서 프로세서(160)의 음성인식모듈(161)은 변환된 사용자음성의 신호로부터 음성 특징을 나타내는 벡터를 추출하고, 그 추출된 벡터를 데이터베이스(151) 또는 서버(30)의 음향모델과 비교하는 방식으로, 음성인식을 수행할 수 있다.
프로세서(160)는 상기와 같은 음성인식에 따라 사용자음성을 처리하고, 그 처리 결과를 출력하도록 동작을 수행하게 된다.
일례로, 사용자음성이 특정 장르, 예를 들면 클래식 음악 재생 요청인 경우, 프로세서(160)는 통신부(140)를 통해 해당 장르의 음악을 검색할 수 있다.
프로세서(160)는 단계 709의 처리 결과에 대응하는 사운드를 스피커(110)를 통해 출력할 수 있다(710). 예를 들어, 단계 709의 사용자음성의 처리가 클래식 음악 재생 요청인 경우, 그 처리 결과(검색 결과)에 대응하는 음악을 사운드로 출력하도록 스피커(110)를 제어할 수 있다.
상기와 같은 본 발명 제3실시예에 따르면, 전자장치(10)는 사용자음성에 대한 서비스 타입이 시각적 컨텐트에 관한 것인 경우, 사용자음성을 디스플레이장치(20)에서 처리할 수 있게 된다. 그에 따라, 사용자가 디스플레이장치(20)의 스크린을 통해 보다 효율적으로 서비스 즉, 컨텐트를 제공받을 수 있게 되어, 사용자의 편의가 향상된다.
도 14는 본 발명 제4실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이고, 도 15는 본 발명 제4실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다.
본 발명 제4실시예에 따른 디스플레이장치(20)는, 도 14에 도시된 바와 같이, 디스플레이장치(20)가 턴오프 상태로부터 턴온 상태로 변경된 것에 기초하여, 전자장치(10)와 디스플레이장치(20) 간 연결 상태, 즉 디스플레이장치(20)가 전자장치(10)와 유선 또는 무선 통신이 가능하도록 연결된 상태인지 여부를 식별하고, 디스플레이장치(20)와 전자장치(10)가 연결된 것으로 식별된 경우 전자장치(10)로부터 사용자음성에 관한 처리 요청을 수신하도록 구현될 수 있다.
여기서, 디스플레이장치(20)와 전자장치(10)가 연결되지 않은 것으로 식별된 경우, 디스플레이장치(20)는 전자장치(10)와 통신을 위한 연결 설정을 수행하고, 그에 따라 연결된 전자장치(10)로부터 음성 처리 요청을 수신할 수 있다.
전자장치(10)는 TV 온 모드로 동작함으로써, 사용자음성의 정보를 디스플레이장치(20)로 전송하여, 디스플레이장치(20)에 음성의 처리를 요청하도록 할 수 있다. 디스플레이장치(20)는, 도 14에 도시된 바와 같이, 사용자음성을 처리하고, 그 처리 결과를 영상으로서 디스플레이(230)를 통해 출력할 수 있다.
구체적으로, 도 15에 도시된 바와 같이, 디스플레이장치(20)는 턴오프 상태부터 턴온 상태로 변경될 수 있다(801).
여기서, 턴오프 상태는 디스플레이장치(20)가 대기전원을 공급받는 대기모드로 동작하는 일종의 소프트 턴오프 상태로서, 턴오프 상태인 제1프로세서(261)가 제2프로세서(262)에 의해 웨이크업 됨으로써, 디스플레이장치(20)가 턴온 상태 즉, 정상모드로 전환될 수 있다.
일 실시예에서, 제1프로세서(261)가 절전상태인 턴오프 상태일 때, 제2프로세서(262)는 사용자입력부(270)를 통한 사용자입력 수신 여부를 판단하고, 판단 결과에 따라 수신되는 사용자입력에 기초하여, 디스플레이장치(20)가 턴오프 상태에서 턴온 상태로 변경된 것을 식별할 수 있다. 여기서, 수신되는 사용자입력은 도 11의 실시예에 따라 단계 604에서 출력되는 디스플레이장치(20)를 톤 온 시킬 것을 안내하는 사운드에 응답한 사용자의 조작에 따른 것임을 일례로 한다.
다른 실시예에서, 제1프로세서(261)가 절전상태인 턴오프 상태일 때, 제2프로세서(262)는 통신부(240)를 통해 전자장치(10)로부터 디스플레이장치(20)가 턴온 할 것을 요청하는 신호가 수신되는 것을 식별하고, 식별 결과에 따라 수신되는 신호에 기초하여, 디스플레이장치(20)가 턴오프 상태에서 턴온 상태로 변경된 것을 식별할 수 있다. 여기서, 수신되는 요청 신호는 도 11의 실시예에 따라 단계 605에서 전송되는 신호인 것을 일례로 한다.
단계 801에서 디스플레이장치(20)가 턴온 상태로 변경되면, 웨이크업된 제1프로세서(261)가 통신부(140)를 통해 외부장치 즉, 전자장치(10)의 연결 상태를 식별한다(802). 예를 들면, 제1프로세서(260)는 통신부(140)를 통해 전자장치(10)로 미리 정해진 신호를 전송하고, 전자장치(10)로부터 그에 대한 응답 신호가 수신되는지 여부에 따라 디스플레이장치(20)가 전자장치(10)와 유선 또는 무선 통신이 가능하게 연결되어 있는지 여부를 식별할 수 있다.
단계 802의 식별에 따라 디스플레이장치(20)와 전자장치(10) 간의 연결여부 즉, 연결된 상태 또는 연결되지 않은 상태가 식별될 수 있다(603).
프로세서(260) 즉, 제1프로세서(261)는, 단계 803에서 디스플레이장치(20)가 전자장치(10)와 연결되어 있지 않은 것으로 식별되면, 전자장치(10)와 통신부(140)를 통한 연결 설정을 수행할 수 있다(804). 여기서, 디스플레이장치(20)와 전자장치(10) 간의 통신 연결의 타입은 한정되지 않으며, 예를 들어 블루투스, 와이파이 등의 무선통신 연결을 포함할 수 있다.
프로세서(260) 즉, 제1프로세서(261)는, 단계 803에서 디스플레이장치(20)가 전자장치(10)와 연결되어 있는 것으로 식별된 것에 기초하여, 전자장치(10)로부터 스피커(110)를 통해 입력된 사용자음성의 정보를 수신할 수 있다(805). 여기서, 수신되는 사용자음성의 정보는 음성의 처리 요청을 포함할 수 있으며, 도 11의 실시예의 단계 606이나, 도 13의 실시예의 단계 707에서 전자장치(10)로부터 디스플레이장치(20)로 전송된 사용자음성의 정보에 대응될 수 있다.
일 실시예에서 프로세서(260)는 전자장치(10)로부터 사용자음성의 정보가 수신되면, 디스플레이장치(20)에 설치된 AI 스피커 어플리케이션이 실행 또는 활성화되도록 할 수 있으며, 활성화는 AI 스피커 어플리케이션의 실행 상태가 백그라운드 모드에서 포그라운드 모드로 전환되는 것을 포함한다.
프로세서(260)는, 단계 804에서 수신된 사용자음성의 정보에 기초하여, 대응되는 사용자음성을 처리할 수 있다(806).
구체적으로, 프로세서(260)는 사용자음성에 대한 음성인식을 수행하고, 그 음성인식에 결과에 기초한 동작이 수행될 수 있도록 사용자음성을 처리할 수 있다.
일 실시예에서 프로세서(260)의 음성인식모듈(261)은 수신된 사용자음성의 정보로부터 음성 특징을 나타내는 벡터를 추출하고, 그 추출된 벡터를 데이터베이스(251) 또는 서버(30)의 음향모델과 비교하는 방식으로, 음성인식을 수행할 수 있다.
프로세서(260)는 상기와 같은 음성인식에 따라 사용자음성을 처리하고, 그 처리 결과가 출력될 수 있도록 동작을 수행하게 된다.
일례로, 도 8에 도시된 바와 같이, 사용자음성이 주변 레스토랑과 같은 검색 요청인 경우, 프로세서(260)는 통신부(240)를 통해 검색을 수행할 수 있다.
프로세서(260)는 단계 806에서의 처리 결과(검색 결과)에 대응하는 영상을 표시하도록 디스플레이(230)를 제어한다(807). 예를 들어, 프로세서(260)는, 도 8에 도시된 바와 같이, 주변 레스토랑에 대한 검색 결과를 나타내는 UI(501)를 디스플레이(230)에 표시하도록 할 수 있다.
프로세서(260)는 단계 806에서의 처리 결과(검색 결과)에 대응하는 신호를 전자장치(10)로 출력하도록 통신부(240)를 제어할 수 있다(808). 여기서, 출력되는 신호는 도 11의 실시예의 단계 607이나, 도 13의 실시예의 단계 708에서 전자장치(10)에 의해 수신되는 처리결과에 대응할 수 있다.
전자장치(10)의 프로세서(160)는 상기와 같이 처리 결과에 대응하는 신호를 수신하고, 그에 기초한 사운드를 스피커(110)를 통해 출력할 수 있다. 그에 따라, 단계 807의 사용자음성의 처리 결과는 디스플레이장치(20)에 표시될 뿐 아니라, 오디오 피드백으로서 스피커(110)를 통해 출력될 수 있게 된다.
상기와 같은 본 발명 제4실시예에 따르면, 디스플레이장치(20)가 턴오프 상태로부터 턴온 상태로 변경된 경우, 외부장치 즉, 전자장치(10)와 통신 가능하게 연결되어 있는지 여부에 따라, 자동으로 연결 설정을 수행할 수 있다. 그리고, 이렇게 연결된 전자장치(10)로부터 사용자음성의 정보를 수신함으로써, 전자장치(10)에서 입력된 사용자음성을 디스플레이장치(20)에서 처리할 수 있게 된다. 그에 따라, 시각적 피드백이 효율적인 사용자입력에 대해, 디스플레이장치(20)의 스크린을 통한 영상으로 처리 결과를 제공받을 수 있으므로, 처리 결과에 대한 사용자의 접근성이 향상되며, 필요 시 추가 정보를 보다 용이하게 획득할 수 있게 된다.
도 16은 본 발명 제5실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이고, 도 17은 본 발명 제5실시예에 따른 전자장치의 제어방법을 도시한 흐름도이고, 도 18은 본 발명 제5실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다. 도 19, 도 20 및 도 21은 본 발명 제5실시예에서 디스플레이장치에 표시되는 UI들을 도시한 도면이다.
본 발명 제5실시예에 따른 전자장치(10)는 마이크(120)를 통해 수신되는 음성 처리를 위한 동작을 모니터링한다.
전자장치(10)는 오류가 발생된 것으로 식별됨에 기초하여, 도 16에 도시된 바와 같이, 외부장치, 즉 디스플레이장치(20)로 턴온 요청을 전송하도록 구현될 수 있다. 전자장치(10)로부터의 턴온 요청에 응답하여, 디스플레이장치(20)는 턴오프 상태로부터 턴온 상태로 전환될 수 있다.
여기서, 전자장치(10)는 디스플레이장치(20)의 전원 상태, 즉 디스플레이장치(20)가 턴온 또는 턴오프 상태인지 여부를 식별할 수 있다. 디스플레이장치(20)가 턴오프 상태로 식별된 경우, 전자장치(10)는 턴온 상태인 디스플레이장치(20)를 턴온할 것을 안내하는 사운드를 스피커(110)를 통해 출력할 수 있다. 안내 사운드는 전자장치(10)의 오류 발생을 통지하는 메시지를 더 포함할 수 있다.
또한, 전자장치(10)는 오류가 발생된 것으로 식별됨에 기초하여, 도 16에 도시된 바와 같이, 그 오류에 관한 정보를 디스플레이장치(20)로 전송할 있다. 디스플레이장치(20)는 전자장치(10)로부터 수신된 오류 정보를 이용하여, 오류 복구를 위한 동작을 수행하게 된다.
구체적으로, 도 17에 도시된 바와 같이, 전자장치(10)는 마이크(120)를 통해 수신되는 사용자음성에 관한 음성 처리를 위한 동작을 모니터링할 수 있다(901). 여기서, 모니터링은 전자장치(10)가 AI 스피커로서 동작하기 위한 음성의 처리에 대한 오류가 발생하는지 여부를 식별하기 위한 것으로, 예를 들면 사용자 로그인, 네트워크 연결, 음악 등의 서비스 설정, 디바이스 설정 등에서 오류가 발생하는지 여부를 식별하는 것을 포함할 수 있으며, 오류의 종류는 한정되지 않는다.
일 실시예에서, 단계 901의 모니터링은 사용자의 입력이나, 통신부(140)를 통해 신호가 입력되는 등의 미리 정해진 이벤트의 발생에 응답하여 수행되거나, 또는 소정 시간 간격으로 주기적으로 수행될 수 있다.
단계 901의 모니터링에 따라, 프로세서(160)는 음성의 처리에 대한 오류가 발생된 것을 식별할 수 있다(902). 여기서, 프로세서(160)는 발생된 오류의 종류, 예를 들면 사용자 로그인 오류, 서비스 설정 오류 등을 더 식별할 수 있다.
단계 901에서, 음성의 처리에 대한 오류가 발생된 것으로 식별됨에 기초하여, 프로세서(160)는 통신부(140)를 통해 디스플레이장치(20)가 턴오프 상태인지 또는 턴온 상태인지 여부를 식별할 수 있다(903). 여기서, 프로세서(160)는 통신부(140)를 통해 디스플레이장치(20)로 미리 정해진 신호를 전송하고, 디스플레이장치(20)로부터 그에 대한 응답 신호가 수신되는지 여부에 따라 디스플레이장치(20)의 전원 상태 즉, 디스플레이장치(20)가 턴온 또는 턴오프 상태인지 여부를 식별할 수 있다.
일 실시예에서 프로세서(160)는, 단계 903에서 디스플레이장치(20)가 턴오프 상태로 식별된 것에 기초하여, 디스플레이장치(20)를 턴온시킬 것을 사용자에게 안내하는 사운드를 스피커(110)를 통해 출력할 수 있다(904). 본 발명에서, 출력되는 안내 사운드는 한정되지 않으며, 예를 들면 전자장치(10)의 디스플레이장치(20)로 턴온 요청이 전송되도록 특정 버튼에 대한 누름(press)과 같은 조작을 할 것을 안내하는 내용을 포함하거나, 디스플레이장치(20)를 턴온 하라고 안내하는 내용을 포함할 수 있다.
다른 실시예에서, 전자장치(10)에서 단계 904의 안내 사운드 출력은 생략될 수 있다.
프로세서(160)는 단계 903에서 디스플레이장치(20)가 턴오프 상태로 식별된 것에 기초하여, 디스플레이장치(20)가 턴온할 것을 요청하는 신호를 디스플레이장치(20)로 전송하도록 통신부(140)를 제어할 수 있다(905).
일 실시예에서, 프로세서(160)는 예를 들어, 단계 904에서 특정 버튼을 조작할 것을 안내하는 사운드 출력에 기초하여, 사용자로부터 해당 버튼에 대한 누름 조작이 이루어지면, 디스플레이장치(20)로 턴온을 요청하는 신호를 통신부(140)를 통해 전송할 수 있다.
다른 실시예에서, 프로세서(160)는 단계 904의 안내 사운드 출력이나, 사용자의 조작 없이, 디스플레이장치(20)가 턴오프 상태인 것을 식별하면 바로 디스플레이장치(20)에 턴온을 요청하는 신호를 통신부(140)를 통해 전송할 수 있다. 디스플레이장치(20)를 턴온시킬 것을 사용자에게 안내하는 사운드를 스피커(110)를 통해 출력할 수 있다(904). 본 발명에서, 출력되는 안내 사운드는 한정되지 않으며, 예를 들면 전자장치(10)의 디스플레이장치(20)로 턴온 요청이 전송되도록 특정 버튼에 대한 누름(press)과 같은 조작을 할 것을 안내하는 내용을 포함하거나, 디스플레이장치(20)를 턴온 하라고 안내하는 내용을 포함할 수 있다.
단계 905의 턴온을 요청하는 신호는 디스플레이장치(20)에 의해 수신되고, 그 수신에 응답하여, 디스플레이장치(20)는 턴오프 상태로부터 턴온 상태로 전환될 수 있다. 디스플레이장치(20)의 프로세서(260)는 자신이 턴온 되었음을 나타내는 신호를 전자장치(10)로 전송하도록 통신부(240)를 제어할 수 있으며, 그에 따라 턴온 요청에 대한 피드백 신호가 전자장치(10)로 전송될 수 있다.
프로세서(160)는, 단계 903에서 디스플레이장치(20)가 턴온 상태로 식별된 것에 기초하여, 단계 902에서 식별된 오류에 관한 정보를 디스플레이장치(20)로 전송하도록 통신부(140)를 제어할 수 있다(906).
일 실시예에서, 프로세서(160)는 디스플레이장치(20)의 턴온에 응답하여, 자동으로 오류에 관한 정보를 통신부(140)를 통해 디스플레이장치(20)로 전송할 수 있다.
다른 실시예에서, 프로세서(160)는 단계 903에서 디스플레이장치(20)가 턴온 상태로 식별되면, 오류 복구에 대한 안내 사운드를 사운드를 스피커(110)를 통해 출력할 수 있다(904). 본 발명에서, 출력되는 안내 사운드는 한정되지 않으며, 예를 들면 오류 복구를 위해 전자장치(10)의 특정 버튼에 대한 누름(press)과 같은 조작을 할 것을 안내하는 내용을 포함할 수 있다.
안내 사운드에 응답하여 사용자가 해당 버튼을 조작하면, 프로세서(160)는 식별된 오류에 관한 정보를 통신부(140)를 통해 디스플레이장치(20)로 전송할 수 있다.
디스플레이장치(20)는 전자장치(10)로부터 오류에 관한 정보를 수신하고, 그 수신된 정보를 이용하여 전자장치(10)의 오류 복구를 위한 동작을 수행할 수 있다. 디스플레이장치(20)에서 수행되는 오류 복구를 위한 구체적인 동작들은 도 18에서 상세하게 설명하기로 한다.
프로세서(160)는 디스플레이장치(20)로부터 오류 복구 여부를 통지하는 신호를 통신부(140)를 통해 수신할 수 있다(907).
여기서, 디스플레이장치(20)는 단계 906에서 전송된 정보를 이용하여 오류 복구를 위한 동작을 수행하고, 그 결과로서 오류 복구 여부를 통지하는 신호를 전자장치(10)로 피드백할 수 있으며, 해당 신호는 통신부(140)를 통해 전자장치(10)에서 수신된다.
전자장치(10)의 프로세서(160)는, 단계 606에서 디스플레이장치(20)로부터 수신된 신호에 기초하여, 오류 복구를 나타내는 사운드를 스피커(110)를 통해 출력할 수 있다(908). 그에 따라, 오류 복구의 결과가 디스플레이장치(20)에 표시될 뿐 아니라, 처리 결과에 대응하는 오디오 피드백에 해당하는 사운드가 스피커(110)를 통해 출력될 수 있게 된다.
한편, 도 18에 도시된 바와 같이, 디스플레이장치(20)는 디스플레이장치(20)는 턴오프 상태부터 턴온 상태로 변경될 수 있다(1001).
여기서, 턴오프 상태는 디스플레이장치(20)가 대기전원을 공급받는 대기모드로 동작하는 일종의 소프트 턴오프 상태로서, 턴오프 상태인 제1프로세서(261)가 제2프로세서(262)에 의해 웨이크업 됨으로써, 디스플레이장치(20)가 턴온 상태 즉, 정상모드로 전환될 수 있다.
단계 1001에서 디스플레이장치(20)가 턴온 되는 것은, 도 17의 단계 905에서 전자장치(10)로부터 디스플레이장치(20)로 전송된 턴온 요청에 기초한 것임을 일례로 한다.
디스플레이장치(20)에는, 전자장치(10)로부터 음성 처리의 오류에 관한 정보가 통신부(240)를 통해 수신될 수 있다(1002). 단계 1002에서 수신되는 오류에 관한 정보는, 도 17의 단계 906에서 전자장치(10)로부터 디스플레이장치(20)로 전송된 정보에 대응할 수 있다.
디스플레이장치(20)의 프로세서(260)는 단계 1001에서 수신된 정보에 기초하여, 오류 복구를 위한 동작을 수행할 수 있다(1003). 여기서, 프로세서(260)는, 디스플레이장치(20)의 턴온 및 오류에 관한 정보의 수신이 식별됨에 기초하여, 자동으로 오류 복구를 위한 동작이 수행되도록 할 수 있다.
일 실시예에서, 프로세서(260)는 디스플레이장치(20)의 설정정보를 이용하여, 전자장치(10)의 오류를 복구할 수 있다. 예를 들어, 전자장치(10)에서 사용자 계정에 의한 로그인 오류가 발생된 경우, 프로세서(260)는 디스플레이장치(20)의 사용자 계정의 정보를 전자장치(10)로 전송하여, 전송된 계정 정보를 이용하여 전자장치(10)에서 사용자 로그인이 이루어지도록 할 수 있다. 이렇게 양 장치(10, 20)의 설정정보(설정값)이 동기화 됨으로써, 전자장치(10)에서 발생될 수 있는 다양한 오류에 대한 자동 복구가 보다 용이할 수 있다.
다른 실시예에서, 예를 들어, 전자장치(10)에서 사용자 계정에 의한 로그인 오류가 발생된 경우, 프로세서(260)는 사용자 계정의 설정을 위한 메뉴항목을 포함하는 화면을 디스플레이(230)에 표시할 수 있다. 사용자가 표시된 화면의 안내에 따라 사용자 계정에 대한 설정을 수행하고, 설정 결과에 따른 데이터가 전자장치(10)로 전송됨으로써, 사용자 로그인에 대한 오류는 복구될 수 있다.
또 다른 실시예에서, 프로세서(260)는 오류 발생에 관한 UI를 표시하도록 디스플레이(230)를 제어하고, 표시된 UI에 대한 사용자의 선택에 기초하여, 오류 복구를 위한 동작을 수행할 수 있다.
일례로, 도 19에 도시된 바와 같이, 프로세서(260)는 전자장치(10) 즉, AI 스피커에서 오류가 발생하였음을 알려주고, 해당 오류의 복구 여부를 선택할 수 있는 적어도 하나의 UI(1101, 1102, 1103)를 디스플레이(230)에 표시할 수 있다. 사용자가 표시된 UI들 중에서, "예" 항목(1102)를 선택하면, 프로세서(260)는 해당 오류 복구를 위한 동작을 수행하게 된다.
다른 예로서, 프로세서(260)는, 도 20에 도시된 바와 같이, 전자장치(10) 즉, AI 스피커에서 오류가 발생하였음을 통지하고, 복수를 위한 사용자조작을 안내하는 메시지를 포함하는 UI(1104)를 디스플레이(230)에 표시할 수 있다.
본 발명에서, 표시되는 오류 발생에 관한 UI는 도시된 바에 한정되지 않으며, 도 19 또는 도 20에서 표시된 UI에 응답하여, 사용자가 오류를 복구하도록 선택하면, 전술한 실시예들과 같은 방식으로 오류의 자동 복구 또는 사용자 설정에 의한 복구가 이루어질 수 있다.
단계 1003에서 오류 복구를 위한 동작이 수행되면, 프로세서(260)는 오류 복구를 통지하는 UI를 표시하도록 디스플레이(230)를 제어할 수 있다(1004).
일례로, 도 21에 도시된 바와 같이, 프로세서(260)는 전자장치(10) 즉, AI 스피커에서 발생된 오류가 복구되어, 전자장치(10)가 사용 가능함을 알려주는 UI(1105)를 디스플레이(230)에 표시할 수 있다.
프로세서(260)는, 단계 1003에서 오류 복구를 위한 동작이 수행되면, 오류 복구를 통지하기 위한 신호를 전자장치(10)로 출력하도록 통신부(240)를 제어할 수 있다(1005).
전자장치(10)의 프로세서(160)는 디스플레이장치(20)로부터 신호를 수신하고, 그에 기초한 사운드 즉, 오류 복구를 통지하는 사운드를 스피커(110)를 통해 출력할 수 있다. 그에 따라, 단계 1003의 오류 복구는 디스플레이장치(20)에 표시될 뿐 아니라, 오디오 피드백으로서 스피커(110)를 통해 출력될 수 있게 된다.
상기와 같은 본 발명 제5실시예에 따르면, 전자장치(10)에서 음성 처리에 대한 오류가 발생하는 경우, 디스플레이장치(20)에 해당 오류에 관한 정보를 전송함으로써, 디스플레이장치(20)를 이용한 오류 복구가 이루어지게 된다. 그에 따라, 디스플레이장치(20)의 스크린을 통해 오류 복구에 대한 시각적 피드백을 제공받을 수 있고, 자동 오류 복구를 통해 사용자 편의가 더욱 향상될 수 있다.
도 22는 본 발명 제6실시예에 따른 전자장치와 디스플레이장치의 동작을 개념적으로 도시한 도면이고, 도 23은 본 발명 제6실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
본 발명 제6실시예에 따른 전자장치(10)에는, 도 3에 도시된 일 실시예의 전자장치와 비교하여, 소정 주파수 대역의 적외선(Infrared Rays, IR) 신호(이하, IR 신호 라고 한다)를 출력할 수 있는 IR 발신부가 더 마련될 수 있으며, 제6실시예에 따른 디스플레이장치(20)에는, 도 4에 도시된 일 실시예의 디스플레이장치와 비교하여, IR 신호를 수신할 수 있는 IR 수신부가 더 마련될 수 있다. 다시 말해, 전자장치(10)는 IR 신호를 발신할 수 있으며, 디스플레이장치(20)는 그 IR 신호를 수신할 수 있도록 구현된다.
제6실시예에서, 전자장치(10)는, 도 22에 도시된 바와 같이, 전자장치(10)로부터 디스플레이장치(20)로 연결 요청을 위한 IR 신호가 전송되고, 전송된 IR 신호에 기초하여 양 장치(10, 20) 가 상호 연결되도록 구현된다. 여기서, 전자장치(10)와 디스플레이장치(20)는 와이파이, 블루투스 등의 무선통신에 의해 상호 연결될 수 있다.
제6실시예에서, 전자장치(10)는 최초 전원공급에 의한 턴온에 기초하여, IR 신호를 발신하는 것을 일례로 한다. 다시 말해, 전자장치(10)는 최초 설치에 따른 전원공급 시에 전자장치(10)와 디스플레이장치(20) 간 IR 신호를 이용한 상호 연결이 자동으로 이루어지도록 할 수 있다.
무선통신에 의해 연결된 전자장치(10)와 디스플레이장치(20)는 사용자 정보를 포함하는 계정 정보를 상호 교환 즉, 송수신함으로써, 도 22에 도시된 바와 같이, 양 장치(10, 20) 간의 계정 정보가 실시간으로 상호 동기화될 수 있다.
구체적으로, 도 10에 도시된 바와 같이, 전자장치(10)가 턴온 즉, 턴오프 상태로부터 턴온 상태로 변경될 수 있다(1201). 여기서, 전자장치(10)는 최초 전원공급에 의한 턴온된 것일 수 있다.
단계 1201에서 전자장치(10)가 턴온 되면, 프로세서(160)는 연결 요청을 위한 IR 신호를 출력한다(1202).
단계 1202에서 출력된 IR 신호는 디스플레이장치(20)에 의해 수신될 수 있다. 여기서, IR 신호는 지향성의 근거리 무선신호이므로, 디스플레이장치(20) 외 타 기기, 예를 들면 다른 집의 텔레비전 등에서 IR 신호를 수신할 가능성이 매우 낮다.
단계 1202에서 출력되는 IR 신호는 디스플레이장치(20)와의 연결을 위한 식별정보를 포함할 수 있다. 식별정보는, 예를 들어, 블루투스 디바이스 어드레스나, MAC(media access control address) 어드레스 등이 될 수 있으며, IR 신호에는 제1통신부(140)에 대응하는 식별정보가 포함될 수 있다.
단계 1202에서 전송된 IR 신호에 기초하여, 전자장치(10)와 디스플레이장치(20)가 연결될 수 있다(1203).
일 실시예에 따르면, IR 신호를 수신한 디스플레이장치(20)의 프로세서(260)는, 수신된 IR 신호에 포함된 식별정보에 기초하여 전자장치(10)와 연결을 시도하는 방식으로 통신 설정을 수행할 수 있다. 이러한 통신 설정이 성공적으로 이루어짐에 따라, 전자장치(10)와 디스플레이장치(20)는 서로 통신 가능하게 연결될 수 있다.
단계 1203에서 서로 연결된 전자장치(10)와 디스플레이장치(20)는 계정 정보를 상호 동기화(sync)되도록 할 수 있다(1204). 여기서, 계정 정보는, 로그인을 위한 사용자 정보, 예를 들면 ID와 패스워드 등을 포함하며, 전자장치(10)와 디스플레이장치(20)는 사용자 정보를 포함하는 계정 정보를 상호 교환 즉, 송수신함으로써, 양 장치(10, 20) 간의 계정 정보를 동기화할 수 있다.
그에 따라, 전자장치(10)와 디스플레이장치(20)는 동일한 계정을 이용하여 로그인될 수 있으며, 해당 계정으로 이용한 서비스 내역, 예를 들면, 사용자음성에 따른 검색 히스토리, 자주 재생한 음악 리스트 등이 외부의 서버(30)에 의해 통합적으로 관리될 수 있다.
또한, 전자장치(10)와 디스플레이장치(20)는 계정 정보의 변경 사항이 발생 시 이를 실시간으로 상호 동기화할 수 있다. 여기서, 변경된 계정 정보는 서버(30)로도 실시간 전송될 수 있으며, 그에 의하여 전자장치(10)와 디스플레이장치(20)뿐 아니라, 해당 계정으로 이용 가능한 타 기기, 예를 들면 스마트폰 등에도 변경 사항이 적용될 수 있게 된다.
상기와 같은 본 발명 제6실시예에 따르면, 전자장치(10)가 전원 공급 시 IR 신호를 출력하여 디스플레이장치(20)와 자동으로 연결이 이루어지도록 함으로써, 사용자에 의한 별도의 통신 설정 과정이 필요 없어, 기기 사용에 익숙하지 않은 사용자의 편의가 보다 향상된다. 또한, 연결된 전자장치(10)와 디스플레이장치(20)의 계정 정보가 상호 실시간으로 동기화되도록 함으로써, 사용자가 모든 기기에서 동일한 환경으로 최신의 업데이트된 데이터를 반영한 서비스를 제공받을 수 있게 된다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
10 : 전자장치 20 : 디스플레이장치
110 : 스피커 120 : 마이크
130 : 신호처리부 140 : 통신부
150 : 저장부 151 : 데이터베이스
160 : 프로세서 161 : 음성인식모듈
210 : 신호수신부 220 : 영상처리부
230 : 디스플레이 240 : 통신부
250 : 저장부 251 : 데이터베이스
260 : 프로세서 261 : 제1프로세서
262 : 제2프로세서 263 : 음성인식모듈
270 : 사용자입력부

Claims (20)

  1. 전자장치에 있어서,
    사운드를 출력할 수 있는 스피커와;
    사용자음성을 수신할 수 있는 마이크와;
    통신을 수행할 수 있는 통신부와;
    상기 사용자음성이 수신되는 것에 기초하여, 상기 통신부를 통해 외부장치의 상태를 식별하고,
    상기 외부장치가 턴오프 상태로 식별된 것에 기초하여, 상기 수신된 사용자음성을 처리하여, 처리 결과에 대응하는 사운드가 상기 스피커를 통해 출력되도록 하고,
    상기 외부장치가 턴온 상태로 식별된 것에 기초하여, 상기 수신된 사용자음성의 정보를 상기 외부장치로 전송하여, 상기 음성의 처리를 요청하도록 상기 통신부를 제어하는 프로세서를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 외부장치가 턴오프 상태로 식별된 것에 기초하여, 상기 외부장치를 턴온시킬 것을 사용자에게 안내하는 사운드를 상기 스피커를 통해 출력하도록 하는 전자장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 외부장치가 턴오프 상태로 식별된 것에 기초하여, 상기 외부장치가 턴온할 것을 요청하는 신호를 상기 외부장치로 전송하도록 상기 통신부를 제어하는 전자장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 음성의 처리에 대한 오류가 발생하는지 여부를 식별하고,
    상기 오류가 발생된 것으로 식별됨에 기초하여, 상기 외부장치를 턴온시킬 것을 사용자에게 안내하는 사운드를 상기 스피커를 통해 출력하도록 하는 전자장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 음성의 처리에 대한 오류가 발생하는지 여부를 식별하고,
    상기 오류가 발생된 것으로 식별됨에 기초하여, 상기 오류에 관한 정보를 상기 외부장치로 전송하도록 상기 통신부를 제어하는 전자장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자음성에 대한 서비스 타입을 식별하고,
    상기 식별된 서비스 타입에 기초하여, 상기 음성의 처리를 상기 외부장치에 요청할 것인지 여부를 식별 하는 전자장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 서비스 타입이 시각적 컨텐트와 관한 것으로 식별된 것에 기초하여, 상기 수신된 사용자음성의 정보를 상기 외부장치로 전송하여, 상기 음성의 처리를 요청하도록 상기 통신부를 제어하는 전자장치.
  8. 디스플레이장치에 있어서,
    영상을 표시할 수 있는 디스플레이와;
    통신을 수행할 수 있는 통신부와;
    턴오프 상태에서 턴온 상태로 변경된 것으로 식별됨에 기초하여, 상기 통신부를 통하여 외부장치가 연결되는지 여부를 식별하고,
    상기 외부장치가 연결된 것으로 식별됨에 기초하여, 상기 통신부를 통해 상기 외부장치로부터 사용자음성의 정보를 수신하고,
    상기 사용자음성을 처리하여, 처리 결과에 대응하는 영상이 표시되도록 상기 디스플레이를 제어하는 프로세서를 포함하는 디스플레이장치.
  9. 제8항에 있어서,
    사용자입력을 수신할 수 있는 사용자입력부를 더 포함하고,
    상기 프로세서는,
    상기 수신되는 사용자입력에 기초하여 상기 턴오프 상태에서 상기 턴온 상태로 변경된 것으로 식별하는 디스플레이장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    상기 통신부를 통해 상기 외부장치로부터 상기 디스플레이장치가 턴 온할 것을 요청하는 신호가 수신된 것으로 식별됨에 기초하여, 상기 턴오프 상태에서 상기 턴온 상태로 변경된 것으로 식별하는 디스플레이장치.
  11. 제8항에 있어서,
    상기 통신부를 통해 상기 외부장치로부터 상기 음성 처리의 오류에 관한 정보가 수신된 것으로 식별됨에 기초하여, 상기 오류에 관한 UI를 표시하도록 상기 디스플레이부를 제어하는 디스플레이장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 턴오프 상태에서 상기 턴온 상태로 변경된 것으로 식별됨에 기초하여, 상기 오류에 관한 정보가 수신되는지 여부를 식별하는 디스플레이장치.
  13. 전자장치의 제어방법에 있어서,
    마이크를 통해 사용자음성이 수신되는 것에 기초하여, 외부장치의 상태를 식별하는 단계;
    상기 외부장치가 턴오프 상태로 식별된 것에 기초하여, 상기 수신된 사용자음성을 처리하여, 처리 결과에 대응하는 사운드가 스피커를 통해 출력되도록 하는 단계; 및
    상기 외부장치가 턴온 상태로 식별된 것에 기초하여, 상기 수신된 사용자음성의 정보를 상기 외부장치로 전송하여, 상기 음성의 처리를 요청하도록 하는 단계를 포함하는 전자장치의 제어방법.
  14. 제13항에 있어서,
    상기 외부장치가 턴오프 상태로 식별된 것에 기초하여, 상기 외부장치를 턴온시킬 것을 사용자에게 안내하는 사운드를 상기 스피커를 통해 출력하는 단계를 더 포함하는 전자장치의 제어방법.
  15. 제13항에 있어서,
    상기 외부장치가 턴오프 상태로 식별된 것에 기초하여, 상기 외부장치가 턴온할 것을 요청하는 신호를 상기 외부장치로 전송하는 단계를 더 포함하는 전자장치의 제어방법.
  16. 제13항에 있어서,
    상기 음성의 처리에 대한 오류가 발생하는지 여부를 식별하는 단계; 및
    상기 오류가 발생된 것으로 식별됨에 기초하여, 상기 외부장치를 턴온시킬 것을 사용자에게 안내하는 사운드를 상기 스피커를 통해 출력하는 단계를 더 포함하는 전자장치의 제어방법.
  17. 제13항에 있어서,
    상기 음성의 처리에 대한 오류가 발생하는지 여부를 식별하는 단계; 및
    상기 오류가 발생된 것으로 식별됨에 기초하여, 상기 오류에 관한 정보를 상기 외부장치로 전송하는 단계를 더 포함하는 전자장치의 제어방법.
  18. 제13항에 있어서,
    상기 사용자음성에 대한 서비스 타입을 식별하는 단계; 및
    상기 식별된 서비스 타입에 기초하여, 상기 음성의 처리를 상기 외부장치에 요청할 것인지 여부를 식별하는 단계를 더 포함하는 전자장치의 제어방법.
  19. 디스플레이장치의 제어방법에 있어서,
    턴오프 상태에서 턴온 상태로 변경된 것으로 식별됨에 기초하여, 외부장치가 통신 가능하게 연결되는지 여부를 식별하는 단계;
    상기 외부장치가 연결된 것으로 식별됨에 기초하여, 상기 외부장치로부터 사용자음성의 정보를 수신하는 단계; 및
    상기 사용자음성을 처리하여, 처리 결과에 대응하는 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  20. 제19항에 있어서,
    상기 외부장치로부터 상기 음성 처리의 오류에 관한 정보가 수신된 것으로 식별됨에 기초하여, 상기 오류에 관한 UI를 표시하는 단계를 더 포함하는 디스플레이장치의 제어방법.
KR1020190105614A 2019-08-28 2019-08-28 전자장치, 디스플레이장치 및 그 제어방법 KR20210025812A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190105614A KR20210025812A (ko) 2019-08-28 2019-08-28 전자장치, 디스플레이장치 및 그 제어방법
US16/997,443 US11354090B2 (en) 2019-08-28 2020-08-19 Artificial intelligence electronic apparatus, display apparatus and method of controlling the same
PCT/KR2020/011298 WO2021040369A1 (en) 2019-08-28 2020-08-25 Electronic apparatus, display apparatus and method of controlling the same
US17/733,180 US11907616B2 (en) 2019-08-28 2022-04-29 Electronic apparatus, display apparatus and method of controlling the same
US18/406,395 US20240201945A1 (en) 2019-08-28 2024-01-08 Electronic apparatus, display apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190105614A KR20210025812A (ko) 2019-08-28 2019-08-28 전자장치, 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20210025812A true KR20210025812A (ko) 2021-03-10

Family

ID=74681538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190105614A KR20210025812A (ko) 2019-08-28 2019-08-28 전자장치, 디스플레이장치 및 그 제어방법

Country Status (3)

Country Link
US (3) US11354090B2 (ko)
KR (1) KR20210025812A (ko)
WO (1) WO2021040369A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102276883B1 (ko) * 2020-01-02 2021-07-13 박성진 Ａｉ 기반 음성 주문 시스템 및 그 방법
US11688330B2 (en) 2021-11-29 2023-06-27 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
KR20230079993A (ko) * 2021-11-29 2023-06-07 삼성전자주식회사 디스플레이 장치 및 제어 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02184281A (ja) * 1989-01-10 1990-07-18 Fanuc Ltd 誤差過大アラーム発生方法
KR0174889B1 (ko) 1995-12-19 1999-03-20 배순훈 전원오프시 방송 프로그램 안내기능을 가진 텔레비젼 수신장치 및 전원오프시 방송 프로그램 안내방법
KR101598336B1 (ko) 2009-05-29 2016-02-29 엘지전자 주식회사 공간리모콘의 페어링방법 및 동작방법
EP2860726B1 (en) 2011-12-30 2017-12-06 Samsung Electronics Co., Ltd Electronic apparatus and method of controlling electronic apparatus
US9060224B1 (en) 2012-06-01 2015-06-16 Rawles Llc Voice controlled assistant with coaxial speaker and microphone arrangement
US8983383B1 (en) 2012-09-25 2015-03-17 Rawles Llc Providing hands-free service to multiple devices
KR20140049365A (ko) 2012-10-17 2014-04-25 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20150012464A (ko) * 2013-07-25 2015-02-04 삼성전자주식회사 디스플레이 장치 및 개인화 서비스 제공 방법
US10462545B2 (en) 2016-07-27 2019-10-29 Amazon Technologies, Inc. Voice activated electronic device
KR101889279B1 (ko) 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 시스템 및 방법
US10074371B1 (en) 2017-03-14 2018-09-11 Amazon Technologies, Inc. Voice control of remote device by disabling wakeword detection
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
KR102366617B1 (ko) 2017-03-28 2022-02-23 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR101912083B1 (ko) 2017-08-16 2018-10-25 주식회사 에프티에치코리아 음성인식 인공지능 스마트 미러 ｔｖ 시스템
KR20190033138A (ko) 2017-09-21 2019-03-29 케이티하이텔 주식회사 인공지능 기반 화상 고객센터 서비스 방법
US10560737B2 (en) * 2018-03-12 2020-02-11 Amazon Technologies, Inc. Voice-controlled multimedia device

Also Published As

Publication number Publication date
US20220261219A1 (en) 2022-08-18
US11907616B2 (en) 2024-02-20
US20240201945A1 (en) 2024-06-20
US11354090B2 (en) 2022-06-07
US20210064335A1 (en) 2021-03-04
WO2021040369A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US11727951B2 (en) Display apparatus, voice acquiring apparatus and voice recognition method thereof
WO2021109487A1 (zh) 音频数据流输出的控制方法及显示设备
US20170223301A1 (en) Image processing apparatus, voice acquiring apparatus, voice recognition method thereof and voice recognition system
JP7293365B2 (ja) 映像表示装置及びその動作方法
US11907616B2 (en) Electronic apparatus, display apparatus and method of controlling the same
CN107046653B (zh) 音频处理设备和音频处理方法
JP7210745B2 (ja) ディスプレイ装置の制御方法、及びそれによるディスプレイ装置
JP2015056894A (ja) オーディオ処理装置、オーディオ処理方法、初期化モード設定方法及びコンピュータ読み取り可能な記録媒体
RU2582070C1 (ru) Способ управления внешним вводом и устройство приема вещания
EP2688291B1 (en) Method of controlling external input of broadcast receiving apparatus by voice
US20190199546A1 (en) Electronic apparatus and method thereof
KR20210097545A (ko) 전자장치 및 그 제어방법
US11688397B2 (en) Electronic apparatus and method of controlling the same
KR102701491B1 (ko) 전자장치 및 그 제어방법
CN114615529A (zh) 显示设备、外接设备及音频播放方法
CN111914565A (zh) 电子设备及用户语句的处理方法
US20220182703A1 (en) Control apparatus and operating method thereof
US20220053228A1 (en) Information Processing Apparatus, Control Method, Information Processing Terminal, And Information Processing Method
KR20220079193A (ko) 제어 장치 및 그 동작 방법
CN115361572A (zh) 显示设备、按键控制方法及存储介质
CN115665457A (zh) 显示设备、外接功放及音频输出方法
CN113115105A (zh) 一种显示设备及配置wisa扬声器的提示方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right