Nothing Special   »   [go: up one dir, main page]

KR20200071841A - 차량용 음성명령어 처리 장치 및 그 방법 - Google Patents

차량용 음성명령어 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20200071841A
KR20200071841A KR1020180153949A KR20180153949A KR20200071841A KR 20200071841 A KR20200071841 A KR 20200071841A KR 1020180153949 A KR1020180153949 A KR 1020180153949A KR 20180153949 A KR20180153949 A KR 20180153949A KR 20200071841 A KR20200071841 A KR 20200071841A
Authority
KR
South Korea
Prior art keywords
command
voice
touch
vehicle
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180153949A
Other languages
English (en)
Other versions
KR102764258B1 (ko
Inventor
이승신
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180153949A priority Critical patent/KR102764258B1/ko
Priority to US16/425,142 priority patent/US11094325B2/en
Priority to CN201910541931.5A priority patent/CN111261153B/zh
Publication of KR20200071841A publication Critical patent/KR20200071841A/ko
Application granted granted Critical
Publication of KR102764258B1 publication Critical patent/KR102764258B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • B60K2370/143—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 차량용 음성명령어 처리 장치 및 그 방법에 관한 것으로, 사용자로부터 입력받은 음성명령어를 제어명령어와 터치명령어로 구분하여 각각 처리함으로써, 제어명령어에 따른 기기의 조작은 물론 터치명령어에 상응하는 객체를 디스플레이 상에서 선택할 수 있는 차량용 음성명령어 처리 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 차량용 음성명령어 처리 장치에 있어서, 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 통신부; 터치 디스플레이상의 화면에서 각 객체를 식별하며, 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 제어부; 상기 제어명령어에 상응하는 제어를 수행하는 제어명령어 처리부; 및 상기 터치명령어에 상응하는 객체를 상기 화면에서 선택하는 터치명령어 처리부를 포함한다.

Description

차량용 음성명령어 처리 장치 및 그 방법{APPARATUS FOR PROCESSING VOICE COMMAND IN VEHICLE AND METHOD THEREOF}
본 발명은 차량용 음성명령어 처리 장치 및 그 방법에 관한 것이다.
일반적으로, 전자 기술의 발전과 소비자의 편의성 요구에 따라 차량에는 각종 전자 제어장치 및 편의장치들이 장착되고 있으며, 이들 전자 제어장치 및 편의장치들에 대한 동작이 운전자의 음성 명령에 의해 수행되도록 하고 있다.
따라서, 차량에 장착되는 각종 전자 제어장치 및 편의장치에 대한 다양한 동작이 음성명령어의 입력으로 수행되도록 하기 위해서는 각 장치별로 제작자에 의해 미리 입력된 각 애플리케이션(Application)에 적합한 음성 인식용 명령어 목록이 테이블로 설정되며, 이로부터 입력된 음성명령어를 인식한 다음 그에 해당하는 동작이 수행되도록 하고 있다.
상기 각 장치에 대한 각 애플리케이션을 위한 음성 인식용 명령어 목록을 설정함에 있어 수많은 사용자에 대한 모든 경우의 수를 고려하기는 현실적으로 불가능하므로, 제작자의 주관 혹은 표본 조사 자료를 근간으로 하여 설정하는 방식을 적용하고 있다.
따라서, 음성명령어의 인식에 있어 제한적인 특성을 갖게 되므로, 음성명령어의 인식률이 저하되어 원하는 편의장치 및 제어장치에 대한 동작 수행이 이루어지지 못하는 단점이 발생하게 된다.
특히, 종래의 차량용 음성명령어 처리 장치는 사용자로부터 입력되는 음성명령어에 기초하여 차량 내 각종 기기의 동작을 제어할 뿐, 음성명령어에서 제어명령어와 터치명령어를 구분하지 못해 차량에 구비된 터치 디스플레이에 표시된 객체를 선택(터치)하는 기능을 수행하지 못하는 문제점이 있다.
일본공개특허번호 제2006-189394호
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 사용자로부터 입력받은 음성명령어를 제어명령어와 터치명령어로 구분하여 각각 처리함으로써, 제어명령어에 따른 기기의 조작은 물론 터치명령어에 상응하는 객체를 디스플레이 상에서 선택할 수 있는 차량용 음성명령어 처리 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 차량용 음성명령어 처리 장치에 있어서, 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 통신부; 터치 디스플레이에 표시된 객체를 식별하며, 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 제어부; 상기 제어명령어에 상응하는 제어를 수행하는 제어명령어 처리부; 및 상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이에서 선택하는 터치명령어 처리부를 포함한다.
여기서, 상기 제어부는 상기 음성명령어에 서술어가 있으면 제어명령어로 구분할 수 있다.
또한, 상기 터치명령어 처리부는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어를 포함하는 객체를 선택할 수 있다.
또한, 상기 터치명령어 처리부는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 없으면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달할 수 있다.
또한, 상기 터치명령어 처리부는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 화면상에서 선택할 수 없는 단순 표시 객체이면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달할 수 있다.
이러한 본 발명의 장치는 사용자의 시선을 추적하는 시선 추적기를 더 포함할 수도 있다.
여기서, 상기 제어부는 상기 터치 디스플레이가 복수 개인 경우, 상기 시선 추적기를 이용하여 하나의 터치 디스플레이를 특정할 수 있다. 즉, 상기 제어부는 사용자로부터 음성명령어가 입력되는 시점에 사용자의 시선이 가리키는 터치 디스플레이를 선택할 수 있다.
또한, 상기 입력부는 상기 음성명령어의 입력을 알리는 입력버튼을 구비할 수도 있다. 이때, 상기 제어부는 상기 입력버튼이 눌린 시점에 터치 디스플레이상의 화면에서 각 객체를 식별할 수도 있다.
상기 목적을 달성하기 위한 본 발명의 방법은, 차량용 음성명령어 처리 방법에 있어서, 제어부가 터치 디스플레이상에 표시된 객체를 식별하는 단계; 통신부가 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 단계; 상기 제어부가 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 단계; 제어명령 처리부가 상기 제어명령어에 상응하는 제어를 수행하는 단계; 및 터치명령어 처리부가 상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이에서 선택하는 단계를 포함한다.
여기서, 상기 구분하는 단계는 상기 음성명령어에 서술어가 있으면 제어명령어로 구분할 수 있다.
또한, 상기 선택하는 단계는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어를 포함하는 객체를 선택할 수 있다.
또한, 상기 선택하는 단계는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 없으면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 단계를 포함할 수 있다.
또한, 상기 선택하는 단계는 상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 화면상에서 선택할 수 없는 단순 표시 객체이면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 단계를 포함할 수 있다.
이러한 본 발명의 방법은 상기 터치 디스플레이가 복수 개인 경우, 제어부가 시선 추적기를 이용하여 하나의 터치 디스플레이를 특정하는 단계를 더 포함할 수 있다. 이때, 상기 특정하는 단계는 사용자로부터 음성명령어가 입력되는 시점에 사용자의 시선이 가리키는 터치 디스플레이를 선택할 수 있다.
또한, 상기 식별하는 단계는 사용자의 음성명령어 입력을 위한 입력버튼이 눌린 시점에 터치 디스플레이상의 화면에서 각 객체를 식별할 수 있다.
본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치 및 그 방법은, 사용자로부터 입력받은 음성명령어를 제어명령어와 터치명령어로 구분하여 각각 처리함으로써, 제어명령어에 따른 기기의 조작은 물론 터치명령어에 상응하는 객체를 디스플레이 상에서 선택할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치의 구성도,
도 2 는 본 발명의 일 실시예에 따른 입력버튼을 나타내는 도면,
도 3 은 본 발명의 일 실시예에 따른 터치 디스플레이의 화면 내 각 객체를 나타내는 도면,
도 4 는 본 발명에 이용되는 시선 추적기의 구성을 나타내는 일예시도,
도 5 는 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법에 대한 흐름도,
도 6 은 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치(100)는, 입력부(10), 통신부(20), 제어부(Controller, 30), 저장부(Storage, 40), 제어명령어 처리부(50), 터치명령어 처리부(60), 및 터치 디스플레이(70)를 포함할 수 있다. 한편, 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 장치를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구비될 수 있으며, 아울러 발명을 실시하는 방식에 따라 일부의 구성요소가 생략될 수도 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 입력부(10)는 차량에 탑재된 마이크로폰으로 구현될 수 있으며, 사용자로부터 음성명령어를 입력받는다.
또한, 입력부(10)는 도 2에 도시된 바와 같이 입력버튼(210)을 더 구비할 수도 있다. 따라서 사용자는 입력버튼(210)을 누른 후 음성명령어를 입력할 수 있고, 제어부(30)는 입력버튼(210)의 눌림을 통해 음성명령어의 입력을 예상할 수 있다.
다음으로, 통신부(20)는 음성인식서버(200)와의 통신 인터페이스를 제공하는 모듈로서, 음성인식서버(200)로 음성명령어를 전송하고, 음성인식서버(200)로부터 음성인식된 명령어를 수신할 수 있다. 이러한 통신부(20)는 하기의 3가지 방식으로 음성인식된 명령어를 수신할 수 있다.
1) V2X(Vehicle to Everthing) 통신을 이용하여 음성인식서버(200)와 통신하여 음성인식결과를 수신할 수 있다. 여기서, V2X는 차량과 차량 사이의 무선통신(V2V: Vehicle to Vehicle), 차량과 인프라 간 무선통신(V2I: Vehicle to Infrastructure), 차량 내 유무선 네트워킹(IVN: In-Vehicle Networking), 차량과 이동단말 간 통신(V2P: Vehicle to Pedestrian) 등을 총칭한다.
2) 근거리 무선통신을 이용하여 음성인식서버(200)와 통신하여 음성인식결과를 수신할 수 있다. 여기서, 근거리 무선통신은 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wireless USB(Wireless Universal Serial Bus) 등을 포함할 수 있다.
3) 이동통신 또는 무선인터넷을 이용하여 음성인식서버(200)와 통신하여 음성인식결과를 수신할 수 있다.
여기서, 이동통신은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 등을 포함할 수 있다.
또한, 무선인터넷은 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등을 포함할 수 있다.
다음으로, 제어부(30)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(30)는 하드웨어 또는 소프트웨어의 형태로 구현될 수 있으며, 하드웨어 및 소프트웨어가 결합된 형태로도 존재할 수 있다. 바람직하게는, 제어부(30)는 마이크로프로세서로 구현될 수 있으나 이에 한정되지 않는다.
또한, 제어부(30)는 사용자로부터 음성명령어를 입력받을 수 있도록 입력부(10)를 제어할 수 있다.
또한, 제어부(30)는 음성인식서버(200)로 음성명령어를 전송하고, 음성인식서버(200)로부터 음성인식된 명령어를 수신하도록 통신부(20)를 제어할 수 있다.
또한, 제어부(30)는 입력버튼(210)이 눌린 시점에 터치 디스플레이(70) 상의 화면에서 각 개체(문자, 숫자, 기호, 아이콘)를 인식할 수 있다. 일례로, 도 3에 도시된 바와 같은 화면이 디스플레이 되고 있다면 제어부(30)는 아이콘 형태의 홈키(310)와, 이전화면, 종료, 다음 페이지, 도움말, 1번(킨텍스수변공원), 2번(대화레포츠공원), 3번(킨텐스온누리공원), 4번(원마운트 이벤트광장) 등을 인식할 수 있다. 이렇게 영상에서 문자, 숫자 기호, 아이콘을 인식하는 기술은 주지관용의 기술이므로 상세 설명은 생략한다.
또한, 제어부(30)는 인식한 결과를 저장부(40)에 저장할 수 있다. 이때, 저장부(40)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
한편, 제어부(30)는 통신부(20)를 통해 음성인식서버(200)로부터 수신한 음성인식된 명령어를 제어명령어와 터치명령어로 구분할 수 있다. 이때, 제어부(30)는 음성명령어에 서술어가 있으면 제어명령어로 구분하고 서술어가 없으면 터치명령어로 구분할 수 있다. 예를 들어, 제니한테 전화를 걸어줘, 에어컨을 틀어줘, 히터를 틀어줘 등과 같이 서술어를 포함하는 음성명령어는 제어명령어로 인식할 수 있다. 또한, 제어부(30)는 차량 제어를 위한 음성명령어, 차량 메뉴얼과 관련된 음성명령어, 웹을 통해 수집할 수 있는 정보의 요청을 위한 음성명령어 등은 제어명령어로 인식할 수 있다. 여기서, 웹을 통해 수집할 수 있는 정보는 날씨정보, 맛집정보, 스포츠정보 등을 포함할 수 있다.
또한, 제어부(30)는 제어명령어를 제어명령어 처리부(50)로 전달하고, 터치명령어를 터치명령어 처리부(60)로 전달할 수 있다.
다음으로, 제어명령어 처리부(50)는 제어부(30)로부터 전달받은 제어명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 제어를 수행할 수 있다. 이때, 제어명령어 처리부(50)는 에어컨을 틀수도 있고, 히터를 틀수도 있으며, 제니한테 전화를 걸 수도 있다.
다음으로, 터치명령어 처리부(60)는 터치 디스플레이(70) 상에서 제어부(30)로부터 전달받은 터치명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 객체를 선택할 수 있다. 도 3을 참조하여 예를 들면, 터치명령어가 1번 객체이면 1번 객체를 선택하고, 터치명령어가 종료이면 '종료'를 선택한다. 여기서, 터치명령어 처리부(60)의 선택은 사용자의 터치와 동일한 결과를 얻을 수 있다.
또한, 터치명령어 처리부(60)는 터치 디스플레이(70) 상에서 제어부(30)로부터 전달받은 터치명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 객체를 선택하는 과정에서, 음성인식된 터치명령어와 화면 내 식별된 객체가 동일하지 않더라도 음성인식된 터치명령어가 포함된 객체를 선택할 수도 있다. 도 3을 예로 들면, 음성인식된 터치명령어가 '수변공원'이면 '수변공원'을 포함하는 '킨텍스수변공원을' 선택할 수 있다.
또한, 터치명령어 처리부(60)는 터치 디스플레이(70) 상에서 제어부(30)로부터 전달받은 터치명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 객체가 없으면, 상기 터치명령어를 제어명령어로 판단하여 제어명령어 처리부(50)로 전달할 수도 있다.
또한, 터치명령어 처리부(60)는 터치 디스플레이(70) 상에서 제어부(30)로부터 전달받은 터치명령어(음성인식서버(200)로부터 제공받은 음성인식결과)에 상응하는 객체를 선택할 수 없는 객체(단순 표시 문자)라면 상기 터치명령어를 제어명령어로 판단하여 제어명령어 처리부(50)로 전달할 수도 있다.
다음으로, 터치 디스플레이(70)는 차량에 탑재된 디스플레이로서, 클러스터, AVN(Audio Video Navigation) 시스템의 디스플레이, 보조 디스플레이 등을 포함할 수 있다. 이러한 터치 디스플레이(70)는 UI(User Interface), GUI(Graphic User Interface)를 포함하는 각종 화면을 디스플레이할 수 있으며, 본 발명은 터치를 통해 선택받을 수 있는 화면이라면 어떤 화면이라도 상관없이 적용될 수 있다.
한편, 차량에 탑재된 디스플레이가 복수 개라면 차량에 탑재된 시선 추적기(300)와 연동하여 사용자의 선정없이도 사용자가 원하는 디스플레이를 선정할 수 있다. 즉, 사용자가 디스플레이 화면을 보고 터치명령어를 말하기 때문에 시선 추적기(300)를 통해 운전자의 시선이 머무는 디스플레이를 대상 디스플레이로 선정할 수 있다.
즉, 제어부(30)는 차량에 탑재된 디스플레이가 복수 개인 경우, 디스플레이별로 화면상의 텍스트와 아이콘을 인식하고, 사용자의 음성명령어가 입력되는 시점에 시선 추적기(300)에 의해 추적된 사용자의 시선이 머무는 디스플레이를 대상 디스플레이로 선정할 수 있다.
이후, 터치명령어 처리부(30)는 제어부(30)에 의해 선정된 디스플레이의 화면에서 터치명령어에 상응하는 객체를 선택할 수 있다.
아울러, 제어부(30)는 음성인식을 통해 터치 디스프레이 상에서 동일한 화면 조작이 반복 수행되면 이를 매크로로 생성할 수도 있다. 예를 들어, 상위 레이어(Layer)에서의 선택과 하위 레이어에서의 선택 과정이 반복 수행되면, 이를 특정 터치명령어로 매크로를 생성할 수 있다. 따라서 사용자는 특정 터치명령어를 통해 상위 레이어에서의 선택 과정과 하위 레이어에서의 선택 과정을 한번에 수행할 수 있다.
도 4 는 본 발명에 이용되는 시선 추적기의 일예시도이다.
도 4에 도시된 바와 같이, 본 발명에 이용되는 시선 추적기(300)는 제어부(310), 카메라(320), 출력부(330), 저장부(340), 특징점 검출부(350), 위치 결정부(360), 벡터 계산부(370) 및 시선 추적부(380)를 포함할 수 있다. 여기서, 제어부(310)는 시선 추적기(300)의 각 부의 동작을 제어한다.
카메라(320)는 사용자의 영상, 특히 얼굴 영상을 촬영하는 장치이다. 일 예로서, 카메라(320)는 차량에 탑승한 운전자의 얼굴 영상을 촬영할 수 있다. 여기서, 카메라(320)는 적어도 두 개 이상 구비될 수 있다. 한편, 카메라(320)는 촬상 렌즈를 적어도 두 개 이상 구비한 스테레오 카메라(stereo camera)일 수도 있다. 이때, 카메라(220)는 CCD(charge coupled device) 카메라, CMOS(complementary metal oxi semiconductor) 카메라 등을 포함할 수 있으나 이에 한정되는 것은 아니다.
출력부(330)는 시선 추적기(300)에 의해 도출된 시선 추적 결과를 출력할 수 있다. 이때, 출력부(330)는 무선통신으로 연결된 외부장치 혹은 케이블을 통해 유선을 연결된 외부장치로 시선 추적 결과를 제공할 수 있다.
일 예로서, 출력부(330)는 시선 추적기(300)의 시선 추적 결과를 차내 모니터로 제공할 수 있으며, 또한 운전자의 상태에 따라 차량 구동을 제어하는 차량 제어 시스템으로 시선 추적 결과를 제공할 수도 있다.
저장부(340)는 시선 추적기(300)의 동작을 위한 설정값이 저장될 수 있으며, 시선 추적기(300)의 각 부에 의한 결과값이 저장될 수 있다. 또한, 저장부(340)는 시선 추적기(300)의 각 부의 동작을 구현하기 위한 프로그램 또는 알고리즘 등이 저장될 수 있다. 일 예로서, 저장부(340)는 특징점 검출 알고리즘, 위치 추정 알고리즘, 벡터 계산 알고리즘, 및 시선 추적 알고리즘 등이 저장될 수 있다.
특징점 검출부(350)는 사용자의 얼굴 영상으로부터 특징점들을 검출한다. 특징점 검출부(350)는 사용자의 얼굴 영상의 안구 영역으로부터 카메라(320)의 조명에 의해 발생하는 조명 반사점을 검출할 수 있다.
또한, 특징점 검출부(350)는 사용자의 얼굴 영상으로부터 적어도 두 개의 조명에 의해 발생하는 적어도 두 개의 조명 반사점을 검출할 수 있다.
또한, 특징점 검출부(350)는 사용자의 얼굴 영상의 안구 영역으로부터 동공 중심점을 검출할 수 있다.
또한, 특징점 검출부(350)는 사용자의 얼굴 영상 내에서 위치가 고정된 적어도 두 개의 특징점을 검출할 수 있다. 일 예로서, 특징점 검출부(350)는 사용자의 얼굴 영상의 안구 영역으로부터 사용자 눈의 좌측 끝점 및 우측 끝점을 검출할 수 있다.
또한, 특징점 검출부(350)는 사용자의 얼굴 영상 내에서 사용자의 얼굴 특징점, 예를 들어, 점, 흉터, 눈썹의 특정 위치 등을 검출할 수 있으며, 사용자가 착용한 액세서리, 예를 들어, 안경의 특정위치 등을 검출할 수 있다.
여기서, 특징점 검출부(350)는 사용자의 얼굴 영상으로부터 시선 추적에 적용되는 특징점을 검출하면, 기 검출된 특징점을 기준으로 하여 이후 사용자의 다른 얼굴 영상으로부터 동일한 특징점을 검출할 수 있다. 물론, 사용자의 얼굴 영상으로부터 동일한 특징점이 검출되지 않은 경우에는 다시 새로운 특징점을 검출할 수도 있다.
위치 결정부(360)는 사용자의 얼굴 영상의 안구 영역에 대해 특징점 검출부(350)로부터 검출된 적어도 두 개의 조명 반사점을 이용하여 각막 중심점 위치를 결정하도록 한다. 이하에서, 특징점 검출부(350)에 의해 적어도 두 개의 조명 반사점이 검출된 얼굴 영상을 제1 얼굴 영상이라 칭하도록 한다.
일 예로서, 위치 결정부(360)는 사용자의 각막 위치를 기준으로 서로 다른 방향에서 빛을 발광하는 적어도 두 개의 조명과, 적어도 두 개의 조명에 의해 제1 얼굴 영상의 안구 영역에 발생하는 적어도 두 개의 조명 반사점을 각각 연결하는 연장선이 서로 교차하는 지점을 각막 중심점으로 결정할 수 있다.
한편, 위치 결정부(360)는 사용자의 얼굴 영상의 안구 영역에 대해 특징점 검출부(350)로부터 적어도 두 개의 조명 반사점이 검출되지 않으면, 특징점 검출부(350)를 통해 해당 얼굴 영상 내의 특징점 위치를 요청할 수 있다. 이하에서, 특징점 검출부(350)에 의해 적어도 두 개의 조명 반사점이 검출되지 않을 얼굴 영상을 제2 얼굴 영상이라 칭하도록 한다. 이때, 위치 결정부(360)는 특징점 검출부(350)로부터 제2 얼굴 영상 내에서 검출된 특징점과, 사전에 제1 얼굴 영상으로부터 검출된 각막 중심점 위치를 기준으로 산출된 제1 벡터를 이용하여 제2 얼굴 영상에 대한 각막 중심점 위치를 결정할 수 있다.
벡터 계산부(370)는 제1 얼굴 영상으로부터 검출된 적어도 두 개의 특징점으로부터 제1 영상에 대해 위치 결정부(360)에 의해 결정된 각막 중심점까지의 벡터를 계산할 수 있다. 일 예로서, 벡터 계산부(370)는 제1 얼굴 영상으로부터 검출된 사용자 눈의 좌측 끝점으로부터 각막 중심점까지의 벡터를 계산하고, 사용자 눈의 우측 끝점으로부터 각막 중심점까지의 벡터를 계산할 수 있다. 이때 계산된 벡터는 제1 벡터라 칭하며, 제1 벡터는 앞서 위치 결정부(360)에서 제2 얼굴 영상으로부터 각막 중심점 위치를 결정하는데 이용될 수 있다.
한편, 벡터 계산부(370)는 제2 얼굴 영상에 대해 위치 결정부(360)에 의해 결정된 각막 중심점으로부터 제2 얼굴 영상의 안구 영역에서 검출된 동공 중심점을 연결하는 벡터를 계산할 수 있다. 이때 계산된 벡터는 제2 벡터라 칭하며, 제2 벡터는 시선 추적부(380)로 전달되어 제2 얼굴 영상에 대한 사용자의 시선을 추적하는데 이용될 수 있다.
시선 추적부(380)는 벡터 계산부(370)에 의해 계산된 제2 벡터를 이용하여 제2 얼굴 영상에 대한 사용자의 시선 방향을 추적할 수 있다. 이때, 시선 추적부(380)는 제2 벡터를 연장한 연장선이 도달하는 위치를 기준으로 사용자의 시선을 추적할 수 있다. 시선 추적부(380)에 의해 추적된 사용자의 시선 정보는 저장부(340)에 저장될 수 있으며, 출력부(330)를 통해 차량용 음성명령어 처리 장치(100)의 제어부(30)로 제공될 수 있다.
도 5 는 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법에 대한 흐름도이다.
먼저, 입력부(10)가 사용자로부터 음성명령어를 입력받는다(501).
그리고 제어부(30)가 터치 디스플레이(70) 상의 화면에서 각 객체를 식별한다(502). 즉, 터치 디스플레이(70)에 표시된 각 객체를 식별한다.
이후, 통신부(20)가 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신한다(503).
이후, 제어부(30)가 상기 음성인식된 명령어를 제어명령어인지 터치명령어인지 판단한다(504).
상기 판단결과(504), 제어명령어이면 제어명령 처리부(50)가 상기 제어명령어에 상응하는 제어를 수행한다(505).
상기 판단결과(504), 터치명령어이면 터치명령어 처리부(70)가 상기 터치명령어에 상응하는 객체를 상기 화면에서 선택한다(506). 즉, 상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이(70)에서 선택한다.
도 6 은 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 6을 참조하면, 상술한 본 발명의 일 실시예에 따른 차량용 음성명령어 처리 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량용 음성명령어 처리 장치
10: 입력부
20: 통신부
30: 제어부
40: 저장부
50: 제어명령어 처리부
60: 터치명령어 처리부
70: 터치 디스플레이
200: 음성인식서버
300: 시선 추적기

Claims (20)

  1. 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 통신부;
    터치 디스플레이에 표시된 객체를 식별하며, 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 제어부;
    상기 제어명령어에 상응하는 제어를 수행하는 제어명령어 처리부; 및
    상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이에서 선택하는 터치명령어 처리부
    를 포함하는 차량용 음성명령어 처리 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 음성명령어에 서술어가 있으면 제어명령어로 구분하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  3. 제 1 항에 있어서,
    상기 식별한 각 객체를 저장하는 저장부
    를 더 포함하는 차량용 음성명령어 처리 장치.
  4. 제 1 항에 있어서,
    상기 터치명령어 처리부는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어를 포함하는 객체를 선택하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  5. 제 1 항에 있어서,
    상기 터치명령어 처리부는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 없으면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  6. 제 1 항에 있어서,
    상기 터치명령어 처리부는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 화면상에서 선택할 수 없는 단순 표시 객체이면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  7. 제 1 항에 있어서,
    사용자의 시선을 추적하는 시선 추적기
    를 더 포함하는 차량용 음성명령어 처리 장치.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 터치 디스플레이가 복수 개인 경우, 상기 시선 추적기를 이용하여 하나의 터치 디스플레이를 특정하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  9. 제 8 항에 있어서,
    상기 제어부는,
    사용자로부터 음성명령어가 입력되는 시점에 사용자의 시선이 가리키는 터치 디스플레이를 선택하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  10. 제 1 항에 있어서,
    상기 입력부는,
    상기 음성명령어의 입력을 알리는 입력버튼을 구비하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 입력버튼이 눌린 시점에 터치 디스플레이상의 화면에서 각 객체를 식별하는 것을 특징으로 하는 차량용 음성명령어 처리 장치.
  12. 제어부가 터치 디스플레이상에 표시된 객체를 식별하는 단계;
    통신부가 사용자로부터 입력받은 음성명령어를 음성인식서버로 전송하고, 상기 음성인식서버로부터 음성인식된 명령어를 수신하는 단계;
    상기 제어부가 상기 음성인식된 명령어를 제어명령어와 터치명령어로 구분하는 단계;
    제어명령 처리부가 상기 제어명령어에 상응하는 제어를 수행하는 단계; 및
    터치명령어 처리부가 상기 터치명령어에 상응하는 객체를 상기 터치 디스플레이에서 선택하는 단계
    를 포함하는 차량용 음성명령어 처리 방법.
  13. 제 12 항에 있어서,
    상기 구분하는 단계는,
    상기 음성명령어에 서술어가 있으면 제어명령어로 구분하는 것을 특징으로 하는 차량용 음성명령어 처리 방법.
  14. 제 12 항에 있어서,
    저장부가 상기 식별된 각 객체를 저장하는 단계
    를 더 포함하는 차량용 음성명령어 처리 방법.
  15. 제 12 항에 있어서,
    상기 선택하는 단계는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어를 포함하는 객체를 선택하는 것을 특징으로 하는 차량용 음성명령어 처리 방법.
  16. 제 12 항에 있어서,
    상기 선택하는 단계는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 없으면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 단계
    를 포함하는 차량용 음성명령어 처리 방법.
  17. 제 12 항에 있어서,
    상기 선택하는 단계는,
    상기 화면 내 식별된 객체들 중에서 상기 음성인식된 터치명령어에 상응하는 객체가 화면상에서 선택할 수 없는 단순 표시 객체이면 상기 음성인식된 터치명령어를 상기 제어명령어 처리부로 전달하는 단계
    를 포함하는 차량용 음성명령어 처리 방법.
  18. 제 12 항에 있어서,
    상기 터치 디스플레이가 복수 개인 경우, 제어부가 시선 추적기를 이용하여 하나의 터치 디스플레이를 특정하는 단계
    를 더 포함하는 차량용 음성명령어 처리 방법.
  19. 제 18 항에 있어서,
    상기 특정하는 단계는,
    사용자로부터 음성명령어가 입력되는 시점에 사용자의 시선이 가리키는 터치 디스플레이를 선택하는 것을 특징으로 하는 차량용 음성명령어 처리 방법.
  20. 제 12 항에 있어서,
    상기 식별하는 단계는,
    사용자의 음성명령어 입력을 위한 입력버튼이 눌린 시점에 터치 디스플레이상의 화면에서 각 객체를 식별하는 것을 특징으로 하는 차량용 음성명령어 처리 방법.
KR1020180153949A 2018-12-03 2018-12-03 차량용 음성명령어 처리 장치 및 그 방법 Active KR102764258B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180153949A KR102764258B1 (ko) 2018-12-03 2018-12-03 차량용 음성명령어 처리 장치 및 그 방법
US16/425,142 US11094325B2 (en) 2018-12-03 2019-05-29 Device and method for processing voice command for vehicle
CN201910541931.5A CN111261153B (zh) 2018-12-03 2019-06-21 车辆语音命令处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180153949A KR102764258B1 (ko) 2018-12-03 2018-12-03 차량용 음성명령어 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200071841A true KR20200071841A (ko) 2020-06-22
KR102764258B1 KR102764258B1 (ko) 2025-02-07

Family

ID=70849313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153949A Active KR102764258B1 (ko) 2018-12-03 2018-12-03 차량용 음성명령어 처리 장치 및 그 방법

Country Status (3)

Country Link
US (1) US11094325B2 (ko)
KR (1) KR102764258B1 (ko)
CN (1) CN111261153B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115285139A (zh) * 2022-08-04 2022-11-04 中国第一汽车股份有限公司 一种智能座舱控制方法、装置、设备和介质
KR20230094476A (ko) 2021-12-21 2023-06-28 현대자동차주식회사 운전자의 지시 이력을 반영한 명령실행장치 및 명령실행방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741951B2 (en) * 2019-02-22 2023-08-29 Lenovo (Singapore) Pte. Ltd. Context enabled voice commands
JP7483463B2 (ja) * 2020-03-30 2024-05-15 キヤノン株式会社 情報処理装置、制御方法、プログラム及び情報処理システム
CN114005445A (zh) * 2020-06-28 2022-02-01 广州小鹏汽车科技有限公司 信息处理方法、服务器和计算机可读存储介质
CN112193255A (zh) * 2020-09-24 2021-01-08 北京百度网讯科技有限公司 车机系统的人机交互方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189394A (ja) 2005-01-07 2006-07-20 Toyota Motor Corp 車両用エージェント装置
KR20100105293A (ko) * 2009-03-19 2010-09-29 현대자동차일본기술연구소 차재 기기의 조작장치
JP2012213132A (ja) * 2011-03-23 2012-11-01 Denso Corp 車両用装置および情報表示システム
KR101444091B1 (ko) * 2013-08-06 2014-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20160274717A1 (en) * 2015-03-18 2016-09-22 Alpine Electronics, Inc. Method and system for operating console with touch screen
KR20180046208A (ko) * 2016-10-27 2018-05-08 삼성전자주식회사 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158871B1 (en) 1998-05-07 2007-01-02 Art - Advanced Recognition Technologies Ltd. Handwritten and voice control of vehicle components
JP2002012100A (ja) * 2000-06-29 2002-01-15 Jatco Transtechnology Ltd 車両制御装置
KR100712262B1 (ko) 2005-05-24 2007-04-27 계명대학교 산학협력단 텔레매틱스 단말기
KR20070060885A (ko) 2005-12-09 2007-06-13 한국전자통신연구원 다양한 인식 기술을 이용한 입력 인터페이스 제공 방법
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US8294683B2 (en) * 2009-09-25 2012-10-23 Mitac International Corp. Method of processing touch commands and voice commands in parallel in an electronic device supporting speech recognition
KR20120090659A (ko) 2011-02-08 2012-08-17 현대모비스 주식회사 차량용 ａｖｎ 시스템의 조작 방법 및 그 장치
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
DE102012013503B4 (de) * 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
CN103839549A (zh) * 2012-11-22 2014-06-04 腾讯科技（深圳）有限公司 一种语音指令控制方法及系统
KR102009316B1 (ko) * 2013-01-07 2019-08-09 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 그 제어 방법
KR102063766B1 (ko) * 2013-09-17 2020-01-08 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
TW201628906A (zh) * 2015-02-13 2016-08-16 聖約翰科技大學 應用於自行車之聲控指示系統
KR101678087B1 (ko) * 2015-02-16 2016-11-23 현대자동차주식회사 차량 및 그 제어방법
KR101753997B1 (ko) 2015-12-04 2017-07-19 계명대학교 산학협력단 동작 인식을 이용한 음성 제어 장치 및 그 방법
KR102414122B1 (ko) * 2017-04-19 2022-06-29 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
US20180357040A1 (en) * 2017-06-09 2018-12-13 Mitsubishi Electric Automotive America, Inc. In-vehicle infotainment with multi-modal interface
CN108196534A (zh) * 2017-12-26 2018-06-22 广东工业大学 一种多旋翼无人机控制端、飞控系统及控制方法
US10635462B2 (en) * 2018-05-23 2020-04-28 Microsoft Technology Licensing, Llc Skill discovery for computerized personal assistant

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189394A (ja) 2005-01-07 2006-07-20 Toyota Motor Corp 車両用エージェント装置
KR20100105293A (ko) * 2009-03-19 2010-09-29 현대자동차일본기술연구소 차재 기기의 조작장치
JP2012213132A (ja) * 2011-03-23 2012-11-01 Denso Corp 車両用装置および情報表示システム
KR101444091B1 (ko) * 2013-08-06 2014-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20160274717A1 (en) * 2015-03-18 2016-09-22 Alpine Electronics, Inc. Method and system for operating console with touch screen
KR20180046208A (ko) * 2016-10-27 2018-05-08 삼성전자주식회사 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230094476A (ko) 2021-12-21 2023-06-28 현대자동차주식회사 운전자의 지시 이력을 반영한 명령실행장치 및 명령실행방법
CN115285139A (zh) * 2022-08-04 2022-11-04 中国第一汽车股份有限公司 一种智能座舱控制方法、装置、设备和介质

Also Published As

Publication number Publication date
KR102764258B1 (ko) 2025-02-07
US20200175979A1 (en) 2020-06-04
US11094325B2 (en) 2021-08-17
CN111261153A (zh) 2020-06-09
CN111261153B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
KR102764258B1 (ko) 차량용 음성명령어 처리 장치 및 그 방법
CN105501158B (zh) 一种驾驶员识别融合的系统及方法
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
US20180316854A1 (en) Methods and systems to obtain desired self-pictures with an image capture device
US9075520B2 (en) Apparatus and method for representing an image in a portable terminal
US20200159481A1 (en) Method for controlling display of vehicle and electronic device therefor
US20210097278A1 (en) Method and apparatus for recognizing stacked objects, and storage medium
JP2021536069A (ja) 信号表示灯の状態検出方法及び装置、運転制御方法及び装置
KR20180042929A (ko) 무선 연결 시스템 및 그 제어방법
US9871546B2 (en) Wearable terminal mountable on part of body of user
KR20240124385A (ko) Ar 카메라와 iot 디바이스들을 인게이징하기 위한 인터페이스
KR101480594B1 (ko) 시선기반 착신 제어 방법과 이를 위한 이동통신 단말
KR20150137827A (ko) 핸들을 이용하여 차량을 제어하기 위한 제어 장치 및 그 제어 방법
US10963678B2 (en) Face recognition apparatus and face recognition method
CN110337090B (zh) 一种蓝牙设备的连接方法和装置
KR20190048630A (ko) 전자 장치 및 그 제어 방법
US10864889B2 (en) Vehicle operating method and vehicle operating apparatus
US9549113B2 (en) Imaging control terminal, imaging system, imaging method, and program device
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법
KR102401379B1 (ko) 복수의 탑승자를 고려하여 차량용 기기의 사용언어를 결정하는 방법 및 장치
CN117882037A (zh) 通过ar对象交互控制iot设备
KR20150078266A (ko) 디지털 촬영 장치 및 이를 제어하는 방법
CN106488040A (zh) 移动终端的控制系统及控制方法
US20240005636A1 (en) Method For a Vehicle For Estimating a User Context, Data Processing Device, Vehicle, Computer Program and Computer-Readable Storage Medium
KR20190076621A (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181203

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211130

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181203

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240409

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20241014

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

AMND Amendment
PX0901 Re-examination

Patent event code: PX09012R01I

Patent event date: 20241126

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20241205

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250203

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250204

End annual number: 3

Start annual number: 1

PG1601 Publication of registration