Nothing Special   »   [go: up one dir, main page]

KR20130008663A - 사용자 인터페이스 방법 및 장치 - Google Patents

사용자 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR20130008663A
KR20130008663A KR1020110062654A KR20110062654A KR20130008663A KR 20130008663 A KR20130008663 A KR 20130008663A KR 1020110062654 A KR1020110062654 A KR 1020110062654A KR 20110062654 A KR20110062654 A KR 20110062654A KR 20130008663 A KR20130008663 A KR 20130008663A
Authority
KR
South Korea
Prior art keywords
text
user
error
text error
command
Prior art date
Application number
KR1020110062654A
Other languages
English (en)
Inventor
한순보
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110062654A priority Critical patent/KR20130008663A/ko
Publication of KR20130008663A publication Critical patent/KR20130008663A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/232—Orthographic correction, e.g. spell checking or vowelisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자가 입력한 텍스트를 화면에 표시하는 단계; 상기 텍스트에 포함된 적어도 하나의 텍스트 오류를 검색하는 단계; 상기 검색된 텍스트 오류를 사용자에게 알려주는 단계; 상기 텍스트 오류의 수정안을 사용자에게 출력하는 단계; 상기 수정안을 선택하는 사용자의 수정명령을 수신하는 단계; 및 상기 수신된 수정명령에 따라 상기 텍스트 오류를 수정하는 단계를 포함하고, 상기 수정명령은, 상기 수정안을 선택하는 사용자의 제 1 음성명령인 사용자 인터페이스 방법을 제공한다. 상기와 같은 구성을 통하여, 본 발명에 따른 사용자 인터페이스 방법 및 장치에 의하면, 본 발명은 키보드와 같은 텍스트 편집을 위한 입력장치 없이도 사용자가 보다 용이하고 직관적인 인터페이스를 통해 텍스트 오류를 수정할 수 있는 효과를 갖는다.

Description

사용자 인터페이스 방법 및 장치{METHOD AND DEVICE FOR USER INTERFACE}
본 발명은 사용자 인터페이스 방법 및 장치에 관한 것으로, 더욱 상세하게는 멀티모달 인터페이스(Multimodal Interface)를 이용하여, 보다 용이하게 텍스트의 오류를 수정하기 위한 사용자 인터페이스 방법 및 장치에 관한 것이다.
최근 음성인식 및 음성합성 기술이 발전하고 휴대 단말기, 홈네트워크 단말기, 로봇 등의 단말기에 음성과 다른 추가적인 입력수단을 이용하는 멀티모달 인터페이스(Multimodal Interface)의 필요성이 증대되고 있다.
멀티모달은 다수의 모달리티(Modality)로 사람의 시각, 청각, 촉각, 미각, 후각 등 각각의 감각 채널을 모델링하여 기계장치로 전환된 채널이다. 또한, 각 모달리티를 종합하여 교류하는 것을 멀티모달 상호작용(Multimodal Interaction)이라 한다.
한편, 음성인식(Speech Recognition)은 컴퓨터가 음향학적 신호(Acoustic speech Signal)를 텍스트로 맵핑시키는 과정이며, 마이크나 전화를 통하여 얻어진 음향학적 신호를 단어나 단어 집합 또는 문장으로 변환하는 과정을 말한다. 음성 인식된 결과는 명령이나 제어, 데이터 입력, 문서 준비 등의 응용 분야에서 최종 결과로 사용될 수 있으며, 음성이해와 같은 분야에는 언어 처리과정의 입력으로 사용될 수 있다. 그 결과. 음성인식 기술은 인간과 컴퓨터 간의 자연스러운 의사소통을 가능케 하며 인간에게 보다 밀착시킴으로써 인간의 생활을 보다 풍요롭게 만드는데 필수적인 기술이다.
그리고, 음성합성(Speech Synthesis)은 기계적인 장치나 전자회로 또는 컴퓨터 모의를 이용하여 자동으로 음성 파형을 생성해내는 것을 의미한다. 이와 같은 음성합성 기술의 일종인 TTS(Text-to-Speech)는 텍스트로 입력된 데이터를 기계적으로 분석하고 처리하여, 음성으로 변환하여 주는 기술이다.
관련하여, 사용자가 텍스트를 단말기(Terminal)에 입력하는 과정에서, 맞춤법이나 띄어 쓰기 등의 오류가 발생할 수 있다. 사용자는 이와 같은 텍스트 입력의 오류를 마우스나 키 패드 등을 이용하여 수정하는 것이 일반적이다. 그러나, 이러한 텍스트 오류의 수정 방법에서는, 사용자가 오류가 발생한 텍스트 부분으로 커서를 이동해야하는 등, 텍스트 입력의 흐름이 끊기는 문제가 발생하게 된다.
따라서, 전술한 음성인식(Speech Recognition)과 음성합성(Speech Synthesis) 등을 이용하여, 입력된 텍스트의 오류를 효율적으로 사용자에게 알려주고 텍스트 오류를 수정할 수 있는 사용자 인터페이스 방법 및 장치가 요구되고 있다.
본 발명의 목적은 사용자가 보다 용이하게 텍스트 오류를 수정할 수 있도록 하는 멀티모달 인터페이스를 이용한 사용자 인터페이스 방법 및 장치를 제공하는 데 있다. 또한, 본 발명은 사용자가 보다 용이하게 텍스트의 오류를 수정할 수 있도록 하는 음성인식 또는 음성합성을 이용한 사용자 인터페이스 방법 및 장치를 제공하는 데 있다.
본 발명은 사용자가 입력한 텍스트를 화면에 표시하는 단계; 상기 텍스트에 포함된 적어도 하나의 텍스트 오류를 검색하는 단계; 상기 검색된 텍스트 오류를 사용자에게 알려주는 단계; 상기 텍스트 오류의 수정안을 사용자에게 출력하는 단계; 상기 수정안을 선택하는 사용자의 수정명령을 수신하는 단계; 및 상기 수신된 수정명령에 따라 상기 텍스트 오류를 수정하는 단계를 포함하고, 상기 수정명령은, 상기 수정안을 선택하는 사용자의 제 1 음성명령인 사용자 인터페이스 방법을 제공한다.
또한, 본 발명은 상기 텍스트 오류의 검색 단계는, 상기 적어도 하나의 텍스트를 포함하는 단어, 문장, 문단 단위로 수행되는 실시예를 포함한다.
또한, 본 발명은 상기 텍스트 오류의 알림 단계는, 소리 또는 진동으로 사용자에게 상기 텍스트 오류를 알려주는 실시예를 포함한다.
또한, 본 발명은 상기 수정안은, 올바른 텍스트의 리스트, '타이핑으로 텍스트를 수정함' 및 '음성으로 텍스트를 수정함'을 포함하는 사용자 인터페이스 방법.
또한, 본 발명은 상기 수정안은, '텍스트 오류를 수정하지 않음'을 더 포함하는 실시예를 포함한다.
또한, 본 발명은 상기 텍스트 오류의 수정안 출력 단계는, 상기 수정안을 음성으로 사용자에게 출력하는 실시예를 포함한다.
또한, 본 발명은 상기 사용자의 수정명령 수신 단계는, 상기 제 1 음성명령을 음성인식(Speech Recognition) 처리하여, 상기 제 1 음성명령에 해당하는 상기 수정안을 선택하는 실시예를 포함한다.
또한, 본 발명은 상기 텍스트 오류의 수정 단계는, 올바른 텍스트를 나타내는 사용자의 제 2 음성명령을 수신하는 단계; 및 상기 수신된 제 2 음성명령을 음성인식(Speech Recognition) 처리하여, 상기 텍스트 오류를 상기 제 2 음성명령에 해당하는 올바른 텍스트로 수정하는 단계를 포함하는 실시예를 포함한다.
또한, 본 발명은 상기 검색된 텍스트 오류를 지시하는 사용자의 제 3 음성명령을 수신하는 단계; 및 상기 제 3 음성명령을 음성인식(Speech Recognition) 처리하여, 상기 사용자가 지시한 텍스트 오류로 수정모드를 이동하는 단계를 더 포함하는 실시예를 포함한다.
또한, 본 발명은 텍스트를 화면에 표시하거나, 음성 또는 소리를 출력하는 출력부; 사용자의 명령을 수신하는 사용자 입력부; 및 상기 사용자 입력부를 통해 입력된 텍스트를 화면에 표시하도록 상기 출력부를 제어하고, 상기 텍스트에 포함된 적어도 하나의 텍스트 오류를 검색하고, 상기 검색된 텍스트 오류를 사용자에게 알려주도록 상기 출력부를 제어하고, 상기 텍스트 오류의 수정안을 사용자에게 출력하도록 상기 출력부를 제어하고, 상기 수정안을 선택하는 사용자의 수정명령을 수신하도록 상기 사용자 입력부를 제어하고, 상기 수신된 수정명령에 따라 상기 텍스트 오류를 수정하는 제어부를 포함하고, 상기 수정명령은, 상기 수정안을 선택하는 사용자의 제 1 음성명령인 사용자 인터페이스 장치를 제공한다.
또한, 본 발명은 상기 제어부는, 상기 텍스트 오류의 검색을, 상기 적어도 하나의 텍스트를 포함하는 단어, 문장, 문단 단위로 수행하는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 소리 또는 진동으로 사용자에게 상기 텍스트 오류를 알려주도록 상기 출력부를 제어하는 실시예를 포함한다.
또한, 본 발명은 상기 수정안은, 올바른 텍스트의 리스트, '타이핑으로 텍스트를 수정함' 및 '음성으로 텍스트를 수정함'을 포함하는 실시예를 포함한다.
또한, 본 발명은 상기 수정안은, '텍스트 오류를 수정하지 않음'을 더 포함하는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 상기 텍스트 오류의 수정안을 음성으로 사용자에게 출력하도록 상기 출력부를 제어하는 실시예를 포함한다.
또한, 본 발명은 상기 사용자 입력부는, 사용자의 음성명령을 음성인식(Speech Recognition) 처리하는 음성 인식 모듈을 더 포함하는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 상기 제 1 음성명령을 음성인식(Speech Recognition) 처리하도록 상기 음성 인식 모듈을 제어하고, 상기 제 1 음성명령에 해당하는 상기 수정안을 선택하는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 올바른 텍스트를 나타내는 사용자의 제 2 음성명령을 수신하도록 상기 사용자 입력부를 제어하고, 상기 수신된 제 2 음성명령을 음성인식(Speech Recognition) 처리하도록 상기 음성 인식 모듈을 제어하고, 상기 텍스트 오류를 상기 제 2 음성명령에 해당하는 올바른 텍스트로 수정하는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 상기 검색된 텍스트 오류를 지시하는 사용자의 제 3 음성명령을 수신하도록 상기 사용자 입력부를 제어하고, 상기 수신된 제 3 음성명령을 음성인식(Speech Recognition) 처리하도록 상기 음성 인식 모듈을 제어하고, 상기 사용자가 지시한 텍스트 오류로 수정모드를 이동시키는 실시예를 포함한다.
본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속함을 밝혀둔다.
상기와 같은 구성을 통하여, 본 발명에 따른 사용자 인터페이스 방법 및 장치에 의하면, 본 발명은 키보드와 같은 텍스트 편집을 위한 입력장치 없이도 사용자가 보다 용이하고 직관적인 인터페이스를 통해 텍스트 오류를 수정할 수 있는 효과를 갖는다.
도 1은 본 발명의 실시예에 따른 사용자 인터페이스 방법을 나타낸 순서도이다.
도 2는 본 발명의 제 1 실시예에 따른 텍스트 오류 및 수정안 알림 방법을 예시한 개략도이다.
도 3은 본 발명의 제 2 실시예에 따른 텍스트 오류 및 수정안 알림 방법을 예시한 개략도이다.
도 4는 본 발명의 제 3 실시예에 따른 텍스트 오류 및 수정안 알림 방법을 예시한 개략도이다.
도 5는 본 발명의 제 4 실시예에 따른 텍스트 오류 수정 방법을 예시한 개략도이다.
도 6은 본 발명의 제 5 실시예에 따른 텍스트 오류 수정 방법을 예시한 개략도이다.
도 7은 본 발명의 실시예에 따른 텍스트 오류의 수정모드 이동 방법을 예시한 개략도이다.
도 8은 본 발명의 실시예에 따른 사용자 인터페이스 장치의 블록도이다.
도 9는 도 8의 입력부를 보다 상세하게 도시한 블록도이다.
도 10은 도 8의 출력부를 보다 상세하게 도시한 블록도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명한다. 이하 설명에서 동일한 구성 요소에는 설명의 편의상 동일 명칭 및 동일 부호를 부여한다.
본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서의 텍스트 오류는 맞춤법 또는 띄어 쓰기가 올바르지 못한 단어 또는 문구 또는 문단 등을 지칭한다.
도 1은 본 발명의 실시예에 따른 사용자 인터페이스 방법을 나타낸 순서도이다.
도면에 도시한 바와 같이, 본 실시예에 따른 사용자 인터페이스 방법은 사용자의 텍스트 입력 명령을 수신하는 단계(S100), 수신된 텍스트 입력 명령에 따라, 텍스트를 출력하는 단계(S120), 입력된 텍스트의 오류를 검색하는 단계(S140), 검색된 텍스트 오류와 텍스트 오류의 수정안을 사용자에게 알려주는 단계(S160), 사용자의 텍스트 오류 수정 명령 수신하는 단계(S180), 사용자의 텍스트 오류 수정 명령에 따라, 텍스트 오류를 수정하는 단계(S200), 수정된 텍스트 오류의 확인 메시지를 출력하는 단계(S220), 사용자의 텍스트 오류 수정 확인 명령 수신하는 단계(S240), 텍스트 재수정 여부를 문의하는 단계(S260), 텍스트 오류 이동을 문의하는 단계(S280) 등을 포함한다.
각 단계들을 자세히 살펴보면, 우선 본 발명의 사용자 인터페이스 장치는 사용자의 텍스트 입력 명령을 수신한다.(S100) 사용자는 자신이 원하는 텍스트를 입력하기 위하여, 사용자 인터페이스 장치에 포함된 기존의 키보드(Keyboard), 마우스(Mouse), 키 패드(Key Pad), 마이크 등의 다양한 입력 장치를 이용하여, 텍스트 입력 명령을 입력할 수 있다.
그리고, 본 발명의 사용자 인터페이스 장치는 수신된 사용자의 텍스트 입력 명령에 따라, 디스플레이 장치(Displayer), 스피커(Speaker) 등의 출력 장치를 통해 텍스트를 사용자에게 출력한다.(S120) 일반적으로, 화면을 통해 문자로 텍스트를 출력하거나, 스피커를 통해 음성으로 텍스트를 출력한다.
그리고, 사용자 인터페이스 장치는 입력된 텍스트의 오류를 검색한다.(S140) 입력된 텍스트의 맞춤법이나 띄어 쓰기의 오류를 검색하는 것이다. 사용자 인터페이스 장치는 맞춤법 데이터베이스 등을 구비할 수 있으며, 맞춤법 데이터베이스 등을 통하여, 입력된 텍스트가 맞춤법이나 띄어 쓰기에 어긋나지 않았는지 판단할 수 있다. 또한, 사용자 인터페이스 장치는 인터넷 등의 온라인을 통하여, 입력된 텍스트가 맞춤법이나 띄어 쓰기에 어긋나지 않았는지 판단할 수 있다.
그리고, 사용자 인터페이스 장치는 텍스트의 오류 검색을 일정한 단위별로 수행할 수 있다. 즉, 텍스트의 단어가 입력될 때마다, 또는 문장/문단이 바뀔 때마다, 입력된 텍스트의 오류를 검색하는 것이다.
그리고, 사용자 인터페이스 장치는 검색된 텍스트 오류와 텍스트 오류의 수정안을 사용자에게 알려준다.(S160) 본 발명은, 텍스트 오류와 텍스트 오류의 수정안을 사용자에게 알려주는 다양한 인터페이스 방법을 제공한다. 이에 대하여는, 이하 도 2 내지 도 4에서 자세히 후술하도록 한다.
그리고, 사용자 인터페이스 장치는 사용자의 텍스트 오류 수정 명령을 수신한다.(S180) 사용자는 텍스트 오류의 수정안을 바탕으로 검색된 텍스트 오류를 수정하거나, 직접 올바른 텍스트를 입력할 수 있다. 사용자는 다양한 방법으로 텍스트 오류 수정 명령을, 사용자 인터페이스 장치에 입력할 수 있다.
일례로, 기존의 키보드, 마우스 또는 마이크 등의 입력 장치를 이용하여, 텍스트 오류의 수정안을 선택하거나, 새로운 텍스트를 입력할 수도 있다. 이에 대하여는, 이하 도 5 내지 도 6에서 자세히 후술하도록 한다.
그리고, 사용자 인터페이스 장치는 사용자의 텍스트 오류 수정 명령에 따라, 텍스트 오류를 수정한다.(S200) 사용자 인터페이스 장치는 사용자가 입력한 텍스트 오류 수정 명령에 따라, 텍스트 오류를 올바른 텍스트로 수정하여, 사용자에게 출력하게 된다.
그리고, 사용자 인터페이스 장치는 수정된 텍스트 오류의 확인 메시지를 사용자에게 출력한다.(S220) 사용자 인터페이스 장치는 사용자에게 수정된 텍스트 오류가 올바르게 수정되었는지 확인하는 메시지를 출력하는 것이다. 일례로, 사용자 인터페이스 장치는 팝업 창을 띄워 수정된 텍스트를 사용자에게 출력할 수 있으며, 수정된 텍스트를 음성으로 출력할 수 있다.
그리고, 사용자 인터페이스 장치는 사용자의 텍스트 오류 수정 확인 명령 수신한다.(S240) 사용자는 출력된 확인 메시지를 이용하여, 텍스트 오류가 정확히 수정되었는지 확인하여, 텍스트 오류 수정 확인 명령을 사용자 인터페이스 장치에 입력하게 된다.
그리고, 사용자 인터페이스 장치는 사용자에게 텍스트의 재수정 여부를 문의하게 된다.(S260) 텍스트 오류가 정확히 수정되지 않는 경우, 사용자는 텍스트의 재수정을 명령할 수 있다. 사용자가 텍스트의 재수정을 명령하게 되면, 사용자 인터페이스 장치는 전술한 텍스트 오류 수정 단계를 재수행하게 된다.
마지막으로, 사용자 인터페이스 장치는 사용자에게 텍스트 오류 이동을 문의하게 된다.(S280) 검색된 텍스트 오류가 다수 개인 경우에, 사용자는 다른 텍스트 오류를 수정하기 위하여, 해당 텍스트 오류를 선택하게 된다. 이 경우, 본 발명의 사용자 인터페이스 장치는 사용자가 다른 텍스트 오류로의 이동을 효율적으로 제공하기 위하여, 다양한 텍스트 오류 이동 방법을 제공할 수 있다. 이에 대하여는, 이하 도 7에서 후술하도록 한다.
사용자가 다른 텍스트 오류로 이동하게 되면, 사용자 인터페이스 장치는 해당 텍스트 오류를 전술한 텍스트 오류 수정 단계를 재수행하게 된다.
이하에서는, 도 2 내지 도 6를 참조하여 각 단계에 대한 본 발명의 실시예를 상세하게 설명한다.
도 2는 본 발명의 제 1 실시예에 따른 텍스트 오류(200) 및 수정안(210) 알림 방법을 예시한 개략도이다.
우선, 도면은 사용자가 사용자 인터페이스 장치에 "I have no monye go give me soem"의 텍스트를 입력하는 것을 예시하고 있다. 도면에서 입력된 텍스트에는 두개의 텍스트 오류(200)를 포함하고 있다. 제 1 텍스트 오류(201)는 "monye"로, 올바른 텍스트는 "money"가 된다. 그리고, 제 2 텍스트 오류(203)는 "soem"으로, 올바른 텍스트는 "some"이 된다.
본 발명은 사용자 인터페이스 장치에 입력된 텍스트 오류(200)와 수정안(210)를 사용자에게 효율적으로 알리는 방법을 제공한다.
본 발명의 제 1 실시예에 따른 텍스트 오류(200) 알림 방법에서, 사용자 인터페이스 장치는 텍스트 오류(200)에 빗금 등의 알림 표시를 출력하고, 비프(Beep)음과 같은 소리를 내거나 진동을 울려, 텍스트 오류(200)를 사용자에게 알려준다.
그리고, 본 발명의 제 1 실시예에 따른 텍스트 오류(200)의 수정안(210) 알림 방법에서, 사용자 인터페이스 장치는 팝업 창을 이용하여 텍스트 오류 수정안(210)을 표시한다. 사용자 인터페이스 장치는, 본 발명의 제 1 실시예에 따른 텍스트 오류 수정안(210)으로, 텍스트 오류(200)를 참고하여 올바른 텍스트들을 표시하거나, 사용자가 텍스트 오류(200)를 직접 수정할 수 있는 다양한 방법들을 제공하게 된다.
일례로, 본 발명의 제 1 실시예에 따른 텍스트 오류 수정안(210)은, 도면에서 보는 바와 같이, 올바른 텍스트 리스트(List), "T"(type), "V"(voice), "S"(spell) 및 "P"(pass)를 포함할 수 있다.
올바른 텍스트 리스트(List)에는 텍스트 오류(200)와 유사한 올바른 텍스트들이 표시된다. 사용자 인터페이스 장치는, 사용자 인터페이스 장치 내 맞춤법 데이터베이스 또는 인터넷 등의 온라인을 통해, 텍스트 오류(200)와 유사한 올바른 텍스트들을 검색하여 표시할 수 있다. 사용자가 해당 텍스트 리스트를 선택하게 되면, 사용자 인터페이스 장치는 선택된 텍스트를 텍스트 오류(200)를 대체하여 표시하게 된다.
"T"(type)는 사용자가 직접 키보드와 같은 장치를 이용하여 타이핑하여, 텍스트 오류(200)를 수정할 수 있도록 한다. 사용자가 "T"(type)를 선택하면, 사용자 인터페이스 장치는 사용자가 올바른 텍스트를 직접 타이핑하여 입력할 수 있는 인터페이스를 제공하게 된다. 즉, 사용자 인터페이스 장치는 사용자가 키보드를 이용하여, 올바른 텍스트를 입력할 수 있도록 한다.
"V"(voice)는 사용자가 음성으로 텍스트 오류(200)를 수정할 수 있도록 한다. 사용자가 "V"(voice)를 선택하면, 사용자 인터페이스 장치는 사용자가 올바른 텍스트를 음성으로 입력할 수 있는 인터페이스를 제공하게 된다. 사용자 인터페이스 장치는 입력된 사용자의 음성을 분석하여, 사용자가 입력을 원하는 텍스트를 선택하고, 선택된 텍스트를 텍스트 오류(200)에 대체하여 표시한다.
"S"(spell)는 사용자가 직접 텍스트의 스펠링을 입력하여, 텍스트 오류(200)를 수정할 수 있도록 한다. 사용자가 "S"(spell)를 선택하면, 사용자 인터페이스 장치는 사용자가 올바른 텍스트의 스펠링을 음성으로 입력할 수 있는 인터페이스를 제공하게 된다. 사용자 인터페이스 장치는 입력된 사용자의 음성을 분석하여, 사용자가 입력을 원하는 텍스트를 선택하고, 선택된 텍스트를 텍스트 오류(200)에 대체하여 표시한다.
"P"(pass)는 사용자가 텍스트 오류(200)를 수정하지 않는다는 것이다. 사용자가 "P"(pass)를 선택하면, 사용자 인터페이스 장치는 텍스트 오류(200)를 수정하지 않는다. 즉, 사용자 인터페이스 장치는 텍스트 오류(200)를 올바른 텍스트로 인식하고, 표시한다. 추가로, 이때 사용자 인터페이스 장치는 해당 텍스트 오류(200)를 맞춤법 데이터베이스에 추가하여, 이후에도 해당 텍스트를 텍스트 오류(200)로 판단하지 않도록 할 수 있다.
도 3은 본 발명의 제 2 실시예에 따른 텍스트 오류(200) 및 수정안(212) 알림 방법을 예시한 개략도이다.
본 발명의 제 2 실시예에 따른 텍스트 오류(200) 알림 방법에서는, 본 발명의 제 1 실시예와 동일하게, 사용자 인터페이스 장치는 텍스트 오류(200)에 빗금 등의 알림 표시를 출력하고, 비프(Beep)음과 같은 소리를 내거나 진동을 울려, 텍스트 오류(200)를 사용자에게 알려준다.
그리고, 본 발명의 제 2 실시예에 따른 텍스트 오류(200)의 수정안(212) 알림 방법은, 텍스트 오류 수정안(212)을 음성으로 사용자에게 알려준다. 즉, 도 2에서 전술한 텍스트 오류 수정안(210)을 음성으로 사용자에게 출력하는 것이다.
본 발명의 제 1 실시예에 의하면, 텍스트 오류 수정안(210)을 팝업 창으로 화면에 출력하지만, 본 발명의 제 2 실시예에서는, 화면이 아닌 음성으로 사용자에게 출력하는 것이다. 이로 인하여, 사용자는 텍스트를 입력하는 도중에, 시선의 변화가 없이, 텍스트 오류 수정안(212)을 인식할 수 있게 된다.
일례로, 도면에서 보는 바와 같이, 사용자 인터페이스 장치는 제 1 텍스트 오류(201)의 수정안(212)을 "Did you want to type 'money'?"의 음성으로 출력하는 것이다.
또한, 본 발명의 제 2 실시예에 따른 텍스트 오류 수정안(210)을 차례대로, 음성으로 사용자에게 출력할 수도 있다. 일례로, "Did you want to type 'Tonye'?", "Do you want to type directly(T)?", "Did you want to type using voice(V)?" 등등의 음성을 출력하는 것이다.
도 4는 본 발명의 제 3 실시예에 따른 텍스트 오류(200) 및 수정안(210,212) 알림 방법을 예시한 개략도이다.
본 발명의 제 3 실시예에 따른 텍스트 오류(200) 알림 방법에서는, 본 발명의 제 1 실시예와 동일하게, 사용자 인터페이스 장치는 텍스트 오류(200)에 빗금 등의 알림 표시를 출력하고, 비프(Beep)음과 같은 소리를 내거나 진동을 울려, 텍스트 오류(200)를 사용자에게 알려준다.
그리고, 본 발명의 제 3 실시예에 따른 텍스트 오류(200)의 수정안(212) 알림 방법은, 전술한 본 발명의 제 1 실시예의 텍스트 오류 수정안(210)과 본 발명의 제 2 실시예의 텍스트 오류 수정안(212)을 함께 사용자에게 제공한다.
즉, 본 발명의 제 1 실시예에 따른 텍스트 오류(200)의 수정안(210) 알림 방법인, 팝업 창을 이용하여 텍스트 오류 수정안(210)을 표시한다. 동시에, 본 발명의 제 2 실시예에 따른 텍스트 오류(200)의 수정안(212) 알림 방법인, 텍스트 오류 수정안(212)을 음성으로 사용자에게 알려준다.
이에 따르면, 화면의 팝업 창 그리고 음성으로, 동시에 텍스트 오류 수정안(210,212)이 출력되므로, 사용자는 좀더 명확하기 텍스트 오류 수정안(210,212)을 인식할 수 있게 된다.
사용자는 전술한 텍스트 오류 수정안(210,212)을 참고하여, 텍스트 오류(200)를 수정하게 된다. 이때, 사용자 인터페이스 장치는 사용자의 텍스트 오류 수정 명령을 수신하고, 이를 바탕으로, 텍스트 오류(200)를 올바른 텍스트로 교체하는 것이다.
관련하여, 본 발명의 사용자 인터페이스 장치는, 사용자가 텍스트 오류 수정 명령을 입력할 수 있는 다양한 인터페이스를 제공한다.
도 5는 본 발명의 제 4 실시예에 따른 텍스트 오류(200) 수정 방법을 예시한 개략도이다.
도 5는, 사용자 인터페이스 장치가 본 발명의 제 1 실시예에 따른 텍스트 오류(200) 및 수정안(210) 알림 방법을 이용한 경우에, 사용자가 텍스트 오류 수정 명령(220)을 입력할 수 있는 인터페이스에 관한 것이다.
전술한 바와 같이, 본 발명의 제 1 실시예에 따른 텍스트 오류(200) 및 수정안(210) 알림 방법에서는, 팝업 창을 이용하여 텍스트 오류 수정안(210)을 표시한다.
그리고, 본 발명의 제 1 실시예에 따른 텍스트 오류 수정안(210)은, 도면에서 보는 바와 같이, 올바른 텍스트 리스트(List), "T"(type), "V"(voice), "S"(spell) 및 "P"(pass)를 포함할 수 있다. 각각에 대하여는 전술하였다.
본 발명의 제 4 실시예에 따른 텍스트 오류(200) 수정 방법에서는, 사용자는 음성으로 텍스트 오류 수정안(210)을 선택하게 된다. 즉, 본 발명의 사용자 인터페이스 장치는 음성 입력 장치를 이용하여, 사용자의 텍스트 오류 수정 명령(220)을 입력받게 되는 것이다.
즉, 사용자는 텍스트 오류 수정 명령(220)은, 도면과 같이, 텍스트 오류 수정안(210)에 포함되는 올바른 텍스트들의 번호, "T"(type), "V"(voice), "S"(spell) 또는 "P"(pass)의 음성 명령이 된다.
일례로, 사용자가 올바른 텍스트 번호의 음성 명령을 입력하면, 사용자 인터페이스 장치는 텍스트 오류(200)를 해당 올바른 텍스트로 교체한다. 그리고, 사용자가 "T"(type)의 음성 명령을 입력하면, 사용자 인터페이스 장치는 사용자가 직접 타이핑하여 올바른 텍스트를 입력할 수 있는 인터페이스를 제공하는 것이다. 또한. 사용자가 "V"(voice)의 음성 명령을 입력하면, 사용자 인터페이스 장치는 사용자가 음성으로 올바른 텍스트를 입력할 수 있는 인터페이스를 제공하는 것이다.
이에 따라, 사용자는 텍스트 오류(200)를 수정하기 위하여, 커서를 이동하는 등 텍스트 입력의 흐름을 끊는 행위를 하지 않고, 음성 명령만으로 텍스트 오류(20)를 수정할 수 있게 된다.
도 6은 본 발명의 제 5 실시예에 따른 텍스트 오류(200) 수정 방법을 예시한 개략도이다.
도 6은, 사용자 인터페이스 장치가 본 발명의 제 2 실시예에 따른 텍스트 오류(200) 및 수정안(210) 알림 방법을 이용한 경우에, 사용자가 텍스트 오류 수정 명령(222)을 입력할 수 있는 인터페이스에 관한 것이다.
전술한 바와 같이, 본 발명의 제 2 실시예에 따른 텍스트 오류(200) 및 수정안(210) 알림 방법은, 음성을 이용하여 텍스트 오류 수정안(212)을 사용자에게 알려준다. 즉, 도 4에서 전술한 텍스트 오류 수정안(210)을 음성으로 사용자에게 출력하는 것이다. 본 발명의 제 1 실시예에 의하면, 텍스트 오류 수정안(210)을 팝업 창으로 화면에 출력하지만, 본 발명의 제 2 실시예에서는, 화면이 아닌 음성으로 사용자에게 출력하는 것이다. 일례로, 도면에서 보는 바와 같이, 사용자 인터페이스 장치는 제 1 텍스트 오류(201)의 수정안(212)을 "Did you want to type 'money'?" 등의 음성으로 출력할 수 있다.
본 발명의 제 4 실시예에 따른 텍스트 오류(200) 수정 방법에서는, 사용자가 음성으로 출력된 텍스트 오류 수정안(212)을 음성으로 선택한다. 즉, 본 발명의 사용자 인터페이스 장치는 음성 입력 장치를 이용하여, 사용자의 텍스트 오류 수정 명령(222)을 입력받게 되는 것이다.
즉, 사용자는 텍스트 오류 수정 명령(222)은, 도면과 같이, 텍스트 오류 수정안(212)을 선택할 수 있는 "Yes" 또는 "No"의 음성 명령이 된다.
일례로, 사용자는 "Did you want to type 'money'?"의 텍스트 오류 수정안(212)에 대하여, "Yes" 또는 "No"의 음성 명령을 사용자 인터페이스 장치에 입력하는 것이다. 사용자가 "Yes"의 음성 명령을 입력하면, 사용자 인터페이스 장치는 제 1 텍스트 오류(201)인 "monye"를 "money"로 교체하고, 사용자가 "No"의 음성 명령을 입력하면, 사용자 인터페이스 장치는 다음 텍스트 오류 수정안(212)인 "Did you want to type 'Tonye'?"를 음성으로 사용자에게 출력한다.
관련하여, 사용자 인터페이스 장치는 텍스트 오류(200)의 수정모드를 이동할 수 있다. 검색된 텍스트 오류(200)가 다수 개(201,203)인 경우에, 사용자는 다른 텍스트 오류(200)를 수정하기 위하여, 해당 텍스트 오류(200)를 선택한다. 사용자 인터페이스 장치는 선택된 텍스트 오류(200)를 수정모드로 설정하고, 전술한 텍스트 오류(200) 수정 방법을 수행하는 것이다.
이 경우, 본 발명의 사용자 인터페이스 장치는, 사용자가 수정모드를 다른 텍스트 오류(200)로 이동시키는, 텍스트 오류(200)의 수정모드 이동 방법을 제공하게 된다.
도 7은 본 발명의 실시예에 따른 텍스트 오류(200)의 수정모드 이동 방법을 예시한 개략도이다.
본 발명의 텍스트 오류(200)의 수정모드 이동 방법에서는, 사용자가 수정모드 이동 명령(230)을 음성으로 사용자 인터페이스 장치에 입력한다. 본 발명의 사용자 인터페이스 장치는 음성 입력 장치를 이용하여, 사용자의 수정모드 이동 명령(230)을 입력받는 것이다.
일례로, 사용자는 수정모드 이동 명령(230)을, 도면과 같이, 텍스트 오류(200)들 사이를 이동할 수 있는 "Go to 2" 또는 "Previous" 또는 "Next" 등의 음성 명령으로 입력할 수 있다.
첫째로, "Go to 2"의 음성 명령은 수정모드를 두 번째로 검색된 텍스트 오류(203)로 이동하라는 수정모드 이동 명령(230)에 해당하고, 둘째로, "Previous"의 음성 명령은 수정모드를 현재 텍스트 오류(200)의 이전 텍스트 오류(200)로 이동하라는 수정모드 이동 명령(230)에 해당하고, 셋째로, "Next"의 음성 명령은 수정모드를 현재 텍스트 오류(200)의 다음 텍스트 오류(200)로 이동하라는 수정모드 이동 명령(230)에 해당할 수 있다.
본 발명의 사용자 인터페이스 장치는 전술한 수정모드 이동 명령(230)을 입력받아, 현재 수정 모드를 선택된 텍스트 오류(200)로 이동시키고, 선택된 텍스트 오류(200)의 수정 단계를 수행하는 것이다.
이하에서는, 도 8 내지 도 10을 참고하여, 본 발명의 실시예에 따른 사용자 인터페이스 장치의 구성에 대하여 상세하게 설명한다. 본 발명의 실시예에 따른 사용자 인터페이스 장치는 전술한 본 발명의 제 1 내지 제 5 실시예에 따른 사용자 인터페이스 방법을 실행하도록 구성될 수 있다.
도 8은 본 발명의 실시예에 따른 사용자 인터페이스 장치를 나타낸 블록도이다.
도 8에 도시한 바와 같이, 본 발명의 실시예에 따른 사용자 인터페이스 장치는 입력부(10), 제어부(20), 출력부(30), 애플리케이션부(40), 세션 관리부(50), 시스템 환경부(60) 및 메모리(70)를 포함한다.
입력부(10)는 오디오, 음성, 터치 제스처, 제스처, 키보드, 마우스 등의 다양한 입력 모드를 제공하도록 구성될 수 있으며, 출력부(30)는 음성, 텍스트, 그래픽, 오디오 등의 다양한 출력 모드를 제공하도록 구성될 수 있다.
다만, 본 발명이 여기에 한정되는 것이며, 별도의 입력 또는 출력 모드가 추가되거나, 상기에서 언급한 입력 또는 출력 모드가 제외될 수도 있다. 입력부(10)와 출력부(30)의 상세한 구성에 대하여는 도 9과 도 10을 각각 참조하여 후술한다.
제어부(20)는 입력부(10)로부터 얻은 정보를 이용하여 응용 서비스 실행을 수행한 후, 그 결과를 출력부(30)에 제공한다.
세션 관리부(50)는 다양한 단말기와 멀티모달 응용 서비스와의 세션 관리 및 다양한 단말기기 출력을 위한 싱크(Sync) 기능을 수행한다.
시스템 환경부(60)는 단말기 및 사용자 환경의 상황의 변화에 대한 정보를 제어부(20)에 제공함으로써, 제어부(20)가 이를 인식하고 대응할 수 있도록 한다.
도 9는 사용자 인터페이스 장치의 입력부(10)를 상세하게 도시한 블록도이다.
도 9에 도시한 바와 같이, 입력부(10)는 인식 모듈(Recognition Module, 100), 해석 모듈(Interpretation Module, 120) 및 입력 통합 모듈(Integration Module, 120)을 포함한다.
인식 모듈(100)은 문법정보(112) DB(112)에 저장된 문법정보(112)를 이용하여 멀티모달 인터페이스를 이용한 사용자의 입력을 인지하여 해석하기에 편한 정보 형태로 구성한다. 더욱 상세하게 인식 모듈(100)은 음성인식 모듈(102), 터치인식 모듈(104), 제스처인식 모듈(106), 키보드 인식 모듈(108) 및 무선입력 인식 모듈(110)을 포함할 수 있다.
음성인식 모듈(102)은 사용자의 음성을 텍스트로 변환한다. 이때, 음성인식 모듈(102)은 문법정보(112) DB(112)에 저장된 음향 모델(Acoustic Model), 언어 모델(Language Model) 및 W3C 음성인식문법 또는 스토캐스틱 언어 모델 규격과 같은 문법을 이용하여 사용자의 음성을 텍스트로 변환할 수 있다.
또한, 음성인식 모듈(102)은 전술한 사용자의 음성명령들을 음성인식(Speech Recognition) 처리할 수 있다. 전술한 텍스트 오류 수정 명령(222)과 수정모드 이동 명령(230) 등을 음성인식(Speech Recognition) 처리하는 것이다.
터치인식 모듈(104)은 터치스크린에 의한 사용자의 터치 제스처를 검출하여 출력한다.
제스처인식 모듈(106)은 카메라를 이용하여 사용자의 제스처 입력을 인식하여 출력한다.
키보드인식 모듈(108)은 사용자의 키입력을 글자로 변환하여 출력한다.
무선입력 인식 모듈(110)은 무선 리모컨 등에 의한 사용자의 입력을 인식하여 출력한다.
해석 모듈(120)은 의미해석정보(132) DB(132)에 저장된 의미해석정보(132)에 따라 인식 모듈(100)에 의해 인식된 정보를 사용자가 의도한 의미로 해석한다. 예를 들어, 해석 모듈(120)은 ‘네', ‘네에’, ‘예' 등을 ‘네’로 변환시킨다. 해석 모듈(120)의 출력 데이터는 데이터의 의미를 나타내는 언어의 일종인 EMMA(Extended Multimodal Annotation Language)로 변환되어 통합 모듈(120)로 입력될 수 있다.
이와 같은 해석 모듈(120)은 상기한 인식 모듈(100)에 포함되는 음성인식 모듈(102), 터치인식 모듈(104), 제스처인식 모듈(106), 무선입력 인식 모듈(110)에 각각 대응하는 음성해석 모듈(122), 터치해석 모듈(124), 제스처해석 모듈(126), 키보드해석 모듈(128) 및 무선입력 해석 모듈(130)을 포함할 수 있다.
통합 모듈(120)은 해석 모듈(120)에서 출력된 여러 종류의 입력을 통합시켜 제어부(20)로 전송한다.
다만, 상기와 같은 입력부(10)의 인식 모듈(100), 해석 모듈(120), 통합 모듈(120)은 추가적으로 분리되거나, 서로 통합된 모듈로 구성될 수 있다. 특히, 통합 모듈(120)은 필요에 따라 상기한 제어부(20)의 일부로써 구현될 수도 있다.
이하에서는, 도 10을 참고하여 출력부(30)에 대하여 상세하게 설명한다.
도 10은 사용자 인터페이스 장치의 출력부(30)를 상세하게 도시한 블록도이다.
도 10에 도시한 바와 같이, 출력부(30)는 생성 모듈(Generation Module, 300), 스타일 모듈(Styling Module, 310), 렌더링 모듈(Rendering Module, 320), 오디오 출력부(330) 및 비디오 출력부(340)를 포함한다.
생성 모듈(300)은 제어부(20)로부터 사용자에게 전달할 정보가 입력이 되면 음성(Voice), 그래픽(Graphics) 등 어떤 모드로 출력할 것인지를 결정한다. 생성 모듈(300)은 하나의 출력 모드로 출력하도록 결정하거나, 상호 보완적인 또는 보충적인 복수의 출력 모드로 출력하도록 결정할 수도 있다. 도면에 도시한 바와 달리, 생성 모듈(300)은 제어부(20)와 통합적으로 구성될 수도 있다.
스타일 모듈(310)은 정보가 어떻게 표현될지에 대한 정보를 추가하는 역할을 한다. 스타일 모듈(310)은 음성 스타일 모듈(312)과 그래픽 스타일 모듈(314)을 포함할 수 있다.
음성 스타일 모듈(312)은 단어가 어떻게 발음되어야 할지를 나타내는 SSML(Speech Synthesis Markup Language) 태그를 포함하는 문자열(text string)을 구성할 수 있다. 또한, 음성 스타일 모듈(312)은 음성합성 처리될 텍스트의 단어 사이의 간격 등에 대한 정보를 추가할 수 있다. 이때, 음성 스타일 모듈(312)은 CSS(Cascading Style Sheets, 316)를 이용하여 음성 출력을 수정할 수 있다.
그래픽 스타일 모듈(314)은 그래픽이 화면(10)에 어떻게 위치할지에 대한 정보를 생성하여 출력한다. 예를 들어, 그래픽 스타일 모듈(314)은 XHTML(Extensible Hyper Text Markup Language), XHTML Basic, SVG(Scalable Vector Graphics) 마크업 태그 등을 사용하며 이와 같은 정보를 생성할 수 있다.
렌더링 모듈(320)은 스타일 모듈(310)에서 생성된 정보를 사용자가 쉽게 이해할 수 있는 포맷으로 변환하여 출력한다. 음성 스타일 모듈(312)에서 출력되는 문자열을 음성합성 처리하여 출력하는 음성 렌더링 모듈(322), 렌더링 모듈(320)은 그래픽 스타일 모듈(314)에서 출력되는 정보를 사용자에게 표시되는 그래픽으로 변환하여 출력하는 그래픽 렌더링 모듈(324) 및 사용자 인터페이스를 위한 오디오 데이터를 처리하여 출력하는 오디오 렌더링 모듈(326)을 포함한다. 오디오 데이터는 생성 모듈(300)에서의 데이터 처리 없이 제어부(20)에서 직접 오디오 렌더링 모듈(326)로 출력될 수 있다.
오디오 출력부(330)는 음성 렌더링 모듈(322) 및 오디오 렌더링 모듈(326)에서 생성된 오디오 데이터를 사용자에게 출력한다.
비디오 출력부(340)는 그래픽 렌더링 모듈(320)에서 처리된 그래픽 및 제어부(20)에서 처리된 비디오 데이터를 사용자에게 출력한다. 전술한 바와 같이 비디오 출력부(340)는 터치 스크린을 구비하는 형태로 이루어질 수 있다.
이하에서는, 상기와 같은 본 발명의 실시예에 따른 사용자 인터페이스 장치의 동작에 대하여 상세하게 설명한다.
우선 본 발명의 제어부(20)는 인식모듈(100)을 통해 사용자의 텍스트 입력 명령을 수신한다. 사용자는 자신이 원하는 텍스트를 입력하기 위하여, 사용자 인터페이스 장치의 다양한 인식모듈(100)을 이용하여, 텍스트 입력 명령을 입력할 수 있다.
그리고, 본 발명의 제어부(20)는 수신된 사용자의 텍스트 입력 명령에 따라, 출력부(30)를 통해 텍스트를 사용자에게 출력한다. 일반적으로, 화면을 통해 문자로 텍스트를 출력하거나, 스피커를 통해 음성으로 텍스트를 출력한다.
그리고, 제어부(20)는 입력된 텍스트의 오류(220)를 검색한다. 입력된 텍스트의 맞춤법이나 띄어 쓰기의 오류를 검색하는 것이다. 제어부(20)는 문법 정보 DB(112)를 통하여, 입력된 텍스트가 맞춤법이나 띄어 쓰기에 어긋나지 않았는지 판단할 수 있다.
관련하여, 본 발명의 제어부(20)는 텍스트의 오류 검색을 일정한 단위별로 수행할 수 있다. 즉, 텍스트의 단어가 입력될 때마다, 또는 문장/문단이 바뀔 때마다, 입력된 텍스트의 오류를 검색하는 것이다.
그리고, 제어부(20)는 검색된 텍스트 오류(200)와 텍스트 오류의 수정안(210,212)을 사용자에게 알려준다. 본 발명은, 텍스트 오류(200)와 텍스트 오류의 수정안(210,212)을 사용자에게 알려주는 다양한 인터페이스 방법을 제공한다. 이에 대하여는, 도 2 내지 도 4에서 자세히 전술하였다.
그리고, 제어부(20)는 사용자의 텍스트 오류 수정 명령(220,222)을 수신한다. 사용자는 텍스트 오류의 수정안(220,222)을 바탕으로 검색된 텍스트 오류(200)를 수정하거나, 직접 올바른 텍스트를 입력할 수 있다. 사용자는 다양한 인식모듈(100)을 이용하여, 텍스트 오류 수정 명령(220,222)을, 사용자 인터페이스 장치에 입력할 수 있다. 이에 대하여는, 도 5 내지 도 6에서 자세히 전술하였다.
그리고, 제어부(20)는 사용자의 텍스트 오류 수정 명령(220,222)에 따라, 텍스트 오류(200)를 수정한다. 제어부(20)는 사용자가 입력한 텍스트 오류 수정 명령(220,222)에 따라, 텍스트 오류(200)를 올바른 텍스트로 수정하여, 사용자에게 출력하게 된다.
그리고, 제어부(20)는 수정된 텍스트 오류의 확인 메시지를 사용자에게 출력한다. 제어부(20)는 사용자에게 수정된 텍스트 오류(200)가 올바르게 수정되었는지 확인하는 메시지를 출력하는 것이다. 일례로, 제어부(20)는 팝업 창을 띄워 수정된 텍스트를 사용자에게 출력할 수 있으며, 수정된 텍스트를 음성으로 출력할 수 있다.
그리고, 제어부(20)는 사용자의 텍스트 오류 수정 확인 명령 수신한다. 사용자는 출력된 확인 메시지를 이용하여, 텍스트 오류(200)가 정확히 수정되었는지 확인하여, 텍스트 오류 수정 확인 명령을 사용자 인터페이스 장치에 입력하게 된다.
그리고, 제어부(20)는 사용자에게 텍스트의 재수정 여부를 문의하게 된다. 텍스트 오류(200)가 정확히 수정되지 않는 경우, 사용자는 텍스트의 재수정을 명령할 수 있다. 사용자가 텍스트의 재수정을 명령하게 되면, 제어부(20)는 전술한 텍스트 오류 수정 단계를 재수행하게 된다.
마지막으로, 제어부(20)는 사용자에게 수정모드의 이동을 문의하게 된다. 검색된 텍스트 오류(200)가 다수 개인 경우에, 사용자는 다른 텍스트 오류(200)를 수정하기 위하여, 해당 텍스트 오류(200)를 선택하게 된다. 이 경우, 제어부(20)는 사용자가 다른 텍스트 오류를 효율적으로 수정하기 위하여, 수정모드의 이동 방법을 제공할 수 있다. 이에 대하여는, 도 7에서 전술하였다.
사용자가 수정모드를 다른 텍스트 오류(200)로 이동하게 되면, 제어부(20)는 해당 텍스트 오류(200)를 전술한 텍스트 오류 수정 단계를 재수행하게 된다.
상기에서 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.

Claims (19)

  1. 사용자가 입력한 텍스트를 화면에 표시하는 단계;
    상기 텍스트에 포함된 적어도 하나의 텍스트 오류를 검색하는 단계;
    상기 검색된 텍스트 오류를 사용자에게 알려주는 단계;
    상기 텍스트 오류의 수정안을 사용자에게 출력하는 단계;
    상기 수정안을 선택하는 사용자의 수정명령을 수신하는 단계; 및
    상기 수신된 수정명령에 따라 상기 텍스트 오류를 수정하는 단계를 포함하고,
    상기 수정명령은,
    상기 수정안을 선택하는 사용자의 제 1 음성명령인 사용자 인터페이스 방법.
  2. 제 1 항에 있어서,
    상기 텍스트 오류의 검색 단계는,
    상기 적어도 하나의 텍스트를 포함하는 단어, 문장, 문단 단위로 수행되는 사용자 인터페이스 방법.
  3. 제 1 항에 있어서,
    상기 텍스트 오류의 알림 단계는,
    소리 또는 진동으로 사용자에게 상기 텍스트 오류를 알려주는 사용자 인터페이스 방법.
  4. 제 1 항에 있어서,
    상기 수정안은,
    올바른 텍스트의 리스트, '타이핑으로 텍스트를 수정함' 및 '음성으로 텍스트를 수정함'을 포함하는 사용자 인터페이스 방법.
  5. 제 1 항에 있어서,
    상기 수정안은,
    '텍스트 오류를 수정하지 않음'을 더 포함하는 사용자 인터페이스 방법.
  6. 제 1 항에 있어서,
    상기 텍스트 오류의 수정안 출력 단계는,
    상기 수정안을 음성으로 사용자에게 출력하는 사용자 인터페이스 방법.
  7. 제 1 항에 있어서,
    상기 사용자의 수정명령 수신 단계는,
    상기 제 1 음성명령을 음성인식(Speech Recognition) 처리하여, 상기 제 1 음성명령에 해당하는 상기 수정안을 선택하는 사용자 인터페이스 방법.
  8. 제 1 항에 있어서,
    상기 텍스트 오류의 수정 단계는,
    올바른 텍스트를 나타내는 사용자의 제 2 음성명령을 수신하는 단계; 및
    상기 수신된 제 2 음성명령을 음성인식(Speech Recognition) 처리하여, 상기 텍스트 오류를 상기 제 2 음성명령에 해당하는 올바른 텍스트로 수정하는 단계를 포함하는 사용자 인터페이스 방법.
  9. 제 1 항에 있어서,
    상기 검색된 텍스트 오류를 지시하는 사용자의 제 3 음성명령을 수신하는 단계; 및
    상기 제 3 음성명령을 음성인식(Speech Recognition) 처리하여, 상기 사용자가 지시한 텍스트 오류로 수정모드를 이동하는 단계를 더 포함하는 사용자 인터페이스 방법.
  10. 텍스트를 화면에 표시하거나, 음성 또는 소리를 출력하는 출력부;
    사용자의 명령을 수신하는 사용자 입력부; 및
    상기 사용자 입력부를 통해 입력된 텍스트를 화면에 표시하도록 상기 출력부를 제어하고, 상기 텍스트에 포함된 적어도 하나의 텍스트 오류를 검색하고, 상기 검색된 텍스트 오류를 사용자에게 알려주도록 상기 출력부를 제어하고, 상기 텍스트 오류의 수정안을 사용자에게 출력하도록 상기 출력부를 제어하고, 상기 수정안을 선택하는 사용자의 수정명령을 수신하도록 상기 사용자 입력부를 제어하고, 상기 수신된 수정명령에 따라 상기 텍스트 오류를 수정하는 제어부를 포함하고,
    상기 수정명령은,
    상기 수정안을 선택하는 사용자의 제 1 음성명령인 사용자 인터페이스 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 텍스트 오류의 검색을, 상기 적어도 하나의 텍스트를 포함하는 단어, 문장, 문단 단위로 수행하는 사용자 인터페이스 장치.
  12. 제 10 항에 있어서,
    상기 제어부는,
    소리 또는 진동으로 사용자에게 상기 텍스트 오류를 알려주도록 상기 출력부를 제어하는 사용자 인터페이스 장치.
  13. 제 10 항에 있어서,
    상기 수정안은,
    올바른 텍스트의 리스트, '타이핑으로 텍스트를 수정함' 및 '음성으로 텍스트를 수정함'을 포함하는 사용자 인터페이스 장치.
  14. 제 10 항에 있어서,
    상기 수정안은,
    '텍스트 오류를 수정하지 않음'을 더 포함하는 사용자 인터페이스 장치.
  15. 제 10 항에 있어서,
    상기 제어부는,
    상기 텍스트 오류의 수정안을 음성으로 사용자에게 출력하도록 상기 출력부를 제어하는 사용자 인터페이스 장치.
  16. 제 10 항에 있어서,
    상기 사용자 입력부는,
    사용자의 음성명령을 음성인식(Speech Recognition) 처리하는 음성 인식 모듈을 더 포함하는 사용자 인터페이스 장치.
  17. 제 16 항에 있어서,
    상기 제어부는,
    상기 제 1 음성명령을 음성인식(Speech Recognition) 처리하도록 상기 음성 인식 모듈을 제어하고, 상기 제 1 음성명령에 해당하는 상기 수정안을 선택하는 사용자 인터페이스 장치.
  18. 제 16 항에 있어서,
    상기 제어부는,
    올바른 텍스트를 나타내는 사용자의 제 2 음성명령을 수신하도록 상기 사용자 입력부를 제어하고, 상기 수신된 제 2 음성명령을 음성인식(Speech Recognition) 처리하도록 상기 음성 인식 모듈을 제어하고, 상기 텍스트 오류를 상기 제 2 음성명령에 해당하는 올바른 텍스트로 수정하는 사용자 인터페이스 장치.
  19. 제 16 항에 있어서,
    상기 제어부는,
    상기 검색된 텍스트 오류를 지시하는 사용자의 제 3 음성명령을 수신하도록 상기 사용자 입력부를 제어하고, 상기 수신된 제 3 음성명령을 음성인식(Speech Recognition) 처리하도록 상기 음성 인식 모듈을 제어하고, 상기 사용자가 지시한 텍스트 오류로 수정모드를 이동시키는 사용자 인터페이스 장치.
KR1020110062654A 2011-06-28 2011-06-28 사용자 인터페이스 방법 및 장치 KR20130008663A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110062654A KR20130008663A (ko) 2011-06-28 2011-06-28 사용자 인터페이스 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110062654A KR20130008663A (ko) 2011-06-28 2011-06-28 사용자 인터페이스 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130008663A true KR20130008663A (ko) 2013-01-23

Family

ID=47838576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110062654A KR20130008663A (ko) 2011-06-28 2011-06-28 사용자 인터페이스 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20130008663A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163684A1 (ko) * 2014-04-22 2015-10-29 주식회사 큐키 적어도 하나의 의미론적 유닛의 집합을 개선하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20150122000A (ko) * 2014-04-22 2015-10-30 주식회사 큐키 음성 인식 텍스트 수정 방법 및 이 방법을 구현한 장치
KR20160000449A (ko) * 2015-10-08 2016-01-04 주식회사 큐키 음성 인식 텍스트 수정 방법 및 이 방법을 구현한 장치
WO2016137071A1 (ko) * 2015-02-26 2016-09-01 주식회사 큐키 적어도 하나의 의미론적 유닛의 집합을 음성을 이용하여 개선하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163684A1 (ko) * 2014-04-22 2015-10-29 주식회사 큐키 적어도 하나의 의미론적 유닛의 집합을 개선하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20150122000A (ko) * 2014-04-22 2015-10-30 주식회사 큐키 음성 인식 텍스트 수정 방법 및 이 방법을 구현한 장치
CN105210147A (zh) * 2014-04-22 2015-12-30 科伊基股份有限公司 用于改进至少一个语义单元集合的方法、设备及计算机可读记录介质
US10395645B2 (en) 2014-04-22 2019-08-27 Naver Corporation Method, apparatus, and computer-readable recording medium for improving at least one semantic unit set
CN110675866A (zh) * 2014-04-22 2020-01-10 纳宝株式会社 用于改进至少一个语义单元集合的方法、设备及计算机可读记录介质
CN110675866B (zh) * 2014-04-22 2023-09-29 纳宝株式会社 用于改进至少一个语义单元集合的方法、设备及计算机可读记录介质
WO2016137071A1 (ko) * 2015-02-26 2016-09-01 주식회사 큐키 적어도 하나의 의미론적 유닛의 집합을 음성을 이용하여 개선하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10347242B2 (en) 2015-02-26 2019-07-09 Naver Corporation Method, apparatus, and computer-readable recording medium for improving at least one semantic unit set by using phonetic sound
KR20160000449A (ko) * 2015-10-08 2016-01-04 주식회사 큐키 음성 인식 텍스트 수정 방법 및 이 방법을 구현한 장치

Similar Documents

Publication Publication Date Title
US9361282B2 (en) Method and device for user interface
US9613623B2 (en) User interface method and device comprising repeated output of an audible signal and a visual display and vibration for user notification
US7389235B2 (en) Method and system for unified speech and graphic user interfaces
US20200175890A1 (en) Device, method, and graphical user interface for a group reading environment
JP2013068952A (ja) 音声認識結果の統合
EP1405169B1 (en) Information processing apparatus and method, and program product
JP2015232868A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
WO2021259061A1 (zh) 文档翻译方法和装置、存储介质和电子设备
KR20170014353A (ko) 음성 기반의 화면 내비게이션 장치 및 방법
KR20090090613A (ko) 멀티모달 대화형 이미지 관리 시스템 및 방법
US20200004504A1 (en) Internet-enabled audio visual graphing calculator
US20200218510A1 (en) Internet-enabled audio-visual graphing calculator
KR20200106703A (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
KR20130008663A (ko) 사용자 인터페이스 방법 및 장치
Alajarmeh Non-visual access to mobile devices: A survey of touchscreen accessibility for users who are visually impaired
KR20200034660A (ko) 쉬워진 사용자 반응
US20160335239A1 (en) Intelligent system and method of completing a form using a device
JP5008248B2 (ja) 表示処理装置、表示処理方法、表示処理プログラム、および記録媒体
KR20140070689A (ko) 음성 명령 기반 매쉬업 서비스 생성 장치 및 그 방법
JP4705406B2 (ja) マルチモーダル制御装置およびマルチモーダル制御方法
KR102092058B1 (ko) 인터페이스 제공 방법 및 장치
JP2022051500A (ja) 関連情報提供方法及びシステム
JP5733344B2 (ja) 電子装置、表示端末および本体装置
KR101435477B1 (ko) 어플리케이션 프로그램을 이용한 대화 방법
JP6651563B2 (ja) 電子図書閲覧プログラム及び電子図書閲覧装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application