KR101400754B1 - System for providing wireless captioned conversation service - Google Patents
System for providing wireless captioned conversation service Download PDFInfo
- Publication number
- KR101400754B1 KR101400754B1 KR1020120069194A KR20120069194A KR101400754B1 KR 101400754 B1 KR101400754 B1 KR 101400754B1 KR 1020120069194 A KR1020120069194 A KR 1020120069194A KR 20120069194 A KR20120069194 A KR 20120069194A KR 101400754 B1 KR101400754 B1 KR 101400754B1
- Authority
- KR
- South Korea
- Prior art keywords
- caption
- voice
- wireless
- dialog
- unit
- Prior art date
Links
- 208000032041 Hearing impaired Diseases 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 18
- 238000010295 mobile communication Methods 0.000 claims description 8
- 206010011878 Deafness Diseases 0.000 abstract description 3
- 206010048865 Hypoacusis Diseases 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/18—Service support devices; Network management devices
- H04W88/181—Transcoding devices; Rate adaptation devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/39—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 청각장애인 또는 청각언어장애인(이하 "청각장애인"이라 함)이 타인과 대면하여 일상적인 생활환경에서 수화와 같은 특수 대화방법을 알지 못하는 상대방(이하 "상대방"이라 함)과 의사소통을 원활하게 할 수 있도록 하는 시스템에 관한 것으로써, 장애인과 대화하는 상대방이 장애인에게 한 음성(말)을 문자로 변환하여 실시간으로 장애인이 휴대하고 있는 무선캡션대화단말장치에 자막으로 디스플레이하고, 언어장애를 지닌 장애인인 경우에는 무선캡션대화단말장치에 장애인이 직접 입력한 문자들이 음성으로 변환되어 무선캡션대화단말장치의 스피커로 출력되어 상대방이 수화를 하지 않더라도 대화가 가능하도록 한 장애인을 위한 무선캡션대화서비스 시스템에 관한 것이다.The present invention relates to a method for communicating with a person who is deaf or hard of hearing (hereinafter referred to as "the hearing impaired") to communicate with another party (hereinafter referred to as "the other party") who does not know a special conversation method, such as sign language, The present invention provides a system for enabling a person with a disability to communicate with a disabled person by converting a voice (speech) made by a person with a disability into a character, displaying it in a caption on a wireless caption conversation terminal device carried by a disabled person in real time, The characters inputted directly by the disabled person into the wireless caption dialog terminal device are converted into voice and outputted to the speaker of the wireless caption dialog terminal device so that the wireless caption dialogue for the disabled person Service system.
Description
본 발명은 청각장애인 또는 청각언어장애인(이하 "청각장애인"이라 함)이 타인과 대면하여 일상적인 생활환경에서 수화와 같은 특수 대화방법을 알지 못하는 상대방(이하 "상대방"이라 함)과 의사소통을 원활하게 할 수 있도록 하는 시스템에 관한 것으로써, 장애인과 대화하는 상대방이 장애인에게 한 음성(말)을 문자로 변환하여 실시간으로 장애인이 휴대하고 있는 무선캡션대화단말장치에 자막으로 디스플레이하고, 언어장애를 지닌 장애인인 경우에는 무선캡션대화단말장치에 장애인이 직접 입력한 문자들이 음성으로 변환되어 무선캡션대화단말장치의 스피커로 출력되어 상대방이 수화를 하지 않더라도 대화가 가능하도록 한 장애인을 위한 무선캡션대화서비스 시스템에 관한 것이다.The present invention relates to a method for communicating with a person who is deaf or hard of hearing (hereinafter referred to as "the hearing impaired") to communicate with another party (hereinafter referred to as "the other party") who does not know a special conversation method, such as sign language, The present invention provides a system for enabling a person with a disability to communicate with a disabled person by converting a voice (speech) made by a person with a disability into a character, displaying it in a caption on a wireless caption conversation terminal device carried by a disabled person in real time, The characters inputted directly by the disabled person into the wireless caption dialog terminal device are converted into voice and outputted to the speaker of the wireless caption dialog terminal device so that the wireless caption dialogue for the disabled person Service system.
현재 제공되고 있는 자막 제공 시스템은 텔레비전이나 대규모 회의석상 또는 미국 등의 선진국에서 장애인에게 제공되는 자막 통화(Telecommunications Relay Service; TRS) 등에 사용되고 있다.Currently, the subtitle provision system is being used for television, large-scale conference, or the Telecommunications Relay Service (TRS) provided to disabled people in developed countries such as the United States.
텔레비전이나 대규모 회의석상에서 제공되는 자막 시스템은 장애인이 상대방과의 일상적인 대화를 위해 사용되는 시스템이 아니며, 자막 통화 역시 먼 거리에 있는 상대방과 전화 통화를 하기 위한 보조 수단으로 사용되고 있으므로 장애인이 일상적인 생활에서 상대방과 대화하기 위하여 수화나 필기가 가장 많이 사용되고 있다. 그러나 수화에 대한 지식이 없는 상대방이 알아들을 수 없기 때문에 일반적인 의사소통의 수단으로 이용하기 어려우며, 필기는 상대방도 동일하게 필기를 사용하여 의사소통을 해야 하는 불편함뿐만 아니라 장애인이 상대방과 더불어 살아가는 환경으로 나아가는 것에 대하여 장애물이 되고 있는 실정이다. The subtitling system provided on a television or a large-scale conference is not a system used for daily conversation between a disabled person and a subtitle call is also used as an auxiliary means for making a telephone conversation with a remote person. Sign language or handwriting is most commonly used to communicate with other people in their lives. However, it is difficult to use it as a means of general communication because the other person who does not have knowledge about sign language can not understand it. In addition to the inconvenience that the other party uses the same handwriting to communicate with the other person, It is an obstacle to going forward.
공개특허공보 10-2010-0050959 장애인을 위한 의사 소통 시스템Patent Document 1: Japanese Patent Application Laid-Open No. 10-2010-0050959
본 발명은 상기와 같은 문제점을 해결하기 위하여 고안된 것으로써, 본 발명의 목적은 장애인이 상대방 또는 같은 입장의 장애인과 직접 대면하여 일상적인 대화를 할 때 장애인이 휴대하고 있는 음성 및 데이터 통화기능을 갖춘 무선캡션대화단말장치의 화면에 상대방의 말이 변환된 자막, 또는 상대방의 말과 동시에 자막을 표시하거나, 장애인이 무선캡션대화단말장치를 이용하여 입력한 문자를 음성으로 변환하여 다시 무선캡션대화단말장치의 스피커를 이용하여 출력하여 장애인 자신과 상대방의 원활한 대화를 가능하게 하는 무선캡션대화서비스 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a voice communication system and a voice communication method which enable a disabled person to communicate with a disabled person in the same position, It is possible to display the caption converted by the speech of the other party on the screen of the wireless caption dialog terminal device or the caption displayed simultaneously with the speech of the other party or to convert the character inputted by the disabled person using the wireless caption conversation terminal device into voice, And to provide a wireless caption conversation service system that enables smooth conversation between the person himself / herself and the other party.
상기 목적들을 달성하기 위하여, 본 발명에 따르면, 청각장애인이 상대방과 대화를 할 수 있도록 하는 무선캡션서비스 시스템에 있어서, 수신한 상대방의 음성을 문자화된 캡션데이터로 전환시키는 릴레이 센터; 상기 릴레이센터로부터 캡션데이터를 수신하여 디스플레이하고, 상대방의 음성을 수집하거나 청각장애인이 문자를 입력하는 무선캡션대화장치; 및 상기 무선캡션대화장치로부터 수신한 상대방의 음성을 상기 릴레이센터로 전달하고, 상대방의 음성을 문자로 전환한 캡션 데이터를 상기 릴레이센터로부터 수신하여 상기 무선캡션대화장치로 전달하고, 청각장애인이 입력한 문자를 음성으로 변환하는 무선캡션대화 서버를 포함하여 구성되며,
상기 무선캡션대화장치는,상대방의 음성을 수집하고, 청각장애인이 입력한 문자를 변환한 음성을 수신하여 출력하는 음성수집장치와, 상기 음성수집장치에서 수집한 상대방의 음성을 상기 무선캡션대화 서버로 전달하고, 상기 무선캡션대화 서버로부터 수신된 변환된 음성을 상기 음성수집장치에 전달하며, 상기 릴레이 센터로부터 수신한 캡션데이터를 자막으로 디스플레이하고, 청각장애인이 문자를 입력할 수 있는 무선캡션대화단말장치로 구성된 것을 특징으로 한 무선캡션서비스 시스템.을 제공할 수 있다. In order to achieve the above objects, according to the present invention, there is provided a wireless caption service system for enabling a hearing impaired person to communicate with a counterpart, the system comprising: a relay center for converting a voice of a received counterpart into characterized caption data; A wireless caption dialog device for receiving and displaying caption data from the relay center, collecting a voice of the other party or inputting a character by a hearing impaired person; And a communication unit for communicating the voice of the other party received from the wireless caption dialog unit to the relay center, receiving the caption data in which the voice of the other party is converted into a character, from the relay center and transmitting the caption data to the wireless caption dialog unit, And a wireless caption conversation server for converting one character to speech,
The wireless caption dialog device includes a voice collecting device for collecting a voice of the other party and receiving and outputting a voice converted from a character input by the hearing impaired person; Transmits the converted voice received from the wireless caption conversation server to the voice collection device, displays the caption data received from the relay center as a caption, and displays a wireless caption dialogue And a terminal device. The wireless caption service system of the present invention can be provided.
상기 음성수집장치는 상대방의 음성을 마이크로부터 입력받아 전기 신호화하여 전달하는 음성입력부와; 상기 무선캡션대화단말장치로부터 수신되는 음성을 스피커로 출력하는 음성출력부; 및 상기 음성입력부로부터 수집된 음성을 유선 또는 무선으로 상기 무선캡션대화단말장치에 전달하는 근거리 유무선통신모듈부를 포함하여 구성된 것이 바람직하다. The voice collecting device includes a voice input unit for receiving a voice of the other party from a microphone and converting the voice into an electric signal and transmitting the voice signal; A voice output unit for outputting voice received from the wireless caption talking terminal unit to a speaker; And a local wired / wireless communication module for transmitting the voice collected from the voice input unit to the wireless caption dialog terminal device by wire or wirelessly.
삭제delete
상기 무선캡션대화단말장치는, 청각장애인과의 인터페이스 및 무선캡션대화 서비스를 위한 제어를 담당하며 청각장애인이 입력한 문자를 무선캡션대화 서버에 전송하거나, 전송하지 않고 자체적으로 문자를 음성으로 변환할 수 있는 기능을 가진 어플리케이션부; 음성 전화를 걸 수 있도록 하는 다이얼러부; 음성 통화 기능 및 패킷 서비스의 연결과 같은 기본적인 기능을 제어하거나 동작시키는 OS/버추얼머신부; 상기 음성수집장치의 근거리 유무선 통신모듈부와 연동되어 수집된 음성을 전달받는 근거리 유무선 통신주모듈부와 이동통신 네트워크와의 연동을 담당하는 이동통신 네트워크 통신모듈부;를 포함하여 구성된 것이 바람직하다. The wireless caption conversation terminal unit is responsible for controlling the interface with the hearing impaired person and the wireless caption conversation service. The wireless caption conversation terminal unit transmits the character inputted by the hearing impaired person to the wireless caption conversation server or converts the character into voice An application unit having a function capable of performing a function; A dialer unit for making a voice call; An OS / virtual machine unit for controlling or operating basic functions such as a voice call function and a packet service connection; And a mobile communication network communication module unit for interworking with the local wired and wireless communication module unit and the mobile communication network to receive the collected voice in cooperation with the local wired and wireless communication module unit of the voice collection apparatus.
상기 무션캡션대화 서버는, 상기 무선캡션단말장치와 연결되어 호를 제어하고 음성을 수신하는 무선캡션대화단말장치정합부; 상기 릴레이센터와 연결되어 호를 제어하고 음성을 전달하는 릴레이센터정합부; 및 상기 각각의 정합부들을 제어하는 핸들러부;를 포함하여 구성되는 것이 바람직하다. The wireless caption conversation server includes: a wireless caption conversation terminal apparatus registration unit connected to the wireless caption terminal apparatus and controlling a call and receiving voice; A relay center matching unit connected to the relay center for controlling calls and transmitting voice; And a handler unit for controlling the respective matching units.
상기 무선캡션대화단말장치정합부는, 수집된 상대방의 음성이 수신되면 상기 릴레이센터정합부로 전달하며, 청각장애인이 입력한 문자가 수신되면 음성으로 변환(Text to Speech)한 후 상기 무선캡션대화단말장치로 전달하는 것이 바람직하다. The wireless caption conversation terminal apparatus registration unit transmits the collected voice to the relay center registration unit. Upon reception of a character input by the hearing impaired person, the wireless caption conversation terminal apparatus converts the voice to speech, .
본 발명에 따르면, 다음과 같은 효과를 기대할 수 있다.According to the present invention, the following effects can be expected.
본 발명 캡션 전화 서비스 제공방법은, 현장에 특별한 장비를 설치하는 번거로움 또는 수화 통역자의 도움 없이 장애인에게 일반인과 일상적인 대화를 가능하게 하여 장애인의 삶의 질을 향상시킬 수 있다.The method of providing a caption telephone service according to the present invention can improve the quality of life of a person with a disability by making it possible for a disabled person to have daily conversation with a general person without the hassle of installing special equipment in the field or by using a sign language interpreter.
또한 본 발명은 특수하게 제작된 무선캡션대화단말장치 뿐만 아니라 , 장애인이 평소에 휴대하고 다니는 휴대폰(스마트폰)을 이용하여 어플리케이션의 설치만으로도 쉽게 사용할 수 있다. In addition, the present invention can be easily used not only by a specially manufactured wireless caption dialog terminal device but also by installing an application using a mobile phone (smart phone) normally carried by a person with a disability.
부가적으로 장애인과 대화하는 일반인은 수화나 필기를 이용할 필요 없이 장애인이 휴대한 무선캡션대화단말장치와 연결되어 있는 음성수집장치에 입을 대고 말을 하는 것만으로도 장애인과 대화가 가능해 진다. In addition, an ordinary person who talks to a disabled person can talk to a disabled person by simply speaking to a voice capturing device connected to a wireless caption conversation terminal device carried by a disabled person without having to use sign language or handwriting.
도 1은 본 발명의 바람직한 일실시예에 따른 무선캡션대화장치의 블록도
도 2는 본 발명의 바람직한 일실시예에 따른 무선캡션대화 서비스 시스템의 구성도
도 3은 본 발명의 바람직한 일실시예에 따른 무선캡션대화 서비스가 서킷 네트워크와 패킷 네트워크를 동시에 이용하여 제공되는 경우의 네트워크의 구성도
도 4는 본 발명의 바람직한 일실시예에 따른 무선캡션대화 서비스가 패킷 네트워크만을 이용하여 제공되는 경우의 네트워크의 구성도
도 5는 본 발명의 바람직한 일실시예에 따른 무션캡션대화 서버 내부의 무선캡션대화단말장치 정합부의 음성과 문자 경로 연결 구성도1 is a block diagram of a wireless caption dialogue apparatus according to a preferred embodiment of the present invention;
2 is a configuration diagram of a wireless caption dialog service system according to a preferred embodiment of the present invention.
3 is a diagram illustrating a configuration of a network when a wireless caption conversation service according to a preferred embodiment of the present invention is provided using both a circuit network and a packet network simultaneously
4 is a block diagram of a network in a case where a wireless caption conversation service according to a preferred embodiment of the present invention is provided using only a packet network
FIG. 5 is a diagram illustrating a voice and character path connection configuration of a wireless caption conversation terminal device registration unit in a wireless communication terminal according to an exemplary embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 발명은 장애인이 상대방과 자연스런 대화를 할 수 있는 서비스 시스템에 관한 것으로써, 무선캡션대화장치(100)는 상대방과 대화를 하기 위하여 무선캡션대화 서버(200)에 음성호를 연결하고, 상기 무선캡션대화 서버(200)로부터 상대방의 음성이 문자로 변환된 캡션 데이터를 수신하여 무선캡션대화단말장치(120)의 어플리케이션부(122)를 통하여 디스플레이하여 상대방의 음성을 자막으로 볼 수 있도록 하는 기능과 장애인 자신이 무선캡션대화단말장치(120)에 입력한 문자를 바탕으로 변환된 음성을 스피커를 이용하여 출력하는 잡업을 수행한다. The present invention relates to a service system in which a person with a disability can communicate spontaneously with the other party, wherein the wireless
상기 무선캡션대화 서버(200)는 무선캡션대화장치(100)와 설정된 경로를 통하여 수신된 음성을 릴레이센터(300)로 전달하고, 상기 릴레이센터(300)는 수신된 상대방의 음성을 문자화한 캡션 데이터로 전환시켜서 무선캡션대화 서버(200)로 보낸다. The wireless
상기 무선캡션대화 서버(200)는 무선캡션대화장치(100)의 음성수집장치(110)로부터 수집한 상대방의 음성을 묵음으로 바꾸거나 무선캡션대화단말장치(120)로부터 수신된 문자를 음성으로 변환한 후 음성경로를 통하여 다시 무선캡션대화장치(100)로 전달하는 한편, 릴레이센터(300)로부터 수신된 캡션 데이터를 무선캡션대화단말장치(120)로 전달하여 상대방과 원활한 무션캡션대화서비스를 제공하는 것을 특징으로 한다.
The wireless
도 1은 본 발명의 무선캡션대화장치의 블록도이다. 무선캡션대화장치(100)는 상대방의 음성을 수집하는 음성수집장치(110)와 네트워크와의 정합과 청각장애인과의 인터페이스를 담당하는 무선캡션대화단말장치(120)로 구성된다. 1 is a block diagram of a wireless caption dialogue apparatus of the present invention. The wireless
상기 음성수집장치(110)는 음성입력부(112), 음성출력부(114) 및 근거리 유무선통신 모듈부(116)로 구성된다. 상기 음성입력부(112)는 상대방의 음성을 마이크로부터 입력받아 전기 신호화하여 상기 근거리 유무선통신 모듈부(116)에 전달한다. The
상기 근거리 유무선통신 모듈부(116)는 수집된 음성을 유선 또는 무선으로 상기 무선캡션대화단말장치(120)에 전달하며, 상기 음성출력부(114)는 상기 무선캡션대화단말장치(120)부터 수신되는 음성을 출력하는 역할을 담당한다. The local wired /
상기 무선캡션대화단말장치(120)는 청각장애인과의 인터페이스 및 무선캡션대화 서비스를 위한 제어와 수신된 캡션 데이터를 표시하고, 청각장애인이 문자를 입력할 수 있는 기능을 수행하는 어플리케이션부(122)와 무선캡션대화서비스 서버에 음성 전화를 걸 수 있는 기능을 제공하는 다이얼러부(124), 단말장치의 음성 통화 기능 및 패킷 서비스의 연결 등과 같은 이동통신 단말기의 기본적인 기능을 제어하거나 동작시키는 OS/버추얼머신부(126)로 구성되고, 상기 음성수집장치(110)의 근거리 유무선 통신 모듈부(116)와 연동되어 수집된 음성을 전달받거나 네트워크 통신 모듈부(130)로부터 수신한 음성을 음성수집장치(110)로 전송하는 근거리 유무선 통신 주모듈부(128)와 이동통신 네트워크와의 연동을 담당하는 이동통신 네트워크 통신 모듈부(130)로 구성된다. The wireless
본 발명에서 설명되는 무선캡션대화단말장치는 특수하게 이동 단말기 및 차량용 단말기, 스마트 폰(smart phone), PDA(Personal Digital Assistants), 노트북 컴퓨터, PMP(Portable Multimedia Player), 휴대폰 등이 포함될 수 있다.
The wireless caption dialog terminal apparatus described in the present invention may include a mobile terminal and a car terminal, a smart phone, a PDA (Personal Digital Assistants), a notebook computer, a portable multimedia player (PMP), a mobile phone, and the like.
도 2는 본 발명에 따른 무선캡션대화 서버의 구성도이다. 상기 무선캡션대화 서버(200)는 무선캡션대화단말장치(120)와 연결되어 호를 제어하고 음성을 처리하는 무선캡션대화단말장치 정합부(204), 수신된 음성을 캡션 데이터로 변환하는 릴레이센터(300)와 연결되어 호를 제어하고 음성을 처리하는 릴레이센터 정합부(206) 및 상기 각 정합부들을 제어하는 핸들러부(202)로 구성된다. 2 is a configuration diagram of a wireless caption dialog server according to the present invention. The wireless
상기 무선캡션대화단말장치 정합부(204)는 상기 핸들러부(202)의 제어에 의하여, 상기 음성수집장치(110)를 통하여 수집된 후 음성경로(V100)를 통하여 상기 무선캡션대화단말장치(120)에 전달된 음성이 무선/유선 네트워크를 통하여 생성된 제1 음성 경로(V101)로부터 수신되면 릴레이센터 정합부(206)로 전달함과 함께, 수집된 음성을 묵음(White noise)으로 만든 후 제1 음성경로(V102)를 이용하여 상기 무선캡션대화단말장치(120)로 전달한다. 만약에 청각장애인이 무선캡션대화단말장치(120)를 이용하여 입력한 문자가 제1 캡션 데이터 경로(D100)를 통하여 수신될 경우에는 수신된 문자를 음성으로 변환한 후(Text To Speech) 변환된 음성을 상기의 묵음(White noise) 대신 제1 음성경로(V102)를 이용하여 상기 무선 캡션대화단말장치(120)로 전달한다. 상기 무선캡션대화단말장치(120)로 전달된 묵음 또는 음성은 음성경로(V401)를 통하여 음성수집장치(110)의 음성출력부(114)로 전달된다. 상기 릴레이센터 정합부(206)는 수신된 음성을 제2 음성경로(V103)를 이용하여 릴레이센터(300)에 전달한다. The wireless caption dialog terminal
상기 릴레이센터(300)에서는 수신한 음성을 문자화된 캡션 데이터로 전환하고, 상기 캡션 데이터는 제2 캡션 데이터 경로(D101)와 제1 캡션 데이터 경로(D100)를 통하여 상기 무선캡션대화단말장치(120)에 전달된다.
The
도 3은 본 발명에 따른 무선캡션대화서비스시스템에 의한 무선캡션대화 서비스가 서킷 네트워크와 패킷 네트워크를 동시에 이용하여 제공되는 경우의 네트워크의 구성도이다. 도 3의 전체 구성은 음성수집장치(110)와 근거리 유무선 통신 방식으로 연결된 무선캡션대화단말장치(120)로 구성된 무선캡션대화장치(100), 무선캡션대화 서버(200), 무선/유선 음성 네트워크(104), 무선/유선 패킷 네트워크(105), 릴레이센터(300)를 포함하여 구성된다.3 is a block diagram of a network in a case where a wireless caption conversation service by a wireless caption conversation service system according to the present invention is provided using a circuit network and a packet network at the same time. The overall configuration of FIG. 3 includes a wireless
도 3에 도시된 바와 같이, 상기 음성수집장치(110)는 근거리 유무선 통신 모듈부(116)를 통하여 무선캡션대화단말장치(120)와 연결된다. 청각장애인이 무선캡션대화단말장치(120)의 어플리케이션부(122)를 이용하여 전화를 걸면 무선/유선 음성 네트워크(104)를 경유하여 무선캡션대화 서버(200)와 제1 음성경로(V101,V102)를 설정하며, 상기 릴레이센터(300)와 제2 음성경로(V103)를 설정한다. 상기 무선캡션대화단말장치(120)는 제1 음성경로(V101, V102)를 설정함과 동시에 무선/유선 패킷 네트워크(105)를 경유하여 무선캡션대화 서버(200)와 제1 캡션 데이터 경로(D100)를 설정하고, 또한 상기 무선캡션대화서버(200)는 릴레이센터(300)와 제2 캡션 데이터 경로(D101)를 설정한다. 상기 릴레이센터(300)는 제1 음성경로(V101, V102)와 제2 음성경로(V103)를 경유하여 수신된 음성을 캡션 데이터로 변경한 후 제2 캡션 데이터 경로(D101)와 제1 캡션 데이터 경로(D100)를 이용하여 무선캡션대화단말장치(120)에 전달한다.
3, the
도 4는 본 무선캡션대화 서비스가 패킷 네트워크만을 이용하여 제공되는 경우의 네트워크의 구성도이다. 도 4의 전체 구성은 음성수집장치(110)와 근거리 유무선 통신 방식으로 연결된 무선캡션대화단말장치(120)로 구성된 무선캡션대화장치(100), 무선캡션대화 서버(200), 무선/유선 패킷 네트워크(105), 릴레이센터(300)로 구성된다.4 is a configuration diagram of a network when the present wireless caption conversation service is provided using only a packet network. The overall configuration of FIG. 4 includes a wireless
도 4에 도시된 바와 같이, 상기 음성수집장치(110)는 근거리 유선 또는 무선 통신 모듈을 이용하여 무선캡션대화단말장치(120)와 연결된다. 청각장애인이 무선캡션대화단말장치(120)의 어플리케이션부(122)를 이용하여 전화를 걸면 무선/유선 패킷 네트워크(105)를 경유하여 무선캡션대화 서버(200)와 제1 음성경로(V101,V102)를 설정하며, 상기 릴레이센터(300)와 제2 음성경로(V103)를 설정한다. As shown in FIG. 4, the
상기 무선캡션대화단말장치(120)는 제1 음성경로(V101, V102)를 설정함과 동시에 무선/유선 패킷 네트워크(105)를 경유하여 제1 캡션 데이터 경로(D100)를 설정하고 이후에 무선캡션대화 서버(200)는 릴레이센터(300)와 제2 캡션 데이터 경로(D101)를 설정한다. 상기 릴레이센터(300)는 제 1 음성경로(V101,V102)와 제 2 음성경로(V103)를 경유하여 수신된 음성을 캡션 데이터로 변경한 후 제2 캡션 데이터 경로(D101)와 제 1 캡션 데이터 경로(D100)를 이용하여 무선캡션대화단말장치(120)에 전달한다.
The wireless
도 5는 본 발명에 따른 무션캡션대화 서버 내부의 무선캡션대화 단말장치 정합부(204)의 음성과 문자 경로 연결 구성도이다. 도 5의 전체 구성은 음성수집장치(110), 무선캡션대화 단말장치(120)로 구성된 무선캡션대화장치(100), 무선캡션대화 단말장치 정합부(204), 릴레이센터 정합부(206)를 포함하여 구성된다.FIG. 5 is a block diagram illustrating a voice and text path connection of the wireless caption conversation terminal
도 5에 도시된 바와 같이, 음성경로(V101)로부터 수신된 음성은 무선캡션대화단말장치 정합부(204)를 경유하여 릴레이센터 정합부(206)에 전달된다. 또한 릴레이센터 정합부(206)로부터 수신된 캡션 데이터는 제1 캡션 데이터 경로(D100)를 경유하여 무선캡션대화 단말장치(120)로 전달된다. 한편, 장애인이 입력한 문자는 제1 캡션 데이터 경로(D100)를 통하여 무선캡션대화 단말장치 정합부(204)에 수신되며, 수신된 문자는 문자를 음성으로 바꾸는 기능(Text to Speech)을 이용하여 음성으로 변환된 후 제1 음성경로(V102)를 통하여 무선캡션대화 단말장치(120)를 경유하여 음성수집장치(110)로 전송된다.5, the voice received from the voice path (V101) is transmitted to the relay center matching unit (206) via the wireless caption talking terminal apparatus matching unit (204). Also, the caption data received from the relay
만약, 무선캡션대화단말장치(120)가 문자를 음성으로 바꾸는 기능(Text to Speech)을 이용 한다면 청각장애인이 어플리케이션부(122)를 이용하여 입력한 문자는 상기와 같은 경로를 통하여 무선캡션대화 단말장치 정합부(204)의 TTS(Text to Speech) 기능을 이용하지 않고 상기 무선캡션대화단말장치(120) 자체의 기능을 이용하여 해당 문자를 음성으로 변환한 후 음성경로(V401)를 통하여 음성수집장치(110)로 전송된다.
If the wireless
상기와 같이 구성된 본 발명의 작동관계를 설명하면, 청각장애인이 서비스를 요청하기 위하여 무선캡션대화단말장치(120)의 어플리케이션부(122)에서 제공하는 청각장애인과의 인터페이스를 이용하여 다이얼러부(124)를 이용하여 무선캡션대화 서버(200)에 음성전화를 건다. 이때 음성수집장치의 근거리 유무선 통신 모듈부(116)와 무선캡션대화단말장치의 근거리 유무선 통신 주모듈부(128)간에 음성경로(V100, V401)를 설정한다. 이동통신 네트워크 통신 모듈부(130)의 음성 전화기능을 통하여 제1 음성 경로(V101, V102)가 설정되면 곧바로 이동통신 네트워크 통신 모듈부(130)의 패킷 데이터 기능을 이용하여 제1 캡션 데이터 경로(D100)를 생성한다. 각각의 경로가 설정된 후에 수집된 음성은 음성경로(V100, V101)를 통하여 무선캡션대화 서버(200)에 전달되고, 제1 캡션 데이터 경로(D100)를 통하여 수신된 캡션 데이터는 어플리케이션부(122)를 이용하여 청각장애인에게 자막으로 표시된다. 청각장애인이 입력한 문자는 제1 캡션 데이터 경로(D100)를 통하여 무선캡션대화 서버(200)에 전달된 후 음성으로 변환되고 이 음성은 제1 음성경로(V102)를 통하여 무선캡션대화단말장치(120)에 전달된 후 음성경로(V401)를 통하여 음성출력부(114)로 전달되어 스피커로 출력된다.
In order to request the service of the hearing impaired person using the interface with the hearing impaired person provided by the
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The foregoing description is merely illustrative of the technical idea of the present invention and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the scope of the present invention but to limit the scope of the technical idea of the present invention. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
100: 무선캡션대화장치 110: 음성수집장치
120: 무선캡션대화단말장치 200: 무션캡션대화 서버
300: 릴레이센터 100: wireless caption dialog device 110: voice capture device
120: wireless caption dialog terminal device 200: wireless caption dialog server
300: Relay Center
Claims (6)
수신한 상대방의 음성을 문자화된 캡션데이터로 전환시키는 릴레이 센터;
상기 릴레이센터로부터 캡션데이터를 수신하여 디스플레이하고, 상대방의 음성을 수집하거나 청각장애인이 문자를 입력하는 무선캡션대화장치; 및
상기 무선캡션대화장치로부터 수신한 상대방의 음성을 상기 릴레이센터로 전달하고, 상대방의 음성을 문자로 전환한 캡션 데이터를 상기 릴레이센터로부터 수신하여 상기 무선캡션대화장치로 전달하고, 청각장애인이 입력한 문자를 음성으로 변환하는 무선캡션대화 서버를 포함하여 구성되며,
상기 무선캡션대화장치는,
상대방의 음성을 수집하고, 청각장애인이 입력한 문자를 변환한 음성을 수신하여 출력하는 음성수집장치와, 상기 음성수집장치에서 수집한 상대방의 음성을 상기 무선캡션대화 서버로 전달하고, 상기 무선캡션대화 서버로부터 수신된 변환된 음성을 상기 음성수집장치에 전달하며, 상기 릴레이 센터로부터 수신한 캡션데이터를 자막으로 디스플레이하고, 청각장애인이 문자를 입력할 수 있는 무선캡션대화단말장치로 구성된 것을 특징으로 한 무선캡션서비스 시스템.A wireless caption service system for enabling a hearing impaired person to communicate with a counterpart,
A relay center for converting the voice of the other party to the caption data of the character;
A wireless caption dialog device for receiving and displaying caption data from the relay center, collecting a voice of the other party or inputting a character by a hearing impaired person; And
Captures data of the other party received from the wireless caption dialog unit to the relay center, receives the caption data in which the voice of the other party is converted into a character, from the relay center, and transmits the caption data to the wireless caption dialog unit, And a wireless caption conversation server for converting the character to speech,
The wireless caption dialog device comprising:
A voice capturing device for collecting a voice of the other party and receiving and outputting a voice converted from a character input by the hearing impaired person, and a voice capturing server for transmitting the voice of the other party collected by the voice capturing device to the wireless caption conversation server, And a wireless caption dialog terminal device for delivering the converted voice received from the conversation server to the voice collection device, displaying the caption data received from the relay center as a caption, and inputting a character by a hearing impaired person. One wireless caption service system.
상기 음성수집장치는 상대방의 음성을 마이크로부터 입력받아 전기 신호화하여 전달하는 음성입력부와;
상기 무선캡션대화단말장치로부터 수신되는 음성을 스피커로 출력하는 음성출력부; 및
상기 음성입력부로부터 수집된 음성을 유선 또는 무선으로 상기 무선캡션대화단말장치에 전달하는 근거리 유무선통신모듈부를 포함하여 구성된 것을 특징으로 한 무선캡션서비스 시스템.The method according to claim 1,
The voice collecting device includes a voice input unit for receiving a voice of the other party from a microphone and converting the voice into an electric signal and transmitting the voice signal;
A voice output unit for outputting voice received from the wireless caption talking terminal unit to a speaker; And
And a local wired / wireless communication module for transmitting the voice collected from the voice input unit to the wireless caption dialog terminal device by wire or wirelessly.
상기 무선캡션대화단말장치는
청각장애인과의 인터페이스 및 무선캡션대화 서비스를 위한 제어를 담당하며 청각장애인이 입력한 문자를 무선캡션대화 서버에 전송하거나, 전송하지 않고 자체적으로 문자를 음성으로 변환할 수 있는 기능을 가진 어플리케이션부;
음성 전화를 걸 수 있도록 하는 다이얼러부;
음성 통화 기능 및 패킷 서비스의 연결과 같은 기본적인 기능을 제어하거나 동작시키는 OS/버추얼머신부;
상기 음성수집장치의 근거리 유무선 통신모듈부와 연동되어 수집된 음성을 전달받는 근거리 유무선 통신주모듈부와
이동통신 네트워크와의 연동을 담당하는 이동통신 네트워크 통신모듈부;를 포함하여 구성된 것을 특징으로 한 무선캡션서비스 시스템.The method according to claim 1,
The wireless caption dialog terminal apparatus
An application unit having a function of controlling the interface with the hearing impaired person and controlling the wireless caption conversation service and converting the characters inputted by the hearing impaired person to the wireless caption conversation server or converting the characters into speech without transmitting the characters to the wireless caption conversation server;
A dialer unit for making a voice call;
An OS / virtual machine unit for controlling or operating basic functions such as a voice call function and a packet service connection;
A local wired and wireless communication module module unit for receiving the voice collected by the wired / wireless communication module unit of the voice collection device,
And a mobile communication network communication module for interworking with the mobile communication network.
상기 무선캡션대화 서버는,
상기 무선캡션대화단말장치와 연결되어 호를 제어하고 음성을 수신하는 무선캡션대화단말장치정합부;
상기 릴레이센터와 연결되어 호를 제어하고 음성을 전달하는 릴레이센터정합부; 및
상기 무선캡션대화단말장치정합부와 릴레이센터정합부를 제어하는 핸들러부;를 포함하여 구성되는 것을 특징으로 하는 무선캡션서비스 시스템The method according to claim 1,
Wherein the wireless caption dialog server comprises:
A wireless caption dialog terminal apparatus matching unit connected to the wireless caption dialog terminal apparatus for controlling a call and receiving voice;
A relay center matching unit connected to the relay center for controlling calls and transmitting voice; And
And a handler unit for controlling the wireless caption talking terminal apparatus matching unit and the relay center matching unit.
상기 무선캡션대화단말장치정합부는,
수집된 상대방의 음성이 수신되면 상기 릴레이센터정합부로 전달하며, 청각장애인이 입력한 문자가 수신되면 음성으로 변환(Text to Speech)한 후 상기 무선캡션대화단말장치로 전달하는 것을 특징으로 한 무선캡션서비스 시스템.6. The method of claim 5,
Wherein the wireless caption dialog terminal apparatus matching unit comprises:
When receiving the voice of the other party, transmits the voice to the relay center matching unit, and when receiving the character input by the hearing impaired person, converts the voice to speech and transmits the voice to the wireless caption dialog terminal unit Service system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120069194A KR101400754B1 (en) | 2012-06-27 | 2012-06-27 | System for providing wireless captioned conversation service |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120069194A KR101400754B1 (en) | 2012-06-27 | 2012-06-27 | System for providing wireless captioned conversation service |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140006198A KR20140006198A (en) | 2014-01-16 |
KR101400754B1 true KR101400754B1 (en) | 2014-06-27 |
Family
ID=50141178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120069194A KR101400754B1 (en) | 2012-06-27 | 2012-06-27 | System for providing wireless captioned conversation service |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101400754B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102033730B1 (en) * | 2019-03-26 | 2019-10-17 | 주식회사 이큐포올 | Method for providing telephone communication services between a deaf and a hearing person and cloud data conversion relay system for the same |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102179917B1 (en) | 2019-01-30 | 2020-11-17 | 보리 주식회사 | Robots to improve speech disorders |
US11659078B2 (en) | 2020-10-19 | 2023-05-23 | Sorenson Ip Holdings, Llc | Presentation of communications |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002101204A (en) * | 2000-09-22 | 2002-04-05 | Katsuyuki Adachi | Communication meditating system and telephone set for aurally handicapped person |
US20070036282A1 (en) * | 2005-06-29 | 2007-02-15 | Ultratec, Inc. | Device independent text captioned telephone service |
KR20100119674A (en) * | 2009-05-01 | 2010-11-10 | 양영란 | Telephone providing caption for a hearing-impaired person |
-
2012
- 2012-06-27 KR KR1020120069194A patent/KR101400754B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002101204A (en) * | 2000-09-22 | 2002-04-05 | Katsuyuki Adachi | Communication meditating system and telephone set for aurally handicapped person |
US20070036282A1 (en) * | 2005-06-29 | 2007-02-15 | Ultratec, Inc. | Device independent text captioned telephone service |
KR20100119674A (en) * | 2009-05-01 | 2010-11-10 | 양영란 | Telephone providing caption for a hearing-impaired person |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102033730B1 (en) * | 2019-03-26 | 2019-10-17 | 주식회사 이큐포올 | Method for providing telephone communication services between a deaf and a hearing person and cloud data conversion relay system for the same |
Also Published As
Publication number | Publication date |
---|---|
KR20140006198A (en) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9111545B2 (en) | Hand-held communication aid for individuals with auditory, speech and visual impairments | |
US9622052B1 (en) | Methods for using a caption device with a mobile device | |
US20140171036A1 (en) | Method of communication | |
CN103973877A (en) | Method and device for using characters to realize real-time communication in mobile terminal | |
KR100698932B1 (en) | The Sign Language Interpretation System By Using The Sign Language Interpretation Video Telephone And Its supplementary Device | |
CN104112449A (en) | Unknown speaker identification system | |
CN111836149A (en) | Wireless earphone device and using method of wireless earphone box | |
CN101123630A (en) | Communication method and system for voice and text conversion | |
KR101400754B1 (en) | System for providing wireless captioned conversation service | |
US9502037B2 (en) | Wireless caption communication service system | |
KR102299571B1 (en) | System and Method for Providing Simultaneous Interpretation Service for Disabled Person | |
JP3221050U (en) | Multifunctional Instant Speech Translator | |
JP2932027B2 (en) | Videophone equipment | |
JP2006139138A (en) | Information terminal and base station | |
CN113990290A (en) | Teleconference voice translation system and method | |
JP2000004304A (en) | Speech communication device enabling communication with different means | |
JP3217741U (en) | Multi-function immediate speech translator | |
JP6064209B2 (en) | Call system and call relay method | |
JP2002027039A (en) | Communication interpretation system | |
JP6680031B2 (en) | Conference apparatus, transmission method, and computer program | |
JP2019056893A (en) | Conversation apparatus | |
JP3225514U (en) | Multifunctional instant speech translator | |
CN218585326U (en) | Translation equipment | |
JP2020053882A (en) | Communication device, communication program, and communication method | |
KR101105682B1 (en) | Closed Caption Phones for the Deaf |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20120627 |
|
PA0201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20130930 Patent event code: PE09021S01D |
|
PG1501 | Laying open of application | ||
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20140312 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140520 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20140521 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PC1903 | Unpaid annual fee |