KR20010088139A

KR20010088139A - Apparatus and method for displaying lips shape according to taxt data

Info

Publication number: KR20010088139A
Application number: KR1020000012169A
Authority: KR
Inventors: 백승헌
Original assignee: 백승헌
Priority date: 2000-03-10
Filing date: 2000-03-10
Publication date: 2001-09-26
Also published as: AU2001241219A1; WO2001067278A1

Abstract

PURPOSE: A device and method for outputting the mouth shape corresponding to the text data are provided to output the mouth shape data per every syllable on a screen, and to output the image of more natural mouth shape by inserting the middle mouth shape data created through the morphing technique. CONSTITUTION: A storage(10) for the mouth shape data stores each pronunciation of all consonants and vowel of a foreign language and the mouth shape data corresponding to the pronunciation. A user inputs the specified text data through a text input unit(20). A controller(30) receives the text data from the text input unit, analyses the pronunciation of the text data divided into each syllable, and outputs the mouth shape data, corresponding to the pronunciation, into a displayer(40). Also, the controller can output more natural mouth shape by inserting the middle mouth shape data created through the morphing technique. The displayer outputs the mouth shape on the screen.

Description

Apparatus and method for displaying lips shape according to taxt data}

본 발명은 텍스트 데이터 입력에 대응한 입모양 출력장치 및 그 방법에 관한 것이다.The present invention relates to an input-type output device corresponding to text data input and a method thereof.

보다 상세하게는 사용자에 의해 입력되는 복수의 텍스트 데이터에 대응하는 입모양 데이터를 화면상에 출력시키기 위한 텍스트 데이터 입력에 대응한 입모양 출력장치 및 그 방법에 관한 것이다.More specifically, the present invention relates to a mouth-type output device corresponding to text data input for outputting mouth-shaped data corresponding to a plurality of text data input by a user on a screen, and a method thereof.

일반적으로 외국어 교육은 국제 시대에 살고 있는 모든 사람이 꾸준히 관심을 보이는 분야이고, 또한 꾸준히 교육을 하고, 교육을 받고 있는 실정에 있다.Generally speaking, foreign language education is an area of constant interest for all people living in the international era, and it is in a situation where education is continued.

특히, 상술한 외국어 교육에서 외국인과 대화를 나눌 수 있는 회화 영역이 가장 활성화를 이루고 있다고 볼 수 있다.In particular, it can be said that the conversational area in which foreigners can talk with foreigners is most active.

상술한 바와 같이 회화영역에서는 상대방이 들을 수 있도록 소리를 내는 음성이 가장 중요하다 할 수 있는데, 이 음성은 입모양에 따라 다르게 들릴 수 있다. 예를 들어, 영어의 b 와 v, r과 l, p와 f의 경우 유사하게 발음되는 것으로서, 외국인과 대화를 할 때 정확한 입모양을 하지 않을 경우 외국인이 상대방의 대화를 정확하게 이해하지 못한다는 문제점이 발생하게 된다.As described above, in the conversation area, the voice making a sound so that the other party can hear it may be the most important. The voice may be differently heard depending on the shape of the mouth. For example, in English, b and v, r and l, p and f are similarly pronounced, and the problem is that foreigners do not understand the other person's conversation correctly if they do not have the right mouth when talking with foreigners. This will occur.

그러므로, 일반 사람들은 외국인들과 대화를 할 수 있도록 회화영역을 정식으로 공부하기 이전에, 가르치는 사람의 지시에 따라 알파벳 전체에 대해 그 발음을 정확하게 낼수 있도록 부자연스럽지만 입모양을 만들어 가면서 연습을 하게 된다.Therefore, ordinary people practice unnatural but mouth-shaped exercises to produce the correct pronunciation of the entire alphabet according to the instruction of the instructor before formal study of the conversational area so that they can talk with foreigners. .

그러나, 상술한 바와 같이 입모양을 만들어 가면서 발음 연습을 하게 되는 경우, 가르치는 사람이 직접 보면서 외국어를 공부하는 사람의 입모양을 교정해 주어야만 한다는 문제점이 있었다.However, in the case of practicing pronunciation while making a mouth shape as described above, there was a problem that the instructor had to correct the mouth shape of a person studying a foreign language while looking directly.

또한, 사용자 본인이 거울을 통해 자신의 입모양을 보면서 연습을 할 수 있으나, 실시간으로 자신의 입모양과 정확한 입모양을 비교할 수 없기 때문에 입모양으로 발음 연습을 하는데, 그 효율이 떨어진다는 문제점이 있었다.In addition, the user himself can practice while looking at his mouth through the mirror, but the practice of pronunciation in the shape of the mouth because it is not able to compare their mouth and the exact mouth in real time, the problem is that the efficiency is reduced there was.

본 발명의 목적은 전술한 문제점을 해결할 수 있도록 사용자에 의해 입력되는 복수의 텍스트 데이터에 대응하는 입모양 데이터를 상술한 텍스트 데이터를 이루는 각 음절별로 읽어들여 화면상에 출력시키기 위한 텍스트 데이터 입력에 대응한 입모양 출력장치 및 그 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION An object of the present invention corresponds to text data input for reading and outputting mouth-shaped data corresponding to a plurality of text data input by a user for each syllable constituting the text data so as to solve the above-mentioned problems and outputting them on the screen One object is to provide an input device and a method thereof.

상술한 본 발명의 또 다른 목적은, 사용자에 의해 입력된 복수의 텍스트 데이터에 대응하여 출력되는 입모양 데이터들간에 모핑기법을 이용하여 중간 입모양 데이터를 생성하여 삽입시킴으로써 좀더 자연스럽게 움직이는 입모양 이미지를 출력시키기 위한 텍스트 데이터 입력에 대응한 입모양 출력장치 및 그 방법을 제공하는데 있다.Another object of the present invention described above is to generate a more smoothly moving mouth-shaped image by generating and inserting intermediate mouth-shaped data using a morphing technique between the mouth-shaped data output corresponding to the plurality of text data input by the user. The present invention provides an input-shaped output device and a method corresponding to text data input for output.

도 1은 본 발명에 따른 텍스트 데이터 입력에 대응한 입모양 출력장치의 구성을 설명하기 위한 개략적인 블록도,1 is a schematic block diagram illustrating a configuration of an input-output device corresponding to text data input according to the present invention;

도 2a 내지 도 2i는 본 발명에 따라 텍스트 데이터에 해당되는 입모양의 모습을 도시한 일 실시 예시도이다.2A to 2I are exemplary views illustrating a shape of a mouth corresponding to text data according to the present invention.

* 도면의 주요부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

10 : 입모양 데이터 저장부 20 : 문장 입력부10: mouth-shaped data storage unit 20: sentence input unit

30 : 제어부 40 : 디스플레이부30: control unit 40: display unit

이러한 목적을 달성하기 위한 본 발명의 장치는 소정 외국어의 자음 및 모음의 각 발음과 발음에 대응하는 입모양 데이터를 저장하는 입모양 데이터 저장부와, 사용자의 조작에 따라 상기 외국어로 이루어진 텍스트 데이터를 입력하기 위한 문장 입력부와, 문장 입력부를 통해 텍스트 데이터를 입력받고, 입력된 텍스트 데이터를 각 음절로 나누어 발음을 분석하며, 분석된 발음에 대응하는 입모양 데이터를 상기 입모양 저장부로부터 읽어들여 출력하는 제어부와, 제어부의 제어에 따라 출력되는 입모양을 화면상으로 출력하는 디스플레이부를 포함한다.An apparatus of the present invention for achieving the above object is an mouth-shaped data storage for storing mouth-shaped data corresponding to each pronunciation and pronunciation of consonants and vowels of a given foreign language, and text data made up of the foreign language according to the user's operation A sentence input unit for inputting and text data is input through the sentence input unit, the input text data is divided into syllables, and pronunciation is analyzed, and mouth data corresponding to the analyzed pronunciation is read and output from the mouth storage unit. And a display unit for outputting a mouth shape output on the screen under the control of the controller.

또한, 상술한 제어부는, 입모양 데이터를 화면상에 출력할 때 모핑기법을 이용하여 중간 입모양 데이터를 생성하여 삽입시킨다.In addition, the above-described control unit generates and inserts the intermediate granular data using the morphing method when outputting the granular data on the screen.

상술한 목적을 달성하기 위한 본 발명의 방법은, (1) 사용자에 의해 입력되는 텍스트 데이터를 입력받는 과정과, (2) 텍스트 데이터를 각 음절로 나누어 발음을 분석하는 과정과, (3) 분석된 발음을 토대로 입모양 데이터를 검색하는 과정과, (4) 검색된 입모양 데이터를 화면상으로 출력시키는 과정으로 이루어진다.The method of the present invention for achieving the above object, (1) the process of receiving the text data input by the user, (2) the process of dividing the text data into each syllable and analyzing the pronunciation, (3) analysis Searching for the mouth-shaped data based on the pronunciation, and (4) outputting the found mouth-shaped data on the screen.

또한, 과정(4)에서 입모양 데이터를 화면상으로 출력시킬 때 모핑기법에 의해 중간 입모양 데이터를 생성시켜 삽입시킨다.In addition, when the mouth data is output on the screen in step (4), intermediate mouth data is generated and inserted by the morphing technique.

이하, 첨부된 도면을 참조하여 본 발명의 텍스트 데이터 입력에 대응한 입모양 출력장치를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the input output device corresponding to the text data input of the present invention.

도 1은 본 발명에 따른 텍스트 데이터 입력에 대응한 입모양 출력장치의 구성을 설명하기 위한 개략적인 블록도이다.1 is a schematic block diagram illustrating a configuration of an input-output device corresponding to text data input according to the present invention.

도시된 바와 같이, 입모양 데이터 저장부(10)는 소정 외국어의 자음 및 모음의 각 발음과, 상술한 발음에 대응하는 입모양 데이터를 저장한다.As shown, the mouth-shaped data storage unit 10 stores each pronunciation of consonants and vowels of a given foreign language, and mouth data corresponding to the above-described pronunciation.

예를 들어, a라는 모음에 a, e, i 등과 같은 발음이 존재하는 경우, 상술한 입모양 데이터 저장부(10)는 그 각각에 해당되는 입모양 데이터를 모두 가지고 있다.For example, when pronunciations such as a, e, i, etc. exist in the vowel a, the above-described mouth data storage unit 10 has all the mouth data corresponding to each of them.

문장 입력부(20)는 키보드 등과 같은 입력수단으로서, 사용자는 상술한 문자 입력부(20)를 조작하여 소정의 텍스트 데이터를 입력한다.The sentence input unit 20 is an input means such as a keyboard, and the user inputs predetermined text data by operating the above-described character input unit 20.

제어부(30)는 상술한 문장 입력부(20)를 통해 텍스트 데이터를 입력받고, 입력된 텍스트 데이터를 각 음절로 나누어 발음을 분석하며, 분석된 발음에 대응하는 입모양 데이터를 상술한 입모양 데이터 저장부(10)로부터 읽어들여 디스플레이부(40)로 출력한다.The control unit 30 receives text data through the sentence input unit 20 described above, divides the input text data into syllables, analyzes the pronunciation, and stores the mouth data described above with the mouth data corresponding to the analyzed pronunciation. It reads from the unit 10 and outputs it to the display unit 40.

이때, 제어부(30)는 입모양 데이터 저장부(10)로부터 읽어들인 입모양 데이터를 디스플레이부(40)의 화면상에 출력할 때 모핑(Morphing)기법을 이용하여 중간 입모양 데이터를 생성하여 삽입시킴으로써, 사용자는 본인이 입력한 텍스트 데이터에 따라 자연스럽게 움직이는 입모양을 볼 수 있다.In this case, the control unit 30 generates and inserts the intermediate shape data by using a morphing technique when outputting the shape data read from the shape data storage unit 10 on the screen of the display unit 40. By doing so, the user can see the mouth shape naturally moving according to the text data input by the user.

여기서, 상술한 모핑기법에 대해 간단히 설명하면, 두개의 이미지로부터 중간 형태의 이미지를 만들어내는 이미지 처리방법으로서, 현재 방송이나 광고에 많이 사용되고 있다. 이 모핑 이미지의 계산과정은 먼저 사용자가 두개의 이미지에 서로 대응되는 특징점을 지정하고, 와핑(warping)함수를 통해 두 이미지의 모든 점들간의 대응관계를 계산한다. 이후 계산된 대응관계에 따라 두점의 위치와 색을 보간하여 모핑이미지를 만들어 내는 것이다.Herein, the morphing technique described above will be briefly described. As an image processing method for generating an intermediate image from two images, it is widely used in broadcasting and advertisement. In the morphing process of the morphing image, the user first designates the feature points corresponding to the two images, and calculates the correspondence between all the points of the two images through a warping function. The morphing image is then created by interpolating the positions and colors of the two points according to the calculated correspondence.

디스플레이부(40)는 상술한 제어부(30)의 제어에 따라 출력되는 입모양을 화면상으로 출력시킨다.The display unit 40 outputs the mouth shape output under the control of the control unit 30 described above on the screen.

다음에는, 이와 같이 구성된 본 발명에 따른 텍스트 데이터에 대응하는 입모양 출력장치의 작용을 구체적으로 설명한다.Next, the operation of the input-output device corresponding to the text data according to the present invention configured as described above will be described in detail.

우선, 사용자가 문장 입력부(20)를 통해 "I'm a boy" 라는 문장을 입력하면, 제어부(30)는 상술한 문장을 입력받아 'I'm', 'a', 'boy' 와 같이 단어로 분리시키고, 이렇게 분리시킨 단어를 다시 각 음절로 분리시켜 발음을 분석한다.First, when the user inputs the sentence "I'm a boy" through the sentence input unit 20, the controller 30 receives the above-described sentence, such as 'I'm', 'a', 'boy' The words are separated and the words are separated into syllables to analyze pronunciation.

즉, 사용자가 'I'm a boy' 라는 문장을 입력하면, 제어부(30)는 첨부 도면도 2a 내지 도 2i에 도시된 바와 같이 각 음절마다 분석된 발음에 대응하는 입모양 데이터를 입모양 데이터 저장부(10)로부터 각각 읽어들여 디스플레이부(40)로 출력시킴으로써, 사용자가 본인이 입력한 문장을 읽고 있는 입모양을 볼 수 있다.That is, when a user inputs a sentence of 'I'm a boy', the controller 30 displays mouth data corresponding to the pronunciation analyzed for each syllable as shown in the accompanying drawings 2A to 2I. By reading each of the storage unit 10 and outputting the same to the display unit 40, the user can see a mouth reading a sentence input by the user.

한편, 본 발명의 다른 실시예는 본 발명의 일 실시예에 모핑기법을 더 구비시켜 동일한 목적 및 효과를 이루고자 하는 것이다.On the other hand, another embodiment of the present invention is to achieve the same object and effect by further comprising a morphing technique in an embodiment of the present invention.

상술한 바와 같이 본 발명의 일 실시예에 모핑기법을 더 구비시키기 위해서 본 발명의 일 실시예에 적용된 입모양 데이터 저장부(10)는 상술한 데이터 이외에 각 입모양 데이터 상호간에 지정된 특징점에 대한 정보가 더 저장되어 있어야 한다.As described above, in order to further include a morphing technique in an embodiment of the present invention, the mouth-shaped data storage unit 10 applied to an embodiment of the present invention may provide information on a feature point designated between each mouth data in addition to the above-described data. Should be stored more.

상술한 본 발명의 다른 실시예에 대해서 간단히 설명하면, 먼저 사용자가 문장 입력부(20)를 통해 소정의 문장을 입력하면, 제어부(30)는 상술한 본 발명의 일 실시예와 마찬가지로 문장의 각 음절에 대한 발음을 분석하고, 분석 결과에 따라 입모양 데이터 저장부(10)로부터 입모양 데이터를 읽어들인다.Briefly describing another embodiment of the present invention, when a user first inputs a predetermined sentence through the sentence input unit 20, the controller 30, like the above-described embodiment of the present invention, each syllable of the sentence Analyze the pronunciation of, and read the mouth-shaped data from the mouth-shaped data storage unit 10 according to the analysis result.

이때, 제어부(30)는 입모양 데이터 저장부(10)로부터 처음 화면에 출력될 음절의 입모양 데이터 및 특징점에 대한 정보를 읽어들이는 한편, 바로 다음 화면에 출력될 음절의 입모양 데이터 및 특징점에 대한 정보를 읽어들인다.At this time, the control unit 30 reads the mouth-shaped data of the syllable to be output on the first screen and the information on the feature point from the mouth-shaped data storage unit 10, and the mouth-shaped data and the feature point of the syllable to be output on the next screen. Read information about

그리고, 제어부(30)는 이렇게 읽어들인 두개의 입모양 데이터의 특징점을 이용하여 와핑함수를 구하고, 이 와핑함수를 통해 두 입모양 데이터들간의 대응관계를 계산하고, 이 계산된 대응관계에 따라 대응되는 두점의 위치와 색을 보간(interpolation)하여 두 입모양 데이터 사이에 중간 입모양 데이터를 생성하여삽입한다.The controller 30 obtains a warping function by using the feature points of the two mouth-shaped data read in this way, calculates a correspondence between the two mouth-shaped data through the warping function, and responds according to the calculated correspondence. Interpolates the position and color of two points, and generates and inserts the intermediate granular data between the two granular data.

상술한 모든 과정이 실시간으로 이어지게 되므로 사용자는 화면상으로 좀더 자연스럽게 움직이는 입모양 이미지를 볼 수 있다.Since all the above processes are performed in real time, the user can see a mouth-shaped image moving more naturally on the screen.

상술한 바와 같이 본 발명에서는 외국어 학습에 대해서만 한정하여 설명하였으나, 본 발명은 영화나, 또는 애니메이션과 같은 장르에서도 쉽게 적용될 수 있다.As described above, the present invention has been limited to only foreign language learning, but the present invention can be easily applied to genres such as movies or animations.

즉, 영화의 등장인물이나, 또는 애니메이션의 캐릭터의 입모양이 대사로 입력되는 텍스트 데이터의 발음에 따라 정확하게 달라지도록 하여 화면상에 출력할 수 있다.That is, it can be outputted on the screen so that the mouth shape of the characters of the movie or the characters of the animation varies precisely according to the pronunciation of the text data inputted in the dialogue.

이상에서와 같이 본 발명의 텍스트 데이터에 대응한 입모양 출력장치에 의하면, 사용자에 의해 입력되는 텍스트 데이터에 대응하는 입모양을 화면상으로 보여줌으로써 사용자들이 소정 발음에 대한 입모양을 정확하게 인지할 수 있다는 효과가 있다.As described above, according to the mouth-shaped output device corresponding to the text data of the present invention, by showing the mouth shape corresponding to the text data input by the user on the screen, the user can accurately recognize the mouth shape for the predetermined pronunciation. There is an effect.

또한, 영화의 등장인물이나, 애니메이션의 캐릭터의 입모양이 대사로 입력되는 텍스트 데이터의 발음에 의해 정확하게 움직이도록 함으로써, 사용자가 영화나, 애니메이션을 보면서도 소정 발음에 해당되는 입모양을 쉽게 인지할 수 있다는 효과가 있다.In addition, by allowing the characters of the characters in the movie and the characters of the animation characters to move accurately by the pronunciation of the text data inputted into the dialogue, the user can easily recognize the mouth shape corresponding to the predetermined pronunciation while watching the movie or the animation. There is an effect.

여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.Herein, while the present invention has been described with reference to the preferred embodiments, those skilled in the art will variously modify the present invention without departing from the spirit and scope of the invention as set forth in the claims below. And can be changed.

Claims

A mouth-shaped data storage unit for storing each pronunciation of consonants and vowels of a predetermined foreign language, and mouth-shaped data corresponding to the pronunciation;

A sentence input unit for inputting text data composed of the foreign language according to a user's operation;

A control unit configured to receive text data through the sentence input unit, analyze the pronunciation by dividing the input text data into syllables, and read and output mouth data corresponding to the analyzed pronunciation from the mouth storage unit; And

And a display unit for outputting the mouth shape output on the screen under the control of the controller.

The apparatus of claim 1, wherein the controller generates and inserts intermediate mouth data using a morphing method when outputting mouth data on a screen.

(1) receiving text data input by a user;

(2) analyzing the pronunciation by dividing the text data into syllables;

(3) searching for mouth-shaped data based on the analyzed pronunciation; And

And (4) outputting the searched mouth-shaped data on the screen.

The method of claim 3, wherein the intermediate data is generated and inserted by the morphing method when the data is output on the screen in the step (4).