KR100395491B1 - 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 - Google Patents
아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 Download PDFInfo
- Publication number
- KR100395491B1 KR100395491B1 KR10-1999-0033601A KR19990033601A KR100395491B1 KR 100395491 B1 KR100395491 B1 KR 100395491B1 KR 19990033601 A KR19990033601 A KR 19990033601A KR 100395491 B1 KR100395491 B1 KR 100395491B1
- Authority
- KR
- South Korea
- Prior art keywords
- avatar
- voice
- string
- model
- server
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000000007 visual effect Effects 0.000 title 1
- 238000013519 translation Methods 0.000 claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 abstract description 6
- 230000015572 biosynthetic process Effects 0.000 description 17
- 238000003786 synthesis reaction Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
1. 청구 범위에 기재된 발명이 속한 기술분야
본 발명은 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 아바타 기반 음성 언어 번역 시스템에서 아바타의 입술 모양과 합성 음성을 동기시켜 발화의 내용에 따라 아바타의 표정 및 동작을 제어하여 경제적인 화상 통신을 수행하기 위한 화상 통신 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 아바타 기반 음성 언어 번역 시스템에 적용되는 화상 통신 방법에 있어서, 아바타 모델 작성기가 아바타 모델을 작성하여 아바타 서버로 전송하는 제 1 단계; 아바타 기반 통신 일측에서 발화된 음성을 인식하여 문자열로 변환하고, 변환된 문자열을 아바타 기반 통신 타측의 언어 환경에 맞게 번역하여 번역된 문자열의 내용을 분석해 아바타 동작에 관련된 정보를 추출하는 제 2 단계; 및 상기 번역된 문자열을 음성합성하여 상기 아바타 기반 통신 타측으로 음성을 출력함과 동시에, 각 음소가 발성될 때마다 해당되는 입술 모양 및 동작 정보를 상기 아바타 서버로 전달하여, 상기 입술 모양 및 동작 정보에 따라 상기 아바타 서버가 출력 음성에 맞게 아바타의 모습을 변화시키는 제 3 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 아바타 기반의 화상 통신에 이용됨.
Description
본 발명은 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 보다 상세하게는 아바타를 음성언어번역 시스템에 적용하여, 아바타의 입술모양, 표정과 동작을 발화에 맞추어 줌으로써, 음성 언어 번역 시스템의 사용 편이성을 제고하고, 경제적인 화상통신을 구현하기 위한 것이다.음성 언어 번역 시스템에서는 하나의 언어의 음성을 인식하여 이를 다른 언어의 문장으로 번역하고 이를 다시 음성합성기를 통하여 해당 언어의 음성으로 들려준다. 이때, 일반적인 화상회의 시스템과 달리 상대방의 얼굴을 동영상으로 제공하여도 언어의 차이 때문에 화면에서 보이는 입술모양과 합성되는 말소리가 전혀 맞지 않으며, 화상전송에 드는 비용도 매우 크다.
도 1 은 종래의 음성 언어 번역 시스템의 구성 예시도로서, 국어 음성 인식 모듈(102), 한영 언어 번역 모듈(104), 영어 음성 합성 모듈(106), 영어 음성 인식 모듈(108), 영한 언어 번역 모듈(109) 및 국어 음성 합성 모듈(110)을 구비한다.
도 1에 도시된 바와 같이, 한국 사람과 미국 사람이 음성 언어 번역 시스템을 사용하는 경우, 먼저 한국 사람이 발화한 한국어 음성(한국어 말소리)(101)은 국어 음성 인식 모듈(102)에서 인식되어 한글(한국어 문자열)(103)로 변환되고, 한글(103)은 다시 한/영 언어 번역 모듈(104)을 통하여 영문(영어 문자열)(105)으로 변환되며, 최종적으로 영어 음성 합성 모듈(106)에 의하여 영어 음성(영어 말소리)(107)으로 상대방(미국사람)에게 전달된다.한편, 상대방(미국 사람)이 발화한 영어 음성(영어 말소리)(107)은 역의 과정, 즉 영어음성 영어 음성 인식 모듈(108)에서 인식되어 영문(영어 문자열)으로 변환되고, 영문(영어 문자열)은 다시 영/한 언어 번역 모듈(19)을 통하여 한글(한국어 문자열)로 변환되며, 최종적으로 국어 음성 합성 모듈(110)을 통하여 한국어 음성(한국어 말소리)로 상대방(한국 사람)에게 전달된다. 이 과정에서 인식 및 번역에서 오류 가능성을 배제할 수 없으므로, 위의 기본 정보 전달 채널 외에 화상을 주고 받는 채널, 키보드 입력의 송수신 채널과 필기 입력이나 그림을 그릴 수 있는 공유된 화이트보드 채널 등 멀티미디어를 활용하는 추가 통신 수단을 활용한다.
종래의 제시되고 있는 음성 언어 번역 시스템의 형상에서는 인식, 번역, 합성의 과정에서 처리 시간으로 인하여 화상의 움직임과 실제 합성된 말소리가 전달되는 시점간에 지연이 일어나며, 또한 발화자가 말한 언어와 상대방이 듣는 언어가 달라 화상의 입술 움직임이나 동작이 전달되는 음성과 일치하지 않아 부자연스러운 상황이 발생하며, 동일언어를 사용하는 일반적인 화상회의 상황에서와 같이 화상이 상대방이 말한 내용을 이해하는데 큰 도움이 되지 못하고 있다. 또한, 번역결과는 문자열로 송수신하여 인터네트에서 문제없이 동작할 정도로 그 통신 비용이 매우 경비한 반면, 화상 전송에는 별도의 화상 처리 장치 및 큰 대역폭을 요구하여 그 통신비용이 매우 많이 소요되는 문제점이 있었다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 아바타 기반 음성 언어 번역 시스템에서 아바타의 입술 모양과 합성 음성을 동기시켜 발화의 내용에 따라 아바타의 표정 및 동작을 제어하여 경제적인 화상 통신을 수행하기 위한 화상 통신 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 종래의 음성언어번역 시스템의 구성 예시도.
도 2 는 본 발명이 적용되는 아바타 기반 음성 언어 번역 시스템의 구성 예시도.
도 3 은 본 발명에 따른 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법의 일실시예 흐름도.
* 도면의 주요부분에 대한 부호의 설명
201 : 아바타 모델 작성기 202 : 아바타 서버
203 : 국어 음성 인식 모듈 204 : 한영 언어 번역 모듈
205 : 영어 음성 인식 모듈
상기의 목적을 달성하기 위한 본 발명은, 아바타 기반 음성 언어 번역 시스템에 적용되는 화상 통신 방법에 있어서, 아바타 모델 작성기가 아바타 모델을 작성하여 아바타 서버로 전송하는 제 1 단계; 아바타 기반 통신 일측에서 발화된 음성을 인식하여 문자열로 변환하고, 변환된 문자열을 아바타 기반 통신 타측의 언어 환경에 맞게 번역하여 번역된 문자열의 내용을 분석해 아바타 동작에 관련된 정보를 추출하는 제 2 단계; 및 상기 번역된 문자열을 음성합성하여 상기 아바타 기반 통신 타측으로 음성을 출력함과 동시에, 각 음소가 발성될 때마다 해당되는 입술 모양 및 동작 정보를 상기 아바타 서버로 전달하여, 상기 입술 모양 및 동작 정보에 따라 상기 아바타 서버가 출력 음성에 맞게 아바타의 모습을 변화시키는 제 3 단계를 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은 아바타 기반의 화상 통신을 위하여, 프로세서를 구비한 아바타 기반 음성 언어 번역 시스템에, 아바타 모델 작성기가 아바타 모델을 작성하여 아바타 서버로 전송하는 제 1 기능; 아바타 기반 통신 일측에서 발화된 음성을 인식하여 문자열로 변환하고, 변환된 문자열을 아바타 기반 통신 타측의 언어 환경에 맞게 번역하여 번역된 문자열의 내용을 분석해 아바타 동작에 관련된 정보를 추출하는 제 2 기능; 및 상기 번역된 문자열을 음성합성하여 상기 아바타 기반 통신 타측으로 음성을 출력함과 동시에, 각 음소가 발성될 때마다 해당되는 입술 모양 및 동작 정보를 상기 아바타 서버로 전달하여, 상기 입술 모양 및 동작 정보에 따라 상기 아바타 서버가 출력 음성에 맞게 아바타의 모습을 변화시키는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.본 발명은 음성 언어 번역 시스템에 아바타를 채용하여 아바타의 입술모양, 표정과 동작을 발화에 맞추어 줌으로써 음성 언어 번역 시스템의 사용 편이성을 제고하고, 경제적인 화상통신을 구현하기 위함이다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 2 는 본 발명이 적용되는 아바타 기반 음성 언어 번역 시스템의 구성 예시도로서, 아바타 모델 작성기(201), 아바타 서버(202), 국어 음성 인식 모듈(203), 한영 언어 번역 모듈(204), 영어 음성 합성 모듈(205), 영어 음성 인식 모듈(206), 영한 언어 번역 모듈(207) 및 국어 음성 합성 모듈(208)을 구비한다.
도 2에 도시된 바와 같이, 본 발명이 적용되는 아바타 기반 음성 언어 번역 시스템은, 음성 언어 번역 세션이 시작되면 아바타 모델 작성기(201)가 온라인 사진 촬영을 수행할 것인지 또는 기존의 아바타 모델을 선정할 것인지를 확인하여, 온라인 사진 촬영을 수행할 경우 사진 촬영을 수행하고 아바타 모델의 기준점을 표시하며, 기존의 아바타 모델을 선정할 경우 기존의 아바타 모델을 선정하고, 아바타 모델을 아바타 서버(202)로 전송한다.
이후, 국어/영어 음성 인식 모듈(203,206)이 외부로부터 음성(한국어음성(한국어말소리)/영어음성(영어말소리))을 입력받아 음성을 인식하여 문자열(영어문자열/한국어문자열)을 생성하여 한영/영한 언어 번역 모듈(204,207)로 전송하고, 한영/영한 언어 번역 모듈(204,207)이 생성된 문자열(영어문자열/한국어문자열)을 번역하여 영어/국어 음성 합성 모듈(205,208)로 전송하며, 영어/국어 음성 합성 모듈(205,208)이 번역된 문자열(영어문자열/한국어문자열)의 내용을 분석하여 동작에 관련된 정보(입술모양, 표정 동작 정보)를 추출한다.
음성 합성 모듈(205,208)이 음성 출력 장치를 통하여 음성을 출력시킴과 동시에 입술 모양 및 동작 정보를 아바타 서버(202)로 전달하고, 아바타 서버(202)가 음성 합성 모듈(205,208)로부터 전달된 입술 모양 및 동작 정보에 따라 아바타 모습(입술모양, 표정 등)을 변화시킨다.
아바타는 사용자의 모습을 나타내는 2차원 또는 3차원 그래픽 모델이며, 화면에는 동영상 합성 영상으로 나타난다. 아바타는 사용자의 실제 사진, 또는 다른 사람의 사진이나 만화와 같은 합성영상 등 임의의 정지영상을 기반으로 구축할 수 있다. 이와 같은 정지 영상으로부터 아바타 모델을 구축하기 위하여 사진의 어느 위치가 그래픽 모델상의 어떤 요소와 대응되는지를 나타내는 기준점의 표시가 필요하며, 이는 수동으로 하거나, 프로그램에 의하여 일차 대응시키고 그 결과를 사람이 수정하는 방식으로 반자동으로 수행한다.
아바타의 입술 모양 제어는 음성 합성 모듈(205,208)이 한다. 음성 합성 모듈(205,208)은 음소별로 발성되는 시점을 정확히 알 수 있으므로 각 음소가 발성될 때마다 해당되는 입술모양에 대한 정보를 아바타 서버(202)에게 전달한다. 아바타 서버(202)는 전달된 입술모양 정보에 따라 아바타 모습을 변화시킨다.
아바타의 동작은 번역된 결과의 내용을 분석하여 제어한다. 긍정의 답을 하면 고개를 끄덕이는 동작을 하고, 부정의 말을 하면 고개를 가로 젓는 동작을 한다. 만족을 나타내는 표현이 있을 때는 웃는 표정을 짓게 하고, 그 반대의 경우는 화나거나 찡그린 표정을 나타내게 한다. 그리고 자연스러운 모습을 나타내기 위하여 비정기적으로 눈을 깜박이고 고개를 돌리거나, 어깨를 움직이는 동작을 하게 한다.
처음 음성 언어 번역 세션이 시작하면 사용자는 미리 준비된 자신를 나타내고자 하는 정지 영상과 해당 기준점 정보를 상대방에게 보내거나, 시스템에 부착된 카메라를 이용하여 자신의 사진을 찍고 수동 또는 반자동으로 정해진 기준점의 위치를 사진위에 표시하여 그 결과를 상대방에게 전달한다. 이후, 음성 언어 번역 시스템의 일반 동작을 수행하며 각 사용자는 상대방으로부터 전송되는 번역결과를 이용하여 상대방 아바타를 제어한다. 즉, 아바타를 이용한 화상 표현 방식에서는 초기 한 정지 화상 한 프레임만을 송수신하며 더 이상의 화상 통신에 드는 추가 비용이 없다. 이것은 일반 화상을 전송하는데 부드러운 움직임을 얻기 위하여 초당 24프레임 이상을 보내야 하는 것과 비교하면 매우 경제적인 방법이다.
음성 언어 번역 시스템에서 아바타 표현 방식은 일반 화상 전송 방식과 병용할 수도 있다. 상대편의 실제 영상이 필요할 수 있으며 기본적으로 아바타 표현방식을 사용하다가 필요한 때만 실제 화상 전송 모드로 변환할 수 있다. 그리고, 자신의 아바타를 자신이 보고자 할 경우 인식된 결과를 이용하여 자신의 아바타를 제어할 수 있다.
도 3 은 본 발명에 따른 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법의 일실시예 흐름도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법은, 먼저 음성 언어 번역 세션이 시작되면 아바타 모델 작성기가 온라인 사진 촬영을 수행할 것인지 또는 기존의 아바타 모델을 선정할 것인지를 판단하여(301), 온라인 사진 촬영을 수행할 경우 사진 촬영을 수행하고(302), 아바타 모델의 기준점을 표시하며(303), 기존의 아바타 모델을 선정할 경우 기존의 아바타 모델을 선정하고(304), 아바타 모델을 아바타 서버로 전송한다(305).
이후, 음성 인식 모듈이 외부로부터 음성을 입력받아 음성을 인식하여 문자열을 생성하여 언어 번역 모듈로 전송하고(306), 언어 번역 모듈이 생성된 문자열을 번역하여 음성 합성 모듈로 전송하며(307), 음성 합성 모듈이 번역된 문자열의 내용을 분석하여 동작에 관련된 정보를 추출한다(308).
이후, 음성 합성 모듈이 음성 출력 장치를 통하여 음성을 출력시킴과 동시에 입술 모양 및 동작 정보를 아바타 서버로 전달하고(309), 아바타 서버가 음성 합성 모듈로부터 전달된 입술 모양 및 동작 정보에 따라 아바타 모습을 변화시키고(310), 대화가 종료되었는지를 확인하여(311) 대화가 종료되지 않았으면 음성 인식 모듈이 음성을 입력받아 음성을 인식하여 문자열을 생성하는 과정을 반복 수행한다.상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
그러므로, 전술한 바와 같은 본 발명은, 아바타 기반 음성 언어 번역 시스템에서 음성과 입술모양을 동기시키고 발화의 내용에 따라 아바타의 모습을 제어함으로써 화상의 동작과 음성의 내용을 조화시켜 자연스러운 상황을 구현할 수 있으며, 일반 동화상이 초당 24프레임 화면 전송을 요구하는데 반하여 전체 1프레임의 전송을 요구하며, 더 이상의 화상 전송에 드는 비용이 없어 경제적인 화상 표현 방식을 제공할 수 있고, 실제 화상을 전달하여야 하는 경우에 필요한 시간만 실제 영상을 전송할 수 있어 그외의 시간에는 아바타 표현 방식을 이용함으로써 전체 화상 전송에 드는 비용을 절감할 수 있고, 영상과 음성 모두 사용자에게 익명성을 제공하며, 자신의 사진외의 임의의 원하는 인물의 사진으로 자신을 나타낼 수 있으며, 자신의 원래 음성을 특별히 전달하지 않으면 상대방에게 자신의 익명성이 보장되고, 다국어간 채팅에 응용할 수 있으며, 대화를 나누는 사람의 화상 표현에 아바타를 활용하여 경제적인 화상 통신을 구현할 수 있고, 전달되는 음성과 아바타 입술동작 및 표정을 맞추어 주어 화상과 음성의 불일치 문제를 해소할 수 있는 효과가 있다.
Claims (5)
- 아바타 기반 음성 언어 번역 시스템에 적용되는 화상 통신 방법에 있어서,아바타 모델 작성기가 아바타 모델을 작성하여 아바타 서버로 전송하는 제 1 단계;아바타 기반 통신 일측에서 발화된 음성을 인식하여 문자열로 변환하고, 변환된 문자열을 아바타 기반 통신 타측의 언어 환경에 맞게 번역하여 번역된 문자열의 내용을 분석해 아바타 동작에 관련된 정보를 추출하는 제 2 단계; 및상기 번역된 문자열을 음성합성하여 상기 아바타 기반 통신 타측으로 음성을 출력함과 동시에, 각 음소가 발성될 때마다 해당되는 입술 모양 및 동작 정보를 상기 아바타 서버로 전달하여, 상기 입술 모양 및 동작 정보에 따라 상기 아바타 서버가 출력 음성에 맞게 아바타의 모습을 변화시키는 제 3 단계를 포함하는 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법.
- 제 1 항에 있어서,상기 제 1 단계는,상기 아바타 모델 작성기가 온라인 사진 촬영을 수행할 것인지 혹은 기존의 아바타 모델을 선정할 것인지를 확인하는 제 4 단계;상기 제 4 단계의 확인 결과, 온라인 사진 촬영을 수행할 경우, 사진 촬영을 수행하고, 아바타 모델의 기준점을 표시하며, 아바타 모델을 상기 아바타 서버로 전송하는 제 5 단계; 및상기 제 4 단계의 확인 결과, 기존의 아바타 모델을 선정할 경우, 기존의 아바타 모델을 선정하고, 아바타 모델을 상기 아바타 서버로 전송하는 제 6 단계를 포함하는 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법.
- 삭제
- 삭제
- 아바타 기반의 화상 통신을 위하여, 프로세서를 구비한 아바타 기반 음성 언어 번역 시스템에,아바타 모델 작성기가 아바타 모델을 작성하여 아바타 서버로 전송하는 제 1 기능;아바타 기반 통신 일측에서 발화된 음성을 인식하여 문자열로 변환하고, 변환된 문자열을 아바타 기반 통신 타측의 언어 환경에 맞게 번역하여 번역된 문자열의 내용을 분석해 아바타 동작에 관련된 정보를 추출하는 제 2 기능; 및상기 번역된 문자열을 음성합성하여 상기 아바타 기반 통신 타측으로 음성을 출력함과 동시에, 각 음소가 발성될 때마다 해당되는 입술 모양 및 동작 정보를 상기 아바타 서버로 전달하여, 상기 입술 모양 및 동작 정보에 따라 상기 아바타 서버가 출력 음성에 맞게 아바타의 모습을 변화시키는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-1999-0033601A KR100395491B1 (ko) | 1999-08-16 | 1999-08-16 | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-1999-0033601A KR100395491B1 (ko) | 1999-08-16 | 1999-08-16 | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010017865A KR20010017865A (ko) | 2001-03-05 |
| KR100395491B1 true KR100395491B1 (ko) | 2003-08-25 |
Family
ID=19607273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-1999-0033601A KR100395491B1 (ko) | 1999-08-16 | 1999-08-16 | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100395491B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110020131A (ko) * | 2009-08-21 | 2011-03-02 | 에스케이텔레콤 주식회사 | 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법 |
| US9749494B2 (en) | 2013-07-23 | 2017-08-29 | Samsung Electronics Co., Ltd. | User terminal device for displaying an object image in which a feature part changes based on image metadata and the control method thereof |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010082389A (ko) * | 2001-04-12 | 2001-08-30 | 전화성 | 음성인식,합성 3차원아바타시스템 |
| KR20040063436A (ko) * | 2003-01-07 | 2004-07-14 | 가온스페이스 주식회사 | 제스처를 하는 아바타 서비스 방법 및 그 장치 |
| KR100693658B1 (ko) * | 2004-10-05 | 2007-03-14 | 엘지전자 주식회사 | 휴대용 어학학습 장치 및 방법 |
| US9614969B2 (en) * | 2014-05-27 | 2017-04-04 | Microsoft Technology Licensing, Llc | In-call translation |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970022807A (ko) * | 1995-10-16 | 1997-05-30 | 양승택 | 불완전한 대화체 음성 인식 기술과 다중 매체 통신 기능을 이용한 대화체 음성 언어 번역 시스템 |
| WO1997036288A1 (en) * | 1996-03-26 | 1997-10-02 | British Telecommunications Plc | Image synthesis |
| EP0848552A1 (en) * | 1995-08-30 | 1998-06-17 | Hitachi, Ltd. | Sign language telephone system for communication between persons with or without hearing impairment |
| KR19980058764A (ko) * | 1996-12-30 | 1998-10-07 | 배순훈 | 3차원 모델 기반 코딩 시스템의 입술 변형 변수 추출 장치 |
| KR19980058765A (ko) * | 1996-12-30 | 1998-10-07 | 배순훈 | 3차원 모델 기반 코딩 시스템의 입술 형태 정보 추출 장치 |
| KR19980082608A (ko) * | 1997-05-08 | 1998-12-05 | 양승택 | 다중매체와의 연동을 위한 텍스트/음성변환기 및 그 입력 데이터 구조화 방법 |
| KR19990001062A (ko) * | 1997-06-12 | 1999-01-15 | 배순훈 | 개선된 입술 변형 변수 생성장치 |
-
1999
- 1999-08-16 KR KR10-1999-0033601A patent/KR100395491B1/ko not_active IP Right Cessation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0848552A1 (en) * | 1995-08-30 | 1998-06-17 | Hitachi, Ltd. | Sign language telephone system for communication between persons with or without hearing impairment |
| KR970022807A (ko) * | 1995-10-16 | 1997-05-30 | 양승택 | 불완전한 대화체 음성 인식 기술과 다중 매체 통신 기능을 이용한 대화체 음성 언어 번역 시스템 |
| WO1997036288A1 (en) * | 1996-03-26 | 1997-10-02 | British Telecommunications Plc | Image synthesis |
| KR19980058764A (ko) * | 1996-12-30 | 1998-10-07 | 배순훈 | 3차원 모델 기반 코딩 시스템의 입술 변형 변수 추출 장치 |
| KR19980058765A (ko) * | 1996-12-30 | 1998-10-07 | 배순훈 | 3차원 모델 기반 코딩 시스템의 입술 형태 정보 추출 장치 |
| KR19980082608A (ko) * | 1997-05-08 | 1998-12-05 | 양승택 | 다중매체와의 연동을 위한 텍스트/음성변환기 및 그 입력 데이터 구조화 방법 |
| KR19990001062A (ko) * | 1997-06-12 | 1999-01-15 | 배순훈 | 개선된 입술 변형 변수 생성장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110020131A (ko) * | 2009-08-21 | 2011-03-02 | 에스케이텔레콤 주식회사 | 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법 |
| US9749494B2 (en) | 2013-07-23 | 2017-08-29 | Samsung Electronics Co., Ltd. | User terminal device for displaying an object image in which a feature part changes based on image metadata and the control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010017865A (ko) | 2001-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6181778B1 (en) | Chronological telephone system | |
| JP5208810B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム | |
| US6943794B2 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
| US6477239B1 (en) | Sign language telephone device | |
| JP4310916B2 (ja) | 映像表示装置 | |
| US5815196A (en) | Videophone with continuous speech-to-subtitles translation | |
| KR102098734B1 (ko) | 대화 상대의 외형을 반영한 수어 영상 제공 방법, 장치 및 단말 | |
| US6909453B2 (en) | Virtual television phone apparatus | |
| US20090012788A1 (en) | Sign language translation system | |
| US20030163315A1 (en) | Method and system for generating caricaturized talking heads | |
| JP2003345379A6 (ja) | 音声映像変換装置及び方法、音声映像変換プログラム | |
| US20230047858A1 (en) | Method, apparatus, electronic device, computer-readable storage medium, and computer program product for video communication | |
| CN110401810B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
| KR20140146965A (ko) | 디스플레이 장치, 서버를 포함하는 변환 시스템 및 디스플레이 장치의 제어 방법 | |
| KR102174922B1 (ko) | 사용자의 감정 또는 의도를 반영한 대화형 수어-음성 번역 장치 및 음성-수어 번역 장치 | |
| CN112764549B (zh) | 翻译方法、装置、介质和近眼显示设备 | |
| CN117253486A (zh) | 一种基于深度学习的实时多语言处理的直播方法及系统 | |
| KR100395491B1 (ko) | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 | |
| JPH10136327A (ja) | ディスクトップ会議システム | |
| JP2006065683A (ja) | アバタ通信システム | |
| KR20170127354A (ko) | 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법 | |
| JP2001357414A (ja) | アニメーション通信方法およびシステム並びにそれに用いる端末装置 | |
| JP2006048352A (ja) | キャラクタ映像表示機能付き通信端末およびその制御方法 | |
| US10839801B2 (en) | Configuration for remote multi-channel language interpretation performed via imagery and corresponding audio at a display-based device | |
| CN115359796A (zh) | 数字人手语播报方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080805 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |