KR100912877B1 - ３차원 아바타 생성 기능을 구비한 이동통신 단말기 및３차원 아바타 생성 방법 - Google Patents

Abstract

본 발명은 이동통신 단말기의 카메라로 촬영한 얼굴 화상을 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성할 수 있는 장치 및 방법에 관한 것으로, 3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리와; 이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부와; 상기 메모리에 저장되어 있는 상기 표준 3차원 얼굴모델 및 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하는 3D 모델변환부와; 상기 3D 모델변환부에서 생성된 3차원 아바타 모델과 추가로 입력되는 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하는 애니메이션 조합부와; 상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합·편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하여 구성된다.

3차원 아바타, 얼굴 화상,애니메이션, 컨텐츠, 얼굴 모델

Description

３차원 아바타 생성 기능을 구비한 이동통신 단말기 및 ３차원 아바타 생성 방법{A MOBILE COMMUNICATION TERMINAL HAVING A FUNCTION OF THE CREATING 3D AVATA MODEL AND THE METHOD THEREOF}

본 발명은 3차원 아바타(Avatar)를 생성하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 이동통신 단말기의 카메라로 촬영한 얼굴 화상을 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성할 수 있는 장치 및 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-044-01, 과제명: 멀티코아 CPU 및 MPU 기반 크롯플랫폼 게임기술 개발].

일반적으로, 아바타는 사이버 공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터로 정의되며, 기존 2차원 아바타는 단순한 그래픽으로 구현되어 현실감이 부족하다는 단점이 있었고, 이런 단점을 개선하여 등장한 것이 3차원 아바타이다.

그러나, 종래에는 3차원 아바타 생성을 위하여 3차원 모델 제작자가 별도의 3차원 그래픽 프로그램을 이용하여 여러 공정을 거쳐야만 제작이 가능하였다. 특히, 3차원 아바타에 사용되는 피부 재질이나 표정 애니메이션 등은 별도의 장비로 입력받은 데이터들을 이용할 수 밖에 없었다.

예를들면, 자연스러운 표정 애니메이션을 만들기 위해서는 고가의 페이셜 모션 캡처 장비가 필요하며, 이 또한 여러 가지 후처리 작업이 필요하다. 이는 3차원 아바타를 제작하기에 많은 시간과 인력, 그리고 고가의 장비가 필요하기에 많은 어려움을 가지고 있다.

이러한 문제점을 해결하기 위하여, 국내공개특허 제2001-0089329호(선행기술1)는 인터넷상에서 자신의 사진을 이용하여 아바타를 생성하고, 이를 이동통신 단말기로 전송할 수 있도록 해줌으로써 기존의 자기 사진만을 캡쳐하여 전송하는 방식과는 달리 자신의 사진을 아바타로 만듦으로써 아바타 몰을 이용하여 자신이 원하는 스타일로 변화할 수 있는 다양한 흥미거리를 제공할 수 있는 모바일 이미지 및 아바타 자가생성 프로그램에 대해 개시하고 있다. 그러나, 선행기술1은 인터넷 상에서 생성한 아바타를 다시 모바일로 전송하는 방식을 취하기 때문에 인터넷 상에서 아바타를 생성해야 하는 번거로운 절차가 필수적으로 요구된다.

국내공개특허 제2003-0025588호(선행기술2)는 실사사진을 이용한 이동통신 단말기용 고품질 일러스트, 동영상캐릭터 생성 및 응용 서비스를 제공하는 사업 형태에 대해 개시하고 있으며, 이동통신 단말기의 사용자가 자신의 사진을 서비스 제공자에게 전송하여 그 사진을 이용 전문 디자이너가 고품질의 일러스트를 만들어 동영상(2차원 또는 3차원) 형태의 캐릭터로 사용자의 이동통신 단말기에 제공하고 있다.

그러나, 선행기술2는 고품질의 캐릭터 제공이 가능하다는 장점을 제공하지 만, 사용자가 아닌 전문 디자이너가 아바타를 제작해주는 형태를 취하므로 시간 및 비용면에서 비경제적인 단점을 가진다.

본 발명은 상기한 문제점들을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 이동통신 단말기의 카메라로 촬영한 얼굴 이미지를 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성하고 이를 이용하여 다양한 3차원 컨텐츠를 제작할 수 있는 3차원 아바타 생성 기능을 구비한 이동통신 단말기 및 3차원 아바타 생성 방법을 제공하는 것이다.

본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.

상기한 목적을 달성하기 위한 본 발명에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기는,3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리와; 이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부와; 상기 메모리에 저장되어 있는 상기 표준 3차원 얼굴모델 및 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하는 3D 모델변환부와; 상기 3D 모델변환부에서 생성된 3차원 아바타 모델과 추가로 입력되는 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하는 애니메이션 조합부와; 상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합· 편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 3차원 아바타 생성 방법은, 이동통신 단말기의 카메라로 인물의 정면, 측면 얼굴 이미지를 촬영하는 단계; 상기 정면, 측면 얼굴 이미지를 이용하여 3차원 얼굴모델을 생성하는 단계; 및 텍스트 혹은 음성을 입력받은 후, 상기 입력받은 텍스트 혹은 음성을 상기 3차원 얼굴모델과 조합하여 얼굴 애니메이션 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.

이상 상술한 바와 같이 본 발명에 따르면, 현재 보편적으로 사용되고 있는 이동통신 단말기의 카메라를 사용해 3D 아바타에 사용될 이미지를 쉽게 얻고, 이 이미지를 기반으로 자동화된 시스템으로 3D 얼굴모델을 제작하며, 또한 텍스트나 음성을 추가적으로 입력할 때 자동으로 3D 얼굴모델에 기초한 애니메이션을 생성함으로써 적은 노력과 시간으로 3D 아바타 모델과 애니메이션 제작이 가능하다는 효과가 있다.

이러한 3차원 컨텐츠는 텍스트 기반의 문자메시지나 메일, 채팅 등의 서비스보다 보다 다양하고 재미있는 컨텐츠로 제작될 수 있으며, 또한 작은 텍스트 대신에 음성을 동반한 해상도 높은 동화상으로 제공되기 때문에 사용자가 쉽게 인지할 수 있는 장점을 제공한다.

이하, 본 발명에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기 및 3차원 아바타 생성 방법을 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기의 구성 블록도로서, 메모리부(102), 제어부(104), RF부(106), 음성처리부(108), 스피커(110), 마이크로폰(112), 키입력부(114), 표시부(116), 카메라(118), 및 3차원 아바타 생성부(120)를 포함하여 구성된다.

메모리부(102)는 3차원 아바타 생성 기능을 수행하기 위한 절차가 프로그래밍된 프로그램을 저장하고 있다.

또한, 메모리부(102)에는 제어부(104)의 동작 프로그램, 시스템 프로그램이 저장되며, 특히 3차원 아바타를 생성하는데 필요한 프로그램과, 3D 얼굴 모델링을 위한 표준 3D 얼굴모델 정보를 저장하고 있다.

제어부(104)는 이동통신 단말기의 전반적인 동작을 제어함과 동시에, 메모리부(102)에 저장된 프로그램을 읽어들여 해당 프로그램에 프로그래밍된 절차를 수행하여 촬영된 얼굴 이미지로부터 3차원 아바타를 생성하고, 이를 이용하여 다양한 3차원 컨텐츠 제작이 가능하도록 제어한다.

RF부(106)는 무선주파수신호의 송수신을 제어한다.

음성처리부(108)는 마이크로폰(112)에 의해 입력된 전기 신호를 변조하여 음성 데이터로 변환하고, RF부(106)로 출력하거나 또는 RF부(106)로부터 입력된 부호 화된 음성 데이터를 전기 신호로 복조하여 스피커(110)로 출력한다.

키입력부(114)는 일반적으로 키 매트릭스 구조로 구성되는데, 다수의 숫자 키와 방향키와 각종 기능을 수행하기 위한 기능키로 이루어지며, 사용자의 키 입력에 의해 키 데이터의 전기적인 신호를 제어부(104)로 출력한다.

표시부(116)는 단말기 현재의 상태를 표시하거나 프로그램의 진행 상황 변화를 표시한다. 또한 수신 단문 메시지 등을 표시한다. 이런 표시 장치는 액정 표시 장치(Liquid Crystal Display : LCD) 등과 같은 표시 장치로 구성할 수 있다.

카메라(118)는 고체 촬상 소자(CCD) 또는 CMOS 이미지 센서(CIS)와 같은 반도체 이미지 센서, 연성회로기판(FPCB), 카메라용 렌즈, 적어도 하나 이상의 플래시 등과 같은 디지털 카메라의 부품을 구비하여, 제어부(104)의 제어 신호에 따라 외부의 대상을 촬영하여 영상 데이터를 획득하는 동작을 수행한다.

또한, 본 발명에 따른 이동통신 단말기는 3차원 아바타 생성부(120)를 구비하고 있는데, 3차원 아바타 생성부(120)는 영상처리부(122), 3D 모델변환부(124), 애니메이션 조합부(126), 애니메이션 데이터 생성부(128)로 구성된다.

영상처리부(122)에서는 얼굴의 이미지가 적절히 사용될 수 있도록 얼굴이 위치할 가이드 라인을 표시해주는데, 이 가이드 라인은 정면 얼굴 위치 가이드와 측면 얼굴 위치 가이드를 표시한다. 촬영자는 이 가이드 라인에 맞춰 정면 얼굴과 측면 얼굴 이미지를 연이어 촬영하고, 촬영된 이미지는 다음 단계의 데이터를 사용되기 위해 정면 얼굴 이미지와 측면 얼굴 이미지가 조합된다.

일실시예에서, 영상처리부(122)는 키입력부(114)를 통한 촬영 명령에 따라 카메라(118)를 통해 입력된 정면, 측면 얼굴을 촬영하여 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하고, 3차원 아바타를 생성하기 위해 조합된 얼굴 이미지를 메모리(102)에 저장한다.

이때, 영상 처리부(122)는 사용자에 의해 촬영 대상의 얼굴에 조준된 상태에서 촬영을 명령하는 키입력부(114)의 조작이 이루어지면 3차원 아바타를 생성을 위한 일련의 절차에 필요한 각종 화면을 표시부(116)에 표시한다.

예를 들어, 영상 처리부(122)에 의해 촬영 모드가 실행되는 경우, 가이드 라인 기법에 의한 촬영이 이루어질 수 있도록 촬영할 대상을 조준할 수 있게 하기 위해 얼굴의 가이드 라인을 보여주는 가이드 라인 화면을 카메라(118)를 통해 입력되어 표시부(116)에 표시된 영상 위에 오버레이하여 표시한다.

표시부(116)에 표시되는 정면 얼굴의 가이드 라인에는 얼굴 윤곽이 보여진다. 즉, 표시부(116)에는 카메라(118)를 통해 입력되는 얼굴 이미지가 표시된 상태에서 눈썹, 눈, 코, 입의 영역들을 나타내는 가이드 라인이 오버레이되어 표시된다.

이에 따라, 사용자는 이동통신 단말기의 위치를 조절하여 표시부(116)에 오버레이 되어 표시된 가이드 라인에 촬영 대상의 해당 부분이 매칭되도록 촬영 대상에 대한 조준을 수행할 수 있다.

도 2는 도 1에서의 3D 모델변환부의 상세 구성 블록도로서, 3D 모델변환부(124)는 정면 얼굴 이미지와 측면 얼굴 이미지가 조합되어 얻어진 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하며, 표준 3차원 얼굴 모델 형태변형부(124a) 및 3차원 얼굴 피부재질 생성부(124b)를 포함하고 있다.

도 2를 참조하면, 3차원 얼굴 모델을 위해서는 표준 3차원 얼굴모델을 제공한다. 이 표준 3차원 얼굴모델은 영상처리부(122)에서 얻어진 정면, 측면 얼굴 이미지를 기초로 형태가 자동으로 변형이 된다. 이는 표준 3차원 얼굴 모델 형태변형부(124a)가 담당한다.

표준 3차원 얼굴 모델 형태변형부(124a)에서 자동으로 변형된 3차원 얼굴모델은 실제 얼굴 이미지의 사람과 비슷한 형태로 변형되게 되는데, 3차원 얼굴 피부재질 생성부(124b)가 그 다음 정면, 측면 얼굴 이미지에서 3차원 얼굴 모델에 입혀질 피부재질을 생성한다.

피부재질이 생성되면 3차원 얼굴 모델에 정해진 피부 좌표대로 재질이 입혀지게 되어 3차원 아바타 모델이 생성되게 된다.

바람직하게, 정면, 측면 얼굴 이미지를 이용하여 표준 3차원 얼굴 모델을 변형시키는 시스템은 이동통신 단말기용 프로그램으로 별도로 지원된다.

도 3은 도 1에서의 애니메이션 조합부의 상세 구성 블록도이다.

도 3을 참조하면, 애니메이션 조합부(126)는 도 2에서 생성된 3차원 아바타 모델과 추가로 입력된 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하며, 예제 얼굴 모델 생성부(126a), 얼굴 예제 데이터 생성부(126b), 및 3차원 얼굴 모델 혼합부(126c)를 포함하고 있다.

예제 얼굴 모델 생성부(126a)는 3차원 아바타 모델을 이용하여 표정과 음소에 따른 여러 가지 예제 얼굴 모델을 생성시킨다. 예를들면, 예제 얼굴 모델들은 한글 발음, 영어 발음, 희로애락의 표정에 따라 각각 생성되게 된다.

기본적인 원리는, 도 2에서의 표준 3차원 얼굴 모델 안에 여러 개의 뼈대가 연결되어있어 이를 정해진 패턴에 따라 이동시켜 각각의 예제 얼굴 모델을 생성시킨다.

얼굴 예제 데이터 생성부(126b)는 사용자가 이동통신 단말기로 직접 입력한 텍스트나 음성을 기반으로 애니메이션에 필요한 얼굴 예제 데이터를 생성시킨다.

이 데이터들은 3차원 얼굴 모델 혼합부(126c)에서 이전에 만들어진 3차원 얼굴 모델들과 혼합되어진다. 이때, 텍스트나 음성으로 입력된 데이터들에 맞추어 해당 예제 3차원얼굴 모델들이 혼합되어진다.

이런 과정으로 혼합되어진 3차원얼굴 모델들은 프레임별로 이어져 3차원 아바타 애니메이션을 완성하게 된다.

이렇게 애니메이션 조합부(126)에서 생성된 여러 개의 3차원 아바타 애니메이션 데이터들은 애니메이션 데이터 생성부(128)에서 조합·편집된다.

전 단계에서 생성된 여러 개의 3차원 아바타 애니메이션 데이터들이 이 단계에서 조합하고 편집할 수 있다.

편집 시에는 애니메이션 길이와 순서 등을 변화시킬 수 있다.

최종 편집된 3차원 아바타 애니메이션은 이동통신 단말기에서 제공하는 다양한 3차원 컨텐츠에 활용될 수 있도록 범용적인 데이터 포맷으로 저장된다. 이 데이 터들은 3차원 메일, 채팅 등의 다양한 컨텐츠에 활용하여 각각의 컨텐츠 데이터로 공통적으로 사용될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 고안이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

도 1은 본 발명의 일실시예에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기의 구성 블록도이다.

도 2는 도 1에서의 3D 모델변환부의 상세 구성 블록도이다.

도 3은 도 1에서의 애니메이션 조합부의 상세 구성 블록도이다.

Claims (6)

1. 3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리;

   이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부;

   상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 기초로 표준 3차원 얼굴 모델의 형태를 자동으로 변형시키는 표준 3차원 얼굴 모델 형태 변형부와, 상기 표준 3차원 얼굴 모델 형태 변형부에서 변형된 3차원 얼굴 모델에 입혀질 피부재질을 생성하는 3차원 얼굴 피부재질 생성부로 이루어져 상기 변형된 3차원 얼굴 모델에 피부재질을 조합하여 3차원 아바타 모델을 생성하는 3D 모델변환부;

   상기 3차원 아바타 모델을 이용하여 표정과 음소에 따른 여러 가지 예제 얼굴 모델을 생성하는 예제 얼굴 모델 생성부와, 입력된 텍스트나 음성을 기반으로 애니메이션에 필요한 얼굴 예제 데이터를 생성하는 얼굴 예제 데이터 생성부와, 상기 예제 얼굴 모델과 상기 얼굴 예제 데이터를 혼합하여 3차원 아바타 애니메이션 데이터를 생성하는 3차원 얼굴 모델 혼합부로 이루어져 애니메이션 조합부; 및

   상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합·편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하는 것을 특징으로 하는 3차원 아바타 생성 기능을 구비한 이동통신 단말기.
2. 삭제
3. 삭제
4. 제1항에 있어서, 상기 예제 얼굴 모델은 한글 발음, 영어 발음, 및 희로애락의 표정 중 어느 하나에 따라 각각 생성되는 것을 특징으로 하는 3차원 아바타 생성 기능을 구비한 이동통신 단말기.
5. 이동통신 단말기의 카메라로 인물의 정면 얼굴 이미지와 측면 얼굴 이미지를 촬영하는 단계;

   상기 정면 얼굴 이미지와 측면 얼굴 이미지를 영상처리부에서 조합하는 단계;

   조합된 얼굴 이미지를 기초로 표준 3차원 얼굴 모델 형태 변형부에서 표준 3차원 얼굴 모델의 형태를 자동으로 변형시키고, 3차원 얼굴 피부재질 생성부에서 상기 표준 3차원 얼굴 모델 형태 변형부에서 변형된 3차원 얼굴 모델에 입혀질 피부재질을 생성한 후, 상기 변형된 3차원 얼굴 모델에 피부재질을 조합하여 3차원 아바타 모델을 생성하는 단계; 및

   상기 3차원 아바타 모델을 이용하여 예제 얼굴 모델 생성부에서 표정과 음소에 따른 여러 가지 예제 얼굴 모델을 생성하고, 입력된 텍스트나 음성을 기반으로 얼굴 예제 데이터 생성부에서 애니메이션에 필요한 얼굴 예제 데이터를 생성한 후, 3차원 얼굴 모델 혼합부에서 상기 예제 얼굴 모델과 상기 얼굴 예제 데이터를 혼합하여 3차원 아바타 애니메이션 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 이동통신 단말기 및 3차원 아바타 생성 방법.
6. 제5항에 있어서, 상기 3차원 아바타 애니메이션 데이터에 대해 애니메이션 데이터 생성부에서 조합·편집하여 애니메이션 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 이동통신 단말기 및 3차원 아바타 생성 방법.

Images