KR102353556B1 - 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 - Google Patents

Abstract

본 발명의 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치는 사용자의 복수의 얼굴표정들을 3D 스캔하는 3D 스캔부와, 3D 스캔된 복수의 얼굴표정들의 블렌드 쉐입 세트를 생성하는 블렌드 쉐입 세트 생성부와, 사용자 식별 데이터와 관련시켜서 생성된 블렌드 쉐입 세트를 등록하는 사용자 등록부와, 사용자 얼굴 영상을 캡쳐하는 캡쳐부와, 캡쳐된 사용자 얼굴 영상으로부터 사용자 식별 데이터를 추출하는 추출부와, 추출된 사용자 식별 데이터에 응답하여 사용자 등록부에 등록된 사용자 블렌드 쉐입 세트를 선택하는 선택부와, 캡쳐부를 통하여 실시간으로 사용자의 얼굴을 추종하여 사용자의 얼굴 표정을 실시간으로 재연하는 표정 재현부와, 캡쳐부를 통하여 실시간으로 사용자의 얼굴을 추종하여 사용자의 얼굴 포즈를 실시간으로 재연하는 포즈 재현부와, 표정 및 포즈 재현부의 재현값들로 구현된 재현 아바타를 3차원 가상공간에 랜더링하는 랜더링부를 구비한다.

Description

사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치{Apparatus for Generating Facial expressions and Poses Reappearance Avatar based in User Face}

본 발명은 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치에 관한 것으로서, 보다 상세하게는 사용자의 얼굴 표정과 포즈를 메타버스의 공간에 똑같이 재현할 수 있는 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치에 관한 것이다.

메타버스(Metaverse)는 가상, 초월(meta)과 세계,우주(universe)의 합성어로 3차원 가상세계를 의미한다. 메타버스(Metaverse)의 엄밀한 정의는 현실 세계와 같은 사회적, 경제적 활동이 통용되는 3차원 가상공간이라 말할 수 있을 것이다. 예컨대 네이버에서 개발한 "제페토"를 말할 수 있다.

특히 코로나19 시대의 도래와 함께 비대면 활동 수요가 급증하면서 원격 미팅 서비스, 원격 교육 서비스, 원격 의료 서비스, 원격 상거래 서비스 등의 현실 세계의 사회적 경제적 활동의 원격 서비스에 대한 연구 개발이 각광받고 있다.

3차원 가상공간에서는 사용자와 똑같은 실사 아바타를 이용하여 실제 공간에서 상호 교감을 하는 듯한 현장감과 몰입감을 제공할 수 있어야 한다.

이러한 3차원 가상공간 서비스를 실현하는 핵심기술은 실사 아바타 생성기술이다.

메타버스 환경에서 실사 아바타를 이용하여 사용자의 상태를 얼마나 현실감있게 복원하는지는 핵심적인 문제이다. 그 중에서 얼굴은 사람의 캐릭터를 나타내는 제일 중요한 부분으로서 현실감 있는 3차원 얼굴은 참여자들에게 생동감을 선사할 수 있다. 사람들은 상대방의 얼굴을 보면서 이 사람이 누구인지 판단하게 되고, 또 그 사람에 대한 이해는 첫인상으로부터 시작된다고 할 수 있으므로 정확한 실사 얼굴 모델 복원은 매우 중요하다.

한국공개특허 제10-2021-0119441호 한국공개특허 제10-2021-0103275호 한국공개특허 제10-2020-0063347호 한국공개특허 제10-2015-0145839호 한국등록특허 제10-1681501호

본 발명의 목적은 사용자의 얼굴 표정과 포즈를 메타버스의 공간에 똑같이 재현할 수 있는 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치를 제공하는 데 있다.

본 발명의 다른 목적은 사용자의 얼굴 표정 및 포즈의 재현에 필요한 연산량을 최소화하여 모바일 환경에서 실시간으로 동작할 수 있는 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치를 제공하는 데 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기 목적들을 달성하기 위한 본 발명의 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치는 사용자의 복수의 얼굴표정들을 3D 스캔하는 3D 스캔부와, 3D 스캔된 복수의 얼굴표정들의 블렌드 쉐입 세트를 생성하는 블렌드 쉐입 세트 생성부와, 사용자 식별 데이터와 관련시켜서 생성된 블렌드 쉐입 세트를 등록하는 사용자 등록부와, 사용자 얼굴 영상을 캡쳐하는 캡쳐부와, 캡쳐된 사용자 얼굴 영상으로부터 사용자 식별 데이터를 추출하는 추출부와, 추출된 사용자 식별 데이터에 응답하여 사용자 등록부에 등록된 사용자 블렌드 쉐입 세트를 선택하는 선택부와, 캡쳐부를 통하여 실시간으로 사용자의 얼굴을 추종하여 사용자의 얼굴 표정을 실시간으로 재연하는 표정 재현부와, 캡쳐부를 통하여 실시간으로 사용자의 얼굴을 추종하여 사용자의 얼굴 포즈를 실시간으로 재연하는 포즈 재현부와, 표정 및 포즈 재현부의 재현값들로 구현된 재현 아바타를 3차원 가상공간에 랜더링하는 랜더링부를 구비한다.

본 발명에서 블렌드 쉐입 생성부는 스캔 데이터로부터 로우(raw) 메쉬 데이터를 추출하는 로우 메쉬 추출 모듈와, 추출된 로우 메쉬와 로우폴리 메쉬 사이에 대응되는 특징점들을 지정하는 특징점 지정모듈과, 대응하는 특징점이 지정된 로우폴리 메쉬를 스캔 데이터의 쉐입으로 생성하는 스캔 데이터 쉐입 생성모듈과, 생성된 스캔 데이터 쉐입을 클린업 처리하는 클린업 모듈과, 45개의 표정 데이터가 적용된 메쉬의 블렌드 쉐입 데이터를 추출하는 블렌드 쉐입 추출모듈과, 클린업 처리된 로우폴리 메쉬에 추출된 블렌드 쉐입 데이터를 적용하여 45개의 다른 형태를 가진 얼굴 데이터를 생성하는 얼굴 데이터 생성모듈을 구비한다.

본 발명에서 클린업 모듈은 로우폴리 메쉬에 스캔 데이터의 디퓨즈를 프로젝션하여 로우 폴리 메쉬의 UV에 맞는 디퓨즈맵을 추출하고, 베이크 완료된 디퓨즈 맵을 포토샵에서 하이패스값을 조정 후 변위 맵을 생성하고, 디퓨즈맵과 모공 위치가 일치하는 범프 디테일을 생성하고, 모공 브러쉬로 디테일 작업 및 멀티채널 페이스 맵(Texturing XYZ)을 로우폴리 메쉬에 적용시켜 사실적인 노말 디테일을 생성하여 표정별 디퓨즈 맵과 노말맵을 추출하는 동작을 포함할 수 있다.

본 발명에서 클린업 모듈은 무표정 텍스쳐 위에 표정별로 정리된 주름 텍스쳐맵(Diffuse, Normal)을 각각 Layer 형식으로 쌓아 머터리얼을 생성하고, 각 주름맵에 채널별 RGB Mask맵을 생성 후 적용시켜 블렌드 쉐입과 연결하는 동작을 더 포함하는 것이 바람직하다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.

상술한 바와 같이 본 발명에서는 사용자와 똑같은 재현 아바타를 가상공간에 제공함으로서 현실감 있는 3차원 사용자 얼굴은 참여자들에게 생동감을 선사할 수 있다. 그러므로 가상공간이나 현실공간에서나 동일한 얼굴을 대면하는 것과 동일한 현장감을 느낄수 있게 된다.

또한 3D 스캔 단계에서 다양한 얼굴 표정들을 스캔하고 이를 블렌트 쉐입 세트로 구성함으로써 사용자 등록과정에서는 작업량이 증가하지만 등록 이후에는 재현 블렌드 쉐입 세트로부터 사용자 얼굴표정이 재현되므로 재현처리시 연산량을 대폭 감소할 수 있으므로 스마트 폰과 같은 모바일 환경에서도 빠른 속도로 실시간 재현이 가능하다.

다만, 본 발명의 효과는 상기에서 언급된 효과로 제한되는 것은 아니며, 상기에서 언급되지 않은 다른 효과들은 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치의 바람직한 일실시예의 블럭도.
도 2는 본 발명에 의한 원통형 3D 스캔 부스의 바람직한 일실시예를 나타낸 도면.
도 3은 도 2의 원통형 3D 스캔 부스에서 사용자 3D 스캔 과정을 타나낸 도면.
도 4는 본 발명에 의한 3D 스캔 이미지 세트들 중 일부 예를 나타낸 도면.
도 5는 본 발명에 의한 3D 스캔 이미지의 정렬 및 포인트 클라우드를 나타낸도면.
도 6은 본 발명에 의한 3D 스캔 이미지 기반 모델링 데이터 생성을 나타낸 도면.
도 7은 Raw 메쉬 데이터와 로우폴리 메쉬 사이의 대응점을 설정하는 과정을 나타낸 도면.
도 8은 로우폴리 메쉬를 스캔 데이터의 쉐입으로 생성하고 클린업이 완료된 상태를 나타낸 도면.
도 9는 로우폴리 메쉬에 수정을 가하는 과정을 예시한 도면.
도 10 내지 도 13은 페이셜 트래킹에 의한 애니메이션 테스트 과정을 나타낸 도면들.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치의 바람직한 일실시예의 블럭도이다.

본 발명의 아바타 생성장치(100)는 3D 스캔부(110), 블렌드 쉐입 세트 생성부(120), 사용자 등록부(130), 캡쳐부(140), 추출부(150), 선택부(160), 표정 재현부(170), 포즈 재현부(180) 및 랜더링부(190)를 포함한다.

도 2는 본 발명에 의한 원통형 3D 스캔 부스의 바람직한 일실시예를 나타낸 도면이고, 도 3은 도 2의 원통형 3D 스캔 부스에서 사용자 3D 스캔 과정을 타나낸 도면이고,

3D 스캔부(110)는 도 2 및 도 3에 도시한 바와 같이 원통형 스캔 부스로 구성된다. 원통형 스캔 부스의 중심축선 상에 사용자 착석부를 구비하고 360도 둘레에 방사상으로 145개의 DSRL 카메라(에컨대 Nikon D5500)들 및 조명이 설치된다.

중앙의 사용자 착석부에 사용자가 착석하면 145개의 DSRL 카메라들로 피사체인 사용자를 동시에 촬영하여 3D 스캔 이미지들을 캡쳐한다. 먼저 사용자의 무표정한 얼굴 이미지를 기본 모델로 3D 스캔하고 이어서 44개의 다양한 얼굴 표정 이미지들을 감정표정 모델들로 각각 3D 스캔한다. 다양한 얼굴 표정들, 예컨대 "두 눈 뜨기", "오른쪽 눈 감기", "왼쪽 눈 감기", "양쪽 눈 감기", "게슴츠레 뜨기" 등의 눈 관련 표정, "한쪽 눈썹 올리기 또는 내리기", "양쪽 눈썹 올리기 또는 내리기" 등의 눈썹관련 표정, "미소짓기", "입술 모으기" 등의 입 관련 표정, "미간 찌푸리기", "하품하기" 등의 얼굴 관련 표정이 포함될 수 있다.

"아래 입술 낮추기"(lower lip down; LLIPD), "양 입술 넓히기"(both lips widen; BLIPW), "양 입술 높이기"(both lips up;BLIPU), "코 주름만들기"(nose wrinkle; NOSEW), "눈썹 낮추기"(eyebrow down; BROWD),

도 4는 본 발명에 의한 3D 스캔 이미지 세트들 중 일부 예를 나타낸 도면이다. 스캔된 3D 이미지 세트는 사용자 ID와 함께 사용자 등록부(130)에 등록된다.

블렌드 쉐입 세트 생성부(120)에서는 사용자 등록부(130)에 등록된 사용자 3D 이미지 세트를 가져다가 사용자에 매칭된 블렌드 쉐입을 생성한다. 블렌드 쉐입 생성부는 로우 메쉬 추출 모듈(121), 특징점 지정모듈(122), 스캔 데이터 쉐입 생성모듈(123), 클린업 모듈(124), 45개의 표정 데이터가 적용된 메쉬의 블렌드 쉐입 데이터를 추출하는 블렌드 쉐입 추출모듈(125), 클린업 처리된 로우폴리 메쉬에 추출된 블렌드 쉐입 데이터를 적용하여 45개의 다른 형태를 가진 얼굴 데이터를 생성하는 얼굴 데이터 생성모듈(126)을 포함한다.

사용자 등록부(130)는 사용자의 3D 스캔 이미지 세트로부터 생성된 블렌드 쉐입 세트를 사용자 식별 데이터(예컨대 얼굴 특징점 세트)와 관련하여 사용자 식별 데이터 테이블을 작성하여 저장하고 관리한다.

캡쳐부(140)는 사용자의 얼굴을 촬영하기 위한 카메라(예컨대 스마트 폰의 카메라)로부터 촬영된 이미지로부터 안면 이미지를 캡쳐한다.

추출부(150)는 캡쳐부(140)로부터 캡쳐된 안면 이미지로부터 안면인식 알고리즘을 이용하여 사용자 식별 데이터(예컨대 얼굴 특징점 세트)를 추출한다. 예컨대 Solve-PnP 기법을 이용하여 2차원의 얼굴 영역을 3차원 공간 상으로 전환할 수 있다. 특징점을 3차원으로 복원한 3차원 얼굴 특징점을 생성할 수 있다. 이때, 3차원 얼굴 특징점은 월드좌표계(world coordinate)의 중심점에서 기준축을 바라보도록 정면화(frontalization)하여 생성할 수 있다. 또한, 특징점을 추출한 후, 특징점의 3차원 공간 상의 위치를 나타내는 위치정보와, 얼굴영역의 3차원 공간 상의 회전량(rotation) 및 이동량(translation)을 나타내는 포즈 정보를 포함하는 3차원 모션 정보를 생성할 수 있다. 즉, 2차원의 얼굴 영역을 다시 3차원 공간으로 복원할 수 있으며, 이때 2차원의 특징점이 3차원 공간 상에 매칭되는 3차원의 위치정보와, 얼굴영역이 3차원 공간 상에서 회전한 회전량과 이동량 등의 포즈 정보를 각각 연산할 수 있다.

선택부(160)는 사용자 등록부(130)에 등록된 사용자 식별 데이터 테이블을 조회하여 사용자 접속 로그인을 처리하고 사용자 등록부(130)에 등록된 대응하는 사용자의 블렌드 쉐입 세트를 가져온다.

표정 재현부(170)는 캡쳐부(140)로부터 제공된 사용자의 이미지를 기반으로 페이셜 트래킹 알고리즘을 수행하고 선택부(160)로부터 제공된 사용자의 블렌드 쉐입 세트를 기반으로 사용자의 재현 얼굴 표정을 생성한다.

포즈 재현부(180)는 캡쳐부(140)로부터 제공된 사용자의 이미지를 기반으로 포즈 트래킹 알고리즘을 수행한다. 포즈 트래킹 알고리즘은 피치(pitch), 요(yaw) 및/또는 롤(roll)을 포함한 사용자 헤드의 회전 각도들, 및 수평 및 수직 방향에 따라 카메라에 인접해지거나 카메라로부터 멀어지는 사용자 헤드의 이동 거리(translation distance)를 산출하도록 구성될 수 있다. 이러한 산출은 동적 템플릿 매칭(dynamic template matching) 및 재등록(re-registration)을 적용하는 복수의 이미지 프레임들의 서브 샘플링된 픽셀의 서브세트에 기초할 수 있다.

랜더링부(190)는 표정 재현부(170)에서 재현된 얼굴표정에 포즈 재현부(180)에서 연산된 포즈 데이터를 융합하여 가상공간에 실시간으로 사용자의 3D 얼굴표정을 렌더링한다.

1. 3D 스캔 데이터의 블렌드 쉐입 생성과정

도 5는 본 발명에 의한 3D 스캔 이미지의 정렬 및 포인트 클라우드를 나타낸도면이고, 도 6은 본 발명에 의한 3D 스캔 이미지 기반 3D 모델링 데이터 생성을 나타낸 도면이다.

블렌드 쉐입 세트 생성부(120)에서는 3D 스캔 이미지 세트를 가져다가 리얼 캡쳐 프로그램을 이용하여 도 5 및 도 6에 도시한 바와 같이 Raw 메쉬 데이터를 추출한다. 따라서 기준모델을 포함한 총 45개의 Raw 메쉬 데이터 세트가 생성된다. ‘리얼리티 캡처’프로그램이 사진들의 거리 값과 위치 값 등을 자동 계산하고, 모델의 피부나 의상의 명암, 색감, 텍스처, 피부결 등 데이터를 읽어낸다. 프로그램 속 정렬된 사진들에서 수백 개의 포인트들이 생성되는데, 이를 통해 고정밀 모델링 데이터가 만들어지는 것이다. 데이터 추출 후에는 본격적인 모델링 작업을 거친다. 전문 캐릭터 모델러의 손을 빌려, 모델링 데이터의 형태, 음영, 색상, 공간, 재질 등을 보다 매끈하게 정리하는 과정이다. 3D 스캐닝을 통해 추출된 데이터는 너무나 세밀한 부분까지 담아내기 때문에, 머리카락이나 피부결, 잡티 등을 클린업하여 개발팀에서 활용하기 좋은 샘플로 변경하는 것이다.

도 7은 Raw 메쉬 데이터와 로우폴리 메쉬 사이의 대응점을 설정하는 과정을 나타낸 도면이다.

도 7을 참조하면, 무표정 기준, Wrap3D 툴로 Raw 메쉬 데이터와 토폴로지 완료된 얼굴 로우폴리 메쉬 사이에 포인트를 지정한다. 즉 3D 모델링 얼굴에 대해서 작업자가 수동으로 원본과 목표 얼굴 사이의 눈, 코, 입 등에 대응점을 설정한다. 대응점은 두 얼굴 사이에 필요한 최소한의 상관 관계를 설정하기 위한 것으로 대개 20 개 내외가 사용된다. 포인트 지정이 되면 쉐입이 다른 로우폴리 메쉬를 스캔 데이터의 쉐입으로 생성한다.

도 8은 로우폴리 메쉬를 스캔 데이터의 쉐입으로 생성하고 클린업이 완료된 상태를 나타낸 도면이다.

이 후 지브러쉬에서 디테일 프로젝션 및 디퓨즈 텍스쳐 베이크, 모공 디테일 추가 및 불필요한 디테일 (머리카락, 모자부분)을 제거하여 클린업 작업을 진행한다.

클린업이 완료된 로우폴리 메쉬에 레이어를 추가하며 각각 표정을 위와 같은 방식으로 스캔데이터와 로우폴리 메쉬 쉐입을 일치시켜 레이어를 쌓는 작업을 진행하면 블렌드 쉐입과 같은 원리로 각 표정이 저장 되어있는 상태의 메쉬를 생성한다. 마야 혹은 지브러쉬의 모프 브러쉬(Morph Brush)를 활용하여 불필요한 버텍스 움직임을 제거 및 수정하여 각 표정 별로 클린업이 완료된 블렌드 쉐입 세트의 얼굴 메쉬가 완성된다.

블렌딩 쉐입은 페이셜 애니메이션을 수행하기 위해 필수적으로 진행되어야 하는 과정이고 일반적으로 이 부분이 많은 시간과 인력이 소요됨으로 애니메이션 제작 공정 효율화에 가장 요구가 많은 부분이기도 하다. 이러한 부분을 본 발명에서는 다양한 얼굴표정들을 3D 스캔이미지를 이용함으로써 블렌드 쉐입 생성시간을 대폭 단축시킬 수 있다.

앞서 설명 드린 Wrap3d의 지브러쉬 플러그인 Zwrap으로 로우폴리 메쉬에 스캔 데이터의 디퓨즈를 프로젝션하여 로우 폴리 메쉬의 UV에 맞는 디퓨즈맵을 추출한다.

이 후 베이크 완료된 디퓨즈 맵을 포토샵에서 하이패스값을 조정 후 변위 맵을 생성하여 디퓨즈맵과 모공 위치가 일치하는 범프 디테일을 지브러쉬에서 만들어준다.

추가적으로 모공 브러쉬로 디테일 작업 및 Multi Channel Face 맵(Texturing XYZ)을 로우폴리 메쉬에 적용시켜 사실적인 노말 디테일을 만들어 준다.

위와 같은 방법으로 표정별 디퓨즈 및 노말맵을 추출한다.

텍스쳐를 이용한 음영 등의 세부 묘사를 해 연산 효율을 높이는 노말맵(Normal Map) 기술을 사용하는 경우,일반 텍스쳐와 노말맵 텍스쳐를 정확한 위치에 매핑할 필요가 있다. 노말맵은 폴리곤의 법선 벡터(Normal Vector)의 값을 사용하여 로우 폴리곤의 그래픽 환경에서 입체감 및 질감을 구현하는 방법이다. 물체의 질감을 폴리곤으로 표현하기에는 메모리를 많이 차지하는데, 이걸 텍스쳐로 대신 표현해 주는 기술이다. 광원을 받은 폴리곤은 해당 면을 구성하는 꼭지점을 기준으로 그 중간의 사이를 보간하여 면 단위로 음영이 처리되며 이것을 버텍스단위 라이팅이라고 한다. 꼭지점의 법선 벡터 값을 이미지(노멀맵 텍스처)로 저장한 후 저장된 법선 벡터 값이 마치 실제 폴리곤의 법선 벡터인 것 처럼 노멀맵 텍스처가 광원을 받아 음영을 처리하는 기법이 바로 노말 맵핑이다. 단, 텍스처는 폴리곤이 아닌 픽셀로 된 이미지이므로 노말 매핑(맵핑)에는 버텍스단위 라이팅이 아닌 픽셀 단위 라이팅이 수행된다. 컴퓨터 그래픽에서 폴리곤은 꼭지점의 갯수가 많으면 많아질수록 파일 크기와 메모리를 차지하는 비중, 그리고 실시간으로 화면에 처리하는 데 필요한 연산량과 비례한다. 광원, 셰이더 및 각종 특수효과와 텍스처 등을 모두 제외하고 폴리곤만을 화면에 출력한다고 할 때 약 백만(1,000,000)개의 삼각형으로 이루어진 폴리곤을 4~5개체 정도만 화면에 출력해도 최신 고사양 컴퓨터에서도 과도한 연산량을 버티지 못하게 될 것이다. 하지만 노말 맵핑은 텍스처에 폴리곤의 법선 벡터 정보를 모두 포함시키므로 다수의 삼각형으로 이루어진 폴리곤이라도 노멀맵으로 저장된다면 파일의 용량이나 메모리의 사용량은 노멀 맵 텍스처의 해상도 만큼 메모리를 차지할 뿐이고, 연산량도 텍스처 한장에 픽셀단위 라이팅을 행하는 정도에 그치기 때문에 실시간으로는 절대 불가능한 수준의 많은 삼각형으로 이루어진 폴리곤의 음영 효과를 그보다 훨씬 적은 폴리곤 위에 입혀 적은 연산량으로 높은 퀄리티의 효과를 획득할 수 있다. 하이폴리곤 모델과 흡사한 입체감을 보여주면서도 고작 수백개의 로우 폴리곤 모델만 사용해도 될 것이다.

모델의 주름이 비교적 약한 경우 포토샵에서 임의로 강약조절 진행하여 클린업 및 퀄리티 업 작업을 진행한다.

무표정 텍스쳐 위에 표정 별로 정리된 주름 텍스쳐맵(Diffuse, Normal)을 각각 Layer 형식으로 쌓아 머터리얼을 생성한다. 이 후 각 주름맵에 채널별 RGB Mask맵을 생성 후 적용시켜 블렌드 쉐입과 연결해 준다. 블렌드 쉐입 수치가 적용될때, 주름맵에 적용 되어있는 마스크맵의 채널값도 함께 수치가 적용이 되며, 각 layer 에 위치해 있는 주름맵이 오버레이 되며 주름이 표현된다.

마야 및 언리얼 엔진상에서 이러한 방식으로 주름 표현이 가능하며, 블렌드쉐입 및 주름맵의 개수가 많을수록 더 사실적인 얼굴 애니메이션이 표현 가능하다.

VFX(시각효과) 작업물의 경우 주름맵 개수가 비교적 제한이 없지만 최적화가 필요한 엔진 상에서의 주름맵은 보통 Squash , Stretch의 표정 두가지를 사용하여 주름을 표현할 수 있다. 필요에 따라 서로 겹치지 않는 두가지의 주름맵을 병합하여 사용 가능하다.

앞서 설명드린 작업공정을 거친 후 새로운 얼굴에 블렌드쉐입 적용이 가능하다. 이 작업을 진행하기 전 아래 두가지 조건이 성립되어야 합니다.

조건 1. 동일한 폴리곤 구조(Tri 개수)

조건 2. 동일한 Vertex ID

먼저, 스캔데이터 클린업(기본표정)을 끝낸 로우폴리 메쉬를 준비한다.. 이 후 45개의 표정 데이터가 적용된 기존 메쉬의 블렌드 쉐입 데이터를 추출한다. 데이터 추출 후 새로운 얼굴의 로우폴리 메쉬에 적용시킨 후 간단한 수정만 거치면 빠른 시간 안에 45개 표정을 가진 각각 다른 형태를 가진 얼굴 데이터가 생성된다.

도 9는 로우폴리 메쉬에 수정을 가하는 과정을 예시한 도면이다.

2. 페이셜 트래킹

앞서 기재한 공정과정을 거친 블렌드 쉐입이 포함된 얼굴메쉬로 언리얼에서 제공하는 라이브링크(LiveLink) 앱을 활용하여 실시간 페이셜 트래킹이 가능하다. 기본적으로 요구되는 블렌드 쉐입은 총 51가지이며, 이 기준에 맞춰 블렌드쉐입 개수 및 네이밍을 통일시켜 언리얼로 내보낸다.

51개의 블렌드쉐입 리스트는 아래와 같다.

왼쪽 눈(7)

static let eyeBlinkLeft

static let eyeLookDownLeft

static let eyeLookInLeft

static let eyeLookOutLeft

static let eyeLookUpLeft:

static let eyeSquintLeft

static let eyeWideLeft

오른쪽 눈(7)

static let eyeBlinkRight

static let eyeLookDownRight

static let eyeLookInRight

static let eyeLookOutRight

static let eyeLookUpRight

static let eyeSquintRight

static let eyeWideRight

입과 턱(27)

static let jawForward:

static let jawLeft

static let jawRight

static let jawOpen

static let mouthClose

static let mouthFunnel

static let mouthPucker

static let mouthLeft

static let mouthRight

static let mouthSmileLeft

static let mouthSmileRight

static let mouthFrownLeft

static let mouthFrownRight

static let mouthDimpleLeft

static let mouthDimpleRight

static let mouthStretchLeft

static let mouthStretchRight

static let mouthRollLower

static let mouthRollUpper

static let mouthShrugLower

static let mouthShrugUpper

static let mouthPressLeft

static let mouthPressRight

static let mouthLowerDownLeft

static let mouthLowerDownRight:

static let mouthUpperUpLeft

static let mouthUpperUpRight

눈썹, 뺨, 코(10)

static let browDownLeft

static let browDownRight

static let browInnerUp:

static let browOuterUpLeft

static let browOuterUpRight

static let cheekPuff

static let cheekSquintLeft

static let cheekSquintRight

static let noseSneerLeft

static let noseSneerRight

현재 언리얼에서 Xgen groom 기반으로 실시간 렌더 및 시뮬레이션이 지원되며, 이는 페이셜 트래킹에 적용되어 목 움직임에 따라 자연스러운 헤어 시뮬레이션이 가능하다. 퍼포먼스에 따라 기존 카드 형식의 메쉬 또한 사용 가능하다.

언리얼 플러그인 ARKit을 활성 후 스마트 폰의 라이브링크(Livelink) 앱과 연할 수 있다. 이때 PC와 스마트 폰은 동일한 인터넷 환경에 연결되어야 하며, 연결이 활성화 된 후에는 스마트 폰에서 블렌드쉐입 값이 전송되는 것을 확인할 수 있다.

라이브 링크 앱에서 전송되는 블렌드 쉐입을 페이셜 메쉬와 연동 가능하도록 설정한다. 블루프린트를 생성하여 실시간으로 엔진에 적용되도록 블렌드 쉐입을 각각 연결하면 실시간 페이셜트래킹 및 애니메이션 추출이 가능하다.

도 10 내지 도 13은 페이셜 트래킹에 의한 애니메이션 테스트 과정을 나타낸 도면들이다. 즉 사용자의 입모양을 트래킹하여 페이셜 메쉬에 연동된 블렌드 쉐입 세트에 의해 애니메이션 동작이 수행됨을 알 수 있다.

따라서 본 발명은 기존 기술과 비교하여 저렴하고 간단하며, 빠르게 페이셜 트래킹을 진행 할 수 있는 것이 최대 장점이라고 할 수 있다.

본 발명에서 스마트 폰은 카메라 모듈 등 영상촬영기능을 구비한 이동통신단말일 수 있다. 즉, 스마트 폰은 카메라 모듈 등을 이용하여 사용자의 얼굴 이미지를 생성한 후, 유선 또는 무선 네트워크를 통하여 재현 아바타 생성장치로 생성한 얼굴 이미지를 전송할 수 있다. 이 경우, 스마트 폰은 정보의 송수신을 위한 통신모듈, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로 프로세서 등을 구비할 수 있다.

또한 스마트 폰 대신에 태블릿 PC(Tablet PC), 노트북, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player, 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 카메라, 캠코더 등이 포함될 수 있으며, 실시예에 따라서는 PC, IPTV, 스마트 TV 등과 같이 휴대하기 어려운 디지털 기기 등도 해당할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 ; 재현 아바타 생성장치
110 ; 3D 스캔부
120 ; 블렌드 쉐입 세트 생성부
130 ; 사용자 등록부
140 ; 캡쳐부
150 ; 추출부
160 ; 선택부
170 ; 표정 재현부
180 ; 포즈 재현부
190 ; 랜더링부

Claims (4)

1. 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치에 있어서,
   사용자의 복수의 얼굴표정들을 3D 스캔하는 3D 스캔부;
   3D 스캔된 복수의 얼굴표정들의 블렌드 쉐입 세트를 생성하는 블렌드 쉐입 세트 생성부;
   사용자 식별 데이터와 관련시켜서 생성된 블렌드 쉐입 세트를 등록하는 사용자 등록부;
   사용자 얼굴 영상을 캡쳐하는 캡쳐부;
   상기 캡쳐된 사용자 얼굴 영상으로부터 사용자 식별 데이터를 추출하는 추출부;
   상기 추출된 사용자 식별 데이터에 응답하여 사용자 등록부에 등록된 사용자 블렌드 쉐입 세트를 선택하는 선택부;
   상기 캡쳐부를 통하여 실시간으로 사용자의 얼굴을 추종하여 사용자의 얼굴 표정을 실시간으로 재연하는 표정 재현부;
   상기 캡쳐부를 통하여 실시간으로 사용자의 얼굴을 추종하여 사용자의 얼굴 포즈를 실시간으로 재연하는 포즈 재현부;
   상기 표정 및 포즈 재현부의 재현값들로 구현된 재현 아바타를 3차원 가상공간에 랜더링하는 랜더링부를 구비하고,
   상기 블렌드 쉐입 생성부는
   스캔 데이터로부터 로우(raw) 메쉬 데이터를 추출하는 로우 메쉬 추출 모듈;
   추출된 로우 메쉬 데이터와 로우폴리 메쉬 사이에 대응되는 특징점들을 지정하는 특징점 지정모듈;
   대응하는 특징점이 지정된 로우폴리 메쉬를 스캔 데이터의 쉐입으로 생성하는 스캔 데이터 쉐입 생성모듈;
   생성된 스캔 데이터 쉐입을 클린업 처리하는 클린업 모듈;
   45개의 표정 데이터가 적용된 메쉬의 블렌드 쉐입 데이터를 추출하는 블렌드 쉐입 추출모듈; 및
   클린업 처리된 로우폴리 메쉬에 추출된 블렌드 쉐입 데이터를 적용하여 45개의 다른 형태를 가진 얼굴 데이터를 생성하는 얼굴 데이터 생성모듈을 구비하고,
   상기 클린업 모듈은
   로우폴리 메쉬에 스캔 데이터의 디퓨즈를 프로젝션하여 로우 폴리 메쉬의 UV에 맞는 디퓨즈맵을 추출하고,
   베이크 완료된 디퓨즈 맵을 포토샵에서 하이패스값을 조정 후 변위 맵을 생성하고,
   디퓨즈맵과 모공 위치가 일치하는 범프 디테일을 생성하고,
   모공 브러쉬로 디테일 작업 및 멀티채널 페이스 맵(Texturing XYZ)을 로우폴리 메쉬에 적용시켜 사실적인 노말 디테일을 생성하여 표정별 디퓨즈 맵과 노말맵을 추출하는 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치.
2. 삭제
3. 삭제
4. 제1항에 있어서, 상기 클린업 모듈은
   무표정 텍스쳐 위에 표정별로 정리된 주름 텍스쳐맵(Diffuse, Normal)을 각각 Layer 형식으로 쌓아 머터리얼을 생성하고
   각 주름맵에 채널별 RGB Mask맵을 생성 후 적용시켜 블렌드 쉐입과 연결하는 동작을 더 포함하는 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치.

Images