KR101356544B1

KR101356544B1 - 3차원 입체영상 생성 방법 및 장치

Info

Publication number: KR101356544B1
Application number: KR1020120032207A
Authority: KR
Inventors: 노준용; 이상우; 김영휘
Original assignee: 한국과학기술원
Priority date: 2012-03-29
Filing date: 2012-03-29
Publication date: 2014-02-19
Also published as: US20130258062A1; KR20130110339A

Abstract

본 발명은 3차원 입체영상 생성 방법 및 장치에 관한 것으로, 상기 방법은 2D 평면영상에 2D 뎁스 맵 정보를 반영하여 적어도 하나의 3D 메쉬 서피스를 생성하는 단계; 상기 2D 평면영상에 3D 템플릿 모델을 반영하여 적어도 하나의 3D 입체 객체를 생성하는 단계; 상기 3D 메쉬 서피스와 3D 입체 객체를 3차원 공간상에 배치하고, 시점 고정시키는 단계; 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 3차원 공간상에서 수정할 수 있도록 인터페이스를 제공하고, 상기 인터페이스를 통해 입력되는 제어값에 따라 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 수정하는 단계; 및 상기 수정된 3D 메쉬 서피스와 3D 입체 객체를 적어도 두개의 카메라를 통해 촬영하여 3D 입체 영상을 획득하는 단계를 포함할 수 있다.

Description

3차원 입체영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING 3D STEREOSCOPIC IMAGE}

본 발명은 3 차원 입체영상 생성 기술에 관한 것으로, 특히 3D 입체영상을 생성하기 위한 2차원 뎁스 맵과 3차원 템플릿 모델을 3D 공간상에서 동시 조절 및 랜더링할 수 있도록 하는 기술에 관한 것이다.

3차원(이하, 3D) 영상 기술은 기존의 2차원(이하, 2D) 영상과는 달리 사람이 보고 느끼는 실제 영상과 유사하여 시각 정보의 질적 수준을 몇 D 높여주는 새로운 개념의 실감 영상 미디어로서 차세대 디지털 영상 문화를 주도하게 될 것으로 전망된다.

이와 같은 3D 입체영상은 여러 대의 카메라를 통해 직접 촬영함으로써 획득될 수도 있으나, 2D 평면영상을 입체감을 가지는 3D 입체영상으로 변환하는 방식을 통해 획득될 수도 있다.

2D 평면영상을 이용하여 3D 입체영상을 생성하는 경우, 2D 평면영상을 배경과 각각의 객체(object)로 분리한 후, 배경과 각각의 객체 각각에 뎁스 정보를 부여함으로써, 2D 평면영상이 입체감을 3D 입체영상으로 변환될 수 있도록 한다. 하지만, 2D 평면영상에서 분리된 각 객체의 뎁스 정보는 단순한 평면 형태를 나타내므로, 실제 객체를 표현하기 위해서는 보다 정확한 뎁스 정보로 수정하기 위한 방법이 필요하다.

일반적으로 이러한 문제를 해결하기 위해 사용되는 방법은 도1에서와 같이 뎁스 맵이 적용된 기본 도형들을 이용하여 영상에 존재하는 비슷한 형태의 객체에 적용하는 방법(이하, 템플릿 형태를 이용한 뎁스 정보 수정 방법), 도2에서와 같이 영상에 똑같은 뎁스 맵을 적용하여 사용자가 직접 영상에서 뎁스 맵을 추론하여 뎁스 정보를 수정하는 방법(이하, 사용자 정의에 의한 뎁스 정보 수정 방법) 등이 있다. 예를 들어, 복잡하고 불규칙적인 형태의 객체에 대해서는 사용자 정의에 의한 뎁스 정보 수정 방법을 적용하여 사용자가 임의로 뎁스 맵을 수정하도록 하고, 단순하고 규칙적인 형태의 객체에 대해서는 템플릿 형태를 이용하여 뎁스 정보 수정 방법을 적용하여 해당 객체의 뎁스 정보를 수정하도록 한다.

다만, 템플릿 형태를 이용한 뎁스 정보 수정 방법은 3D 공간상에서 수행 가능한 반면, 사용자 정의에 의한 뎁스 정보 수정 방법은 2D 공간상에서만 수행 가능한 문제가 있다. 즉, 상기 두 가지 방법이 서로 상이한 작업 공간상에서 이루어지므로, 상기 두 가지 방법을 동시에 활용하여 뎁스 정보를 수정하는 경우, 작업 효율이 저하되는 단점이 있다.

이에 본 발명에서는 템플릿 형태를 이용한 뎁스 정보 수정 방법과 사용자 정의에 의한 뎁스 정보 수정 방법 모두가 3D 공간상에 수행될 수 있도록 함으로써, 작업 효율을 향상시켜 줄 수 있도록 하는 3D 입체영상 생성 방법 및 장치에 관한 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 2D 평면영상에 2D 뎁스 맵 정보를 반영하여 적어도 하나의 3D 메쉬 서피스를 생성하는 단계; 상기 2D 평면영상에 3D 템플릿 모델을 반영하여 적어도 하나의 3D 입체 객체를 생성하는 단계; 상기 3D 메쉬 서피스와 3D 입체 객체를 3차원 공간상에 배치하고, 시점 고정시키는 단계; 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 3차원 공간상에서 수정할 수 있도록 인터페이스를 제공하고, 상기 인터페이스를 통해 입력되는 제어값에 따라 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 수정하는 단계; 및 상기 수정된 3D 메쉬 서피스와 3D 입체 객체를 적어도 두개의 카메라를 통해 촬영하여 3D 입체 영상을 획득하는 단계를 포함하는 3차원 입체영상 생성 방법을 제공한다.

상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 수정하는 단계는 상기 3D 메쉬 서피스와 상기 3D 입체 객체를 수정 가능 상태로 만든 후, 상기 인터페이스를 통해 입력되는 제어값에 따라 상기 3D 메쉬 서피스과 상기 3D 입체 객체의 픽셀 또는 특징점을 선택하고 상기 선택된 픽셀 또는 특징점의 높낮이를 수정할 수 있다.

상기 수정된 3D 메쉬 서피스와 3D 입체 객체로부터 2D 뎁스 맵과 3D 템플릿 모델을 재산출하고 내부 메모리에 저장하는 단계를 더 포함할 수 있다.

상기 3D 메쉬 서피스를 생성하는 단계는 레이어 단위로 2D 평면영상에 2D 뎁스 맵 정보를 반영함으로써 레이어별 3D 메쉬 서피스를 생성할 수 있다.

상기 3D 입체 객체를 생성하는 단계는 2D 평면영상에 포함된 객체들 중에서 3D 템플릿 모델과 유사한 형태를 가지는 객체를 파악하고, 상기 파악된 객체에 3D 템플릿 모델을 반영하여 3D 입체 객체를 생성할 수 있다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 2D 평면영상에 2D 뎁스 맵 정보와 3D 템플릿 모델을 반영하여 3D 메쉬 서피스와 3D 입체 객체 중 적어도 하나를 생성하는 3D 모델 생성부; 상기 3D 메쉬 서피스와 3D 입체 객체를 3차원 공간상에 배치하고, 시점 고정시키는 3차원 공간 배치부; 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 3차원 공간상에서 수정할 수 있도록 인터페이스를 제공하고, 상기 인터페이스를 통해 입력되는 제어값에 따라 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 수정하는 뎁스 조절부; 및 적어도 두개의 카메라를 통해 상기 수정된 3D 메쉬 서피스와 3D 입체 객체를 랜더링하여 3D 입체 영상을 생성하는 랜더링부를 포함하는 3차원 입체영상 생성 장치를 제공한다.

상기 3D 모델 생성부는 레이어 단위로 2D 평면영상에 2D 뎁스 맵 정보를 반영함으로써 레이어별 3D 메쉬 서피스를 생성하는 3D 매쉬 서비스 생성부; 및 2D 평면영상에 포함된 객체들 중에서 3D 템플릿 모델과 유사한 형태를 가지는 객체를 파악하고, 상기 파악된 객체에 3D 템플릿 모델을 반영하여 3D 입체 객체를 생성하는 3D 템플릿 모델 매칭부를 포함할 수 있다.

상기 인터페이스는 사용자가 3D 공간상에 배치된 3D 메쉬 서피스와 3D 입체 객체를 육안으로 확인하며, 3D 공간상에서 3D 메쉬 서피스과 3D 템플릿 모델의 입체감을 픽셀 단위 또는 특징점 단위로 수정할 수 있도록 한다.

상기 뎁스 조절부는 상기 3D 메쉬 서피스과 상기 3D 템플릿 모델이 수정이 완료되면, 상기 수정 완료된 3D 메쉬 서피스로부터는 새로운 2D 뎁스 맵을, 상기 수정 완료된 템플릿 모델로부터는 새로운 3D 객체 뎁스 정보를 자동 산출한 후, 상기 메모리에 저장하는 기능을 더 포함할 수 있다.

본 발명에서는 2D 뎁스 맵을 3D 모델화시키고, 3D 템플릿 모델과 함께 뎁스 조정 및 랜더링할 수 있도록 함으로써, 작업자가 한 공간에서 2D 뎁스 맵 수정 작업과 3D 템플릿 모델 수정 작업을 동시에 수행할 수 있도록 한다. 또한 2D 뎁스 맵 수정 작업과 3D 템플릿 모델 수정 작업에 따른 작업 결과를 3차원 공간상에 실시간 확인할 수 있도록 한다. 그 결과, 작업자의 작업 동선과 작업 시간을 크게 줄일 수 있어, 작업 효율이 크게 향상될 수 있도록 한다.

도1은 일반적인 기술에 따른 템플릿 형태를 이용한 뎁스 정보 수정 방법을 설명하기 위한 도면이다.
도2는 일반적인 기술에 따른 사용자 정의에 의한 뎁스 정보 수정 방법을 설명하기 위한 도면이다.
도3는 일반적인 기술에 따른 2D 평면영상을 이용하여 3D 입체영상을 생성하는 방법을 개략적으로 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 3D 입체영상 생성 장치에 관한 것이다.
도6는 본 발명의 일 실시예에 따른 3D 입체영상 생성 방법을 설명하기 위한 도면이다.
도5a 내지 도5d는 본 발명의 일 실시예에 따른 3D 공간상에서의 뎁스 조절 예를 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 3D 입체영상 생성 방법을 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 2D 평면 영상을 구성하는 레이어를 도시한 도면이다.
도8은 본 발명의 일 실시예에 따른 레이어별 뎁스 맵을 도시한 도면이다.
도9는 본 발명의 일 실시예에 따른 레이어별 3D 메쉬 서피스를 도시한 도면이다.
도10는 본 발명의 일 실시예에 따른 시점 고정된 레이어별 3D 메쉬 서피스를 도시한 도면이다.
도11은 본 발명의 일 실시예에 따른 랜더링을 위한 카메라 배치 예를 도시한 도면이다.
도12는 본 발명의 일 실시예에 따른 3D 입체영상 생성 방법을 통해 생성된3D 입체 영상의 일예를 도시한 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명의 이해를 돕기 위해, 2D 평면영상을 이용하여 3D 입체영상을 생성하는 방법에 간략히 살펴보기로 한다.

2D 평면영상을 이용하여 3D 입체영상을 생성하는 방법은 도3에서와 같이 전처리 과정(S1), 3D 모델 생성 과정(S2), 3D 입체 영상 생성 과정(S3)으로 구성될 수 있다. 먼저, 전처리 과정에서는 2D 평면영상을 배경과 각각의 객체로 분리한다. 그리고 분리된 영상에 생긴 홀을 채우고, 분리된 배경과 각각의 객체를 레이어 단위로 저장한 후, 각각의 레이어 데이터를 이용하여 배경 및 각각의 객체에 대한 2D 뎁스 맵 및 3D 템플릿 모델(또는 3D 객체 뎁스 정보)을 추출한다. 그리고 3D 모델 생성 단계에서는 추출된 2D 뎁스 맵 및 3D 템플릿 모델을 2D 평면영상에 반영하여 3D 모델을 생성한다. 마지막으로는 3D 모델을 이용하여 좌측 및 우측 영상을 생성하도록 한다.

본 발명은 이와 같은 과정들 중에서 3D 모델 생성 과정, 3D 입체 영상 생성 과정을 수행하는 방법 및 장치에 관한 것으로, 특히 3D 모델 생성에 필요한 2D 뎁스 맵 및 3D 템플릿 모델을 3D 공간상에서 조절 및 랜더링할 수 있도록 하는 수단을 제공할 수 있는 방법 및 장치에 관한 것이다.

도4는 본 발명의 일 실시예에 따른 3D 입체영상 생성 장치에 관한 것이다.

도4를 참고하면, 본 발명에 따른 3D 입체영상 생성 장치 는 데이터 입력부(10), 메모리(20), 3D 모델 생성부(30), 3차원 공간 배치부(40), 뎁스 조절부(50), 및 랜더링부(60) 등을 포함하여, 2D 뎁스 맵을 3D 모델화시킨 후 3D 템플릿 모델과 함께 3D 공간상에 배치함으로써, 2D 뎁스 맵과 3D 템플릿 모델을 한 공간상에 동시 조절 및 랜더링될 수 있도록 한다.

데이터 입력부(10)는 전처리 과정을 거쳐 전송되는 입력 데이터를 수신하고, 입력 데이터에 포함된 2D 평면영상, 2D 평면영상을 구성하는 배경 및 객체들 중 적어도 하나에 대한 2D 뎁스 맵 정보, 그리고 2D 평면영상을 구성하는 객체들 중 적어도 하나에 대한 뎁스 정보를 가지는 3D 템플릿 모델을 추출한다.

메모리(20)는 영상 메모리(21), 뎁스 맵 메모리(22), 템플릿 모델 메모리(23)를 구비하고, 이들을 통해 데이터 입력부(10)가 추출한 2D 평면영상, 2D 뎁스 맵 정보, 및 3D 템플릿 모델을 서로 구분하여 저장한다.

3D 모델 생성부(30)는 3D 매쉬 서피스 생성부(31), 3D 템플릿 모델 매칭부(32), 및 3차원 공간 배치부(40)를 구비하여, 2D 뎁스 맵을 이용하여 생성된 3D 모델과 3D 템플릿 모델을 이용하여 생성된 3D 모델들 모두를 3D 공간상에 배치하여, 사용자가 2D 뎁스 맵과 3D 템플릿 모델 모두를 3D 공간상에서 한꺼번에 수정할 수 있도록 한다.

3D 매쉬 서피스 생성부(31)는 배경 및 객체들 중 적어도 하나에 대응되는 2D 뎁스 맵 정보를 2D 평면영상에 적용하여, 3D 입체감을 가지는 곡면인 3D 메쉬 서피스(mesh surface), 즉 3D 모델을 적어도 하나 생성한다.

3D 템플릿 모델 매칭부(32)는 2D 평면영상에 포함된 객체들을 추출하고, 추출된 객체들과 템플릿 모델 메모리(23)에 저장된 3D 템플릿 모델을 비교하여, 3D 템플릿 모델과 유사한 형태를 가지는 객체를 파악한다. 그리고, 3D 템플릿 모델을 해당 객체의 형태에 따라 수정 및 반영하여 3D 입체 객체, 즉 3D 모델을 생성한다.

3차원 공간 배치부(40)는 가상의 랜더 카메라를 구비하고, 3D 매쉬 서피스 생성부(31)를 통해 생성된 3D 메쉬 서피스와 3D 템플릿 모델 매칭부(32)를 통해 생성된 3D 입체 객체를 3D 공간상에 함께 배치한다. 그리고 랜더 카메라의 파라메타를 이용하여 렌더링 카메라 뷰에 따라 3D 메쉬 서피스와 3D 템플릿 모델을 자동 정렬 및 시점 고정시킨다. 그러면, 3D 메쉬 서피스와 3D 템플릿 모델은 고정된 카메라 시점을 가지게 되어, 사용자의 작업 시점에 상관없이 항상 고정된 시점을 가질 수 있게 된다.

뎁스 조절부(50)는 사용자가 3D 공간상에 배치된 3D 메쉬 서피스와 3D 입체 객체를 육안으로 확인하며, 3D 공간상에서 3D 메쉬 서피스과 3D 템플릿 모델의 입체감을 다양한 방식으로 수정할 수 있도록 하는 뎁스 수정용 인터페이스를 제공한다. 본 발명의 뎁스 수정용 인터페이스는 그래프를 이용한 레이어별 내부 깊이 비선형 조절 동작(도5a 참고), 3D 메쉬 레졸루션(resolution) 조절 동작(도5b 참고), 레이어별 깊이감 조절 동작(도5c 참고), IOD(IntraOcular Distance) 값 조정을 통한 깊이감 조절 동작(도5d 참고) 등을 지원할 수 있을 것이다. 또한, 상기 동작들을 변화되는 메쉬 서피스와 템플릿 모델의 입체감을 실시간 표시해줌으로써, 사용자가 보다 신속하고 효율적으로 깊이값 조절 동작을 수행할 수 있도록 한다.

더하여, 뎁스 조절부(50)는 메쉬 서피스와 템플릿 모델의 수정이 완료되면, 3D 메쉬 서피스로부터는 새로운 2D 뎁스 맵을, 템플릿 모델로부터는 새로운 3D 객체 뎁스 정보를 자동 산출한 후 뎁스 맵 메모리(22)와 템플릿 모델 메모리(23)에 각각 저장함으로써, 차후에도 해당 정보들이 재사용될 수 있도록 한다.

랜더링부(60)는 랜더 카메라의 좌우 양측에 배치되는 두 개의 스테레오 카메라를 구비한다. 그리고 두 개의 스테레오 카메라의 위치 및 방향을 조정하여 양안 시차 및 교차점을 조절하면서, 3D 메쉬 서피스와 3D 입체 객체(즉, 3D 모델들)을 렌더링함으로써 사용자가 목표로 하는 좌측 영상과 우측 영상을 획득한다.

도5a 내지 도5d는 본 발명의 일 실시예에 따른 3차원 공간상에서의 뎁스 조정 방법을 설명하기 위한 도면이다.

도5a는 그래프를 이용한 레이어별 내부 깊이 비선형 조절 동작을 지원하기 위한 화면으로, 이를 참고하면 3D 공간상에 배치된 3D 메쉬 서피스과 3D 입체 객체의 입체감이 3차원 특징점 단위로 조절될 수 있음을 알 수 있다. 또한, 사용자가 특정 특징점을 선택하고, 이의 깊이값을 조정하면, 그 조정 결과가 실시간 표시되도록 함으로써, 사용자가 별도의 랜더링 동작을 거치지 않고도 3D 메쉬 서피스과 3D 입체 객체의 입체감을 손쉽게 예측할 수 있도록 한다.

도5b는 3D 메쉬 레졸루션 조절 동작을 지원하기 위한 화면으로, 본 발명에서는 3D 메쉬 서피스과 3D 입체 객체 각각의 뎁스 조정 해상도도 임의로 조절할 수 있도록 하고, 조정 결과를 3차원 공간상에서 표시함으로써 사용자가 이를 직관적으로 파악할 수 있도록 한다.

도5c는 레이어별 깊이감 조절 동작을 지원하기 위한 화면으로, 이에 도시된 바와 같이 각각의 레이어를 개별적으로 선택 가능하고, 랜더 카메라와의 거리를 조정할 수 있도록 함을 알 수 있다.

또한, 본 발명에서는 도5d와 같이 IOD 값을 사용자가 수동 입력할 수 있는 창을 제공함으로써, IOD 값 조정을 통한 깊이감 조절 동작도 수행할 수 있도록 한다

이하, 도6를 참고하여 본 발명의 일 실시예에 따른 3D 입체영상 생성 방법을 살펴보면 다음과 같다.

먼저, 3D 입체영상 생성 장치는 입력 데이터를 수신하고, 입력 데이터에 포함된 2D 평면영상, 2D 평면영상을 구성하는 배경 및 객체들 중 적어도 하나에 대한 2D 뎁스 맵 정보, 2D 평면영상을 구성하는 객체들 중 적어도 하나에 대한 3D 템플릿 모델에 대한 정보를 추출한다(S10, S11, S12).

그리고, 레이어 단위로 2D 평면영상에 2D 뎁스 맵 정보를 반영함으로써, 레이어별 3D 메쉬 서피스를 생성한다(S13). 즉, 도7에서와 같은 레이어로 구성되는 2D 평면영상과, 각각의 레이어에 대응되는 도8과 같은 2D 뎁스 맵 정보가 함께 제공되면, 3D 입체영상 생성 장치는 레이어 단위로 2D 평면영상에 2D 뎁스 맵 정보를 반영함으로써, 도9에서와 같은 레이어별 3D 메쉬 서피스를 생성하도록 한다. 이와 같이 생성된 각각의 3D 메쉬 서피스는 2D 뎁스 맵 정보에 상응하는 입체감을 가지게 될 것이다.

그리고, 3D 입체영상 생성 장치는 2D 뎁스 맵 정보를 이용한 3D 입체 영상 생성 동작을 수행함과 동시에 3D 템플릿 모델을 이용한 3D 입체 영상 방법도 함께 수행할 수 있다. 즉, 단계 S13을 수행함과 동시에 2D 평면영상에 포함된 객체들 중에서 3D 템플릿 모델과 유사한 형태를 가지는 객체를 파악하고, 해당 객체에 3D 템플릿 모델을 반영하여 3D 입체 객체를 생성한다(S14).

그리고 나서, 단계 S13을 통해 생성된 레이어별 3D 메쉬 서피스와 단계 S14를 통해 3D 입체 객체를 도10에서와 같이 3D 공간상에 함께 배치하고, 렌더링 카메라 시점에 따라 정렬 및 고정한 후, 뎁스 맵 수정용 인터페이스를 활성화시켜 3D 메쉬 서피스와 3D 입체 객체를 수정 가능 상태로 만든다(S15).

그리고, 뎁스 맵 수정용 인터페이스를 통해 3D 메쉬 서피스와 3D 입체 객체 중 적어도 하나에 대한 입체감을 3차원 공간상에서 다양한 방식(즉, 그래프를 이용한 레이어별 내부 깊이 비선형 조절, 3D 메쉬 레졸루션 조절, 레이어별 깊이감 조절 동작, IOD 값 조정 등)을 통해 으로 수정하고, 수정 결과를 실시간 확인한다(S16). 이때, 수정된 3D 메쉬 서피스와 3D 입체 객체에 상응하는 뎁스 정보는 뎁스 맵 메모리(22), 템플릿 모델 메모리(23)에 실시간 백업되도록 한다.

사용자가 3D 메쉬 서피스와 3D 입체 객체의 입체감 수정 동작을 완료한 후 랜더링 동작을 요청하면, 3D 입체영상 생성 장치는 도11에서와 같이 랜더 카메라의 좌우에 배치된 두 대의 카메라를 이용하여 수정 완료된 3D 메쉬 서피스와 3D 템플릿 모델을 촬영하여, 즉 랜더링 동작을 수행하여(S17), 도12과 같이 좌측 영상과 우측 영상을 가지는 3D 입체 영상을 생성 및 출력한다(S18).

그리고 사용자에게 추가 수정 여부를 확인하여, 단계 S16로 재진입하여 3D 메쉬 서피스와 3D 입체 객체의 입체감을 추가로 수정하거나, 동작 종료하도록 한다(S19).

이와 같이 본 발명은 2D 공간상의 뎁스 맵 정보와 3D 공간상의 객체 뎁스 정보를 모두 3D의 한 공간상에서 조절 및 렌더링할 수 있도록 함으로써, 사용자에게 보다 직관적이고 편리한 입체 영상 생성 파이프라인을 제시할 수 있도록 한다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

2D 평면영상에 2D 뎁스 맵 정보를 반영하여 적어도 하나의 3D 메쉬 서피스를 생성하는 단계;
상기 2D 평면영상에 3D 템플릿 모델을 반영하여 적어도 하나의 3D 입체 객체를 생성하는 단계;
상기 3D 메쉬 서피스와 3D 입체 객체를 3차원 공간상에 배치하고, 시점 고정시키는 단계;
상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 3차원 공간상에서 수정할 수 있도록 인터페이스를 제공하고, 상기 인터페이스를 통해 입력되는 제어값에 따라 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 수정하는 단계; 및
상기 수정된 3D 메쉬 서피스와 3D 입체 객체를 적어도 두개의 가상 카메라를 통해 촬영하여 3D 입체 영상을 획득하는 단계를 포함하는 3차원 입체영상 생성 방법.
제1항에 있어서, 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 수정하는 단계는
상기 3D 메쉬 서피스와 상기 3D 입체 객체를 수정 가능 상태로 만든 후, 상기 인터페이스를 통해 입력되는 제어값에 따라 상기 3D 메쉬 서피스과 상기 3D 입체 객체의 픽셀 또는 특징점을 선택하고 상기 선택된 픽셀 또는 특징점의 높낮이를 수정하는 것을 특징으로 하는 3차원 입체영상 생성 방법.
제1항에 있어서,
상기 수정된 3D 메쉬 서피스와 3D 입체 객체로부터 2D 뎁스 맵과 3D 템플릿 모델을 재산출하고 내부 메모리에 저장하는 단계를 더 포함하는 것을 특징으로 하는 3차원 입체영상 생성 방법.
제1항에 있어서, 상기 3D 메쉬 서피스를 생성하는 단계는
레이어 단위로 2D 평면영상에 2D 뎁스 맵 정보를 반영함으로써 레이어별 3D 메쉬 서피스를 생성하는 것을 특징으로 하는 3차원 입체영상 생성 방법.
제1항에 있어서, 상기 3D 입체 객체를 생성하는 단계는
2D 평면영상에 포함된 객체들 중에서 3D 템플릿 모델과 유사한 형태를 가지는 객체를 파악하고, 상기 파악된 객체에 3D 템플릿 모델을 반영하여 3D 입체 객체를 생성하는 것을 특징으로 하는 3차원 입체영상 생성 방법.
청구항 6은(는) 설정등록료 납부시 포기되었습니다.

2D 평면영상에 2D 뎁스 맵 정보와 3D 템플릿 모델을 반영하여 3D 메쉬 서피스와 3D 입체 객체를 생성하는 3D 모델 생성부;
상기 3D 메쉬 서피스와 3D 입체 객체를 3차원 공간상에 배치하고, 시점 고정시키는 3차원 공간 배치부;
상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 3차원 공간상에서 수정할 수 있도록 인터페이스를 제공하고, 상기 인터페이스를 통해 입력되는 제어값에 따라 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 수정하는 뎁스 조절부; 및
적어도 두개의 가상 카메라를 통해 상기 수정된 3D 메쉬 서피스와 3D 입체 객체를 랜더링하여 3D 입체 영상을 생성하는 랜더링부를 포함하는 3차원 입체영상 생성 장치.
청구항 7은(는) 설정등록료 납부시 포기되었습니다.

제6항에 있어서, 상기 3D 모델 생성부는
레이어 단위로 2D 평면영상에 2D 뎁스 맵 정보를 반영함으로써 레이어별 3D 메쉬 서피스를 생성하는 것을 특징으로 하는 3차원 입체영상 생성 장치.
청구항 8은(는) 설정등록료 납부시 포기되었습니다.

제6항에 있어서, 상기 3D 모델 생성부는
2D 평면영상에 포함된 객체들 중에서 3D 템플릿 모델과 유사한 형태를 가지는 객체를 파악하고, 상기 파악된 객체에 3D 템플릿 모델을 반영하여 3D 입체 객체를 생성하는 것을 특징으로 하는 3차원 입체영상 생성 장치.
2D 평면영상에 2D 뎁스 맵 정보와 3D 템플릿 모델을 반영하여 3D 메쉬 서피스와 3D 입체 객체를 생성하는 3D 모델 생성부;
상기 3D 메쉬 서피스와 3D 입체 객체를 3차원 공간상에 배치하고, 시점 고정시키는 3차원 공간 배치부;
상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 3차원 공간상에서 수정할 수 있도록 인터페이스를 제공하고, 상기 인터페이스를 통해 입력되는 제어값에 따라 상기 3D 메쉬 서피스와 3D 입체 객체의 입체감을 수정하는 뎁스 조절부; 및
적어도 두개의 가상 카메라를 통해 상기 수정된 3D 메쉬 서피스와 3D 입체 객체를 랜더링하여 3D 입체 영상을 생성하는 랜더링부를 포함하는 3차원 입체영상 생성 장치.
제9항에 있어서, 상기 3D 모델 생성부는
레이어 단위로 2D 평면영상에 2D 뎁스 맵 정보를 반영함으로써 레이어별 3D 메쉬 서피스를 생성하는 3D 매쉬 서비스 생성부; 및
2D 평면영상에 포함된 객체들 중에서 3D 템플릿 모델과 유사한 형태를 가지는 객체를 파악하고, 상기 파악된 객체에 3D 템플릿 모델을 반영하여 3D 입체 객체를 생성하는 3D 템플릿 모델 매칭부를 포함하는 것을 특징으로 하는 3차원 입체영상 생성 장치.
제9항에 있어서, 상기 인터페이스는
사용자가 3D 공간상에 배치된 3D 메쉬 서피스와 3D 입체 객체를 육안으로 확인하며, 3D 공간상에서 상기 3D 메쉬 서피스과 상기 3D 템플릿 모델의 입체감을 픽셀 단위 또는 특징점 단위로 수정할 수 있도록 하는 것을 특징으로 하는 3차원 입체영상 생성 장치.
제9항에 있어서,
상기 2D 평면영상, 상기 2D 뎁스 맵 정보, 상기 3D 템플릿 모델을 구분하는 저장하는 메모리를 더 포함하는 것을 특징으로 하는 3차원 입체영상 생성 장치.
제9항에 있어서, 상기 뎁스 조절부는
상기 3D 메쉬 서피스과 상기 3D 템플릿 모델이 수정이 완료되면, 상기 수정 완료된 3D 메쉬 서피스로부터는 새로운 2D 뎁스 맵을, 상기 수정 완료된 템플릿 모델로부터는 새로운 3D 객체 뎁스 정보를 자동 산출한 후, 메모리에 저장하는 기능을 더 포함하는 것을 특징으로 하는 3차원 입체영상 생성 장치.