Nothing Special   »   [go: up one dir, main page]

KR101818778B1 - 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법 - Google Patents

실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법 Download PDF

Info

Publication number
KR101818778B1
KR101818778B1 KR1020120029962A KR20120029962A KR101818778B1 KR 101818778 B1 KR101818778 B1 KR 101818778B1 KR 1020120029962 A KR1020120029962 A KR 1020120029962A KR 20120029962 A KR20120029962 A KR 20120029962A KR 101818778 B1 KR101818778 B1 KR 101818778B1
Authority
KR
South Korea
Prior art keywords
image
information
real
data
panorama
Prior art date
Application number
KR1020120029962A
Other languages
English (en)
Other versions
KR20130107840A (ko
Inventor
기명석
조용주
임성용
차지훈
백승권
이용주
김진웅
김성대
김욱중
유지성
황성수
Original Assignee
한국전자통신연구원
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국과학기술원 filed Critical 한국전자통신연구원
Priority to KR1020120029962A priority Critical patent/KR101818778B1/ko
Priority to US13/800,119 priority patent/US9185288B2/en
Publication of KR20130107840A publication Critical patent/KR20130107840A/ko
Application granted granted Critical
Publication of KR101818778B1 publication Critical patent/KR101818778B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 실감 파노라마 영상 생성을 위한 3D 데이터 포맷 생성/소비 장치 및 방법에 관한 것으로서, 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 영상 전처리부, 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 영상정보 구조화부, 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 3D 데이터 포맷 DB부, 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 실감영상 생성부, 및 상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부를 포함할 수 있다.

Description

실감 파노라마 영상 생성을 위한 3Ｄ 데이터 포맷 생성／소비 장치 및 방법{APPARATUS AND METHOD OF GENERATING AND CONSUMING 3D DATA FORMAT FOR GENERATION OF REALIZED PANORAMA IMAGE}
본 발명은 복수의 카메라를 이용하여 촬영한 영상들을 이용하여 파노라마 영상을 생성함에 있어 단순한 파노라마 영상 이외에도, 양안식이나 자유시점과 같은 실감효과를 제공하는 실감 파노라마 생성을 위해, 획득된 다시점 영상들과 이를 이용하여 추출한 3D 정보를 하나의 데이터 포맷으로 구조화 하는 방법, 이러한 데이터 포맷을 이용하여 자유롭게 다양한 실감 파노라마 영상을 생성하기 위한 방법에 관한 것이다.
특수한 광학 렌즈/미러 또는 복수개의 카메라를 통해 영상을 촬영하고, 이를 합성하는 파노라마 영상은 일반적인 영상 미디어에 비해 훨씬 넓은 시야각을 제공할 수 있다는 장점이 있다.
그러나 파노라마 영상은 촬영 방법의 제약성 때문에 줌 인/아웃이나 특정 물체에 포커싱을 맞추는 등의 촬영 기법이 어려워 생성된 영상이 단조로워지기 쉽다는 약점도 존재한다.
이러한 파노라마 영상의 약점은 현재 3D, UHD 등 다양한 실감 고화질 미디어들이 등장하고 있는 상황에서 단순히 넓은 시야각을 제공한다는 것만으로는 사용자에게 큰 만족감을 제공하지 못할 수 있다. 따라서, 이미 수년 전부터 파노라마 영상 분야에서는 양안식(stereoscopic) 파노라마나 영상 모델링을 통해 사용자의 시점 변화에 따라 영상을 생성해 주어 실감을 느끼게 해주는 자유시점 파노라마 기술 등 다양한 파노라마 실감기술이 개발되고 있다.
그러나 양안식 파노라마의 경우 일반적인 파노라마 영상과 같이 좌 영상과 우 영상을 각각 스티칭하는 방식으로는 영상간에 시차 오류가 발생하게 되어, 완벽한 양안식 파노라마 영상을 생성하기 어렵다는 문제가 발생한다.
또한 이미지 기반 혹은 영상 모델링을 이용한 자유시점 파노라마 기술은 그 복잡성으로 인해 아직까지 실제 서비스에 응용되기에는 무리가 따른다.
상기 기술한 양안식 파노라마와 자유시점 파노라마는 기실 서로 다른 기술처럼 보이나 두 기술 모두 완벽한 실감 표현을 위해서는 영상의 깊이(depth)값이나 그에 따른 텍스처 정보, 영상 분할(segmentation)정보 등의 활용이 요구된다. 그러나 현재 이러한 영상 정보들은 각각 특정 어플리케이션에 맞게 추출되고 변형되기 때문에 그 사용이 제한적이고 서로 호환을 갖지 못하는 한계를 지니고 있다.
만약 멀티뷰 영상을 통해 획득된 영상 정보들을 구조화하고 이를 운용 결합 한다면 하나의 데이터 포맷으로 양안식 파노라마는 물론 자유시점 파노라마를 자유롭게 구현할 수 있을 뿐만 아니라 둘의 결합을 통해 양안식 자유시점 파노라마 또한 가능케 할 수 있을 것이다.
본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 장치는 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 영상 전처리부, 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 영상정보 구조화부, 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 3D 데이터 포맷 DB부, 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 실감영상 생성부, 및 상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부를 포함할 수 있다.
본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 단계, 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 단계, 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 단계, 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 단계, 및 상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 복수의 카메라를 통해 촬영된 영상들의 깊이 값과 텍스쳐 정보, 객체/영역 정보, 위치 정보 등을 추출하여 이를 구조화된 3D 데이터 포맷으로 구축하고, 특정 어플리케이션에 한정하지 않고, 추출된 데이터들을 결합 운용하여 기존의 양안식 파노라마 생성 시 발생하는 문제점을 해결한 진보된 양안식 파노라마 및 자유시점 파노라마 영상 모두를 지원하는 실감 파노라마 영상을 구성하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따르면, 구조화된 3D 데이터 포맷을 이용하여 일반적인 파노라마 영상, 양안식 파노라마, 자유시점 파노라마 영상을 자유롭게 생성 및 조합할 수 있다.
본 발명의 일실시예에 따르면, 기존 양안식 파노라마 생성시 발생하는 시차 오류 및 파노라마 영상의 디지털 줌 기능을 보완할 수 있다.
도 1은 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 장치를 설명하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 멀티뷰 영상의 3D 데이터 포맷 구조화를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 레이어 실린더 wrapping을 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 영상 줌 보간의 실시예를 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 적응형 줌을 설명하는 실시예이다.
도 6은 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법을 설명하는 흐름도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 장치(100)를 설명하는 블록도이다.
본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 장치(100)는 영상 전처리부(110), 영상정보 구조화부(120), 3D 데이터 포맷 DB부(130), 실감영상 생성부(140), 및 실감영상 렌더링부(150)를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 전처리부(110)는 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출한다.
일례로, 본 발명의 일실시예에 따른 영상 전처리부(110)는 캘리브레이션을 수행하여 상기 복수의 카메라 각각의 3D 위치 관계를 확인할 수 있다. 또한, 본 발명의 일실시예에 따른 영상 전처리부(110)는 상기 확인된 3D 위치 관계에 기초하여 상기 촬영된 영상들간의 매칭 포인트를 찾을 수 있다.
본 발명의 일실시예에 따른 영상정보 구조화부(120)는 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화할 수 있다.
본 발명의 일실시예에 따른 영상정보 구조화부(120)는 객체 및 영역 중에서 적어도 하나를 상기 깊이값에 따라 분리하고 이를 복수의 실린더에 랩핑(wrapping)할 수 있다.
이때, 본 발명의 일실시예에 따른 영상정보 구조화부(120)는 분리하려는 상기 깊이값의 단계 및 상기 객체 및 상기 영역의 단계 수에 따라 상기 실린더의 개수를 결정할 수 있다.
본 발명의 일실시예에 따른 3D 데이터 포맷 DB부(130)는 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장할 수 있다.
본 발명의 일실시예에 따른 실감영상 생성부(140)는 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성할 수 있다.
일례로, 본 발명의 일실시예에 따른 실감영상 생성부(140)는 좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하고, 상기 레이어 실린더가 생성된 후 상기 DB에 저장된 멀티 영상의 기하학적 위치정보, 객체/영역분리 정보, 및 텍스쳐 정보 중에서 적어도 하나의 정보를 이용하여 해당 객체의 깊이값에 맞는 레이어에 영상합성을 통해 wrapping하여 상기 실감 파노라마를 생성할 수 있다.
다른 일례로, 본 발명의 일실시예에 따른 실감영상 생성부(140)는 좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하고, 생성된 각각의 실린더의 레이어에 상기 촬영된 영상간의 3D 데이터 포맷을 이용하여 기본 시점에 따른 파노라마 영상을 합성하고 각각의 실린더에 랩핑하여 상기 실감 파노라마를 생성할 수도 있다.
본 발명의 일실시예에 따른 실감영상 렌더링부(150)는 상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부를 포함할 수 있다. 일례로, 실감영상 렌더링부(150)는 기본 영상과 시점 변환 영상을 보간(interpolation)하여 상기 생성된 실감 파노라마를 렌더링할 수 있다.
다시 말해, 복수의 카메라를 이용해 촬영된 영상들을 3D 데이터 포맷으로 구조화하는 일예는 다음과 같다. 먼저 촬영된 복수의 영상들은 영상 전처리부(110)에서 캘리브레이션 등의 처리 과정을 통해 각 카메라 간의 3D 위치 관계를 파악하고, 영상처리를 통해 영상내의 객체 및 영역을 인지하고 각 카메라로부터의 깊이값 및 텍스쳐 값을 추출한다.
이때 객체 또는 영역별로 추출된 깊이값 및 텍스쳐값 그리고 기타 부가 정보는 영상정보 구조화부(120)를 통해 도 2와 같은 구조로 3D 데이터 포맷 DB부(130)에 저장된다.
도 2는 본 발명의 일실시예에 따른 멀티영상(210)의 3D 데이터 포맷 구조화를 설명하는 도면이다.
본 발명의 일실시예에 따른 영상정보 구조화부(120)는 멀티영상(210)을 구성하는 영상 기하학 정보(220), 객체1(220)의 정보, 객체2(230)의 정보, 및 배경정보(240)를 3D 데이터 포맷 DB부(130)에 저장할 수 있다.
이때, 객체1(220)의 정보 및 객체2(230)의 정보는 각각 객체 기하학 정보, Depth 정보, 및 Texture 정보를 포함할 수 있다.
상기와 같이 구조화된 데이터를 이용하여 실감 파노라마 영상을 생성하는 일 예는 아래와 같으며 본 발명에서는 발명 편의성을 위해 실린더 형태를 예로 제시 하였으나 특허 청구에서는 특정 형태의 wrapping 형태를 제한하지 않는다.
도 3은 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 레이어 실린더 wrapping을 설명하는 도면이다.
복수의 카메라를 이용하여 촬영된 영상(310)을 실린더 형태의 파노라마 형태로 구현할 때 고전적인 파노라마 영상 생성 방법은 하나의 실린더에 모든 영상 정보를 wrapping한다.
그러나 본 발명의 실감 파노라마는 객체 및 영역을 깊이값에 따라 분리하고 이를 복수의 실린더(320, 330, 340)에 wrapping 하는 형태를 갖게된다.
이때 실린더의 개수는 사용자가 분리하고자 하는 깊이값의 단계 또는 객체 및 영역의 단계 수에 따라 결정될 수 있고, 도 3에서는 3개의 실시예로 표현된다.
이와 같은 방식으로 단일 실린더를 사용하지 않고 깊이값에 따른 레이어 실린더를 사용할 경우 각각의 실린더 단위로 조작 가능하기 때문에 양안식 실감처리, 자유시점 실감처리, 영상 줌 등에 유용하게 활용할 수 있다.
도 4는 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 영상 줌 보간의 실시예를 설명하는 도면이다.
앞서 기술한 바와 같이 현재 양안식 파노라마를 생성하는 방법은 구조화된 카메라 rig 시스템 또는 단일 카메라를 회전시켜 출력된 영상들을 합성하여 양안식 파노라마 영상을 생성 하거나, 양안 카메라가 한 쌍으로 구성된 여러 개의 카메라 쌍들을 이용하여 영상을 획득하고, 획득한 좌영상 우영상을 각각 따로 스티칭하여 좌/우 파노라마를 얻는 방식을 사용하고 있다.
그러나 구조화된 카메라 rig 또는 단일 카메라를 회전시켜 양안식 파노라마 영상을 생성하는 방법은 동영상에 적용하기에는 적합하지 않아 이미지에 한정되고 있으며 여러 대의 양안식 카메라를 이용한 양안식 파노라마 생성 방법은 좌우 영상의 기하학적 형태, 그리고 사용자의 시청 시점을 고려하지 않을 경우 앞서 기술한 바와 같이 시차 오류가 발생하게 된다.
이러한 문제점을 해결하기 위해 깊이값과 텍스쳐값 및 기타 부가 정보를 이용하여 양안식 파노라마 영상을 생성하는 방법은 다음과 같다.
복수의 영상으로부터 추출된 구조화된 3D 데이터 포맷을 이용하기 위해 실감영상 생성부는 먼저 생성 대상이 되는 좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화 한다.
이때 실린더의 레이어의 개수는 추출된 객체 또는 영역의 깊이값 레벨 또는 사용자의 선택에 의해 달라질 수 있으며, 레이어의 수가 증가 할수록 실감효과를 증대 시키거나 정교하게 영상을 생성할 수 있다. 레이어 실린더가 생성된 후 실감영상 생성부는 3D 데이터 포맷 DB부에 저장된 멀티 영상의 기하학적 위치정보, 객체/영역분리 정보, 텍스쳐 정보를 이용하여 해당 객체의 깊이값에 맞는 레이어에 영상합성을 통해 wrapping 과정을 수행한다.
이러한 방식의 양안식 파노라마는 하나의 실린더에 모든 영상 정보를 맵핑하는 형태가 아닌 영상내의 객체 또는 영역들의 촛점거리(focal length)와 기하학적인 위치정보에 따라 객체 단위로 자신의 깊이값에 맞는 실린더에 wrapping 되기 때문에 단순한 좌우 영상의 파노라마 스티칭에서 발생하는 시차 오류를 문제를 해결 할 수 있다.
또한 사용자는 완성된 양안식 파노라마 영상의 disparity 값을 조정하고자 하는 경우 각각의 실린더 단위로 조작 가능하기 때문에 자유롭게 양안식 파노라마 영상을 수정할 수 있다.
또 다른 응용으로 구성한 3D 데이터 포맷을 이용하여 자유시점 파노라마를 생성하는 일예는 다음과 같다.
실감영상 생성부는 앞서 서술한 양안식 파노라마와 마찬가지로 분석된 멀티뷰 영상의 깊이값과 객체/영역 단위의 정보에 의해 레이어 실린더를 생성한다. 그 후 실감영상 생성부는 생성된 각각의 실린더의 레이어에 멀티뷰 영상들의 3D 데이터 포맷을 이용하여 기본 시점에 따른 파노라마 영상을 합성하고 각각의 실린더에 wrapping 한다. 영상 합성 시 실감영상 생성부는 멀티뷰 영상의 깊이값 및 텍스쳐값, 위치정보 등을 이용하여 사용자가 도 4와 같이 시선의 위치가 도면부호 410에서 420으로 바뀌는 경우에 대한 영상도 합성하여 저장하고 사용자가 시선을 바꿀 경우 실감영상 렌더링부는 기존 기본 영상과 시점 변환 영상간의 보간(interpolation)을 통해 사용자에게 실감효과를 제공할 수 있다.
도 5는 본 발명의 일실시예에 따른 3D 데이터 포맷을 이용한 적응형 줌을 설명하는 실시예이다.
또한 기존의 파노라마 영상에서는 사용자의 영상 줌 인/아웃 동작의 경우에 단순한 디지털 확대와 축소만이 가능하여 화질 열화를 극복할 수 없었으나, 본 발명에서와 같이, 구조화된 3D 데이터 포맷을 사용할 경우 사용자가 파노라마 영상(510)에 대해서 줌을 시도한다면 실감영상 렌더링부는 저장되어 있는 객체 및 영역 정보와 영상 깊이값(Depth map), 텍스쳐 값(Texture info)을 이용하여 단순한 디지털 확대가 아닌 영상 객체의 깊이값과 텍스쳐 분석을 통하여 객체의 형태를 고려한 줌 인/아웃 기능을 제공하여, 확대 영상(520)을 생성하여 기존의 파노라마 영상의 줌 인/아웃의 약점을 보완할 수 있다.
도 6은 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법을 설명하는 흐름도이다.
본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출할 수 있다(단계 601).
본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화할 수 있다(단계 602).
본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장할 수 있다(단계 603).
다음으로, 본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성할 수 있다(단계 604).
본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 상기 생성된 실감 파노라마를 렌더링 처리할 수 있다(단계 605).
본 발명의 일실시예에 따른 3D 데이터 포맷 생성/소비 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 3D 데이터 포맷 생성/소비 장치
110: 영상 전처리부
120: 영상정보 구조화부
130: 3D 데이터 포맷 DB부
140: 실감영상 생성부
150: 실감영상 렌더링부

Claims (9)

  1. 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 영상 전처리부;
    상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 영상정보 구조화부;
    상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 3D 데이터 포맷 DB부;
    상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 실감영상 생성부; 및
    상기 생성된 실감 파노라마를 렌더링 처리하는 실감영상 렌더링부
    를 포함하고,
    상기 실감영상 생성부는,
    좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하고, 상기 레이어 실린더가 생성된 후 상기 DB에 저장된 멀티 영상의 기하학적 위치정보, 객체/영역분리 정보, 및 텍스쳐 정보 중에서 적어도 하나의 정보를 이용하여 해당 객체의 깊이값에 맞는 레이어에 영상합성을 통해 wrapping하여 상기 실감 파노라마를 생성하는 3D 데이터 포맷 생성/소비 장치.
  2. 제1항에 있어서,
    상기 영상 전처리부는,
    캘리브레이션을 수행하여 상기 복수의 카메라 각각의 3D 위치 관계를 확인하고, 상기 확인된 3D 위치 관계에 기초하여 상기 촬영된 영상들간의 매칭 포인트를 찾는 3D 데이터 포맷 생성/소비 장치.
  3. 제1항에 있어서,
    상기 영상정보 구조화부는,
    객체 및 영역 중에서 적어도 하나를 상기 깊이값에 따라 분리하고 이를 복수의 실린더에 랩핑(wrapping)하는 3D 데이터 포맷 생성/소비 장치.
  4. 제3항에 있어서,
    상기 영상정보 구조화부는,
    분리하려는 상기 깊이값의 단계 및 상기 객체 및 상기 영역의 단계 수에 따라 상기 실린더의 개수를 결정하는 3D 데이터 포맷 생성/소비 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 실감영상 생성부는,
    좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하고, 생성된 각각의 실린더의 레이어에 상기 촬영된 영상간의 3D 데이터 포맷을 이용하여 기본 시점에 따른 파노라마 영상을 합성하고 각각의 실린더에 랩핑하여 상기 실감 파노라마를 생성하는 3D 데이터 포맷 생성/소비 장치.
  7. 제1항에 있어서,
    상기 렌더링부는,
    기본 영상과 시점 변환 영상을 보간(interpolation)하여 상기 생성된 실감 파노라마를 렌더링하는 3D 데이터 포맷 생성/소비 장치.
  8. 복수개의 카메라를 통해 촬영된 영상들간의 매칭 포인트를 찾고, 상기 촬영된 영상간에 깊이값, 텍스쳐값, 및 객체 분리 정보 중에서 적어도 하나를 영상 정보로서 추출하는 단계;
    상기 추출된 영상 정보를 실감영상 생성에 이용하기 위해 3D 데이터를 구조화하는 단계;
    상기 구조화된 3D 데이터의 포맷 정보를 DB로 저장하는 단계;
    상기 저장된 3D 데이터의 포맷 정보를 이용하여 실감 파노라마를 생성하는 단계; 및
    상기 생성된 실감 파노라마를 렌더링 처리하는 단계
    를 포함하고,
    상기 실감 파노라마를 생성하는 단계는,
    좌우 영상에 해당하는 레이어 형태의 실린더를 각각 초기화하여, 레이어 실린더를 생성하는 단계; 및
    상기 레이어 실린더가 생성된 후 상기 DB에 저장된 멀티 영상의 기하학적 위치정보, 객체/영역분리 정보, 및 텍스쳐 정보 중에서 적어도 하나의 정보를 이용하여 해당 객체의 깊이값에 맞는 레이어에 영상합성을 통해 wrapping하여 상기 실감 파노라마를 생성하는 단계
    를 포함하는 3D 데이터 포맷 생성/소비 방법.
  9. 삭제
KR1020120029962A 2012-03-23 2012-03-23 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법 KR101818778B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120029962A KR101818778B1 (ko) 2012-03-23 2012-03-23 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
US13/800,119 US9185288B2 (en) 2012-03-23 2013-03-13 Apparatus and method for generating and consuming three-dimensional (3D) data format to generate realistic panoramic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120029962A KR101818778B1 (ko) 2012-03-23 2012-03-23 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130107840A KR20130107840A (ko) 2013-10-02
KR101818778B1 true KR101818778B1 (ko) 2018-01-16

Family

ID=49211414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120029962A KR101818778B1 (ko) 2012-03-23 2012-03-23 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법

Country Status (2)

Country Link
US (1) US9185288B2 (ko)
KR (1) KR101818778B1 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2754131B1 (en) 2011-09-08 2022-10-26 Nautilus, Inc. System and method for visualizing synthetic objects withinreal-world video clip
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US20150134651A1 (en) 2013-11-12 2015-05-14 Fyusion, Inc. Multi-dimensional surround view based search
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) * 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
KR101946019B1 (ko) 2014-08-18 2019-04-22 삼성전자주식회사 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
KR102249831B1 (ko) 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US10586378B2 (en) 2014-10-31 2020-03-10 Fyusion, Inc. Stabilizing image sequences based on camera rotation and focal length parameters
US10719939B2 (en) 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US10726560B2 (en) 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
KR102234477B1 (ko) * 2015-01-15 2021-04-01 한국전자통신연구원 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
KR20170025058A (ko) 2015-08-27 2017-03-08 삼성전자주식회사 영상 처리 장치 및 이를 포함하는 전자 시스템
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US9699380B2 (en) * 2015-11-03 2017-07-04 Intel Corporation Fusion of panoramic background images using color and depth data
US10288323B2 (en) * 2015-12-15 2019-05-14 Palo Alto Research Center Incorporated Solar receiver with metamaterials-enhanced solar light absorbing structure
KR102468801B1 (ko) * 2016-02-29 2022-11-18 주식회사 엘지유플러스 가상 현실 컨텐츠 변환 방법 및 장치
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10665024B2 (en) 2016-12-12 2020-05-26 Fyusion, Inc. Providing recording guidance in generating a multi-view interactive digital media representation
GB2558283B (en) * 2016-12-23 2020-11-04 Sony Interactive Entertainment Inc Image processing
US10038894B1 (en) * 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
US10353946B2 (en) 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10628675B2 (en) 2017-02-07 2020-04-21 Fyusion, Inc. Skeleton detection and tracking via client-server communication
US11044464B2 (en) 2017-02-09 2021-06-22 Fyusion, Inc. Dynamic content modification of image and video based multi-view interactive digital media representations
US10440351B2 (en) 2017-03-03 2019-10-08 Fyusion, Inc. Tilts as a measure of user engagement for multiview interactive digital media representations
US10356395B2 (en) 2017-03-03 2019-07-16 Fyusion, Inc. Tilts as a measure of user engagement for multiview digital media representations
US11423005B2 (en) * 2017-04-03 2022-08-23 Mitsubishi Electric Corporation Map data generator and method for generating map data
US10957009B2 (en) 2017-05-04 2021-03-23 Electronics And Telecommunications Research Institute Image processing apparatus and method
US10200677B2 (en) 2017-05-22 2019-02-05 Fyusion, Inc. Inertial measurement unit progress estimation
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10237477B2 (en) 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure
US11138432B2 (en) 2017-05-25 2021-10-05 Fyusion, Inc. Visual feature tagging in multi-view interactive digital media representations
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10356341B2 (en) 2017-10-13 2019-07-16 Fyusion, Inc. Skeleton-based effects and background replacement
KR101994112B1 (ko) * 2017-12-05 2019-06-28 한국항공대학교산학협력단 분할 영역 단위의 파노라마 영상 합성 장치 및 방법
US10659686B2 (en) 2018-03-23 2020-05-19 Fyusion, Inc. Conversion of an interactive multi-view image data set into a video
US10687046B2 (en) 2018-04-05 2020-06-16 Fyusion, Inc. Trajectory smoother for generating multi-view interactive digital media representations
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10382739B1 (en) 2018-04-26 2019-08-13 Fyusion, Inc. Visual annotation using tagging sessions
US11323754B2 (en) * 2018-11-20 2022-05-03 At&T Intellectual Property I, L.P. Methods, devices, and systems for updating streaming panoramic video content due to a change in user viewpoint
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
US11356606B2 (en) * 2019-02-26 2022-06-07 Insidemaps, Inc. Imaging using mobile computing device in communication with wide field of view (FOV) camera

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237403A1 (en) * 2008-03-21 2009-09-24 Hiroshi Horii Image drawing system, image drawing server, image drawing method, and computer program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237403A1 (en) * 2008-03-21 2009-09-24 Hiroshi Horii Image drawing system, image drawing server, image drawing method, and computer program

Also Published As

Publication number Publication date
US20130250045A1 (en) 2013-09-26
US9185288B2 (en) 2015-11-10
KR20130107840A (ko) 2013-10-02

Similar Documents

Publication Publication Date Title
KR101818778B1 (ko) 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
US11632533B2 (en) System and method for generating combined embedded multi-view interactive digital media representations
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
US10719939B2 (en) Real-time mobile device capture and generation of AR/VR content
US10176592B2 (en) Multi-directional structured image array capture on a 2D graph
US10726560B2 (en) Real-time mobile device capture and generation of art-styled AR/VR content
CN104539925B (zh) 基于深度信息的三维场景增强现实的方法及系统
US20150235408A1 (en) Parallax Depth Rendering
US20140181630A1 (en) Method and apparatus for adding annotations to an image
US8611642B2 (en) Forming a steroscopic image using range map
WO2013074561A1 (en) Modifying the viewpoint of a digital image
US10861213B1 (en) System and method for automatic generation of artificial motion blur
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
JP4958689B2 (ja) 立体画像生成装置およびプログラム
EP2936442A1 (en) Method and apparatus for adding annotations to a plenoptic light field
KR20130039522A (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
JP6128748B2 (ja) 画像処理装置及び方法
US20230217001A1 (en) System and method for generating combined embedded multi-view interactive digital media representations
WO2014082276A1 (en) Method and system for capturing a 3d image using single camera
Fu et al. Image stitching techniques applied to plane or 3-D models: a review
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
KR20120093751A (ko) 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법
KR101794709B1 (ko) 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치
KR101801898B1 (ko) 다시점 영상 기반의 단일 영상 처리 방법 및 장치
Morvan et al. Handling occluders in transitions from panoramic images: A perceptual study

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant