Nothing Special   »   [go: up one dir, main page]

KR20120062477A - 다시점 깊이 영상 생성 방법 및 장치 - Google Patents

다시점 깊이 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR20120062477A
KR20120062477A KR1020100123754A KR20100123754A KR20120062477A KR 20120062477 A KR20120062477 A KR 20120062477A KR 1020100123754 A KR1020100123754 A KR 1020100123754A KR 20100123754 A KR20100123754 A KR 20100123754A KR 20120062477 A KR20120062477 A KR 20120062477A
Authority
KR
South Korea
Prior art keywords
depth
depth image
pixel
image
viewpoint
Prior art date
Application number
KR1020100123754A
Other languages
English (en)
Other versions
KR101233399B1 (ko
Inventor
이상범
호요성
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020100123754A priority Critical patent/KR101233399B1/ko
Publication of KR20120062477A publication Critical patent/KR20120062477A/ko
Application granted granted Critical
Publication of KR101233399B1 publication Critical patent/KR101233399B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원 영상 생성 장치에서 복수의 색상 영상을 이용하여 다시점 깊이 영상을 생성하는 방법으로서, 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계, 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고 복수의 색상 영상 중에서 제1 시점 및 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 제1 깊이 영상 그리고 제2 깊이 영상에 기초하여 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계를 포함한다.

Description

다시점 깊이 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING MULTI-VIEW DEPTH MAP}
본 발명은 다시점 깊이 영상 생성 방법 및 장치에 관한 것이다.
3차원 비디오를 이용한 3차원 텔레비전 시스템은 컴퓨터 시뮬레이션을 통해 현실 세계를 재구성한 콘텐츠와 3차원 입체 디스플레이를 통해 사용자에게 실감나는 영상을 제공할 수 있기 때문에 차세대 방송 시스템으로 각광받고 있다. 여기서 3차원 텔레비전 시스템이란 카메라 한 대를 이용해서 장면을 촬영하는 기존의 시스템에서 확장된 개념으로 다수의 카메라 혹은 센서를 이용해서 장면의 3차원 정보까지 획득할 수 있는 시스템을 말한다. 시청자는 3차원 비디오를 이용하여 한 장면을 여러 시점에서 시청할 수 있는데, 이를 통해 시청자는 입체 영화나 입체형 텔레비전 방송을 보거나, 실감나는 3차원 영상을 바탕으로 한 게임이나, 전시 또는 이벤트를 경험할 수 있다. 또한 3차원 비디오는 실감형 가상수술 교육 프로그램에 이용되어 효과적인 교육을 제공할 수 있다.
이러한 3차원 비디오는 깊이 영상을 통해 입체감이 표현된다. 깊이 영상이란 영상 내에 존재하는 객체들의 3차원 거리 정보를 8비트로 표현한 영상을 말하며 깊이 영상의 화소값은 각 해당 화소의 깊이 정보를 나타낸다. 특히 3차원 비디오의 자유 시점 기능을 구현하기 위해서는 여러 시점의 영상을 이용하여 시점 사이에 존재하는 가상의 중간시점 영상을 합성하는 중간시점 영상 합성 기술이 필수적이다. 중간시점 영상을 합성하기 위해서는 깊이 영상이 필요한데, 깊이 영상의 정확도는 합성된 중간시점 영상의 화질을 좌우하기 때문에 정확한 깊이 영상을 생성하는 것이 매우 중요하다. 그러나 3차원 텔레비전 시스템은 다시점 영상의 각 시점마다 독립적으로 깊이 영상을 탐색하므로 시점 간 상관도 저하 문제가 발생할 수 있다.
최근 국제 표준화 그룹인 동영상 전문가 그룹(Moving Picture Experts Group, MPEG) 내의 3차원 비디오 부호화 그룹은 다시점 비디오 및 깊이 영상의 부호화의 중요성을 인지하여, 깊이 영상을 추정할 수 있는 깊이 영상 탐색 소프트웨어를 구현 및 배포하였다. 이 소프트웨어의 본래의 목적은 스테레오 영상에 대한 깊이 영상을 획득하는 것이었다. 하지만, 3차원 비디오 부호화 그룹에 맞는 3차원 비디오 포맷은 정지영상이 아닌 동영상이고, 또한 스테레오 영상이 아닌 다시점 영상이므로 이 소프트웨어를 그대로 적용해서 깊이 영상을 구하는 것은 적합하지 않다. 그 결과로 깊이 탐색 알고리즘은 시간적 그리고 시점 간 상관도 저하 문제를 발생시킬 수 있다.
본 발명이 해결하려는 과제는 시점 간 상관도가 높은 깊이 영상을 생성하는 다시점 깊이 영상 생성 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시예에 따른 3차원 영상 생성 장치에서 복수의 색상 영상을 이용하여 다시점 깊이 영상을 생성하는 방법으로서, 상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계, 상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고 상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계를 포함한다.
상기 제3 깊이 영상을 생성하는 단계는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하는 단계, 그리고 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 단계를 포함할 수 있다.
상기 대응 화소를 각각 구하는 단계는, 상기 제1 깊이 영상과 상기 제2 깊이 영상을 상기 제3 시점으로 투영하여 각각 구하는 단계를 포함할 수 있다.
상기 방법은 상기 대응 화소의 깊이 정보를 상기 최종 깊이값으로 변경하여 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 보정하는 단계를 더 포함할 수 있다.
상기 방법은 상기 보정한 제1 깊이 영상, 상기 보정한 제2 깊이 영상 그리고 상기 제3 깊이 영상을 3차원 영상 재생 장치로 전송하는 단계를 더 포함할 수 있다.
상기 제3 깊이 영상을 생성하는 단계는 상기 제3 시점을 위한 적어도 두 개의 색상 영상 사이에서 대응되는 화소를 탐색하는 단계, 상기 제1 깊이 영상과 상기 제2 깊이 영상을 이용하여 상기 탐색한 화소 중에서 정합 화소를 결정하는 단계, 그리고 상기 정합 화소의 위치 차이에 해당하는 최종 깊이값을 구하고, 상기 최종 깊이값을 포함하는 상기 제3 깊이 영상을 생성하는 단계를 포함할 수 있다.
상기 대응되는 화소를 탐색하는 단계는 상기 제3 시점을 위한 적어도 두 개의 색상 영상 중에서 어느 하나의 색상 영상을 기준 영상으로 선택하는 단계, 그리고 상기 제3 시점을 위한 다른 색상 영상에서 상기 기준 영상의 각 화소에 대응하는 화소를 탐색하는 단계를 포함할 수 있다.
상기 정합 화소를 결정하는 단계는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 각 화소에 대응하는 제1 대응 화소 및 제2 대응 화소를 각각 구하는 단계, 그리고 상기 제1 대응 화소 및 상기 제2 대응 화소를 포함하는 이웃 화소 각각의 깊이 정보와 상기 각 화소의 깊이 정보의 차이인 이웃 화소와의 깊이 차이에 기초하여 상기 각 화소에 대응하는 화소를 결정하는 단계를 포함하며, 상기 각 화소의 깊이 정보는 상기 각 화소와 상기 탐색한 화소의 변이 정보에 기초하여 계산한 정보일 수 있다.
상기 방법은 상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계를 더 포함하며, 상기 각 화소에 대응하는 화소를 결정하는 단계는 상기 화소값의 차이와 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계를 포함할 수 있다.
상기 방법은 상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계, 그리고 상기 각 화소의 깊이 정보와 이전 영상에서 상기 각 화소에 대응하는 깊이 정보의 차이인 시간적 깊이 차이를 구하는 단계를 더 포함하며, 상기 각 화소에 대응하는 화소를 결정하는 단계는 상기 화소값의 차이, 상기 시간적 깊이 차이 그리고 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계를 포함할 수 있다.
상기 방법은 상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계, 상기 각 화소의 깊이 정보와 이전 영상에서 상기 각 화소에 대응하는 깊이 정보의 차이인 시간적 깊이 차이를 구하는 단계, 그리고 상기 각 화소의 깊이 정보와 인접 시점의 깊이 정보의 차이인 시점 간 깊이 차이를 구하는 단계를 더 포함하며, 상기 각 화소에 대응하는 화소를 결정하는 단계는 상기 화소값의 차이, 상기 시간적 깊이 차이, 상기 시점 간 깊이 차이 그리고 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계를 포함할 수 있다.
상기 제1 깊이 영상을 생성하는 단계는 상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하는 단계를 포함할 수 있다.
상기 깊이 결정 정보는 인접한 화소의 깊이 정보를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 3차원 영상 재생 장치에서 다시점 깊이 영상을 생성하는 방법으로서, 3차원 영상 생성 장치로부터 복수의 색상 영상을 수신하는 단계, 상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계, 상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고 상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계를 포함한다.
상기 제1 깊이 영상을 생성하는 단계는 상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하는 단계를 포함할 수 있다.
상기 깊이 결정 정보는 인접한 화소 각각의 깊이 정보를 더 포함할 수 있다.
상기 제3 깊이 영상을 생성하는 단계는 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 상기 제3 시점으로 투영하는 단계, 그리고 투영된 제1 깊이 영상 및 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 단계를 포함할 수 있다.
상기 최종 깊이값을 상기 대응 화소의 깊이 정보로 변경하여 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 보정하는 단계를 더 포함할 수 있다.
상기 제3 깊이 영상을 생성하는 단계는 상기 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상을 이용하여 구한 깊이 결정 정보에 기초하여 상기 제3 깊이 영상의 각 화소에 해당하는 깊이 정보를 구하고, 상기 깊이 정보를 상기 각 화소에 매핑하여 상기 제3 깊이 영상을 생성하는 단계를 포함할 수 있다.
상기 깊이 결정 정보는 상기 각 화소의 변이 정보와 상기 각 화소에 이웃한 화소 각각의 깊이 정보를 포함하며, 상기 이웃한 화소는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 각 화소에 대응하는 제1 대응 화소 및 제2 대응 화소 그리고 상기 각 화소의 인접 화소를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 다시점 깊이 영상 생성 장치는 복수의 색상 영상을 저장하는 영상 저장부, 상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 제1 깊이 영상 생성부, 상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 제2 깊이 영상 생성부, 그리고 상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 제3 깊이 영상 생성부를 포함한다.
상기 제1 깊이 영상 생성부는 상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하고, 상기 제2 깊이 영상 생성부는 상기 제2 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제2 깊이 영상을 생성할 수 있다.
상기 제3 깊이 영상 생성부는 상기 제3 시점으로 투영된 제1 깊이 영상 및 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성할 수 있다.
상기 다시점 깊이 영상 생성 장치는 상기 제1 깊이 영상 및 상기 제2 깊이 영상의 깊이 정보를 상기 제3 깊이 영상의 깊이 정보에 기초하여 보정하는 시점 간 상관도 제어부를 더 포함할 수 있다.
상기 시점 간 상관도 제어부는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 제3 깊이 영상에 대응하는 화소의 깊이 정보를 상기 제3 깊이 영상의 깊이 정보와 동일하게 변경할 수 있다.
본 발명의 실시예에 따르면 깊이 정보를 탐색하는 과정에서 인접 시점의 정합 오차를 고려해서 정합 함수의 오차를 최소화하여 인접 시점 간 상관도를 높일 수 있으며, 상관도가 높은 다시점 깊이 영상을 생성하여 합성 영상의 화질을 높일 수 있다. 또한 시점 간 예측 기술을 사용하는 다시점 깊이 영상 부호화에서 본 발명의 실시예에 따른 시점 간 상관도가 높은 깊이 영상을 이용하면 효율이 높아질 수 있다.
도 1은 본 발명의 한 실시예에 따른 이용한 3차원 비디오 시스템을 개략적으로 나타내는 도면이다.
도 2a와 도 2b는 각각 본 발명의 한 실시예에 따른 깊이 영상을 생성하는 방법을 나타내는 도면이다.
도 3은 본 발명의 한 실시예에 따른 다시점 깊이 영상을 생성하는 방법을 나타내는 흐름도이다.
도 4는 본 발명의 한 실시예에 따른 다시점 깊이 영상을 생성하는 방법을 나타내는 흐름도이다.
도 5는 본 발명의 한 실시예에 따른 다시점 깊이 영상 생성 장치를 나타내는 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이제 도면을 참고하여 본 발명의 실시예에 따른 다시점 깊이 영상 생성 방법 및 장치에 대해 상세하게 설명한다.
도 1은 본 발명의 한 실시예에 따른 이용한 3차원 비디오 시스템을 개략적으로 나타내는 도면이다.
도 1을 참고하면, 3차원 비디오 시스템은 3차원 비디오를 생성하는 3차원 영상 생성 장치(100)와 3차원 영상을 재생하는 3차원 영상 재생 장치(200)를 포함한다. 이때 3차원 영상 생성 장치(100)와 3차원 영상 재생 장치(200) 중 적어도 하나는 다시점 깊이 영상 생성 장치(300)를 포함한다.
3차원 영상 생성 장치(100)는 스테레오(stereoscopic) 카메라 또는 다시점(multi-view) 카메라를 포함하는 색상 카메라와 센서를 이용하는 깊이 카메라(depth camera)를 통해 영상을 획득한다. 3차원 영상 생성 장치(100)는 획득한 색상 영상(video), 깊이 영상(depth) 그리고 각종 메타 데이터(meta data)를 3차원 영상 재생 장치(200)로 전달한다. 이때 3차원 영상 생성 장치(100)는 3차원 장면을 동일 시간대에서 여러 시점에 위치한 복수의 카메라를 이용하여 다시점 영상을 생성할 수 있다.
3차원 영상 재생 장치(200)는 3차원 영상 생성 장치(100)로부터 전달된 색상 영상과 깊이 영상을 이용하여 3차원 영상을 재생한다. 이때 3차원 영상 재생 장치(200)는 2차원 디스플레이 장치 또는 3차원 디스플레이 장치에 적합한 영상을 재생하며, 다시점 중에서 선택된 시점을 재생할 수 있다. 예를 들어, 시청자의 위치를 파악하여 시청자의 위치에 맞는 시점의 입체 영상을 재생하는 장치(head-tracked stereo display)는 전송된 시점 영상을 이용하여 시청자에게 여러 시점의 입체 영상을 제공한다.
다시점 깊이 영상 생성 장치(300)는 다시점 깊이 영상을 생성하는 장치로서, 3차원 영상 재생 장치(200)에서 다시점의 3차원 영상을 재생하기 위하여 필요한 다시점 깊이 영상을 생성한다. 3차원 영상 재생 장치(200)가 자유 시점의 3차원 영상을 재생하기 위해서는 3차원 영상 생성 장치(100)에서 카메라를 통해 획득한 시점보다 많은 수의 시점이 필요하다. 이를 위해 다시점 영상을 이용하여 시점 사이에 존재하는 가상의 중간 시점 영상을 생성하는 시점 합성(view synthesis) 기술이 이용되는데, 이때 중간 시점 영상을 합성하기 위해서 깊이 영상(depth map)이 필요하다. 깊이 영상이란 영상 내에 존재하는 객체들의 3차원 거리 정보를 포함하는 영상으로, 깊이 영상에 포함된 각 화소는 해당 화소의 깊이 정보를 포함한다. 다시점 깊이 영상 생성 장치(300)는 3차원 영상 생성 장치(100)와 3차원 영상 재생 장치(200) 중 적어도 하나에 형성될 수 있다. 즉, 중간 시점 영상을 위한 깊이 영상은 3차원 영상 생성 장치(100)에서 미리 생성되어 3차원 영상 재생 장치(200)로 전달될 수 있고, 3차원 영상 재생 장치(200)에서 전달된 다시점 영상을 이용하여 생성될 수 있다.
다음에서 다시점 영상을 이용하여 다시점 깊이 영상을 생성하는 방법에 대해 살펴본다.
도 2a와 도 2b는 각각 본 발명의 한 실시예에 따른 깊이 영상을 생성하는 방법을 나타내는 도면이다.
다시점 깊이 영상 생성 장치(300)는 복수의 색상 영상, 즉 다시점 영상을 이용하여 깊이 영상을 생성한다. 이때 다시점 깊이 영상 생성 장치(300)는 예를 들면, 왼쪽 영상과 오른쪽 영상을 이용하거나, 또는 왼쪽 영상, 가운데 영상 그리고 오른쪽 영상을 이용하여 깊이 영상을 생성할 수 있다. 이때 왼쪽 영상, 가운데 영상 그리고 오른쪽 영상을 이용하여 깊이 영상을 생성하는 방법은 왼쪽 영상과 오른쪽 영상을 이용하여 깊이 영상을 생성하는 방법을 왼쪽 및 가운데 영상에 이용하고 동시에 오른쪽 및 가운데 영상에 이용하면 되므로, 앞으로 두 색상 영상 즉, 왼쪽 영상과 오른쪽 영상을 이용하여 깊이 정보를 구하는 방법으로 설명한다.
먼저 도 2a를 참고하면, 다시점 깊이 영상 생성 장치(300)는 기준이 되는 영상, 예를 들면 왼쪽 영상의 모든 화소에 대응하는 화소를 찾기 위해 오른쪽 영상을 탐색한다. 다시점 깊이 영상 생성 장치(300)는 왼쪽 영상의 각 화소를 기준으로 오른쪽 영상의 화소를 탐색하면서 왼쪽 영상과 오른쪽 영상의 정합 위치를 찾는다. 이때 정합 위치 또는 정합 화소란 시점이 다른 영상에 있는 동일한 객체의 위치 또는 화소이다. 다시점 깊이 영상 생성 장치(300)는 왼쪽 영상의 화소(x,y)와 오른쪽 영상의 화소(x-d, y)가 정합 화소인지 결정하기 위해 정합 함수(matching function)를 사용한다. 정합 함수는 왼쪽 영상과 오른쪽 영상의 화소를 비교했을 때 오차값을 나타내는 것으로 오차값이 작을수록 정합 위치일 확률이 높다. 그리고 다시점 깊이 영상 생성 장치(300)는 정합 함수가 최소가 되는 변이(disparity, d)를 화소(x,y)의 깊이 정보로 결정한다. 이때 변이(d)는 각 색상 카메라에서 촬영한 색상 영상에서 대응하는 화소 사이의 거리를 나타내며, 변이가 클수록 가깝고 변이가 작을수록 먼 깊이 정보를 나타낸다.
정합 함수[E(x, y, d)]는 수학식 1 내지 수학식 6과 같이 표현될 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
수학식 1 내지 수학식 6에서 x 및 y는 화소의 2차원 상의 위치 좌표이며, d는 기준이 되는 왼쪽 영상의 화소와 오른쪽 영상에서 탐색한 화소의 변이 정보로서 깊이 정보에 해당한다. Edata(x,y,d) 함수는 Esim(x,y,d) 함수를 포함하며, 정합 함수의 정확도를 높이기 위해 추가적으로 Etemp(x,y,d) 함수 및 Eview(x,y,d) 함수를 더 포함할 수 있다.
Esim(x,y,d) 함수는 왼쪽 영상과 오른쪽 영상의 화소값의 차이(intensity difference)를 구하는 함수이다. Esim(x,y,d) 함수는 도 2a와 같이 화소값의 차이를 비교하여 정합 위치를 찾을 수 있다.
Etemp(x,y,d) 함수는 화소(x, y)가 포함된 현재 영상과 이전 영상의 깊이 정보의 차이를 구하는 함수로서 시간적 깊이 차이를 정합 함수에 반영한다.
Eview(x,y,d) 함수는 화소(x, y)의 깊이 정보와 인접 시점의 깊이 정보(Di')의 차이를 구하는 함수로서 시점 간 깊이 차이를 정합 함수에 반영한다.
다음 도 2b를 참고하면, 정합 함수[E(x, y, d)]는 Esmooth(x,y,d) 함수를 더 포함하여 오차를 최소화한다. Esmooth(x,y,d) 함수는 화소(x,y)와 이웃한 화소, 예를 들면, 화소(x1,x1), 화소(x2,x2), 화소(x3,x3), 화소(x4,x4)의 깊이 정보[D(x1,x1), D(x2,x2), D(x3,x3), D(x4,x4)]의 차이를 구하는 함수로서 이웃 화소와의 깊이 차이를 정합 함수에 반영한다. 이때 Esmooth(x,y,d) 함수는 동일한 시점의 이웃 화소 외에도 인접 시점의 대응 화소의 깊이 정보를 추가로 이용할 수 있다.
다음에서 다시점 깊이 영상 생성 장치(300)가 정합 함수를 기초로 다시점 깊이 영상을 생성하는 방법에 대해 살펴본다.
도 3은 본 발명의 한 실시예에 따른 다시점 깊이 영상을 생성하는 방법을 나타내는 흐름도이다.
도 3을 참고하면, 다시점 깊이 영상 생성 장치(300)는 복수의 색상 영상 중에서 왼쪽에 위치한 적어도 두 개의 색상 영상에 기초하여 왼쪽 시점에 해당하는 깊이 영상을 생성한다(S310). 이를 위해 다시점 깊이 영상 생성 장치(300)는 수학식 1의 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보(d)를 구하고, 최소가 되는 깊이 정보(d)를 포함하는 깊이 영상을 생성한다. 특히 다시점 깊이 영상 생성 장치(300)는 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보[D(x1, x1), D(x2, x2), D(x3, x3), D(x4, x4)]를 포함하는 깊이 결정 정보에 기초하여 다시점 깊이 영상을 생성한다.
다시점 깊이 영상 생성 장치(300)는 단계(S310)와 동일한 방법으로 복수의 색상 영상 중에서 오른쪽에 위치한 적어도 두 개의 색상 영상에 기초하여 오른쪽 시점에 해당하는 깊이 영상을 생성한다(S320).
다시점 깊이 영상 생성 장치(300)는 복수의 색상 영상 중에서 가운데에 위치한 적어도 두 개의 색상 영상에 기초하여 깊이 영상의 깊이 정보, 즉 변이 정보를 계산한다(S330). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수를 이용하여 Edata(x,y,d) 함수가 최소가 되는 깊이 정보(d)를 구한다.
그리고 다시점 깊이 영상 생성 장치(300)는 단계(S330)에서 구한 깊이 정보(d)를 기초로 수학식 6의 Esmooth(x,y,d) 함수를 포함한 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보(d)를 결정한다(S340). 이때 다시점 깊이 영상 생성 장치(300)는 이웃한 화소로 동일한 시점의 인접 화소와 함께 단계(S310, S320)에서 구한 깊이 영상의 화소를 추가적으로 이용한다. 즉, 다시점 깊이 영상 생성 장치(300)는 가운데 시점에 해당하는 깊이 영상을 생성할 때, 화소(x, y)에 이웃한 화소로서 다른 시점 즉, 왼쪽 및 오른쪽 시점의 대응 화소를 이용하여 오차를 최소화한다. 이때 다시점 깊이 영상 생성 장치(300)는 왼쪽 및 오른쪽 시점의 대응 화소는 왼쪽 시점에 해당하는 깊이 영상과 오른쪽 시점에 해당하는 깊이 영상을 가운데 시점으로 투영(warping)하여 대응하는 화소를 찾을 수 있다. 이렇게 연결된 대응 노드는 가운데 영상의 정합 함수의 오차 최소화 단계에서 추가적 노드의 역할을 한다.
이후 다시점 깊이 영상 생성 장치(300)는 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보(d)를 최종 깊이값으로 결정하여 최종 깊이값을 포함하는 가운데 시점의 깊이 영상을 생성한다(S350).
다음 다시점 깊이 영상 생성 장치(300)는 시점 사이의 상관도를 높이기 위해 가운데 시점의 각 화소에 대응하는 왼쪽 및 오른쪽 시점의 화소의 깊이 정보를 가운데 시점의 각 화소의 깊이 정보와 같은 값으로 변경한다(S360). 즉, 다시점 깊이 영상 생성 장치(300)는 시점 간의 대응 화소가 모두 동일한 깊이 정보를 갖도록 보정한다. 다시점 카메라의 간격이 일정한 경우, 여러 시점에 동일하게 존재하는 객체는 깊이 정보가 동일하지만, 깊이 영상 탐색 방법의 오차로 각 시점마다 다른 깊이 정보를 가질 수 있다. 그러나 이와 같이 시점 간에 대응하는 화소가 동일한 깊이 정보로 보정되면 시점 간 상관도가 높아질 수 있다.
도 4는 본 발명의 한 실시예에 따른 다시점 깊이 영상을 생성하는 방법을 나타내는 흐름도이다.
도 4를 참고하여 다시점 깊이 영상 생성 장치(300)가 복수의 색상 영상을 이용하여 다시점 깊이 영상을 생성하는 방법을 살펴보면, 다시점 깊이 영상 생성 장치(300)는 다시점 영상(10, 11, 12, 13, 14) 중 왼쪽에 위치한 영상(10, 11, 12)을 이용하여 깊이 정보를 계산한다(S410). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수를 이용하여 Edata(x,y,d) 함수가 최소가 되는 깊이 정보를 계산한다.
다시점 깊이 영상 생성 장치(300)는 가운데에 위치한 영상(11, 12, 13)을 이용하여 깊이 정보를 계산한다(S420). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수를 이용하여 Edata(x,y,d) 함수가 최소가 되는 깊이 정보를 계산한다.
다시점 깊이 영상 생성 장치(300)는 오른쪽에 위치한 영상(12, 13, 14)을 이용하여 깊이 정보를 계산한다(S430). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수를 이용하여 Edata(x,y,d) 함수가 최소가 되는 깊이 정보를 계산한다.
다시점 깊이 영상 생성 장치(300)는 영상(10, 11, 12)을 이용하여 계산한 깊이 정보에 기초하여 오차를 최소화한다(S440). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수와 수학식 6의 Esmooth(x,y,d) 함수를 동시에 고려하여 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보를 구한다. 이때 Esmooth(x,y,d) 함수는 화소(x, y)와 동일한 시점에서 인접한 4개의 화소가 이용될 수 있다. 이를 통해 왼쪽 시점에 해당하는 초기 깊이 영상(21)이 생성된다.
마찬가지로 다시점 깊이 영상 생성 장치(300)는 영상(12, 13, 14)을 이용하여 계산한 깊이 정보에 기초하여 오차를 최소화한다(S450). 이를 통해 오른쪽 시점에 해당하는 초기 깊이 영상(23)이 생성된다.
다시점 깊이 영상 생성 장치(300)는 가운데 시점에 해당하는 깊이 영상의 화소와 초기 깊이 영상(21, 23)의 대응 화소를 구하기 위해 초기 깊이 영상(21, 23)을 각각 가운데 시점으로 투영한다(S460, S470).
다시점 깊이 영상 생성 장치(300)는 영상(11, 12, 13)을 이용하여 계산한 깊이 정보와 초기 깊이 영상(21, 23)의 깊이 정보에 기초하여 오차를 최소화한다(S480). 이때 다시점 깊이 영상 생성 장치(300)는 수학식 2의 Edata(x,y,d) 함수와 수학식 6의 Esmooth(x,y,d) 함수를 동시에 고려하여 정합 함수[E(x, y, d)]가 최소가 되는 깊이 정보를 구한다. 특히 Esmooth(x,y,d) 함수는 화소(x, y)와 동일한 시점에서 인접한 4개의 화소 그리고 초기 깊이 영상(21, 23) 중 화소(x, y)에 각각 대응하는 화소가 이용될 수 있다. 이를 통해 가운데 시점에 해당하는 깊이 영상(32)이 생성된다. 그리고 다시점 깊이 영상 생성 장치(300)는 초기 깊이 영상(21, 23)에서 가운데 시점의 화소(x, y)에 대응하는 화소의 깊이 정보를 가운데 시점의 화소(x, y)와 동일한 값으로 변경하여 왼쪽 시점에 해당하는 깊이 영상(31)과 오른쪽 시점에 해당하는 깊이 영상(33)을 생성한다.
도 5는 본 발명의 한 실시예에 따른 다시점 깊이 영상 생성 장치를 나타내는 블록도이다.
도 5를 참고하면, 다시점 깊이 영상 생성 장치(300)는 복수의 색상 영상을 저장하는 영상 저장부(310), 왼쪽 시점에 해당하는 깊이 영상을 생성하는 왼쪽 깊이 영상 생성부(330), 오른쪽 시점에 해당하는 깊이 영상을 생성하는 오른쪽 깊이 영상 생성부(350), 가운데 시점에 해당하는 깊이 영상을 생성하는 가운데 깊이 영상 생성부(370), 그리고 시점 간 상관도 제어부(390)를 포함한다.
영상 저장부(310)는 복수의 색상 영상을 저장한다. 만약 다시점 깊이 영상 생성 장치(300)가 3차원 영상 생성 장치(100)에 형성되는 경우, 영상 저장부(310)는 다시점 카메라 등의 색상 카메라로부터 획득한 복수의 색상 영상을 저장하고, 다시점 깊이 영상 생성 장치(300)가 3차원 영상 재생 장치(200)에 형성되는 경우, 3차원 영상 생성 장치(100)로부터 수신한 복수의 색상 영상을 저장한다.
왼쪽 깊이 영상 생성부(330)는 앞서 설명한 바와 같이 왼쪽에 위치한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 깊이 영상을 생성한다.
오른쪽 깊이 영상 생성부(350)는 앞서 설명한 바와 같이 오른쪽에 위치한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 깊이 영상을 생성한다.
가운데 깊이 영상 생성부(370) 역시 앞서 설명한 바와 같이 가운데 시점으로 투영된 왼쪽 및 오른쪽 깊이 영상에서 가운데 시점의 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 대응 화소 각각의 깊이 정보를 기초로 가운데 깊이 영상의 최종 깊이값을 결정하여 가운데 깊이 영상을 생성한다.
시점 간 상관도 제어부(390)는 왼쪽, 오른쪽 그리고 가운데 시점에 해당하는 깊이 영상 사이에서 대응 화소의 깊이 정보를 동일하게 변경하여 여러 시점에 동일하게 존재하는 객체의 깊이 정보를 동일하게 만든다.
이와 같이 다시점 깊이 영상을 생성하면 깊이 정보를 탐색하는 과정에서 인접 시점의 정합 오차를 동시에 고려하여 정합 함수의 오차를 최소화함으로써 시점 간 상관도를 높여 생성한 다시점 깊이 영상을 이용한 합성 영상의 화질을 높일 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (25)

  1. 3차원 영상 생성 장치에서 복수의 색상 영상을 이용하여 다시점 깊이 영상을 생성하는 방법으로서,
    상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계,
    상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고
    상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  2. 제1항에서,
    상기 제3 깊이 영상을 생성하는 단계는
    상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하는 단계, 그리고
    상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  3. 제2항에서,
    상기 대응 화소를 각각 구하는 단계는,
    상기 제1 깊이 영상과 상기 제2 깊이 영상을 상기 제3 시점으로 투영하여 각각 구하는 단계를 포함하는 다시점 깊이 영상 생성 방법.
  4. 제2항에서,
    상기 대응 화소의 깊이 정보를 상기 최종 깊이값으로 변경하여 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 보정하는 단계
    를 더 포함하는 다시점 깊이 영상 생성 방법.
  5. 제4항에서,
    상기 보정한 제1 깊이 영상, 상기 보정한 제2 깊이 영상 그리고 상기 제3 깊이 영상을 3차원 영상 재생 장치로 전송하는 단계
    를 더 포함하는 다시점 깊이 영상 생성 방법.
  6. 제1항에서,
    상기 제3 깊이 영상을 생성하는 단계는
    상기 제3 시점을 위한 적어도 두 개의 색상 영상 사이에서 대응되는 화소를 탐색하는 단계,
    상기 제1 깊이 영상과 상기 제2 깊이 영상을 이용하여 상기 탐색한 화소 중에서 정합 화소를 결정하는 단계, 그리고
    상기 정합 화소의 위치 차이에 해당하는 최종 깊이값을 구하고, 상기 최종 깊이값을 포함하는 상기 제3 깊이 영상을 생성하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  7. 제6항에서,
    상기 대응되는 화소를 탐색하는 단계는
    상기 제3 시점을 위한 적어도 두 개의 색상 영상 중에서 어느 하나의 색상 영상을 기준 영상으로 선택하는 단계, 그리고
    상기 제3 시점을 위한 다른 색상 영상에서 상기 기준 영상의 각 화소에 대응하는 화소를 탐색하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  8. 제7항에서,
    상기 정합 화소를 결정하는 단계는
    상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 각 화소에 대응하는 제1 대응 화소 및 제2 대응 화소를 각각 구하는 단계, 그리고
    상기 제1 대응 화소 및 상기 제2 대응 화소를 포함하는 이웃 화소 각각의 깊이 정보와 상기 각 화소의 깊이 정보의 차이인 이웃 화소와의 깊이 차이에 기초하여 상기 각 화소에 대응하는 화소를 결정하는 단계를 포함하며,
    상기 각 화소의 깊이 정보는 상기 각 화소와 상기 탐색한 화소의 변이 정보에 기초하여 계산한 정보인 다시점 깊이 영상 생성 방법.
  9. 제8항에서,
    상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계를 더 포함하며,
    상기 각 화소에 대응하는 화소를 결정하는 단계는
    상기 화소값의 차이와 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  10. 제8항에서,
    상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계, 그리고
    상기 각 화소의 깊이 정보와 이전 영상에서 상기 각 화소에 대응하는 깊이 정보의 차이인 시간적 깊이 차이를 구하는 단계
    를 더 포함하며,
    상기 각 화소에 대응하는 화소를 결정하는 단계는
    상기 화소값의 차이, 상기 시간적 깊이 차이 그리고 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  11. 제8항에서
    상기 각 화소와 상기 탐색한 화소의 화소값의 차이를 구하는 단계,
    상기 각 화소의 깊이 정보와 이전 영상에서 상기 각 화소에 대응하는 깊이 정보의 차이인 시간적 깊이 차이를 구하는 단계, 그리고
    상기 각 화소의 깊이 정보와 인접 시점의 깊이 정보의 차이인 시점 간 깊이 차이를 구하는 단계
    를 더 포함하며,
    상기 각 화소에 대응하는 화소를 결정하는 단계는
    상기 화소값의 차이, 상기 시간적 깊이 차이, 상기 시점 간 깊이 차이 그리고 상기 이웃 화소와의 깊이 차이의 합이 최소가 될 때의 탐색한 화소를 상기 각 화소에 대응하는 화소로 결정하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  12. 제1항에서,
    상기 제1 깊이 영상을 생성하는 단계는
    상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하는 단계를 포함하는 다시점 깊이 영상 생성 방법.
  13. 제12항에서,
    상기 깊이 결정 정보는 인접한 화소의 깊이 정보를 더 포함하는 다시점 깊이 영상 생성 방법.
  14. 3차원 영상 재생 장치에서 다시점 깊이 영상을 생성하는 방법으로서,
    3차원 영상 생성 장치로부터 복수의 색상 영상을 수신하는 단계,
    상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 단계,
    상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 단계, 그리고
    상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  15. 제14항에서,
    상기 제1 깊이 영상을 생성하는 단계는
    상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하는 단계를 포함하는 다시점 깊이 영상 생성 방법.
  16. 제15항에서,
    상기 깊이 결정 정보는 인접한 화소 각각의 깊이 정보를 더 포함하는 다시점 깊이 영상 생성 방법.
  17. 제14항에서,
    상기 제3 깊이 영상을 생성하는 단계는
    상기 제1 깊이 영상 및 상기 제2 깊이 영상을 상기 제3 시점으로 투영하는 단계, 그리고
    투영된 제1 깊이 영상 및 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 단계
    를 포함하는 다시점 깊이 영상 생성 방법.
  18. 제17항에서,
    상기 최종 깊이값을 상기 대응 화소의 깊이 정보로 변경하여 상기 제1 깊이 영상 및 상기 제2 깊이 영상을 보정하는 단계
    를 더 포함하는 다시점 깊이 영상 생성 방법.
  19. 제14항에서,
    상기 제3 깊이 영상을 생성하는 단계는
    상기 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상을 이용하여 구한 깊이 결정 정보에 기초하여 상기 제3 깊이 영상의 각 화소에 해당하는 깊이 정보를 구하고, 상기 깊이 정보를 상기 각 화소에 매핑하여 상기 제3 깊이 영상을 생성하는 단계를 포함하는 다시점 깊이 영상 생성 방법.
  20. 제19항에서,
    상기 깊이 결정 정보는
    상기 각 화소의 변이 정보와 상기 각 화소에 이웃한 화소 각각의 깊이 정보를 포함하며,
    상기 이웃한 화소는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 각 화소에 대응하는 제1 대응 화소 및 제2 대응 화소 그리고 상기 각 화소의 인접 화소를 포함하는 다시점 깊이 영상 생성 방법.
  21. 복수의 색상 영상을 저장하는 영상 저장부,
    상기 복수의 색상 영상 중에서 제1 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제1 시점에 해당하는 제1 깊이 영상을 생성하는 제1 깊이 영상 생성부,
    상기 복수의 색상 영상 중에서 제2 시점을 위한 적어도 두 개의 색상 영상에 기초하여 상기 제2 시점에 해당하는 제2 깊이 영상을 생성하는 제2 깊이 영상 생성부, 그리고
    상기 복수의 색상 영상 중에서 상기 제1 시점 및 상기 제2 시점의 사이인 제3 시점을 위한 적어도 두 개의 색상 영상, 상기 제1 깊이 영상 그리고 상기 제2 깊이 영상에 기초하여 상기 제3 시점에 해당하는 제3 깊이 영상을 생성하는 제3 깊이 영상 생성부
    를 포함하는 다시점 깊이 영상 생성 장치.
  22. 제21항에서,
    상기 제1 깊이 영상 생성부는
    상기 제1 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제1 깊이 영상을 생성하고,
    상기 제2 깊이 영상 생성부는
    상기 제2 시점을 위한 적어도 두 개의 색상 영상 사이의 변이 정보와 인접한 화소의 깊이 정보를 포함하는 깊이 결정 정보에 기초하여 상기 제2 깊이 영상을 생성하는 다시점 깊이 영상 생성 장치.
  23. 제21항에서,
    상기 제3 깊이 영상 생성부는
    상기 제3 시점으로 투영된 제1 깊이 영상 및 제2 깊이 영상에서 상기 제3 깊이 영상의 화소에 대응하는 대응 화소를 각각 구하고, 상기 대응 화소 각각의 깊이 정보를 기초로 상기 제3 깊이 영상의 최종 깊이값을 결정하여 상기 제3 깊이 영상을 생성하는 다시점 깊이 영상 생성 장치.
  24. 제21항에서,
    상기 제1 깊이 영상 및 상기 제2 깊이 영상의 깊이 정보를 상기 제3 깊이 영상의 깊이 정보에 기초하여 보정하는 시점 간 상관도 제어부
    를 더 포함하는 다시점 깊이 영상 생성 장치.
  25. 제24항에서,
    상기 시점 간 상관도 제어부는
    상기 제1 깊이 영상 및 상기 제2 깊이 영상에서 상기 제3 깊이 영상에 대응하는 화소의 깊이 정보를 상기 제3 깊이 영상의 깊이 정보와 동일하게 변경하는 다시점 깊이 영상 생성 장치.
KR1020100123754A 2010-12-06 2010-12-06 다시점 깊이 영상 생성 방법 및 장치 KR101233399B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100123754A KR101233399B1 (ko) 2010-12-06 2010-12-06 다시점 깊이 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100123754A KR101233399B1 (ko) 2010-12-06 2010-12-06 다시점 깊이 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120062477A true KR20120062477A (ko) 2012-06-14
KR101233399B1 KR101233399B1 (ko) 2013-02-15

Family

ID=46683417

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100123754A KR101233399B1 (ko) 2010-12-06 2010-12-06 다시점 깊이 영상 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101233399B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014137053A1 (ko) * 2013-03-05 2014-09-12 엘지전자 주식회사 영상 처리 장치 및 그 방법
WO2016056735A1 (ko) * 2014-10-10 2016-04-14 삼성전자 주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102515405B1 (ko) * 2021-11-09 2023-03-30 한국전자기술연구원 Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100424401B1 (ko) * 2001-11-02 2004-03-24 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
KR101526948B1 (ko) * 2008-02-25 2015-06-11 삼성전자주식회사 3ｄ 영상 처리 방법
KR101497503B1 (ko) * 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014137053A1 (ko) * 2013-03-05 2014-09-12 엘지전자 주식회사 영상 처리 장치 및 그 방법
WO2016056735A1 (ko) * 2014-10-10 2016-04-14 삼성전자 주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
CN106797462A (zh) * 2014-10-10 2017-05-31 三星电子株式会社 多视图图像显示设备及其控制方法
US10805601B2 (en) 2014-10-10 2020-10-13 Samsung Electronics Co., Ltd. Multiview image display device and control method therefor
KR102515405B1 (ko) * 2021-11-09 2023-03-30 한국전자기술연구원 Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치
WO2023085492A1 (ko) * 2021-11-09 2023-05-19 한국전자기술연구원 Kinect 장치들을 이용한 ar 콘텐츠용 3d 공간 맵 지원 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
KR101233399B1 (ko) 2013-02-15

Similar Documents

Publication Publication Date Title
JP7143905B2 (ja) 画像処理装置および方法
US8351685B2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
JP5561781B2 (ja) ２ｄ画像データを立体画像データに変換する方法およびシステム
US20070081716A1 (en) 3D image processing apparatus and method
JP6734620B2 (ja) 映像処理方法及び映像処理装置
JP5303754B2 (ja) 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム
KR102527566B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6911765B2 (ja) 画像処理装置および画像処理方法
US10085039B2 (en) Method and apparatus of virtual depth values in 3D video coding
JP2013538474A (ja) ３次元画像に対する視差の算出
EP2061005A2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
US11317124B2 (en) Apparatus and method for generating an image data stream
JP2010226500A (ja) 立体画像表示装置および立体画像表示方法
KR101233399B1 (ko) 다시점 깊이 영상 생성 방법 및 장치
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP2008022421A (ja) 多視点画像圧縮符号化方法、装置及びプログラム
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
JP4815004B2 (ja) 多視点画像符号化装置
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
WO2017082077A1 (ja) 画像処理装置および画像処理方法
CN113767423A (zh) 生成图像信号的装置和方法
KR101192313B1 (ko) 깊이 영상의 시간적 상관도 향상 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101206

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120511

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121119

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130207

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151217

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161219

Start annual number: 5

End annual number: 5

LAPS Lapse due to unpaid annual fee