Nothing Special   »   [go: up one dir, main page]

KR101529820B1 - 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 - Google Patents

월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 Download PDF

Info

Publication number
KR101529820B1
KR101529820B1 KR1020140038666A KR20140038666A KR101529820B1 KR 101529820 B1 KR101529820 B1 KR 101529820B1 KR 1020140038666 A KR1020140038666 A KR 1020140038666A KR 20140038666 A KR20140038666 A KR 20140038666A KR 101529820 B1 KR101529820 B1 KR 101529820B1
Authority
KR
South Korea
Prior art keywords
value
parameter
subject
camera
image
Prior art date
Application number
KR1020140038666A
Other languages
English (en)
Inventor
양기선
남승진
Original Assignee
한국방송공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국방송공사 filed Critical 한국방송공사
Priority to KR1020140038666A priority Critical patent/KR101529820B1/ko
Application granted granted Critical
Publication of KR101529820B1 publication Critical patent/KR101529820B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

제1 피사체를 촬영함으로써 방송 카메라 및 깊이 카메라는 각각의 파라미터를 생성할 수 있다. 생성된 각각의 파라미터를 이용하여 제2 피사체의 위치를 결정하는 방법 및 장치가 제공된다. 결정되는 제2 피사체의 위치는 월드 좌표계 내의 위치일 수 있다. 월드 좌표계는 방송 카메라, 깊이 카메라 및 제2 피사체의 위치를 동일한 좌표계를 이용하여 나타낼 수 있다.

Description

월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치{METHOD AND APPARATUS FOR DETERMING POSITION OF SUBJECT IN WORLD COODINATE SYSTEM}
기술 분야는 피사체의 위치를 결정하는 기술에 관한 것으로, 특히, 카메라에 의해 촬영되는 피사체의 위치를 결정하는 장치 및 방법에 관한 것이다.
카메라에 의해 촬영된 영상은 영상 그대로 출력될 수도 있으나, 방송되는 영상은 방송 기술의 발달로 컴퓨터 그래픽과 같은 추가적인 영상을 포함할 수 있다. 또한, 연기자를 가상의 현실에 배치시킴으로써 가상의 현실을 이용한 증강 현실을 제공하는 방송 기법도 개발되고 있을 수 있다.
증강 현실을 제공하는 방송은 방송 카메라가 촬영한 연기자 및 가상의 현실을 나타내는 그래픽을 합성함으로써 제공될 수 있다. 그러나, 연기자의 움직임이 많은 경우에는 연기자 및 그래픽의 합성이 자연스럽지 못할 수 있다. 또한, 연기자의 위치를 추적함에 있어서도 방송 조명에 의해 연기자의 위치가 정확히 추적될지 못할 수도 있다.
한국공개특허 제 10-2011-0063247호(공개일 2011년 06월 10일)에는 가상시점 영상에 대한 배경 영상을 이용하여 가상시점 영상을 생성하는 장치 및 방법이 공개되어 있다. 공개 발명은 복수의 기준시점 영상장치에서 기준시점 영상을 획득하고, 상기 기준시점 영상으로부터 배경 영상을 생성하는 단계, 상기 기준시점 영상을 합성하여 가상시점 영상장치에 대한 가상시점 영상을 생성하는 단계, 상기 기준시점 영상으로부터 생성된 배경 영상을 합성하여 상기 가상시점 영상에 대한 배경 영상을 생성하는 단계 및 상기 가상시점 영상에 대한 배경 영상에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 단계를 포함한다.
일 실시예는 피사체의 위치를 결정하는 장치 및 방법을 제공할 수 있다.
일 실시예는 가상 환경의 영상을 생성하는 장치 및 방법을 제공할 수 있다.
일 측면에 있어서, 방송 카메라로부터 제1 피사체를 촬영하기 위해 설정된 제1 파라미터의 값을 수신하는 단계, 깊이 카메라로부터 상기 제1 피사체의 깊이 값을 측정하기 위해 설정된 제2 파라미터의 값을 수신하는 단계, 상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여 상기 방송 카메라의 위치를 원점으로 하는 좌표계 내의 상기 방송 카메라 및 상기 깊이 카메라 간의 위치 관계 및 회전 관계 중 적어도 하나를 나타내는 제3 파라미터의 값을 결정하는 단계, 상기 결정된 제3 파라미터의 값에 기반하여 상기 좌표계 내의 상기 깊이 카메라의 위치 정보 및 회전 정보 중 적어도 하나를 계산하는 단계 및 상기 계산된 깊이 카메라의 위치 정보 및 상기 회전 정보 중 적어도 하나를 이용하여 상기 깊이 카메라로부터 추적되는 제2 피사체의 상기 좌표계 내의 위치를 결정하는 단계를 포함하는 피사체의 위치 결정 방법이 제공된다.
상기 피사체의 위치 결정 방법은 상기 깊이 카메라로부터 상기 제2 피사체의 깊이 값을 측정하기 위해 설정된 제4 파라미터의 값을 수신하는 단계를 더 포함할 수 있다.
상기 제2 피사체의 상기 좌표계 내의 위치를 결정하는 단계는 상기 수신한 제4 파라미터의 값, 상기 깊이 카메라의 위치 정보 및 상기 회전 정보 중 적어도 하나를 이용하여 상기 제2 피사체의 상기 좌표계 내의 위치를 결정할 수 있다.
상기 제1 파라미터의 값은 상기 방송 카메라의 초점 거리, 스큐(skew) 파라미터 값, 아스펙트 비율(aspact ratio) 값, 센터 오류 값 및 렌즈 왜곡 파라미터의 값 중 적어도 하나를 포함할 수 있다.
상기 제1 피사체는 복수의 부분들을 포함할 수 있다.
상기 제1 파라미터의 값을 수신하는 단계는 상기 복수의 부분들 중 둘 이상의 부분들에 대한 각각의 제1 파라미터의 값을 수신할 수 있다.
상기 제2 파라미터의 값을 수신하는 단계는 상기 복수의 부분들 중 둘 이상의 부분들에 대한 각각의 제2 파라미터의 값을 수신할 수 있다.
상기 제3 파라미터의 값을 결정하는 단계는 상기 둘 이상의 부분들에 대한 각각의 상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여 상기 제3 파라미터의 값을 결정할 수 있다.
상기 제3 파라미터의 값을 결정하는 단계는, 상기 둘 이상의 부분들에 대한 각각의 상기 제1 파라미터의 값 및 각각의 상기 제2 파라미터의 값에 기반하여 상기 둘 이상의 부분들에 대한 각각의 임시 파라미터의 값을 계산하는 단계를 포함할 수 있다.
상기 제3 파라미터의 값을 결정하는 단계는 상기 각각의 임시 파라미터의 값에 기반하여 상기 제3 파라미터의 값을 결정하는 단계를 포함할 수 있다.
상기 제3 파라미터의 값은 상기 각각의 임시 파라미터의 값의 평균 값으로 결정될 수 있다.
상기 제3 파라미터의 값은 레벤버그-마쿼트(Levenberg-Marquardt) 알고리즘을 이용하여 결정될 수 있다.
상기 회전 관계는 하기 [수학식 1]에 의해 계산되고,
[수학식 1]
Figure 112014031328679-pat00001
상기 R은 상기 회전 관계이고, 상기 Rb은 상기 제1 파라미터의 값 내의 상기 방송 카메라 및 상기 제1 피사체 간의 회전 정보이고, 상기 Rd은 상기 제2 파라미터의 값 내의 상기 깊이 카메라 및 상기 제1 피사체 간의 회전 정보일 수 있다.
상기 위치 관계는 하기 [수학식 2]에 의해 계산되고,
[수학식 2]
Figure 112014031328679-pat00002
상기 T는 상기 위치 관계이고, 상기 Tb은 상기 제1 파라미터의 값 내의 상기 방송 카메라 및 상기 제1 피사체 간의 위치 정보이고, 상기 Td은 상기 제2 파라미터의 값 내의 상기 깊이 카메라 및 상기 제1 피사체 간의 위치 정보일 수 있다.
다른 일 측면에 있어서, 전자 장치에 있어서, 방송 카메라로부터 제1 피사체를 촬영하기 위해 설정된 제1 파라미터의 값을 수신하고, 깊이 카메라로부터 상기 제1 피사체의 깊이 값을 측정하기 위해 설정된 제2 파라미터의 값을 수신하는 통신부 및 상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여 상기 방송 카메라의 위치를 원점으로 하는 좌표계 내의 상기 방송 카메라 및 상기 깊이 카메라 간의 위치 관계 및 회전 관계 중 적어도 하나를 나타내는 제3 파라미터의 값을 결정하고, 상기 결정된 제3 파라미터의 값에 기반하여 상기 좌표계 내의 상기 깊이 카메라의 위치 정보 및 회전 정보 중 적어도 하나를 계산하고, 상기 계산된 깊이 카메라의 위치 정보 및 상기 회전 정보 중 적어도 하나를 이용하여 상기 깊이 카메라로부터 추적되는 제2 피사체의 상기 좌표계 내의 위치를 결정하는 처리부를 포함하는, 전자 장치가 제공된다.
또 다른 일 측면에 있어서, 전자 장치에 의해 수행되는, 방송 카메라로부터 제1 피사체를 촬영하기 위해 설정된 제1 파라미터의 값을 수신하는 단계, 깊이 카메라로부터 상기 제1 피사체의 깊이 값을 측정하기 위해 설정된 제2 파라미터의 값을 수신하는 단계, 상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여 상기 방송 카메라의 위치를 원점으로 하는 좌표계 내의 상기 방송 카메라 및 상기 깊이 카메라 간의 위치 관계 및 회전 관계 중 적어도 하나를 나타내는 제3 파라미터의 값을 결정하는 단계, 상기 결정된 제3 파라미터의 값에 기반하여 상기 좌표계 내의 상기 깊이 카메라의 위치 정보 및 회전 정보 중 적어도 하나를 계산하는 단계, 상기 계산된 깊이 카메라의 위치 정보 및 상기 회전 정보 중 적어도 하나를 이용하여 상기 깊이 카메라로부터 추적되는 제2 피사체의 상기 좌표계 내의 위치를 결정하는 단계, 상기 방송 카메라로부터 상기 제2 피사체를 촬영하기 위해 설정된 회전 파라미터의 값을 수신하는 단계 및 상기 결정된 제2 피사체의 상기 좌표계 내의 위치 및 상기 회전 파라미터의 값에 기반하여 상기 제2 피사체의 영상 및 그래픽 배경을 합성함으로써 가상 환경의 영상을 생성하는 단계를 포함하는, 가상 환경의 영상 생성 방법이 제공된다.
상기 가상 환경의 영상 생성 방법은 상기 방송 카메라로부터 상기 제2 피사체의 영상이 포함된 촬영 영상을 수신하는 단계를 더 포함할 수 있다.
상기 그래픽 배경에 상기 좌표계가 적용될 수 있다.
상기 가상 환경을 생성하는 단계는 상기 제2 피사체의 영상을 상기 제2 피사체의 위치에 대응하는 상기 그래픽 배경의 위치에 합성함으로써 상기 가상 환경의 영상을 생성할 수 있다.
상기 가상 환경의 영상을 생성하는 단계는 상기 제2 피사체의 영상이 포함된 촬영 영상으로부터 알파키 정보를 추출하는 단계를 포함할 수 있다.
상기 가상 환경의 영상을 생성하는 단계는 상기 추출된 알파키 정보를 이용하여 상기 가상 환경의 영상을 생성하는 단계를 포함할 수 있다.
상기 가상 환경의 영상 생성 방법은 상기 깊이 카메라로부터 제2 피사체의 움직임에 대한 정보를 수신하는 단계를 더 포함할 수 있다.
가상 환경의 영상 생성 방법은 상기 움직임에 대응하는 그래픽을 상기 생성된 가상 환경의 영상에 추가하는 단계를 더 포함할 수 있다.
피사체의 위치를 결정하는 장치 및 방법이 제공된다.
결정된 피사체의 위치를 이용하여 가상 환경의 영상을 생성하는 장치 및 방법이 제공된다.
도 1은 일 예에 따른 생성된 가상 환경을 도시한다.
도 2는 일 실시예에 따른 전자 장치의 구성도를 도시한다.
도 3은 일 실시예에 따른 피사체의 위치를 결정하는 방법의 흐름도이다.
도 4는 일 예에 따른 제3 파라미터의 값을 결정하는 방법의 흐름도이다.
도 5는 일 예에 따른 제1 피사체를 도시한다.
도 6은 일 예에 따른 제1 피사체를 촬영하는 방송 카메라 및 깊이 카메라 간의 위치 관계 및 회전 관계를 도시한다.
도 7은 일 예에 따른 깊이 카메라의 위치 정보 및 회전 정보를 계산하는 방법을 도시한다.
도 8은 일 예에 따른 제2 피사체의 위치를 결정하는 방법을 도시한다.
도 9는 일 실시예에 따른 가상 환경의 영상을 생성하는 방법의 흐름도이다.
도 10은 일 예에 따른 알파키 정보를 이용하여 가상 환경의 영상을 생성하는 방법의 흐름도이다.
도 11은 일 예에 따른 생성된 가상 환경을 도시한다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
실시예에는 다양한 변경이 가해질 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 실시예를 실시 형태에 대해 한정하려는 것이 아니며, 실시예는 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 예에 따른 생성된 가상 환경을 도시한다.
텔레비전(TeleVision; TV)을 통해 시청자가 시청하는 영상은 방송 카메라가 촬영한 영상과 동일한 영상일 수 있다. 또한, 시청자가 시청하는 영상은 방송 카메라가 촬영한 영상 및 그래픽을 합성한 영상일 수 있다. 방송 카메라가 촬영한 영상은 실제의 피사체를 촬영한 영상일 수 있고, 그래픽은 실제의 피사체를 촬영한 영상이 아닌 컴퓨터 그래픽일 수 있다. 예를 들어, 합성된 영상은 가상의 현실에 대한 영상일 수 있다. 가상의 현실에 대한 영상은 실제의 피사체가 그래픽인 가상의 현실 내부에 위치하도록 합성된 영상일 수 있다. 이하에서, 가상의 현실 또는 가상 현실은 가상 환경과 동일한 의미로 사용될 수 있다.
합성된 영상이 생성될 때, 실제의 피사체 및 가상 현실의 배경 간의 자연스러움이 중요할 수 있다. 특히, 피사체가 움직이는 경우, 피사체의 움직임에 대응하도록 가상 현실의 배경이 변화하는 것이 중요할 수 있다.
가상 현실의 배경이 피사체의 움직임에 대응하도록 변화되기 위해서는 가상 현실의 배경 및 실제의 피사체가 모두 동일한 좌표계를 이용하는 방법이 고려될 수 있다. 가상 현실의 배경 및 실제의 피사체가 모두 동일한 좌표계를 이용하는 경우 실제의 피사체의 움직임에 대응하도록 가상 현실의 배경이 변화될 수 있다.
방송 카메라 및 깊이 카메라는 각각의 카메라가 중심 또는 원점이 되는 좌표계를 이용하여 피사체를 촬영할 수 있다. 따라서, 방송 카메라 및 깊이 카메라는 촬영된 동일한 피사체에 대해 각각의 위치를 가질 수 있다. 각각의 위치는 가상 현실의 영상을 생성할 때 피사체 및 가상 현실의 배경 간의 오차로 작용할 수 있다.
도 1에서, 실제의 피사체(140)는 방송 카메라(110)에 의해 촬영될 수 있다. 피사체(140)는 사람일 수 있다. 방송 카메라(110)는 방송을 위해 사용되는 카메라일 수 있다. 방송 카메라(110)는 고화질(High Definition; HD) 카메라일 수 있다. 예를 들어, 방송 카메라(110)는 방송을 제작하기 위한 스튜디오를 촬영하기 위해 설치되는 카메라일 수 있다. 방송 카메라(110)는 고정형 또는 이동형일 수 있다.
방송 카메라(110)는 블루 스크린을 배경으로 피사체(140)를 촬영할 수 있다. 피사체(140)를 촬영하는 장소는 가상 스튜디오일 수 있다.
깊이 카메라(120)는 피사체(140)를 촬영함으로써 피사체(140)의 깊이 값을 측정할 수 있다. 깊이 카메라(120)는 모션 카메라일 수 있다. 예를 들어, 깊이 카메라(120)는 키넥트(kinect)일 수 있다. 깊이 카메라(120)는 적외선을 이용하여 피사체(140)를 촬영할 수 있다.
또한, 깊이 카메라(120)는 피사체(140)를 촬영함으로써 피사체(140)의 움직임(motion)을 포착할 수 있다. 예를 들어, 깊이 카메라(120)는 피사체(140) 및 피사체(140)의 움직임을 추적(tracking)할 수 있다.
촬영된 피사체(140) 및 그래픽 배경을 이용하여 가상 현실의 영상(150)이 생성될 수 있다.
자연스러운 가상 현실의 영상(150)이 생성되기 위해서는 가상 현실의 배경 및 피사체(140)가 모두 동일한 좌표계를 이용해야 할 수 있다.
피사체(130)는 가상 현실의 배경 및 피사체(140)가 모두 동일한 좌표계를 이용하기 위해 촬영되는 피사체일 수 있다.
하기에서 도 2 내지 도 8을 참조하여 가상 현실의 배경 및 피사체(140)가 모두 동일한 좌표계를 이용하는 방법에 대해 설명된다.
도 2는 일 실시예에 따른 전자 장치의 구성도를 도시한다.
전자 장치(200)는 통신부(210), 처리부(220) 및 저장부(230)를 포함할 수 있다.
통신부(210)는 방송 카메라(110) 및 깊이 카메라(120)의 각각과 서로 간에 연결될 수 있다.
저장부(230)는 통신부(210)가 수신한 데이터 및 처리부(220)가 생성한 데이터를 저장할 수 있다.
통신부(210), 처리부(220) 및 저장부(230)에 대해, 하기에서 도 3 내지 도 11을 참조하여 상세히 설명된다.
앞서 도 1을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 3은 일 실시예에 따른 피사체의 위치를 결정하는 방법의 흐름도이다.
하기의 단계들(310 내지 360)을 통해 피사체(140)의 위치가 결정될 수 있다. 결정된 피사체(140)의 위치는 가상 환경에 적용된 좌표계 내의 위치일 수 있다.
단계(310)에서, 통신부(310)는 제1 피사체를 촬영하는 방송 카메라(110)로부터 제1 피사체를 촬영하기 위해 설정된 제1 파라미터의 값을 수신할 수 있다. 제1 피사체는 전술된 피사체(130)일 수 있다. 제1 피사체에 대해, 하기에서 도 5를 참조하여 상세히 설명된다.
방송 카메라(110)는 제1 피사체(130)를 촬영하기 위해 제1 파라미터의 값을 설정할 수 있다. 제1 파라미터는 방송 카메라(110)의 내부 파라미터들 및 외부 파라미터들 중 적어도 하나일 수 있다. 외부 파라미터들에 대해, 하기에서 도 6을 참조하여 상세히 설명된다.
예를 들어, 내부 파라미터들은 방송 카메라(110)의 초점 거리, 스큐(skew) 파라미터, 아스펙트 비율(aspact ratio), 센터 오류 및 렌즈 왜곡 파라미터 중 적어도 하나를 포함할 수 있다. 초점 거리 및 센터 오류는 Zang00의 방법을 이용하여 계산될 수 있다. 렌즈 왜곡 파라미터의 값은 Brown71의 방법을 이용하여 계산될 수 있다.
스큐 파라미터는 얼마나 렌즈가 기울었는지에 관한 파라미터일 수 있다. 아스펙트 비율은 촬영된 영상의 가로의 픽셀들 및 세로의 픽셀들의 비율일 수 있다.
즉, 제1 파라미터의 값은 방송 카메라(110)의 초점 거리, 스큐 파라미터 값, 아스펙트 비율 값, 센터 오류 값 및 렌즈 왜곡 파라미터 값 중 적어도 하나를 포함할 수 있다.
예를 들어, 내부 파라미터의 값은 하기의 [수학식 1]과 같을 수 있다.
Figure 112014031328679-pat00003
fx는 제1 피사체(130)를 촬영하기 위해 설정된 x축의 초점 거리의 값이고, fy는 제1 피사체(130)를 촬영하기 위해 설정된 y축의 초점 거리의 값이고, s는 스큐 파라미터 값이고, a는 아스펙트 비율 값이고, cx는 x축의 센터 오류 값이고, cy는 y축의 센터 오류 값일 수 있다.
단계(320)에서, 통신부(210)는 제1 피사체(130)의 깊이 값을 측정하는 깊이 카메라(120)로부터 깊이 값을 측정하기 위해 설정된 제2 파라미터의 값을 수신할 수 있다.
깊이 카메라(120)는 제1 피사체(130)를 촬영하기 위해 제2 파라미터의 값을 설정할 수 있다. 제2 파라미터는 깊이 카메라(120)의 내부 파라미터들 및 외부 파라미터들 중 적어도 하나일 수 있다.
내부 파라미터들은 깊이 카메라(120)의 초점 거리, 스큐 파라미터, 아스펙트 비율, 센터 오류 및 렌즈 왜곡 파라미터 중 적어도 하나를 포함할 수 있다.
즉, 제2 파라미터의 값은 깊이 카메라(120)의 초점 거리, 스큐 파라미터 값, 아스펙트 비율 값, 센터 오류 값 및 렌즈 왜곡 파라미터 값 중 적어도 하나를 포함할 수 있다.
예를 들어, 깊이 카메라(120)의 내부 파라미터의 값은 전술된 방송 카메라(110)의 내부 파라미터의 값의 형식과 동일할 수 있다.
예를 들어, 통신부(210)가 수신한 깊이 카메라(120)의 내부 파라미터의 값 및 방송 카메라(110)의 내부 파라미터의 값은 하기의 [표 1]일 수 있다.
방송 카메라의 내부 파라미터의 값 깊이 카메라의 내부 파라미터의 값
951.523743 0 972.96580
0 951.523743 535.056274
0 0 1		 514.254028 0 327.364746
0 514.254028 233.52114
0 0 1
전술된 단계들(310 내지 320)은 도시된 바와는 달리 병렬적으로 각각 수행될 수 있다. 예를 들어, 단계(310) 및 단계(320)는 동시에 수행될 수 있다. 다른 예로, 단계(320)가 단계(310)보다 더 먼저 수행될 수도 있다.
단계(330)에서, 처리부(220)는 제1 파라미터의 값 및 제2 파라미터의 값에 기반하여 방송 카메라(110)의 위치를 원점으로 하는 좌표계 내의 방송 카메라(110) 및 깊이 카메라(120) 간의 위치 관계 및 회전 관계 중 적어도 하나를 나타내는 제3 파라미터의 값을 결정할 수 있다.
방송 카메라(110)의 위치를 원점으로 하는 좌표계는 월드 좌표계일 수 있다. 월드 좌표계는 피사체(140) 및 가상 환경에 동일하게 적용된 좌표계일 수 있다.
제3 파라미터 및 제3 파라미터의 값에 대해, 하기에서 도 6을 참조하여 상세히 설명된다.
단계(340)에서, 처리부(220)는 결정된 제3 파라미터의 값에 기반하여 월드 좌표계 내의 깊이 카메라(120)의 위치 정보 및 회전 정보 중 적어도 하나를 계산할 수 있다.
월드 좌표계 내의 깊이 카메라(120)의 위치 정보 및 회전 정보 중 적어도 하나를 계산하는 방법에 대해, 하기에서 도 7을 참조하여 상세히 설명된다.
전술된 단계들(310 내지 340)을 통해, 방송 카메라(110) 및 깊이 카메라(120) 간의 위치 관계 및 회전 관계 중 적어도 하나가 결정됨으로써 월드 좌표계가 이용될 수 있다. 다시 말하자면, 단계들(310 내지 340)은 월드 좌표계를 이용하기 위한 준비 단계 또는 설정 단계일 수 있다.
단계(350)에서, 통신부(210)는 깊이 카메라(120)로부터 제2 피사체의 깊이 값을 측정하기 위해 설정된 제4 파라미터의 값을 수신할 수 있다. 예를 들어 제2 피사체는 전술된 피사체(140)일 수 있다.
단계(360)에서, 처리부(220)는 계산된 깊이 카메라(120)의 위치 정보 및 회전 정보 중 적어도 하나를 이용하여 깊이 카메라(120)로부터 추적되는 제2 피사체(140)의 월드 좌표계 내의 위치를 결정할 수 있다.
예를 들어, 처리부(220)는 수신한 제4 파라미터의 값, 깊이 카메라(120)의 위치 정보 및 회전 정보 중 적어도 하나를 이용하여 제2 피사체(140)의 월드 좌표계 내의 위치를 결정할 수 있다.
제2 피사체(140)의 월드 좌표계 내의 위치를 결정하는 방법에 대해, 하기에서 도 8을 참조하여 상세히 설명된다.
전술된 단계들(310 내지 360)을 통해, 제2 피사체(140)의 월드 좌표계 내의 위치가 결정될 수 있다. 결정된 제2 피사체(140)의 위치를 이용하여 가상 환경의 영상을 생성하는 방법에 대해, 하기에서 도 9 내지 도 11을 참조하여 상세히 설명된다.
앞서 도 1 내지 도 2를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 4는 일 예에 따른 제3 파라미터의 값을 결정하는 방법의 흐름도이다.
일 실시예에 따르면 제1 피사체(130)는 복수의 부분들을 포함할 수 있다.
전술된 단계(310)는 하기의 단계(410)를 포함할 수 있다.
단계(410)에서, 통신부(210)는 방송 카메라(110)로부터 제1 피사체(130)의 복수의 부분들 중 둘 이상의 부분들에 대한 각각의 제1 파라미터의 값을 수신할 수 있다.
전술된 단계(320)는 하기의 단계(420)를 포함할 수 있다.
단계(420)에서, 통신부(210)는 깊이 카메라(120)로부터 제1 피사체(130)의 복수의 부분들 중 둘 이상의 부분들에 대한 각각의 제2 파라미터의 값을 수신할 수 있다.
전술된 단계(330)에서, 처리부(220)는 둘 이상의 부분들에 대한 각각의 제1 파라미터의 값 및 제2 파라미터의 값에 기반하여 제3 파라미터의 값을 결정할 수 있다.
단계(330)는 하기의 단계들(430 및 440)을 포함할 수 있다.
단계(430)에서, 처리부(220)는 둘 이상의 부분들에 대한 각각의 제1 파라미터의 값 및 각각의 제2 파라미터의 값에 기반하여 둘 이상의 부분들에 대한 각각의 임시 파라미터의 값을 계산할 수 있다. 계산된 임시 파라미터의 값은 복수일 수 있다.
단계(440)에서, 처리부(220)는 각각의 임시 파라미터의 값에 기반하여 제3 파라미터의 값을 결정할 수 있다.
예를 들어, 처리부(220)는 제3 파라미터의 값을 각각의 임시 파라미터의 값의 평균 값으로 결정할 수 있다.
다른 예로, 처리부(220)는 제3 파라미터의 값을 레벤버그-마쿼트 (Levenberg-Marquardt) 알고리즘을 이용하여 결정할 수 있다.
앞서 도 1 내지 도 3을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 5는 일 예에 따른 제1 피사체를 도시한다.
예를 들어, 제1 피사체는 피사체(130)일 수 있다. 피사체(130)는 체크-보드의 패턴일 수 있다. 체크-보드의 패턴의 개수는 제1 파라미터 및 제2 파라미터가 방송 카메라(110) 및 깊이 카메라(120)에서 각각 설정될 수 있는 최소한의 패턴의 개수 이상일 수 있다. 패턴은 체크-보드의 특징점일 수 있다.
예를 들어, 피사체(130)의 특징점들(502 내지 508)이 방송 카메라(110) 및 깊이 카메라(120)에 의해 각각 촬영될 수 있다. 각각의 특징점(502, 504, 506 또는 508)은 피사체(130)로서 취급될 수 있다.
앞서 도 1 내지 도 4를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 6은 일 예에 따른 제1 피사체를 촬영하는 방송 카메라 및 깊이 카메라 간의 위치 관계 및 회전 관계를 도시한다.
제1 피사체는 전술된 피사체(130)일 수 있다.
방송 카메라(110)의 위치는 Ob이고, 깊이 카메라(120)의 위치는 Od일 수 있다. 방송 카메라(110)는 Ob의 위치에서 제1 피사체(130)를 촬영할 수 있다. 특히, 방송 카메라(110)는 제1 피사체(130)의 특징점 P(502)를 촬영할 수 있다.
방송 카메라(110)의 촬영 영상(610)은 영상의 센터를 나타내는 표시(614) 및 제1 피사체(130)의 영상을 포함할 수 있다. 제1 피사체(130)의 영상은 P(502)에 대응하는 Pb(612)를 포함할 수 있다.
방송 카메라(110)와 유사하게 깊이 카메라(120)도 제1 피사체(130)를 촬영할 수 있다. 깊이 카메라(120)는 Od의 위치에서 제1 피사체(130)를 촬영할 수 있다. 특히, 깊이 카메라(120)는 제1 피사체(130)의 특징점 P(502)를 촬영할 수 있다.
깊이 카메라(120)의 촬영 영상(620)은 영상의 센터를 나타내는 표시(624) 및 제1 피사체(130)의 영상을 포함할 수 있다. 제1 피사체(130)의 영상은 P(502)에 대응하는 Pd(614)를 포함할 수 있다.
깊이 카메라(120)의 촬영 영상(620)이 방송 카메라(110)의 촬영 영상(610)에 대응되는 크기로 보상됨으로써 보상된 영상(630)이 처리부(220)에 의해 생성될 수 있다.
Od를 원점으로 하는 좌표계가 고려될 수 있다. 방송 카메라(110)를 통해 원점에서 바라본 P(502)의 위치는 Pb(612)일 수 있다. 깊이 카메라(120)는 방송 카메라(110)로부터 T 만큼 이동된 위치에 위치할 수 있다. 깊이 카메라(120)를 통해 바라본 P(502)의 위치는 Pd(622)일 수 있다. 그리고, 촬영 영상(620) 및 촬영 영상(630)은 촬영 영상(610)에 비해 R 만큼 회전된 영상일 수 있다. 즉, R은 방송 카메라(110) 및 깊이 카메라(120) 간의 회전 관계를 나타낼 수 있다. T는 방송 카메라(110) 및 깊이 카메라(120) 간의 위치 관계를 나타낼 수 있다.
따라서 하기의 [수학식 2]와 같은 관계가 성립할 수 있다.
Figure 112014031328679-pat00004
P(502), Ob 및 Od를 지나는 에피폴라 평면(epipolar plane)에 대한 성질을 이용하면, 하기의 [수학식 3]을 얻을 수 있다.
Figure 112014031328679-pat00005
[수학식 2]를 변형하면, (Pb-T) = R-1Pr가 얻어질 수 있다. 회전 행렬 R에 대해, R-1 = RT가 성립할 수 있다. 따라서, [수학식 3]은 하기의 [수학식 4]으로 변형될 수 있다.
Figure 112014031328679-pat00006
T×Pb = SPb를 만족하는 S는 하기의 [수학식 5]일 수 있다.
Figure 112014031328679-pat00007
Tx, Ty 및 Tz는 각각 벡터 T의 x축 성분, y축 성분 및 z축 성분일 수 있다.
[수학식 5]를 이용하여 [수학식 4]는 하기의 [수학식 6]으로 변형될 수 있다.
Figure 112014031328679-pat00008
좌표계에서 P(502)의 좌표가 주어지면, 방송 카메라(110) 및 깊이 카메라(120)의 각각에서 카메라 보정을 수행함으로써 P(502)의 좌표를 각각의 카메라 좌표(Pb(612) 또는 Pd(622))로 변환할 수 있다.
Pb(612)의 좌표는 하기의 [수학식 7]에 의해 계산될 수 있다.
Figure 112014031328679-pat00009
Rb는 제1 파라미터 값 내의 방송 카메라(110) 및 P(502) 간의 회전 정보일 수 있다. Tb는 제1 파라미터 값 내의 방송 카메라(110) 및 P(502) 간의 위치 정보일 수 있다. 제1 파라미터의 값은 Rb 및 Tb 중 적어도 하나를 포함할 수 있다. Rb 및 Tb 는 방송 카메라(110)의 외부 파라미터의 값일 수 있다.
P는 P(502)의 위치 정보일 수 있다.
Pd(622)의 좌표는 하기의 [수학식 8]에 의해 계산될 수 있다.
Figure 112014031328679-pat00010
Rd는 제2 파라미터의 값 내의 깊이 카메라(120) 및 P(502) 간의 회전 정보일 수 있다. Td는 제2 파라미터 값 내의 깊이 카메라(120) 및 P(502) 간의 위치 정보일 수 있다. 제2 파라미터의 값은 Rd 및 Td 중 적어도 하나를 포함할 수 있다. Rd 및 Td 는 깊이 카메라(120)의 외부 파라미터의 값일 수 있다.
[수학식 1], [수학식 7] 및 [수학식 8]에 의해 하기의 [수학식 9] 및 [수학식 10]이 각각 유도될 수 있다.
Figure 112014031328679-pat00011
Figure 112014031328679-pat00012
R은 방송 카메라(110) 및 깊이 카메라(120) 간의 회전 관계를 나타낼 수 있다.
T는 방송 카메라(110) 및 깊이 카메라(120) 간의 위치 관계를 나타낼 수 있다.
즉, 제3 파라미터의 값은 R 및 T 중 적어도 하나를 포함할 수 있다.
상기의 계산된 R 및 T는 P(502)에 대한 제3 파라미터의 값일 수 있다.
일 실시예에 따르면, 제1 피사체(130)의 복수의 부분들에 대해 각각의 R 및 T가 계산될 수 있다. 예를 들어, 전술된 특징점(504, 506 또는 508)에 대한 각각의 R 및 T가 계산될 수 있다. 복수의 R 및 T가 계산된 경우 계산된 복수의 R 및 T의 평균 값으로 제3 파라미터의 값이 결정될 수 있다.
다른 예로, 제3 파라미터의 값은 레벤버그-마쿼트 알고리즘을 이용하여 결정될 수 있다.
앞서 도 1 내지 도 5를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 7은 일 예에 따른 깊이 카메라의 위치 정보 및 회전 정보를 계산하는 방법을 도시한다.
좌표계(701)는 방송 카메라(110)의 위치를 원점으로 할 수 있다. 좌표계(702)는 방송 카메라(110)의 위치를 원점으로 하는 월드 좌표계일 수 있다. 좌표계(701) 및 월드 좌표계(702)는 모두 방송 카메라(110)의 위치를 원점으로 할 수 있으므로, 좌표계(701)의 원점 Ob는 월드 좌표계(702)의 원점 Ow b 원점일 수 있다.
전술된 단계(340)는 하기의 스텝(STEP) 1 내지 3을 포함할 수 있다.
STEP 1에서, 처리부(220)는 T에 의해 설정된 깊이 카메라(120)의 위치 Od(712)를 월드 좌표계(702)의 위치 Ow d(714)로 변환할 수 있다.
STEP 2에서, 처리부(220)는 Rb에 기반하여 Ow d(714)를 Ow'd(716)로 회전시킬 수 있다.
STEP 3에서, 처리부(220)는 이동 변환을 나타내는 TOb를 이용하여 Ow'd(716)를 Ow"d(718)로 변환할 수 있다. Ow"d(718)는 월드 좌표계(702) 내의 깊이 카메라(120)의 위치일 수 있다.
예를 들어, TOb는 (x, y, x)의 좌표를 (x, -y, -z)의 좌표로 변환할 수 있다.
앞서 도 1 내지 도 6을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 8은 일 예에 따른 제2 피사체의 위치를 결정하는 방법을 도시한다.
전술된 단계(340)를 통해 깊이 카메라(120)의 월드 좌표계(702) 내의 위치가 결정될 수 있다. 깊이 카메라(120)의 월드 좌표계(702) 내의 위치가 결정된 경우 깊이 카메라(120)로부터 추적되는 제2 피사체(140)의 월드 좌표계(702) 내의 위치가 결정될 수 있다.
제2 피사체(140)의 월드 좌표계(702) 내의 위치를 결정하기 위해 깊이 카메라(120)의 위치 Od(712)를 원점으로 하는 월드 좌표계(802)가 먼저 고려될 수 있다.
전술된 단계(360)는 하기의 STEP 1 내지 3을 포함할 수 있다.
STEP 1에서, 처리부(220)는 추적중인 제2 피사체(140)의 깊이 카메라(120)의 좌표계(801) 내의 위치 Pd(810)를 월드 좌표계(802) 내의 위치 Pw d(812)로 변환할 수 있다.
예를 들어, Pd = (Pdx, Pdy, Pdz)인 경우, Pw d = (Px, Py, -Pz)로 변환될 수 있다.
STEP 2에서, 처리부(220)는 Rd에 기반하여 Pw d(812)를 Pw''d(814)로 회전시킬 수 있다.
Rd = (Rd(tilt), Rd(pan), Rd(twist))일 수 있다. Rd는 하기의 [수학식 11]을 이용하여 계산될 수 있다.
Figure 112014031328679-pat00013
Rx, Ry 및 Rz는 각각 R의 x축 성분, y축 성분 및 z축 성분일 수 있다.
STEP 3에서, 처리부(220)는 이동 변환을 나타내는 Tpd를 이용하여 Pw'd(814)를 Pw"d(816)로 변환할 수 있다. Pw"d(816)는 월드 좌표계(702) 내의 제2 피사체(140)의 위치일 수 있다. 즉, 처리부(220)는 Tpd를 이용하여 월드 좌표계(802)의 원점을 월드 좌표계(702)의 Ow"d(718)로 이동시킬 수 있다.
처리부(220)는 하기의 [수학식 12]를 이용하여 제2 피사체(140)의 월드 좌표계(702) 내의 위치를 결정할 수 있다.
Figure 112014031328679-pat00014
전술된 제2 피사체(140)는 하나 이상의 특징점들을 포함할 수 있다. 깊이 카메라(120)는 하나 이상의 특징점들을 추적할 수 있다. 예를 들어, 제2 피사체(140)가 사람인 경우, 특징점은 사람의 어깨, 손, 발 또는 얼굴에 해당하는 부분일 수 있다. 전술된 단계(360)에서, 처리부(220)는 제2 피사체(140)의 하나 이상의 특징점들 각각의 월드 좌표계(702) 내의 위치를 결정할 수 있다.
일 실시예에 따르면, 제1 피사체(130)를 이용하여 깊이 카메라(120)의 월드 위치를 결정하는 경우, 깊이 카메라(120)가 설치될 수 있는 위치가 자유로울 수 있다. 예를 들어, 깊이 카메라(120)가 조명에 의한 영향을 적게 받는 위치에 설치될 수 있다. 또한, 제1 피사체(130)를 이용하여 깊이 카메라(120)의 월드 위치를 결정하는 경우, 제2 피사체(140) 및 그래픽 배경의 정합을 위한 초기 설정 소요 시간이 감소될 수 있다.
결정된 제2 피사체(140)의 월드 좌표계(702) 내의 위치를 이용하여 가상 환경의 영상을 생성하는 방법에 대해, 하기에서 도 9 내지 도 11을 참조하여 상세히 설명된다
앞서 도 1 내지 도 7을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 9는 일 실시예에 따른 가상 환경의 영상을 생성하는 방법의 흐름도이다.
하기의 단계들(910 내지 950)은 전술된 단계(360)가 수행된 후 수행될 수 있다.
단계(910)에서, 통신부(210)는 방송 카메라(110)로부터 제2 피사체(140)를 촬영하기 위해 설정된 회전 파라미터의 값을 수신할 수 있다.
단계(920)에서, 통신부(210)는 방송 카메라(110)로부터 제2 피사체(140)의 영상이 포함된 촬영 영상을 수신할 수 있다.
단계(930)에서, 처리부(220)는 결정된 제2 피사체(140)의 월드 좌표계(702) 내의 위치 및 회전 파라미터의 값에 기반하여 제2 피사체(140)의 영상 및 그래픽 배경을 합성함으로써 가상 환경의 영상을 생성할 수 있다.
그래픽 배경에 월드 좌표계(702)가 적용될 수 있다. 따라서, 처리부(220)는 제2 피사체(140)의 영상을 제2 피사체(140)의 위치에 대응하는 그래픽 배경의 위치에 합성함으로써 가상 환경의 영상을 생성할 수 있다.
가상 환경의 영상을 생성하는 방법에 대해, 하기에서 도 10을 참조하여 상세히 설명된다.
단계(940)에서, 통신부(210)는 깊이 카메라(120)로부터 제2 피사체(140)의 움직임에 대한 정보를 수신할 수 있다.
단계(950)에서, 처리부(220)는 움직임에 대응하는 기 설정된 그래픽을 생성된 가상 환경의 영상에 추가할 수 있다.
앞서 도 1 내지 도 8을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 10은 일 예에 따른 알파키 정보를 이용하여 가상 환경을 생성하는 방법의 흐름도이다.
전술된 단계(930)는 하기의 단계들(1010 내지 1020)을 포함할 수 있다.
단계(1010)에서, 처리부(220)는 제2 피사체(140)의 영상이 포함된 촬영 영상으로부터 알파키 정보를 추출할 수 있다. 예를 들어, 촬영 영상 중 제2 피사체(140)의 영상은 알파키 정보가 100일 수 있고, 제2 피사체(140)의 영상 이외의 배경은 알파키 정보가 0일 수 있다. 촬영 영상 중 배경은 블루 스크린의 영상일 수 있다.
단계(1020)에서, 처리부(220)는 추출된 알파키 정보를 이용하여 제2 피사체(140)의 영상 및 그래픽 배경을 합성함으로써 가상 환경의 영상을 생성할 수 있다. 예를 들어, 처리부(220)는 촬영 영상 중 알파키 값이 0인 부분을 알파키 값이 0인 부분의 위치에 대응하는 그래픽 배경으로 채움으로써 가상 환경의 영상을 생성할 수 있다. 다른 예로, 처리부(220)는 촬영 영상 중 알파키 값이 100인 부분을 알파키 값이 100인 부분의 위치에 대응하는 그래픽 배경의 부분에 합성함으로써 가상 환경의 영상을 생성할 수 있다.
처리부(220)는 키어(keyer)를 포함할 수 있다. 단계(1010) 및 단계(1020)는 키어에 의해 수행될 수 있다.
앞서 도 1 내지 도 9를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 11은 일 예에 따른 생성된 가상 환경을 도시한다.
도 11의 제2 피사체(140)는 사람일 수 있고, 그래픽 배경은 자연 경관일 수 있다. 예를 들어, 생성된 가상 환경의 영상은 일기 예보에 관한 영상일 수 있다.
깊이 카메라(120)가 사람의 손의 움직임을 추적하는 경우, 손의 움직임에 따라 기 설정된 그래픽이 가상 환경의 영상에 추가될 수 있다.
깊이 카메라(120)로부터 수신한 정보가 손이 우측에서 좌측으로 이동한 움직임을 나타내는 경우, 처리부(220)는 상기의 움직임에 대응하여 기 설정된 그래픽을 가상 환경의 영상에 추가할 수 있다. 추가되는 그래픽의 위치는 제2 피사체(140) 또는 손의 위치에 따라 처리부(220)에 의해 결정될 수 있다.
예를 들어, 상기의 움직임에 대응하여 기 설정된 그래픽은 내일 날씨를 알려주는 그래픽일 수 있다.
앞서 도 1 내지 도 10을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
110: 방송 카메라
120: 깊이 카메라
130: 제1 피사체
140: 제2 피사체
200: 전자 장치
210: 통신부
220: 처리부
230: 저장부

Claims (15)

  1. 방송 카메라로부터 제1 피사체를 촬영하기 위해 설정된 제1 파라미터의 값을 수신하는 단계;
    깊이 카메라로부터 상기 제1 피사체의 깊이 값을 측정하기 위해 설정된 제2 파라미터의 값을 수신하는 단계;
    상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여 상기 방송 카메라의 위치를 원점으로 하는 좌표계 내의 상기 방송 카메라 및 상기 깊이 카메라 간의 위치 관계 및 회전 관계 중 적어도 하나를 나타내는 제3 파라미터의 값을 결정하는 단계;
    상기 결정된 제3 파라미터의 값에 기반하여 상기 좌표계 내의 상기 깊이 카메라의 위치 정보 및 회전 정보 중 적어도 하나를 계산하는 단계;
    상기 깊이 카메라로부터 상기 제2 피사체의 깊이 값을 측정하기 위해 설정된 제4 파라미터의 값을 수신하는 단계; 및
    상기 수신한 제4 파라미터의 값, 상기 계산된 깊이 카메라의 위치 정보 및 상기 회전 정보 중 적어도 하나를 이용하여 상기 깊이 카메라로부터 추적되는 제2 피사체의 상기 좌표계 내의 위치를 결정하는 단계
    를 포함하는, 피사체의 위치 결정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 파라미터의 값은 상기 방송 카메라의 초점 거리, 스큐(skew) 파라미터 값, 아스펙트 비율(aspact ratio) 값, 센터 오류 값 및 렌즈 왜곡 파라미터의 값 중 적어도 하나를 포함하는, 피사체의 위치 결정 방법.
  4. 제1항에 있어서,
    상기 제1 피사체는 복수의 부분들을 포함하고,
    상기 제1 파라미터의 값을 수신하는 단계는 상기 복수의 부분들 중 둘 이상의 부분들에 대한 각각의 제1 파라미터의 값을 수신하고,
    상기 제2 파라미터의 값을 수신하는 단계는 상기 복수의 부분들 중 둘 이상의 부분들에 대한 각각의 제2 파라미터의 값을 수신하고,
    상기 제3 파라미터의 값을 결정하는 단계는 상기 둘 이상의 부분들에 대한 각각의 상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여 상기 제3 파라미터의 값을 결정하는, 피사체의 위치 결정 방법.
  5. 제4항에 있어서,
    상기 제3 파라미터의 값을 결정하는 단계는,
    상기 둘 이상의 부분들에 대한 각각의 상기 제1 파라미터의 값 및 각각의 상기 제2 파라미터의 값에 기반하여 상기 둘 이상의 부분들에 대한 각각의 임시 파라미터의 값을 계산하는 단계; 및
    상기 각각의 임시 파라미터의 값에 기반하여 상기 제3 파라미터의 값을 결정하는 단계
    를 포함하는, 피사체의 위치 결정 방법.
  6. 제5항에 있어서,
    상기 제3 파라미터의 값은 상기 각각의 임시 파라미터의 값의 평균 값으로 결정되는, 피사체의 위치 결정 방법.
  7. 제5항에 있어서,
    상기 제3 파라미터의 값은 레벤버그-마쿼트(Levenberg-Marquardt) 알고리즘을 이용하여 결정되는, 피사체의 위치 결정 방법.
  8. 제1항에 있어서,
    상기 회전 관계는 하기 [수학식 1]에 의해 계산되고,
    [수학식 1]
    Figure 112014031328679-pat00015

    상기 R은 상기 회전 관계이고, 상기 Rb은 상기 제1 파라미터의 값 내의 상기 방송 카메라 및 상기 제1 피사체 간의 회전 정보이고, 상기 Rd은 상기 제2 파라미터의 값 내의 상기 깊이 카메라 및 상기 제1 피사체 간의 회전 정보이고,
    상기 위치 관계는 하기 [수학식 2]에 의해 계산되고,
    [수학식 2]
    Figure 112014031328679-pat00016
    Tb
    상기 T는 상기 위치 관계이고, 상기 Tb은 상기 제1 파라미터의 값 내의 상기 방송 카메라 및 상기 제1 피사체 간의 위치 정보이고, 상기 Td은 상기 제2 파라미터의 값 내의 상기 깊이 카메라 및 상기 제1 피사체 간의 위치 정보인, 피사체의 위치 결정 방법.
  9. 전자 장치에 있어서,
    방송 카메라로부터 제1 피사체를 촬영하기 위해 설정된 제1 파라미터의 값을 수신하고, 깊이 카메라로부터 상기 제1 피사체의 깊이 값을 측정하기 위해 설정된 제2 파라미터의 값을 수신하고, 상기 깊이 카메라로부터 제2 피사체의 깊이 값을 측정하기 위해 설정된 제4 파라미터의 값을 수신하는 통신부; 및
    상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여 상기 방송 카메라의 위치를 원점으로 하는 좌표계 내의 상기 방송 카메라 및 상기 깊이 카메라 간의 위치 관계 및 회전 관계 중 적어도 하나를 나타내는 제3 파라미터의 값을 결정하고, 상기 결정된 제3 파라미터의 값에 기반하여 상기 좌표계 내의 상기 깊이 카메라의 위치 정보 및 회전 정보 중 적어도 하나를 계산하고, 상기 수신한 제4 파라미터의 값, 상기 계산된 깊이 카메라의 위치 정보 및 상기 회전 정보 중 적어도 하나를 이용하여 상기 깊이 카메라로부터 추적되는 상기 제2 피사체의 상기 좌표계 내의 위치를 결정하는 처리부
    를 포함하는, 전자 장치.
  10. 전자 장치에 의해 수행되는,
    방송 카메라로부터 제1 피사체를 촬영하기 위해 설정된 제1 파라미터의 값을 수신하는 단계;
    깊이 카메라로부터 상기 제1 피사체의 깊이 값을 측정하기 위해 설정된 제2 파라미터의 값을 수신하는 단계;
    상기 제1 파라미터의 값 및 상기 제2 파라미터의 값에 기반하여 상기 방송 카메라의 위치를 원점으로 하는 좌표계 내의 상기 방송 카메라 및 상기 깊이 카메라 간의 위치 관계 및 회전 관계 중 적어도 하나를 나타내는 제3 파라미터의 값을 결정하는 단계;
    상기 결정된 제3 파라미터의 값에 기반하여 상기 좌표계 내의 상기 깊이 카메라의 위치 정보 및 회전 정보 중 적어도 하나를 계산하는 단계;
    상기 계산된 깊이 카메라의 위치 정보 및 상기 회전 정보 중 적어도 하나를 이용하여 상기 깊이 카메라로부터 추적되는 제2 피사체의 상기 좌표계 내의 위치를 결정하는 단계;
    상기 방송 카메라로부터 상기 제2 피사체를 촬영하기 위해 설정된 회전 파라미터의 값을 수신하는 단계; 및
    상기 결정된 제2 피사체의 상기 좌표계 내의 위치 및 상기 회전 파라미터의 값에 기반하여 상기 제2 피사체의 영상 및 그래픽 배경을 합성함으로써 가상 환경의 영상을 생성하는 단계
    를 포함하는, 가상 환경의 영상 생성 방법.
  11. 제10항에 있어서,
    상기 방송 카메라로부터 상기 제2 피사체의 영상이 포함된 촬영 영상을 수신하는 단계
    를 더 포함하는, 가상 환경의 영상 생성 방법.
  12. 제10항에 있어서,
    상기 그래픽 배경에 상기 좌표계가 적용된, 가상 환경의 영상 생성 방법.
  13. 제12항에 있어서,
    상기 가상 환경의 영상을 생성하는 단계는 상기 제2 피사체의 영상을 상기 제2 피사체의 위치에 대응하는 상기 그래픽 배경의 위치에 합성함으로써 상기 가상 환경의 영상을 생성하는, 가상 환경의 영상 생성 방법.
  14. 제10항에 있어서,
    상기 가상 환경의 영상을 생성하는 단계는,
    상기 제2 피사체의 영상이 포함된 촬영 영상으로부터 알파키 정보를 추출하는 단계; 및
    상기 추출된 알파키 정보를 이용하여 상기 가상 환경의 영상을 생성하는 단계
    를 포함하는, 가상 환경의 영상 생성 방법.
  15. 제10항에 있어서,
    상기 깊이 카메라로부터 제2 피사체의 움직임에 대한 정보를 수신하는 단계; 및
    상기 움직임에 대응하는 그래픽을 상기 생성된 가상 환경의 영상에 추가하는 단계
    를 더 포함하는, 가상 환경의 영상 생성 방법.
KR1020140038666A 2014-04-01 2014-04-01 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 KR101529820B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140038666A KR101529820B1 (ko) 2014-04-01 2014-04-01 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140038666A KR101529820B1 (ko) 2014-04-01 2014-04-01 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101529820B1 true KR101529820B1 (ko) 2015-06-29

Family

ID=53519287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140038666A KR101529820B1 (ko) 2014-04-01 2014-04-01 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101529820B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039923A (ko) * 2016-10-11 2018-04-19 한국전자통신연구원 통합 이미지 마커 생성 방법 및 그 방법을 수행하는 시스템
KR102129069B1 (ko) * 2019-06-05 2020-07-01 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
KR102129071B1 (ko) * 2019-06-05 2020-07-01 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
WO2020246788A1 (ko) * 2019-06-05 2020-12-10 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
CN113658265A (zh) * 2021-07-16 2021-11-16 北京迈格威科技有限公司 相机标定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP5147132B2 (ja) * 2008-11-11 2013-02-20 日本放送協会 撮影カメラの位置算出装置
KR101340555B1 (ko) * 2011-09-23 2013-12-11 광주과학기술원 기준 시점 영상 생성 장치 및 방법
KR20140021765A (ko) * 2012-08-10 2014-02-20 광운대학교 산학협력단 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP5147132B2 (ja) * 2008-11-11 2013-02-20 日本放送協会 撮影カメラの位置算出装置
KR101340555B1 (ko) * 2011-09-23 2013-12-11 광주과학기술원 기준 시점 영상 생성 장치 및 방법
KR20140021765A (ko) * 2012-08-10 2014-02-20 광운대학교 산학협력단 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039923A (ko) * 2016-10-11 2018-04-19 한국전자통신연구원 통합 이미지 마커 생성 방법 및 그 방법을 수행하는 시스템
US10032288B2 (en) 2016-10-11 2018-07-24 Electronics And Telecommunications Research Institute Method and system for generating integral image marker
KR101892740B1 (ko) * 2016-10-11 2018-08-28 한국전자통신연구원 통합 이미지 마커 생성 방법 및 그 방법을 수행하는 시스템
KR102129069B1 (ko) * 2019-06-05 2020-07-01 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
KR102129071B1 (ko) * 2019-06-05 2020-07-01 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
WO2020246788A1 (ko) * 2019-06-05 2020-12-10 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
US11809134B2 (en) 2019-06-05 2023-11-07 Cubixel Co., Ltd. Method and apparatus of automatic optical inspection using scanning holography
CN113658265A (zh) * 2021-07-16 2021-11-16 北京迈格威科技有限公司 相机标定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR100793838B1 (ko) 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
KR101885780B1 (ko) 3 차원 비디오를 위한 카메라 시스템
CN112311965B (zh) 虚拟拍摄方法、装置、系统及存储介质
US9117310B2 (en) Virtual camera system
CN110322542B (zh) 重建真实世界3d场景的视图
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN113012275A (zh) 视频中的连续局部3d重建细化
EP3007038A2 (en) Interaction with three-dimensional video
US20110158509A1 (en) Image stitching method and apparatus
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
US10063792B1 (en) Formatting stitched panoramic frames for transmission
KR101529820B1 (ko) 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치
KR20130115332A (ko) 증강 현실 표현을 위한 2차원 이미지 캡쳐
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
CN103500471A (zh) 实现高分辨率增强现实系统的方法
JP5847610B2 (ja) Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
TWI615808B (zh) 全景即時影像處理方法
JP6579727B1 (ja) 動体検出装置、動体検出方法、動体検出プログラム
CN112312041B (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
Calagari et al. Sports VR content generation from regular camera feeds
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
TWI812369B (zh) 控制方法、追蹤系統以及非暫態電腦可讀取媒體
CN116433769B (zh) 空间校准方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140401

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150119

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150322

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150611

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150611

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180220

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190607

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190607

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200825

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210602

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220524

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230523

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240521

Start annual number: 10

End annual number: 10