Nothing Special   »   [go: up one dir, main page]

KR101666932B1 - 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치 - Google Patents

평면 영역을 이용한 이종 카메라간 교정 방법 및 장치 Download PDF

Info

Publication number
KR101666932B1
KR101666932B1 KR1020100109060A KR20100109060A KR101666932B1 KR 101666932 B1 KR101666932 B1 KR 101666932B1 KR 1020100109060 A KR1020100109060 A KR 1020100109060A KR 20100109060 A KR20100109060 A KR 20100109060A KR 101666932 B1 KR101666932 B1 KR 101666932B1
Authority
KR
South Korea
Prior art keywords
color
depth
camera
image
generating
Prior art date
Application number
KR1020100109060A
Other languages
English (en)
Other versions
KR20120047482A (ko
Inventor
이승규
임화섭
한사드 마일즈
호라우드 라두
김도균
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100109060A priority Critical patent/KR101666932B1/ko
Publication of KR20120047482A publication Critical patent/KR20120047482A/ko
Application granted granted Critical
Publication of KR101666932B1 publication Critical patent/KR101666932B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

평면 영역을 이용하여 깊이 카메라와 컬러 카메라 간을 교정하기 위한 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치에 관한 것이다. 평면 영역을 이용한 이종 카메라간 교정 장치는 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하여 변환 행렬을 생성하고, 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정(Calibration)함으로써, 정밀도 높은 3차원 영상을 복원할 수 있다.

Description

평면 영역을 이용한 이종 카메라간 교정 방법 및 장치{CALIBRATION APPARATUS AND METHOD BETWEEN HETEROGENEOUS CAMERAS USING PLANE AREA}
본 발명의 일실시예는 깊이 카메라와 컬러 카메라 간에 교정하는 기술에 관한 것이다.
한대 이상의 이종(heterogeneous) 카메라로 구성된 카메라 셋, 이를테면 컬러(color) 카메라와 깊이(depth) 카메라의 세트를 이용하여 3D 정보를 취득하는 시스템에서, 이종 카메라에서 얻어진 정보간 매칭을 위하여 카메라간 교정(Calibration)을 수행해야 한다.
종래에는 서로 다른 공간 위치에 있는 복수 개의 카메라간의 교정을 수행하기 위하여, 알려져 있는 패턴을 이용하여 대응점(corresponding points)들을 추출하고, 추출된 대응점을 이용하여, 카메라들간의 공간(geometry) 위치 차이 정보를 계산해 내기도 하였다.
그런데, 3D 오브젝트에 대해 정확한 3D 정보 취득을 위하여 점차 컬러 카메라와 깊이 카메라 등 서로 다른 종류의 카메라가 셋을 이루어 사용되는 경우가 많아지고 있으며, 이러한 경우에도 고정밀 영상 취득을 위하여 카메라간 교정은 필수적이다.
본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 장치는 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하는 변환 행렬을 생성하는 평면 영역 매칭부, 및 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정하는 교정(Calibration)부를 포함한다.
상기 평면 영역 매칭부는 상이한 복수의 각도에 대해 순차적으로 추출된 깊이 평면 영역과 컬러 평면 영역을 각각 매칭하여, 상기 변환 행렬을 생성할 수 있다.
상기 평면 영역을 이용한 이종 카메라간 교정 장치는 하나 이상의 컬러 카메라로부터 획득한 컬러 영상들로부터 컬러 특징점을 추출하는 포인트 추출부, 및 상기 추출된 컬러 특징점을 이용하여 상기 컬러 평면 영역을 추출하는 컬러 평면 영역 추출부를 더 포함할 수 있다.
상기 컬러 평면 영역 추출부는 제1 컬러 카메라에서 추출된 제1 컬러 특징점과 제2 컬러 카메라에서 추출된 제2 컬러 특징점간의 관계를 이용하여 상기 컬러 평면 영역을 추출할 수 있다.
상기 평면 영역 매칭부는 상기 컬러 평면 영역에 포함된 컬러 특징점을 상기 깊이 평면 영역에 포함된 깊이 특징점에 역투사(back-projection)하여, 상기 변환 행렬을 생성할 수 있다.
상기 평면 영역 매칭부는 상기 컬러 특징점과 상기 컬러 특징점에 역투사된 깊이 특징점 간의 거리, 또는 상기 깊이 특징점과 상기 깊이 특징점에 투사된 상기 컬러 특징점 간의 거리를 이용하여 상기 변환 행렬을 조정할 수 있다.
상기 교정부는 상기 생성된 변환 행렬을 이용하여 상기 깊이 카메라와 상기 컬러 카메라간의 공간 거리(distance)을 교정하고, 상기 교정된 깊이 카메라에서 생성된 깊이 영상과 상기 교정된 컬러 카메라에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 방법은 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하는 변환 행렬을 생성하는 단계, 및 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정하는 단계를 포함한다.
본 발명의 일 측면에 따르면, 포인트 교정 방식을 적용하기 어려운 ToF(Time of Flight) 방식의 깊이 카메라에 평면 교정 방식을 적용함으로써, 정밀도 높은 3차원 영상을 복원(reconstruction)할 수 있다.
본 발명의 일 측면에 따르면, 서로 매칭된 깊이 평면 영역과 컬러 평면 영역에 포함된 각각의 특징점을 이용하여 깊이 카메라와 컬러 카메라 간을 더욱 정확하게 교정할 수 있다.
본 발명의 일 측면에 따르면, 깊이 영상의 인텐서티(intensity)를 이용하지 않고 평면 영역을 이용하여 깊이 영상과 컬러 영상을 서로 매칭할 수 있다.
도 1은 본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 장치의 구성을 도시한 블록도이다.
도 2는 컬러 카메라와 깊이 카메라로부터 각 평면 영역을 추출하는 일례를 도시한 도면이다.
도 3은 깊이 평면 영역과 컬러 평면 영역을 매칭한 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 평면 영역을 이용한 이종 카메라간 교정 장치(100, 이하 '이종 카메라간 교정 장치'라 함)는 깊이 카메라(110), 컬러 카메라(120), 깊이 영상 획득부(130), 컬러 영상 획득부(140), 포인트 추출부(150), 깊이 평면 영역 추출부(160), 컬러 평면 영역 추출부(170), 평면 영역 매칭부(180), 및 교정부(190)를 포함할 수 있다.
깊이 카메라(110, Depth Camera)는 깊이(depth) 영상을 생성할 수 있다. 깊이 영상 획득부(130)는 깊이 카메라(110)에서 생성한 상기 깊이 영상을 획득할 수 있다. 깊이 평면 영역 추출부(160)는 상기 획득한 깊이 영상으로부터 깊이 평면 영역(Depth Plane Area)을 추출할 수 있다. 여기서, 깊이 영상은 3차원 영상이므로, 3차원 영상으로부터 2차원 평면 영역을 추출하기 매우 용이하다. 따라서, 평면 영역 추출부(160)는 상기 획득한 3차원 깊이 영상으로부터 2차원 깊이 평면 영역을 추출할 수 있다.
컬러 카메라(120, Color Camera)는 컬러 영상을 생성할 수 있다. 컬러 영상 획득부(140)는 컬러 카메라(120)에서 생성한 상기 컬러 영상을 획득할 수 있다. 컬러 평면 영역 추출부(170)는 상기 획득한 컬러 영상으로부터 컬러 평면 영역(Color Plane Area)을 추출할 수 있다. 컬러 영상은 색상을 나타내기 때문에, 컬러 영상에서 2차원 평면 영역을 추출하는데 어려움이 있다.
따라서, 컬러 카메라(120)는 두 대 이상일 수 있으며, 포인트 추출부(150)는 두 대 이상의 컬러 카메라(120)에서 생성한 컬러 영상으로부터 컬러 특징점(color feature points)을 추출할 수 있다. 컬러 평면 영역 추출부(170)는 상기 추출된 컬러 특징점을 이용하여 상기 컬러 평면 영역을 추출할 수 있다. 실시예로, 컬러 평면 영역 추출부(170)는 제1 컬러 카메라에서 추출된 제1 컬러 특징점과 제2 컬러 카메라에서 추출된 제2 컬러 특징점간의 기본 행렬을 이용하여 상기 컬러 평면 영역을 추출할 수 있다.
Figure 112010071986567-pat00001
n은 컬러 특징점 개수이고, pi는 제1 컬러 카메라(컬러 카메라 i)에서 생성된 제1 컬러 영상으로부터 추출된 제1 컬러 특징점이고, pj는 제2 컬러 카메라(컬러 카메라 j)에서 생성된 제2 컬러 영상으로부터 추출된 제2 컬러 특징점이다. Fij는 상기 제1 컬러 특징점과 상기 제2 컬러 특징점 간의 움직임, 회전 등의 관계를 나타내는 기본 행렬(Fundamental Matrix)이다.
컬러 평면 영역 추출부(170)는 서로 대응되는 상기 제1 컬러 특징점과 상기 제2 컬러 특징점 간의 관계를 나타내는 기본 행렬을 구함으로써, 기본 행렬을 이용하여 상기 컬러 평면 영역을 추출할 수 있다.
깊이 카메라(110)와 컬러 카메라(120)가 한 세트를 이루어 3차원 영상을 획득하는 경우, 깊이 카메라(110)와 컬러 카메라(120)가 서로 다른 위치에서 서로 다른 방향을 향하고 있을 수 있다. 이 경우, 고정밀 3차원 영상을 복원(reconstruction)하기 위하여서는 카메라간 교정이 필수적이다.
평면 영역 매칭부(180)는 상기 깊이 평면 영역과 상기 컬러 평면 영역을 매칭하는 변환 행렬을 생성한다. 변환 행렬(Transformation matrix)은 상기 기본 행렬과 유사하게, 상기 깊이 평면 영역과 상기 컬러 평면 영역 간의 대응영역을 서로 잘 매칭하기 위한 것이다.
Figure 112010071986567-pat00002
Figure 112010071986567-pat00003
는 깊이 평면 영역을 의미하고, V는 컬러 평면 영역을 의미하며, H는 4 X 4 변환 행렬을 의미한다. 변환 행렬은 알려지지 않은 행렬로서, 상기 깊이 평면 영역과 상기 컬러 평면 영역 간의 매칭을 통해 구할 수 있다.
Figure 112010071986567-pat00004
는 변환 행렬을 대각선 대칭으로 조정한 것을 의미할 수 있다.
종래에는 깊이 영상과 컬러 영상에 포함된 각 특징점들을 이용하는 매칭을 하기 위해 깊이 영상의 인텐서티(intensity)를 이용하였지만, 본 발명에서는 상기 인텐서티를 이용하지 않고, 깊이 평면 영역과 컬러 평면 영역을 이용하여, 상기 깊이 영상과 상기 컬러 영상을 서로 매칭할 수 있다.
실시예로, 평면 영역 매칭부(180)는 더욱 정확한 변환 행렬을 생성하기 위하여, 상이한 복수의 각도에 대해 순차적으로 추출된 깊이 평면 영역과 컬러 평면 영역을 각각 매칭하여, 상기 변환 행렬을 생성할 수 있다. 즉, 평면 영역 매칭부(180)는 서로 다른 각도에서 추출된 복수의 깊이 평면 영역과 복수의 컬러 평면 영역 간의 매칭을 통해 더욱 정확한 변환 행렬을 생성할 수 있다.
다른 실시예로, 평면 영역 매칭부(180)는 상기 생성된 변환 행렬을 이용하여 상기 깊이 평면 영역과 상기 컬러 평면 영역이 잘 매칭되는지 여부를 판단하고, 판단 결과에 따라 상기 변환 행렬을 조정할 수 있다. 따라서, 평면 영역 매칭부(180)는 상기 변환 행렬의 에러값을 구하여, 에러값에 따라 상기 변환 행렬을 조정할 수 있다.
Figure 112010071986567-pat00005
n은 각 특징점 개수이고, pi는 제1 컬러 카메라(컬러 카메라 i)에서 생성된 제1 컬러 영상으로부터 추출된 제1 컬러 특징점이고, pj는 제2 컬러 카메라(컬러 카메라 j)에서 생성된 제2 컬러 영상으로부터 추출된 제2 컬러 특징점이다. Gij는 상기 제1 컬러 특징점과 상기 제2 컬러 특징점을 매칭하는 3 X 3 호모그래피 행렬(Homography Matrix)이다. E2은 2차원 대칭 전송 에러(symmetry transfer error)를 의미하고, D2은 2차원에서의 거리를 의미한다.
예컨대, 평면 영역 매칭부(180)는 수학식 3을 통해 구한 에러값이 작은 변환 행렬을 구할 수 있다. 구체적으로, 평면 영역 매칭부(180)는 수학식 3을 통해 구한 에러값이 선정된 문턱값(Threshold)보다 작은 경우, 상기 생성된 변환 행렬을 그대로 이용할 수 있다. 또는, 평면 영역 매칭부(180)는 상기 에러값이 선정된 문턱값보다 큰 경우, 상기 변환 행렬을 조정할 수 있다. 문턱값은 영상의 특성에 따라 가변적으로 정해질 수 있는 것으로, 일정한 수치로 한정하지 않는다.
또 다른 실시예로, 평면 영역 매칭부(180)는 상기 컬러 평면 영역에 포함된 컬러 특징점을 상기 깊이 평면 영역에 포함된 깊이 특징점에 역투사(back-projection)하여, 상기 변환 행렬을 생성할 수 있다.
Figure 112010071986567-pat00006
n은 각 특징점 개수이고, pij는 두 대의 컬러 카메라(컬러 카메라 i, 컬러 카메라 j)에서 생성된 컬러 영상의 컬러 평면 영역으로부터 추출된 컬러 특징점(두 개가 한쌍인 컬러 특징점)을 의미하고, pk는 깊이 평면 영역으로부터 추출된 깊이 특징점(depth feature points)이다. H- 1는 상기 변환 행렬(H)의 역행렬이다. E3은 3차원 대칭 전송 에러를 의미하고, D3은 3차원에서의 거리를 의미한다.
실시예로, 평면 영역 매칭부(180)는 상기 컬러 특징점과 상기 컬러 특징점에 역투사된 깊이 특징점 간의 거리(
Figure 112010071986567-pat00007
), 또는 상기 깊이 특징점과 상기 깊이 특징점에 투사된 상기 컬러 특징점 간의 거리(
Figure 112010071986567-pat00008
)를 이용하여 상기 변환 행렬을 조정할 수 있다. 따라서, 평면 영역 매칭부(180)는 수학식 4를 통해 계산된 에러값이 최소가 되도록 상기 변환 행렬을 조정할 수 있다.
도 2는 컬러 카메라와 깊이 카메라로부터 각 평면 영역을 추출하는 일례를 도시한 도면이다.
도 2를 참고하면, 컬러 평면 영역 추출부(170)는 두 대의 컬러 카메라(컬러 카메라 1, 2)에서 생성한 컬러 영상들로부터 컬러 평면 영역(210)을 추출할 수 있다. 깊이 평면 영역 추출부(160)는 깊이 카메라(110)에서 생성한 깊이 영상으로부터 깊이 평면 영역(220)을 추출할 수 있다. 이때, 평면 영역 매칭부(180)는 컬러 평면 영역(210)과 깊이 평면 영역(220)간의 정확한 매칭을 위하여, 컬러 평면 영역(210)에 포함된 컬러 특징점들(211, 212)과 깊이 평면 영역(220)에 포함된 깊이 특징점들(221, 222)간의 관계를 이용하여 상기 변환 행렬(H)을 생성할 수 있다.
Figure 112010071986567-pat00009
Figure 112010071986567-pat00010
는 깊이 특징점을 의미하고, P는 컬러 특징점을 의미한다. 평면 영역 매칭부(180)는 수학식 5를 통해 깊이 특징점과 컬러 특징점을 이용하여 변환 행렬(H)을 구할 수 있다.
평면 영역 매칭부(180)는 상기 변환 행렬 H를 잘 모르기 때문에, 변환 행렬을 구하기 위해, 크로네커(Kronecker) 방식을 이용하여 수학식 6과 같은 단위 벡터(Identity Vector)를 도출할 수 있다. 예컨대, 크로네커 방식에 따른 단위 벡터는
Figure 112010071986567-pat00011
로 표현될 수 있다.
Figure 112010071986567-pat00012
h는 4 X 4 변환 행렬을 16 X 1 열벡터(column vector)로 표기한 것이다.
또한, 수학식 6은 깊이 평면 영역과 컬러 평면 영역에 포함된 복수의 특징점들과 연관된 변환 행렬을 구하기 위해, 다음과 같이 표현할 수 있다.
Figure 112010071986567-pat00013
N은 각 특징점 개수이고, pij는 두 대의 컬러 카메라(컬러 카메라 i, 컬러 카메라 j)에서 생성된 컬러 영상의 컬러 평면 영역으로부터 추출된 컬러 특징점(두 개가 한쌍인 컬러 특징점)을 의미하고, pk는 깊이 평면 영역으로부터 추출된 깊이 특징점이다.
Figure 112010071986567-pat00014
은 N에 대응하는 6 X 16 행렬로 표현될 수 있다.
평면 영역 매칭부(180)는 수학식 7에서, SVD(Singular Value Decomposition) 방식의 6N X 16 행렬로부터 변환 행렬 'h'를 구할 수 있다. 예를 들어, 에러값이 최소가 되도록 하기 위하여,
Figure 112010071986567-pat00015
에서 N=5를 적용하면,
Figure 112010071986567-pat00016
는 30 X 16 행렬이 되고, N=20을 적용하면,
Figure 112010071986567-pat00017
는 120 X 16 행렬이 될 것이다.
교정(Calibration)부(190)는 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라(110)와 상기 컬러 영상을 생성하는 컬러 카메라(120)간을 교정한다. 교정부(190)는 상기 생성된 변환 행렬을 이용하여 깊이 카메라(110)와 컬러 카메라(120)간의 공간 거리를 교정하고, 교정된 후, 깊이 카메라(110)에서 생성된 깊이 영상과 컬러 카메라(120)에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성할 수 있다.
도 3은 깊이 평면 영역과 컬러 평면 영역을 매칭한 일례를 도시한 도면이다.
도 3을 참조하면, 평면 영역 매칭부(180)는 깊이 평면 영역과 컬러 평면 영역을 매칭하여, 공간상으로 서로 떨어진 카메라에서 촬영된 영상들을 매칭할 수 있다. 예컨대, 평면 영역 매칭부(180)는 오른쪽에 있는 깊이 특징점들을 왼쪽에 있는 컬러 특징점들로 매칭시킬 수 있다.
도 4는 본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 방법의 순서를 도시한 흐름도이다.
도 4를 참조하면, 단계 410에서, 이종 카메라간 교정 장치(100)는 깊이 영상으로부터 깊이 평면 영역을 추출하고, 컬러 영상으로부터 컬러 평면 영역을 추출할 수 있다. 상기에서도 설명한 바와 같이, 깊이 영상은 3차원 영상이기 때문에, 깊이 평면 영역을 추출하기 용이하다. 반면, 컬러 영상은 색상으로 표현된 영상이기 때문에, 컬러 평면 영역을 추출하기 용이하지 않다. 이 경우, 이종 카메라간 교정 장치(100)는 하나 이상의 컬러 카메라로부터 획득한 컬러 영상으로부터 컬러 특징점을 추출하고, 상기 추출된 컬러 특징점을 이용하여 상기 컬러 평면 영역을 추출할 수 있다.
단계 420에서, 이종 카메라간 교정 장치(100)는 상기 추출된 깊이 평면 영역과 상기 컬러 평면 영역들을 매칭하여 변환 행렬(H)을 생성할 수 있다. 변환 행렬은 알려지지 않은 행렬로서, 이종 카메라간 교정 장치(100)는 상기 깊이 평면 영역과 상기 컬러 평면 영역 간의 매칭을 통해 상기 변환 행렬을 구할 수 있다. 변환 행렬을 구하는 구체적인 실시예는 도 1을 통해 충분히 설명하였으므로, 이하에서는 설명을 생략한다.
단계 430에서, 이종 카메라간 교정 장치(100)는 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라(110)와 상기 컬러 영상을 생성하는 컬러 카메라(120)간을 교정할 수 있다. 즉, 이종 카메라간 교정 장치(100)는 상기 생성된 변환 행렬을 이용하여 깊이 카메라(110)와 컬러 카메라(120)간의 공간 거리를 교정함으로써, 깊이 카메라(110)에서 생성된 깊이 영상과 컬러 카메라(120)에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 평면 영역을 이용한 이종 카메라간 교정 장치
110: 깊이 카메라 120: 컬러 카메라
130: 깊이 영상 획득부 140: 컬러 영상 획득부
150: 포인트 추출부 160: 깊이 평면 영역 추출부
170: 컬러 평면 영역 추출부 180: 평면 영역 매칭부
190: 교정부

Claims (12)

  1. 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하는 변환 행렬을 생성하는 평면 영역 매칭부; 및
    상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정(Calibration)하는 교정부
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  2. 제1항에 있어서,
    상기 평면 영역 매칭부는,
    상이한 복수의 각도에 대해 순차적으로 추출된 깊이 평면 영역과 컬러 평면 영역을 각각 매칭하여, 상기 변환 행렬을 생성하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  3. 제1항에 있어서,
    하나 이상의 상기 컬러 카메라로부터 획득한 컬러 영상으로부터 컬러 특징점을 추출하는 포인트 추출부; 및
    상기 추출된 컬러 특징점을 이용하여 상기 컬러 평면 영역을 추출하는 컬러 평면 영역 추출부
    를 더 포함하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  4. 제3항에 있어서,
    상기 컬러 평면 영역 추출부는,
    제1 컬러 카메라에서 추출된 제1 컬러 특징점과 제2 컬러 카메라에서 추출된 제2 컬러 특징점간의 기본 행렬을 이용하여 상기 컬러 평면 영역을 추출하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  5. 제1항에 있어서,
    상기 평면 영역 매칭부는,
    상기 컬러 평면 영역에 포함된 컬러 특징점을 상기 깊이 평면 영역에 포함된 깊이 특징점에 역투사(back-projection)하여, 상기 변환 행렬을 생성하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  6. 제5항에 있어서,
    상기 평면 영역 매칭부는,
    상기 컬러 특징점과 상기 컬러 특징점에 역투사된 깊이 특징점 간의 거리, 또는 상기 깊이 특징점과 상기 깊이 특징점에 투사된 상기 컬러 특징점 간의 거리를 이용하여 상기 변환 행렬을 조정하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  7. 제1항에 있어서,
    상기 교정부는,
    상기 생성된 변환 행렬을 이용하여 상기 깊이 카메라와 상기 컬러 카메라간의 공간 거리(distance)를 교정하고, 상기 교정된 깊이 카메라에서 생성된 깊이 영상과 상기 교정된 컬러 카메라에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  8. 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하는 변환 행렬을 생성하는 단계; 및
    상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정(Calibration)하는 단계
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
  9. 제8항에 있어서,
    상기 변환 행렬을 생성하는 단계는,
    상이한 복수의 각도에 대해 순차적으로 추출된 깊이 평면 영역과 컬러 평면 영역을 각각 매칭하여, 상기 변환 행렬을 생성하는 단계
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
  10. 제8항에 있어서,
    상기 변환 행렬을 생성하는 단계는,
    상기 컬러 평면 영역에 포함된 컬러 특징점을 상기 깊이 평면 영역에 포함된 깊이 특징점에 역투사(back-projection)하여, 상기 변환 행렬을 생성하는 단계
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
  11. 제10항에 있어서,
    상기 컬러 특징점과 상기 컬러 특징점에 역투사된 깊이 특징점 간의 거리, 또는 상기 깊이 특징점과 상기 깊이 특징점에 투사된 상기 컬러 특징점 간의 거리를 이용하여 상기 변환 행렬을 조정하는 단계
    를 더 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
  12. 제8항에 있어서,
    상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정하는 단계는,
    상기 생성된 변환 행렬을 이용하여 상기 깊이 카메라와 상기 컬러 카메라간의 공간 거리를 교정하는 단계; 및
    상기 교정된 깊이 카메라에서 생성된 깊이 영상과 상기 교정된 컬러 카메라에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성하는 단계
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
KR1020100109060A 2010-11-04 2010-11-04 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치 KR101666932B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100109060A KR101666932B1 (ko) 2010-11-04 2010-11-04 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100109060A KR101666932B1 (ko) 2010-11-04 2010-11-04 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120047482A KR20120047482A (ko) 2012-05-14
KR101666932B1 true KR101666932B1 (ko) 2016-10-17

Family

ID=46266213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100109060A KR101666932B1 (ko) 2010-11-04 2010-11-04 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101666932B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846919B2 (en) 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
CN106780618B (zh) * 2016-11-24 2020-11-03 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
KR101978830B1 (ko) * 2017-12-19 2019-05-15 전자부품연구원 이종 센서의 감지 결과 정합 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027507A (ja) 2000-07-13 2002-01-25 Sony Corp カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2005228134A (ja) 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 画象処理装置、画像処理方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027507A (ja) 2000-07-13 2002-01-25 Sony Corp カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2005228134A (ja) 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 画象処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
KR20120047482A (ko) 2012-05-14

Similar Documents

Publication Publication Date Title
JP6722323B2 (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
US20180165875A1 (en) Apparatus for reconstructing 3d model and method for using the same
CN109313814B (zh) 照相机校准系统
EP3754295B1 (en) Three-dimensional measuring system and three-dimensional measuring method
Esquivel et al. Calibration of a multi-camera rig from non-overlapping views
JP5158223B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
CN104374338B (zh) 一种基于固定相机和单靶标的单轴旋转角的视觉测量方法
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
WO2018135510A1 (ja) 三次元再構成方法及び三次元再構成装置
JP7227969B2 (ja) 三次元再構成方法および三次元再構成装置
JP5106375B2 (ja) ３次元形状復元装置及びそのプログラム
CN102547121B (zh) 拍摄参数取得装置、拍摄参数取得方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
KR101932547B1 (ko) 카메라 시스템 및 이의 영상 정합 방법
JP6641729B2 (ja) ラインセンサカメラのキャリブレーション装置及び方法
KR20210056149A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN106323241A (zh) 一种通过监控视频或车载摄像头测量人或物体三维的方法
KR101592405B1 (ko) 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN106557004A (zh) 一种全息投影方法及装置
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
Zhao et al. A flexible method combining camera calibration and hand–eye calibration
Bethmann et al. Least-squares matching with advanced geometric transformation models
KR101666932B1 (ko) 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101104

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150326

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20101104

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160316

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160711

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161011

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161012

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190910

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210722