KR101675112B1

KR101675112B1 - 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치

Info

Publication number: KR101675112B1
Application number: KR1020100005753A
Authority: KR
Inventors: 박용화; 유장우
Original assignee: 삼성전자주식회사
Priority date: 2010-01-21
Filing date: 2010-01-21
Publication date: 2016-11-22
Also published as: KR20110085785A; JP5739174B2; JP2011149942A; US8611610B2; US20110176709A1

Abstract

거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치가 개시된다. 개시된 방법에 따르면, 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 광학 장치와 피사체 사이의 거리 정보를 추출한다. 따라서, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있으며, 왜곡 및 비선형성이 거의 없는 고가의 광원이나 광변조 소자를 사용할 필요가 없고, 복잡한 오차 보상 수단이 요구되지 않는다. 따라서, 기존의 광원, 광변조 소자 및 광학 장치를 그대로 이용할 수 있어서 추가 비용이 소요되지 않는다. 더욱이, 미리 계산된 거리 정보가 저장되어 있는 룩업 테이블을 사용하기 때문에, 거리 정보를 추출하는데 있어서 연산량이 매우 작으므로 실시간 거리 정보 영상의 촬영이 가능하다.

Description

거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치{Method of extractig depth information and optical apparatus employing the method}

개시된 내용은 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치에 관한 것으로, 더욱 상세하게는 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 광학 장치와 피사체 사이의 거리 정보를 추출하는 방법 및 상기 방법을 채용한 광학 장치에 관한 것이다.

피사체(object)와의 거리 정보를 획득할 수 있는 3D 카메라나 레이저 레이더(Laser Radar; LADAR)에 관한 연구가 최근 증가하는 추세이다. 일반적으로, 피사체에 대한 거리 정보는, 두 대의 카메라를 이용한 양안 입체시(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 그러나 이러한 방법은 피사체의 거리가 멀어질수록 거리 정보에 대한 정확도가 급격히 저하되고 피사체의 표면 상태에 의존적이어서 정밀한 거리 정보를 얻기 어렵다.

이러한 문제를 개선하기 위하여 광시간비행법(Time-of-Flight; TOF)이 도입되었다. TOF 방법은 레이저 빔을 피사체에 조사한 후, 피사체로부터 반사되는 광이 수광부에서 수광되기까지의 광 비행시간을 측정하는 방법이다. TOF 방법에 따르면, 기본적으로 특정 파장의 빛(예컨대, 850nm의 근적외선)을 발광 다이오드(LED) 또는 레이저 다이오드(LD)를 이용하여 피사체에 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 수광부에서 수광한 후, 거리 정보를 추출하기 위한 특별한 처리 과정을 거치게 된다. 이러한 일련의 광 처리 과정에 따라 다양한 TOF 방법이 소개되었다.

예를 들어, SLP(Shuttered Light Pulse) 방법은 피사체로부터 반사된 영상을 영상증배관(Image Intensifier) 또는 다른 특별한 고체 변조기 소자를 이용하여 광변조한 후, 광변조된 영상을 이미지 센서로 촬영하여 그 세기 값으로부터 거리 정보를 얻는 방법이다. 이 방법의 경우, 거리에 따른 빛의 위상차 또는 이동 시간을 식별하기 위해 수십~수백 MHz의 초고속의 광변조 속도가 필요하다. 이를 위해, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관을 사용하거나, GaAs 계열의 고체 변조기 소자를 사용한다. 최근에는, 특성이 개선된 GaAs 기반의 변조기 소자 및 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자가 제시되었다.

한편, 거리 정보 추출을 위한 광처리 과정에 있어서, 광원과 광변조 소자를 펄스 구동하는 방법, 삼각형파(예컨대, 램프(ramp) 파형) 등의 특별한 파형을 이용하는 방법, 또는 사인파를 사용하는 방법 등이 소개되었다. 또한 각각의 사용 파형에 따라 광원과 광변조 소자의 다양한 구동 방법이 소개되어 있으며, 촬영된 세기 값으로부터 거리 정보를 추출하기 위한 다양한 알고리즘이 소개되어 있다.

그런데, 상술한 TOF 방법에서는, 사용된 특정한 파형 즉, 펄스, 삼각형파, 사인파 등이 이상적인 파형을 갖는 것으로 가정하고 거리 정보를 추출하였다. 그러나 실제로는, 광원 또는 광변조 소자의 작동 오차 및 비선형성 등으로 인하여 정확한 이상적인 파형의 구현이 실질적으로 어려울 수가 있다. 예를 들어, LED 광원은 문턱 전류 이상에서 작동하며, 작동 구간 내에서도 입력 전류에 대한 출력 광파워의 비선형성 및 포화(saturation) 등이 존재 한다. 광변조 소자도 역시 작동 구간 내에서 광변조의 이득(gain)이 선형적이지 않은 경우가 많다. 특히, 고전압 또는 고전류를 사용하는 경우에, 구동 회로의 설계에 따라 비선형성 또는 작동 오차가 커질 수 있다. 이러한 작동 오차는 거리 정보 추출 결과에 직접적인 영향을 주며, 따라서 오차의 요인으로 작용한다. 이에 따라, 매우 정확한 이상적인 파형을 발생시킬 수 있는 고가의 파형 발생기를 사용하거나, 또는 오차를 보상하기 위한 복잡한 추가적인 알고리즘 및 구동 회로가 요구될 수 있다.

수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 광학 장치와 피사체 사이의 거리 정보를 추출하는 방법을 제공한다.

또한, 상기 방법을 채용하여 거리 정보를 추출할 수 있는 광학 장치를 제공한다.

일 유형에 따른 거리 정보 추출 방법은, 적어도 3개의 상이한 투사광을 순차적으로 피사체에 각각 투사하는 단계; 피사체에서 반사된 반사광을 이득 파형을 갖는 광변조기로 변조하는 단계; 상기 변조된 반사광을 광검출기에서 검출하여 상기 적어도 3개의 상이한 투사광에 각각 대응하는 적어도 3개의 세기 영상을 얻는 단계; 상기 적어도 3개의 세기 영상을 이용하여 반사광의 위상 지연을 구하는 단계; 및 상기 위상 지연으로부터 피사체까지의 거리를 계산하는 단계를 포함할 수 있다. 여기서, 상기 위상 지연을 구하는 단계는 상기 적어도 3개의 상이한 투사광과 이득 파형을 미리 실측하여 구성한 룩업 테이블을 참조하여 이루어질 수 있다.

여기서, 상기 적어도 3개의 상이한 투사광과 상기 광변조기의 이득 파형은 동일한 주기를 가질 수 있다.

예컨대, 상기 적어도 3개의 상이한 투사광은 파형이 동일하고 위상이 서로 다르거나 또는 파형이 서로 다를 수 있다.

상기 적어도 3개의 상이한 투사광은 그 평균값이 서로 같도록 제어될 수 있다.

상기 광검출기는 상기 적어도 3개의 상이한 투사광과 각각 대응하는 적어도 3개의 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여 상기 적어도 3개의 상이한 투사광에 각각 대응하는 적어도 3개의 세기 영상을 형성할 수 있다.

상술한 거리 정보 추출 방법은 상기 위상 지연으로부터 피사체의 반사도, 및 투과광/반사광 이외의 성분인 외광의 크기를 구하는 단계를 더 포함할 수 있다.

상기 위상 지연을 구하는 단계는, 상기 적어도 3개의 세기 영상을 이용하여 3차원 공간 상의 세기 영상 벡터를 구성하는 단계; 상기 세기 영상 벡터가 3차원 공간 상의 기준 벡터로부터 기울어진 각도를 구하는 단계; 및 상기 기울어진 각도로 상기 룩업 테이블을 참조하여 반사광의 위상 지연을 구하는 단계를 포함할 수 있다.

이 경우, 상기 룩업 테이블은 상기 기울어진 각도와 반사광의 위상 지연 사이의 미리 결정된 관계를 포함할 수 있다.

또한, 상기 세기 영상 벡터는 상기 적어도 3개의 세기 영상들의 크기들 사이의 차들의 조합으로 구성될 수 있다.

예를 들어, 상기 적어도 3개의 투사광과 이득 파형의 상이한 조합별로 각각 별도의 룩업 테이블이 존재할 수 있으며, 상기 적어도 3개의 투사광과 이득 파형의 특정한 조합에 따라 그에 해당하는 룩업 테이블을 참조할 수 있다.

한편, 상기 룩업 테이블의 구성 방법은, 상기 적어도 3개의 상이한 투사광과 상기 광변조기의 이득 파형을 측정하여 각각의 투사광과 이득 파형을 나타내는 다항식을 각각 구하는 단계; 상기 적어도 3개의 상이한 투사광과 상기 광변조기의 이득 파형에 관한 다항식을 이용하여 적어도 3개의 세기 영상에 관한 다항식을 구하는 단계; 상기 적어도 3개의 세기 영상에 관한 다항식을 각각 위상 지연에 관한 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계; 상기 위상 지연에 관한 적어도 3개의 함수들 사이의 차들의 조합을 이용하여 3차원 공간 상에 위상 지연에 관한 벡터 함수를 정의하고, 특정한 벡터를 기준 벡터로서 정의하는 단계; 상기 적어도 3개의 세기 영상에 관한 다항식들 사이의 차들의 조합으로 3차원 공간 상에 세기 영상 벡터를 정의하는 단계; 세기 영상 벡터가 기준 벡터로부터 기울어진 각도와 상기 각도에 대응하는 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및 상기 해석적으로 결정된 관계를 표 또는 함수로 나타내는 단계를 포함할 수 있다.

여기서, 상기 세기 영상에 관한 다항식을 구하는 단계는, 상기 적어도 3개의 상이한 투사광이 피사체에서 반사된 후의 반사광에 관한 일반적인 다항식을 상기 적어도 3개의 상이한 투사광에 관한 다항식으로부터 유도하는 단계; 상기 반사광에 관한 다항식과 상기 이득 파형에 관한 다항식을 곱하여 광변조된 광에 대한 다항식을 구하는 단계; 및 상기 광변조된 광에 대한 다항식을 광검출기에서의 노출 시간으로 적분하여 상기 적어도 3개의 상이한 투사광에 각각 대응하는 적어도 3개의 세기 영상에 관한 다항식을 구하는 단계를 포함할 수 있다.

또한, 상기 적어도 3개의 상이한 투사광과 상기 광변조기의 이득 파형을 측정하여 각각의 투사광과 이득 파형을 나타내는 다항식을 각각 구하는 단계는, 상기 적어도 3개의 상이한 투사광을 각각 측정하는 단계; 상기 각각의 투사광을 측정한 결과를 시간 축상 직교하는 함수로 나타내는 단계; 상기 광변조기의 이득 파형을 측정하는 단계; 및 상기 이득 파형을 측정한 결과를 시간 축상 직교하는 함수로 나타내는 단계를 포함할 수 있다.

여기서, 상기 각각의 투사광을 측정한 결과를 시간 축상 직교하는 함수로 나타내는 단계는, 푸리에 급수의 사인항의 계수와 코사인항의 계수 또는 체비셰프 다항식의 계수를 결정함으로써 각각의 투사광에 대한 다항식을 구하는 단계를 포함할 수 있다.

또한, 상기 이득 파형을 측정한 결과를 시간 축상 직교하는 함수로 나타내는 단계는, 푸리에 급수의 사인항의 계수와 코사인항의 계수 또는 체비셰프 다항식의 계수를 결정함으로써 이득 파형에 대한 다항식을 구하는 단계를 포함할 수 있다.

또한, 상기 룩업 테이블의 구성 방법은, 상기 각각의 투사광과 이득 파형을 측정한 결과로부터 각각의 투사광의 평균값과 이득 파형의 평균값을 결정하는 단계를 더 포함할 수 있다.

상기 적어도 3개의 세기 영상에 관한 다항식을 각각 위상 지연에 관한 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계는 상기 적어도 3개의 세기 영상에 관한 다항식에 존재하는 직류 항만을 고려할 수 있다.

예를 들어, 상기 차원 공간 상의 위상 지연에 관한 벡터 함수는

와 같이 정의될 수 있으며, 여기서

이고(i,j=1,2,3), F⁽ⁱ⁾(Φ_TOF)는 i번째 투사광에 대한 위상 지연에 관한 함수를 나타낸다.

예를 들어, 상기 위상 지연에 관한 벡터 함수 중에서 위상 지연 Φ_TOF=0인 벡터

를 기준 벡터로 정의할 수 있다.

또한, 상기 3차원 공간 상의 세기 영상 벡터는

와 같이 정의될 수 있으며, 여기서

이고(i,j=1,2,3), I⁽ⁱ⁾ _CCD는 i번째 투사광에 대한 세기 영상을 나타낸다.

한편, 다른 유형에 따른 거리 정보 추출 방법은, 하나의 주기적인 파형을 갖는 투사광을 피사체에 투사하는 단계; 피사체에서 반사된 반사광을 적어도 3개의 상이한 이득 파형을 갖는 광변조기로 순차적으로 변조하는 단계; 상기 변조된 반사광을 광검출기에서 검출하여 상기 적어도 3개의 상이한 이득 파형에 각각 대응하는 적어도 3개의 세기 영상을 얻는 단계; 상기 적어도 3개의 세기 영상을 이용하여 반사광의 위상 지연을 구하는 단계; 및 상기 위상 지연으로부터 피사체까지의 거리를 계산하는 단계를 포함할 수 있다. 여기서, 상기 위상 지연을 구하는 단계는 상기 투사광과 상기 적어도 3개의 상이한 이득 파형을 미리 실측하여 구성한 룩업 테이블을 참조할 수 있다.

또한, 상술한 거리 정보 추출 방법을 수행하기 위한 일 유형에 따른 광학 장치는, 주기적인 투사광을 발생시키는 광원; 피사체로부터 반사된 광을 주기적인 이득 파형으로 광변조하기 위한 광변조기; 상기 광변조기에 의해 광변조된 영상을 검출하기 위한 광검출기; 및 상기 광검출기의 출력을 기초로 피사체와의 거리를 계산하기 위한 거리정보영상 처리기를 포함할 수 있다.

또한 상기 광학 장치는, 상기 광원을 구동시켜 투사광의 파형을 제어하는 광원 구동부; 상기 광변조기를 구동시켜 이득 파형을 제어하는 광변조기 구동부; 및 상기 광원 구동부, 광변조기 구동부 및 광검출기의 동작을 제어하기 위한 제어부를 더 포함할 수 있다.

또한 상기 광학 장치는, 상기 광변조기의 광입사면에서 반사광을 광변조기의 영역 내에 집광하는 제 1 렌즈; 상기 제 1 렌즈와 광변조기 사이에서 소정의 파장을 갖는 광만을 투과시키는 필터; 및 상기 광변조기와 광검출기 사이에서 상기 광변조된 영상을 광검출기의 영역 내에 집광하는 제 2 렌즈를 더 포함할 수 있다.

또한, 상기 광검출기는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토다이오드 어레이를 사용하거나 또는 단일 지점의 거리 측정을 위한 1개의 포토다이오드를 사용할 수 있다.

이러한 구성의 광학 장치는 예를 들어 3D 카메라나 레이저 레이더(LADAR)에서 사용될 수 있다.

한편, 또 다른 유형의 룩업 테이블 구성 방법은, 하나의 투사광 및 광변조기의 적어도 3개의 상이한 이득 파형을 측정하여 각각의 투사광과 이득 파형을 나타내는 다항식을 각각 구하는 단계; 상기 투사광과 상기 광변조기의 적어도 3개의 상이한 이득 파형에 관한 다항식을 이용하여 적어도 3개의 세기 영상에 관한 다항식을 구하는 단계; 상기 적어도 3개의 세기 영상에 관한 다항식을 각각 위상 지연에 관한 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계; 상기 위상 지연에 관한 적어도 3개의 함수들 사이의 차들의 조합을 이용하여 3차원 공간 상에 위상 지연에 관한 벡터 함수를 정의하고, 특정한 벡터를 기준 벡터로서 정의하는 단계; 상기 적어도 3개의 세기 영상에 관한 다항식들 사이의 차들의 조합으로 3차원 공간 상에 세기 영상 벡터를 정의하는 단계; 세기 영상 벡터가 기준 벡터로부터 기울어진 각도와 상기 각도에 대응하는 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및 상기 해석적으로 결정된 관계를 표 또는 함수의 형태로 나타내는 단계를 포함할 수 있다.

또한, 일 유형에 따른 저장 매체는 상술한 방법으로 구성된 룩업 테이블을 저장할 수 있다.

개시된 방법에 따르면, 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 고려하여 거리 정보를 추출하기 때문에, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있다. 그 결과, 왜곡 및 비선형성이 거의 없는 고가의 광원이나 광변조 소자를 사용할 필요가 없으며, 복잡한 오차 보상 수단이 요구되지 않는다. 따라서, 기존의 광원, 광변조 소자 및 광학 장치를 그대로 이용할 수 있어서 추가 비용이 소요되지 않는다. 더욱이, 미리 계산된 거리 정보가 저장되어 있는 룩업 테이블을 사용하기 때문에, 거리 정보를 추출하는데 있어서 연산량이 매우 작으므로 실시간 거리 정보 영상(depth image)의 촬영이 가능하다.

도 1은 광시간비행법(TOF)을 이용하여 거리 정보를 추출할 수 있는 광학 장치의 예시적인 구조를 개략적으로 도시한다.
도 2는 광원에서 실제로 출력된 출력광과 이상적인 사인파 출력광을 예시한다.
도 3은 광변조기의 투과율의 시간축 파형을 예시적으로 도시한다.
도 4는 광원에서 발생하는 3개의 투사광의 형태를 예시적으로 도시한다.
도 5는 3개의 상이한 반사광을 변조한 후 광검출기에서 3개의 상이한 세기 영상을 생성하는 과정을 도시한다.
도 6은 3개의 세기 영상으로 거리 정보를 갖는 영상을 생성하는 과정을 개략적으로 도시한다.
도 7은 하나의 동일한 투사광과 3개의 상이한 변조로 3개의 상이한 세기 영상을 생성하는 과정을 도시한다.
도 8은 룩업 테이블의 구성을 위해 위상 지연을 변수로서 갖는 벡터 함수와 세기 영상에 관한 벡터를 3차원 공간 상에 표시한 예를 도시한다.
도 9는 룩업 테이블을 예시적으로 도시하는 그래프이다.
도 10은 룩업 테이블을 구성하는 과정을 개략적으로 보이는 흐름도이다.
도 11은 룩업 테이블을 이용하여 거리 정보를 추출하는 과정을 개략적으로 보이는 흐름도이다.
도 12는 시뮬레이션을 통해 거리 정보를 추출한 결과를 참값과 비교한 그래프이다.
도 13은 도 12의 거리 정보 추출 결과와 참값과의 오차를 나타낸 그래프이다.
도 14는 실험을 위해 레이저 다이오드의 광출력을 측정한 결과이다.
도 15는 도 14의 레이저 다이오드의 광출력 스펙트럼을 고속 푸리에 변환으로 분석한 결과이다.
도 16은 광변조기의 변조 이득 파형을 측정한 결과이다.
도 17은 도 16의 이득 파형 스펙트럼을 고속 푸리에 변환을 통해 분석한 결과이다.
도 18에는 개시된 거리 정보 추출 알고리즘에 따라 파형의 왜곡을 고려한 결과와 이상적인 파형만을 고려한 결과를 비교하는 그래프이다.

이하, 첨부된 도면들을 참조하여, 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.

1. 광학 장치의 구조 및 동작

먼저, 도 1은 광시간비행법(TOF)을 이용하여 거리 정보를 추출할 수 있는 광학 장치(100)의 예시적인 구조를 개략적으로 도시하고 있다. 도 1을 참조하면, 상기 광학 장치(100)는 소정의 파장을 갖는 광을 발생시키는 광원(101), 상기 광원(101)을 구동시키기 위한 광원 구동부(102), 피사체(200)로부터 반사된 광을 광변조하기 위한 광변조기(103), 광변조기(103)를 구동시키기 위한 광변조기 구동부(104), 광변조기(103)에 의해 광변조된 영상을 검출하기 위한 광검출기(105), 상기 광원 구동부(102), 광변조기 구동부(104) 및 광검출기(105)의 동작을 제어하기 위한 제어부(106), 및 광검출기(105)의 출력을 기초로 거리 정보를 계산하기 위한 거리정보영상 처리기(depth image processor)(107)를 포함할 수 있다. 또한, 상기 광변조기(103)의 광입사면에는 반사광을 광변조기(103)의 영역 내에 집광하기 위한 제 1 렌즈(108)와 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 광변조기(103)와 광검출기(105) 사이에는 광변조된 영상을 광검출기(105)의 영역 내에 집광하기 위한 제 2 렌즈(110)가 더 배치될 수 있다.

광원(101)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(102)는 제어부(106)로부터 수신된 제어 신호에 따라 광원(101)을 예를 들어 크기 변조(Amplitude Modulation) 방식으로 구동할 수 있다. 이에 따라, 광원(101)으로부터 피사체(200)로 투사되는 투사광은 소정의 주기(Te)를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광은 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.

앞서 설명한 바와 같이, 지금까지 제안된 거리 정보 추출 방법들의 경우, 광원이 이상적인 형태의 사인파, 램프파, 사각파 등을 투사광으로서 출력하는 것으로 가정하였다. 그러나 실제의 광원은, 광원 자체의 동작 비선형성 및 신호 왜곡 등에 의해, 이상적인 파형을 구동신호로 입력하는 경우에도 이상적인 파형을 그대로 출력하지 않는다. 이는 거리 정보를 추출하는데 있어서 오차의 요소로서 작용한다. 도 2는 광원에서 실제로 출력된 출력광과 이상적인 사인파 출력광을 예시하고 있다. 도 2에서 점선으로 표시된 것은 이상적인 사인파 출력광을 나타내며, 실선으로 표시된 것은 실제의 출력광을 나타낸다. 도 2에 도시된 실제 출력광을 보면, 이상적인 사인파에 비하여, 실제 출력광은 왜곡과 DC-오프셋을 갖는다는 것을 알 수 있다. 이에 따라, 측정 정밀도를 높이기 위하여, 이상적인 파형을 발생시킬 수 있는 고가의 파형 발생기나 고가의 광원이 요구될 수 있다.

도 1에 도시된 광학 장치(100)의 경우, 후술하는 바와 같이 실제의 출력 파형을 측정하고 그 측정 결과를 거리 정보 계산에 적용한다. 따라서, 상기 광학 장치(100)는 왜곡과 DC-오프셋이 있는 출력광을 그대로 이용할 수 있으므로, 상술한 고가의 파형 발생기나 고가의 광원을 사용하지 않는다. 또한, 상기 광학 장치(100)의 광원(101)은 단일한 파형이 아닌 사인파, 램프파, 사각파 등을 조합한 일반적인 파형을 갖는 광을 투사광으로서 출력할 수도 있다.

한편 광변조기(103)는 피사체(200)로부터 반사된 광을 광변조기 구동부(104)의 제어에 따라 광변조한다. 광변조기 구동부(104)는 제어부(106)로부터 수신된 제어 신호에 따라 광변조기(103)를 구동시킨다. 예를 들어, 광변조기(103)는 광변조기 구동부(104)에 의해 제공된 소정의 파형을 갖는 광변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위하여, 광변조기(103)는 가변 이득(gain)을 갖는 투과 필터의 역할을 할 수 있다. 광변조기(103)는 거리에 따른 빛의 위상차 또는 이동 시간을 식별하기 위해 수십~수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 광변조기(103)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등이 사용될 수 있다. 도 1에는 광변조기(103)가 투과형인 것으로 도시되어 있지만, 반사형 광변조기를 사용하는 것도 가능하다.

도 3은 광변조기(103)의 주기적인 이득 변화 즉, 투과율의 시간축 파형을 예시적으로 도시하고 있다. 여기서, 광변조기(103)의 동작 주파수는 광원(101)의 동작 주파수(fe)와 같도록 구성된다. 도 3에서 점선으로 표시된 것은 광변조기(103)의 이상적인 이득 변화를 나타내며, 실선으로 표시된 것은 광변조기(103)의 실제 이득 변화를 나타낸다. 광원(101)과 마찬가지로, 광변조기(103)도 역시 소자 구조에 따라 비선형성과 DC-오프셋을 갖는다. 따라서, 도 3에 도시된 바와 같이, 광변조기(103)의 실제 이득 변화에는 이상적인 광변조기의 이득 변화와 달리 왜곡이 존재하게 된다. 지금까지 제안된 거리 정보 추출 방법들의 경우, 광변조기의 이득 변화가 이상적이라고 가정하였기 때문에, 이러한 광변조기(103)의 비선형성과 DC-오프셋도 역시 오차의 원인이 된다. 도 1에 도시된 광학 장치(100)의 경우, 후술하는 바와 같이 광변조기(103)의 실제 이득 변화를 측정하고, 그 측정 결과를 거리 정보 계산에 반영한다. 따라서, 상기 광학 장치(100)는 왜곡이 존재하는 일반적인 광변조기를 그대로 이용할 수 있다. 또한, 광변조기(103)의 이득 파형은 사인파 형태뿐만 아니라 다양한 형태의 파형을 가질 수도 있다.

광검출기(105)는 광변조기(103)에 의해 광변조된 영상을 제어부(106)의 제어에 따라 검출하는 역할을 한다. 만약 피사체(200)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 광검출기(105)는 예를 들어 포토다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체(200) 상의 다수의 점들까지의 거리들을 동시에 측정하고자 하는 경우에는, 광검출기(105)는 다수의 포토다이오드들의 2차원 또는 1차원 어레이 또는 다른 1차원이나 2차원 광검출 어레이를 가질 수도 있다. 예를 들어, 광검출기(105)는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서 또는 CMOS 이미지 센서일 수도 있다. 특히, CCD 이미지 센서 또는 CMOS 이미지 센서와 같은 광검출 어레이를 사용할 경우, 광학 장치(100)는 깊이 정보를 갖는 3D 영상을 촬영할 수 있는 3D 카메라에 적용될 수 있다.

거리정보영상 처리기(107)는 상기 광검출기(105)의 출력을 기초로, 후술할 거리 정보 추출 알고리즘에 따라 거리 정보를 계산하는 역할을 한다. 거리정보영상 처리기(107)는 예를 들어 전용의 집적회로(IC)으로 구현될 수도 있으며, 또는 개인용 컴퓨터와 같은 일반적인 컴퓨터 장치로도 구현될 수도 있다.

이하에서는, 상술한 구조를 갖는 광학 장치(100)의 동작을 개략적으로 설명한다.

먼저, 광원(101)은 제어부(106) 및 광원 구동부(102)의 제어에 따라 소정의 주기(Te) 및 소정의 파형을 갖는 3종류 이상의 상이한 투사광을 서로 다른 시간 동안 차례로 발생시킨다. 이렇게 발생한 3종류 이상의 투사광은 피사체(200)에 차례로 투사된다. 예를 들어 3개의 상이한 투사광을 사용하는 경우, 시간 T1 동안 제 1 투사광을 발생시켜 피사체(200)에 투사시키고, 다음의 시간 T2 동안 제 2 투사광을 발생시켜 피사체(200)에 투사시키고, 이어서 시간 T3 동안 제 3 투사광을 발생시켜 피사체(200)에 투사시킬 수 있다. 3종류 이상의 상이한 투사광은 다양한 방식으로 구현될 수 있다. 예를 들어, 3종류 이상의 투사광은 동일한 파형을 가지면서 단순히 위상만이 다를 수도 있다. 그러나 더욱 정확한 거리 측정을 위하여 파형 자체가 다른 3종류 이상의 투사광을 발생시킬 수도 있다. 파형의 형태 및 주기와 위상의 크기에는 특별한 제한이 없지만, 모든 투사광들은 동일한 주기의 파형을 갖는다.

도 4는 광원(101)에서 발생할 수 있는 3개의 투사광의 형태를 예시적으로 도시하고 있다. 도 4를 참조하면, 제 1 투사광과 제 3 투사광은 비선형적으로 변형된 삼각파의 파형에 가까우며 그 위상이 다르다. 또한, 제 2 투사광은 왜곡된 사각파의 파형에 가깝다. 비교를 위하여, 도 4에는 이상적인 형태의 삼각파가 점선으로 함께 표시되어 있다. 그 외에도, 예를 들어, 사인파, 삼각파, 사각파 및 이들의 조합파와 더불어서 왜곡이 존재하는 파형이 모두 사용 가능하다. 이러한 상이한 파형들의 사용은, 후술할 거리 정보 추출 알고리즘에서 설명하는 바와 같이, 실제의 출력 파형을 측정하고 그 측정 결과를 거리 정보 계산에 적용하기 때문에 가능한 것이다.

광원(101)으로부터 방출된 투사광은 피사체(200)의 표면에서 반사되어, 제 1 렌즈(108)로 입사한다. 일반적으로 실제의 피사체(200)는 광학 장치(100)로부터 촬영되는 표면까지의 거리, 즉 깊이(depth)가 서로 다른 다수의 표면들이 2차원 어레이를 이룰 것이지만, 도 1에는 설명의 단순화를 위하여 깊이(depth)가 서로 다른 5개의 표면(P1~P5)을 갖는 피사체(200)가 예시적으로 도시되어 있다. 투사광이 각각의 표면(P1~P5)에서 반사되면서, 상이하게 시간 지연된(즉, 위상이 상이한) 5개의 반사광이 발생한다. 예를 들어, 제 1 투사광이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 제 1 반사광이 발생하며, 제 2 투사광이 동일한 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 제 2 반사광이 발생하고, 마찬가지로 제 3 투사광도 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 제 3 반사광이 발생한다. 이때, 광학 장치(100)로부터의 거리가 가장 먼 표면(P1)에서 반사된 반사광은 TOF1 만큼의 시간 지연 후 제 1 렌즈(108)에 도달하고, 광학 장치(100)로부터의 거리가 가장 가까운 표면(P5)에서 반사된 반사광은 TOF1보다 작은 TOF5 만큼의 시간 지연 후 제 1 렌즈(108)에 도달할 것이다.

제 1 렌즈(108)는 반사광을 광변조기(103)의 영역 내에 포커싱한다. 제 1 렌즈(108)와 광변조기(103) 사이에는 사용 파장 이외의 배경광이나 잡광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 예를 들어, 광원(101)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 상기 필터(109)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 광변조기(103)에 입사하는 광은 광원(101)으로부터 방출되어 피사체(200)에서 반사된 광이 지배적일 수 있다. 도 1에는 제 1 렌즈(108)와 광변조기(103) 사이에 필터(109)가 배치된 것으로 도시되어 있지만, 제 1 렌즈(108)와 필터(109)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(109)를 먼저 통과한 근적외선광이 제 1 렌즈(108)에 의해 광변조기(103)로 포커싱될 수도 있다.

광변조기(103)는 소정의 파형을 갖는 광변조 신호로 반사광의 크기를 변조한다. 예를 들어, 반사광은 도 3에서 예시한 이득을 곱한 양만큼 광변조기(103)에 의해 크기가 변조될 수 있다. 여기서, 이득 파형의 주기는 투사광의 주기(Te)와 같다. 도 1에 도시된 예에서, 광변조기(103)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 제 1 반사광을 광변조하여 광검출기(105)에 제공하고, 이어서 5개의 제 2 반사광과 5개의 제 3 반사광을 차례로 광변조하여 광검출기(105)에 제공할 수 있다.

광변조기(103)에 의해 크기가 변조된 광은 제 2 렌즈(110)를 통과하면서 배율 조정 및 재포커싱된 후 광검출기(105)에 도달한다. 따라서, 변조된 광은 제 2 렌즈(110)에 의해 광검출기(105)의 영역 내에 집광된다. 광검출기(105)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 세기 영상(intensity image)을 생성한다. 예를 들어 광검출기(105)는, 도 5에서 (A)로 표시된 바와 같이, 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 제 1 반사광에 대해 변조된 광을 소정의 노출 시간 동안 수광하여 제 1 세기 영상(IIM1)을 생성한다. 이어서, 도 5에서 (B)로 표시된 바와 같이, 광검출기(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 제 2 반사광에 대해 변조된 광을 소정의 노출 시간 동안 수광하여 제 2 세기 영상(IIM2)을 생성한다. 다음으로, 도 5에서 (C)로 표시된 바와 같이, 광검출기(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 제 3 반사광에 대해 변조된 광을 소정의 노출 시간 동안 수광하여 제 3 세기 영상(IIM3)을 생성한다. 이러한 방식으로, 도 5에서 (D)로 표시된 바와 같이, 세 개의 상이한 세기 영상(IIM1,IIM2,IIM3)을 얻을 수 있다. 여기서, 각각의 세기 영상(IIM1,IIM2,IIM3)은 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 반사광에 대한 세기 정보(I1~I5)를 포함하고 있다.

거리 정보를 갖는 한 프레임의 영상을 얻기 위해서는 상술한 3개 이상의 세기 영상들이 필요하다. 도 1 및 도 5에서는, 3개의 투사광을 이용하여 3개의 세기 영상(IIM1,IIM2,IIM3)을 얻는 예가 도시되어 있다. 그러나, 4개 또는 그 이상의 투사광을 이용하여 4개 또는 그 이상의 세기 영상을 얻는 것도 가능하다. 각각의 세기 영상(IIM1,IIM2,IIM3)은 거리 정보를 갖는 한 프레임의 영상을 얻기 위한 서브 프레임(sub-frame)일 수 있다. 만약 한 프레임의 주기를 Td라고 한다면, 3개의 세기 영상(IIM1,IIM2,IIM3) 각각을 얻기 위한 광검출기(105)의 노출 시간(T)은 대략적으로 1/3*Td일 수 있다. 그러나 상기 세기 영상(IIM1,IIM2,IIM3)들을 얻기 위한 노출 시간들이 모두 동일할 필요는 없으며, 설계에 따라 임의로 선택될 수도 있다. 예를 들어, 3개의 세기 영상(IIM1,IIM2,IIM3)에 대해 서로 다른 노출 시간 T1, T2 및 T3가 각각 할당될 수 있으며, 단지 T1 + T2 + T3 ≤ Td 만을 만족하면 된다.

다시 도 5의 (A)를 참조하면, 광원(101)으로부터 방출된 제 1 투사광이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되어 5개의 제 1 반사광이 생성된다. 5개의 제 1 반사광은 광변조기(103)에 의해 변조된 후 광검출기(105)에 도달한다. 도 5에는, 설명의 용이성을 위해 광검출기(105)가 5개의 표면(P1~P5)에 각각 대응하는 5개의 화소를 갖는 것으로 도시되어 있다. 5개의 제 1 반사광은 대응하는 5개의 화소에 각각 입사할 수 있다. 도 5의 (A)에 도시된 바와 같이, 표면(P1~P5)에서 각각 반사된 5개의 제 1 반사광은 광학 장치(100)로부터의 거리에 따른 상이한 위상 지연(Φ_P1~Φ_P5)을 각각 갖는다. 예를 들어, 가장 먼 표면(P1)으로부터의 반사광이 가장 큰 위상 지연(Φ_P1)을 갖게 된다. 첫번째 서브 프레임에서, 광검출기(105)는 예컨대 T1의 노출 시간 동안 상기 변조된 제 1 반사광을 촬영하여, T1의 시간 동안 누적된 제 1 세기 영상(IIM1)을 생성할 수 있다.

두 번째 서브 프레임은 첫번째 서브 프레임의 촬영 후 T2의 시간 동안 촬영될 수 있다. 도 5의 (B)를 참조하면, 제 2 투사광이 피사체(200)에서 반사되어 생성된 제 2 반사광이 광변조기(103)에 의해 변조된 후 광검출기(105)에 도달한다. 5개의 표면(P1~P5)에서 각각 반사된 5개의 제 2 반사광은 상술한 5개의 제 1 반사광과 동일한 위상 지연(Φ_P1~Φ_P5)들을 각각 갖는다. 광검출기(105)는 예컨대 T2의 노출 시간 동안 상기 변조된 제 2 반사광을 촬영하여, T2의 시간 동안 누적된 제 2 세기 영상(IIM2)을 생성할 수 있다.

세 번째 서브 프레임은 두 번째 서브 프레임의 촬영 후 T3의 시간 동안 촬영될 수 있다. 도 5의 (C)를 참조하면, 제 3 투사광이 피사체(200)에서 반사되어 생성된 제 3 반사광이 광변조기(103)에 의해 변조된 후 광검출기(105)에 도달한다. 5개의 표면(P1~P5)에서 각각 반사된 5개의 제 3 반사광은 상술한 5개의 제 1 반사광과 동일한 위상 지연(Φ_P1~Φ_P5)들을 각각 갖는다. 광검출기(105)는 예컨대 T3의 노출 시간 동안, 상기 변조된 제 3 반사광을 촬영하여, T3의 시간 동안 누적된 제 3 세기 영상(IIM3)을 생성할 수 있다.

상술한 방식으로 순차적으로 얻은 3개의 세기 영상(IIM1,IIM2,IIM3)은 거리정보영상 처리기(107)로 전달된다. 거리정보영상 처리기(107)는 상기 3개의 세기 영상(IIM1,IIM2,IIM3)을 기초로 후술할 알고리즘에 따라 거리 정보를 갖는 영상을 생성할 수 있다. 도 6은 3개의 세기 영상(IIM1,IIM2,IIM3)으로 거리 정보를 갖는 영상을 생성하는 과정을 개략적으로 도시하고 있다. 예를 들어, 첫 번째 프레임에서 상술한 방식으로 생성된 3개의 세기 영상(IIM1,IIM2,IIM3)으로 제 1 거리 정보 영상(depth image)(IMG1)을 얻을 수 있다. 다음으로, 두 번째 프레임에서도 동일한 방식으로 생성된 3개의 세기 영상(IIM1,IIM2,IIM3)으로 제 2 거리 정보 영상(IMG2)을 얻을 수 있으며, 세 번째 프레임에서 같은 방식으로 제 3 거리 정보 영상(IMG3)을 얻을 수 있다. 이러한 동작을 반복함으로써, 소정의 프레임 속도(fd = 1/Td)로 피사체(200)의 다수의 표면까지의 동작을 실시간으로 관찰할 수 있다.

지금까지는 3개 이상의 세기 영상(IIM1,IIM2,IIM3)을 얻기 위하여 3개 이상의 상이한 투사광을 사용하는 경우에 대해 설명하였다. 그러나, 3개 이상의 서브 프레임 동안, 광원(101)은 동일한 한 파형의 투사광을 출력하고, 광변조기(103)가 3개 이상의 상이한 이득 파형으로 반사광을 변조하는 것도 가능하다. 도 7은 하나의 동일한 투사광과 3개의 상이한 변조로 3개의 상이한 세기 영상(IIM1,IIM2,IIM3)을 생성하는 과정을 도시하고 있다. 도 7을 참조하면, 제 1 내지 제 3 반사광은 모두 동일한 파형과 위상을 가지며, 단지 반사된 피사체(200)의 표면(P1~P5)에 따라 상이한 위상 지연(Φ_P1~Φ_P5)들이 존재한다. 또한, 도 7의 (A)~(C)에 각각 도시된 바와 같이, 첫 번째 서브 프레임에서 광변조기(103)는 제 1 광변조 신호로 반사광을 변조하며, 두 번째 서브 프레임에서 광변조기(103)는 제 1 광변조 신호와 다른 제 2 광변조 신호로 반사광을 변조하고, 세 번째 서브 프레임에서 광변조기(103)는 제 1 및 제 2 광변조 신호와 다른 제 3 광변조 신호로 반사광을 변조한다. 이에 따라, 도 7의 (D)에 각각 도시된 바와 같이, 서로 다른 3개의 세기 영상(IIM1,IIM2,IIM3)을 얻을 수 있다. 여기서, 3개의 광변조 신호는 위상만이 서로 다를 수도 있고, 또는 파형 자체가 서로 다를 수도 있다. 이후에 거리 정보 영상을 생성하는 방식은 도 6을 참조로 설명한 것과 같다.

2. 거리 정보 추출 알고리즘

이하에서는, 상술한 3개 이상의 세기 영상(IIM1,IIM2,IIM3)을 이용하여 거리정보영상 처리기(107)가 거리 정보를 추출하는 알고리즘에 대해 설명한다.

이하에서 설명하는 거리 정보 추출 알고리즘의 개요는, 광원(101)에서 방출된 투사광의 실제 파형과 광변조기(103)의 실제 이득 파형을 측정하여 푸리에 급수 등으로 수학적 모델을 세운 다음, 이를 기초로 거리와 세기 영상 사이의 이론적인 관계를 결정하여 룩업 테이블을 구성하고, 실제 촬영하여 얻은 세기 영상을 룩업 테이블과 비교하여 거리 정보를 실시간으로 추출하는 것이다.

이하의 이론적 설명은, 도 5에 도시된 바와 같이, 3종류의 투사광을 사용하고 광변조기(103)의 이득 파형은 한 가지를 사용하는 방법을 위주로 기술한다. 또한, 광검출기(105)의 출력이 2차원 어레이 영상인 경우라도, 각각의 화소에 적용되는 거리 정보 추출 방법은 동일하므로, 하나의 화소에 적용되는 방법만을 설명한다. 다만, 2차원 어레이 영상에서 다수의 화소로부터 거리 정보를 동시에 추출하는 경우에는, 데이터 관리 및 메모리 할당 등을 효율적으로 처리하여 중복 처리되는 부분을 생략함으로써 계산양을 줄일 수도 있을 것이다.

2-1. 투사광과 반사광의 파형, 광변조기의 이득 파형에 대한 모델링

먼저, 주기 Te를 갖는 일반적인 투사광의 파형은 시간 축상 직교하는 함수로 나타낼 수 있다. 예를 들어, 아래의 수학식(1)과 같이, 푸리에 급수의 사인항과 코사인항으로 나타낼 수도 있으며, 또는 체비셰프 다항식(Chebyshev polynomial)과 같은 일반적인 다항식으로 나타낼 수도 있다. 이하에서는 투사광의 파형을 푸리에 급수로 나타내는 경우를 중심으로 설명한다.

여기서, s는 투사광의 파형의 종류를 구분하는 식별자이다. 예를 들어, 3개의 투사광을 사용하는 경우에 s = 1,2,3이다. ω는 투사광의 파형의 구동 각주파수로서 ω=2πfe (fe는 투사광의 파형의 구동 주파수, fe = 1/Te)의 관계를 갖는다. 또한, a_k ^(s)는 투사광 (s)에서 k차 사인항의 계수이며, b_k ^(s)는 투사광 (s)에서 k차 코사인항의 계수이다. 상기 계수 a_k ^(s)와 b_k ^(s)는 광원(101)의 광출력을 직접 계측하여 얻을 수 있다. 예를 들어, 광원(101)에서 방출된 투사광의 파형을 측정하고, 측정된 파형에 대한 고속 푸리에 변환(FFT) 등과 같은 푸리에 변환을 통해 주파수 성분을 파악하여 상기 계수들을 구할 수 있다. 이때 차수 m은 광원(101)에서 출력된 투사광의 파형 계측치를 적절히 표현할 수 있도록 충분히 크게 잡는다. 한편, 출력된 투사광의 평균값은 아래의 수학식(2)와 같이 정의된다.

여기서, T는 3개의 투사광 중에서 어느 하나에 대응하는 하나의 세기 영상을 얻기 위한 광검출기(105)의 노출 시간, 즉 서브 프레임의 주기이다. 만약 3개의 투사광에 대한 노출 시간이 서로 다르게 설정된다면, 예를 들어 s = 1에 대해 T를 T1으로 놓고, s = 2에 대해 T를 T2로 놓고, s = 3에 대해 T를 T3로 놓을 수 있다. 이하에서는 3개의 투사광에 대해 동일한 노출 시간 T가 설정된 것으로 가정한다.

3개 투사광의 파형을 구현하는 경우에, 제어부(106)는 각각의 투사광에 대한 평균 출력이 같은 값이 되도록 제어 신호를 적절히 조절한다. 도 2와 도 4는 수학식(1)에서 표현된 제 1 내지 제 3 투사광을 예시하는 것으로, 예를 들어 Te=25ns, m=5차항을 사용한 경우이고 투사광의 평균 출력값은 0.5(W)이다. 투사광의 파형으로는 상기 수학식(1)로 표현 가능한 모든 형태의 파형이 제한 없이 사용될 수 있다. 예를 들어, 사인파, 삼각형파, 사각파 또는 이들의 조합, 그리고 왜곡이 존재하는 경우까지 모두 사용 가능하다.

수학식(1)로 표현된 투사광이 피사체(200)에서 반사되어 광학 장치(100)로 다시 입사할 때, 그 반사광은 아래의 수학식(3)과 같은 다항식으로 나타낼 수 있다.

광학 장치(100)로 되돌아오는 반사광(s)는 거리에 따른 시간 지연 t_TOF 및 피사체(200)의 반사도 r이 투사광(s)에 작용한 것이다. 여기서 반사도 r은 투사광이 피사체(200)에서 반사된 후 광학 장치(100)로 입사되는 비율로 정의될 수 있으며, 피사체(200)와의 거리, 피사체(200)의 표면의 재질 및 기울기, 제 1 렌즈(108)의 크기 등 다양한 요소와 연관되어 있는 변수이다.

는 투사광과 관계 없이 광학 장치(100)에 유입되는 외광(ambient light) 성분이다. 거리에 따른 반사광의 위상 지연 Φ_TOF는 다음의 수학식(4)와 같이 시간 지연 TOF 및 투사광의 구동 파형의 주기 Te로 나타낼 수 있다.

한편, 광변조기(103)의 일반적인 이득 파형도 역시, 아래의 수학식(5)와 같이, 푸리에 급수와 같은 일반적인 다항식으로 나타낼 수 있다.

여기서, 사인항과 코사인항의 각 차수의 계수 c_k와 d_k는 광변조기(103)의 이득 파형을 직접 계측하고, 계측된 이득 파형에 대한 고속 푸리에 변환(FFT) 등과 같은 푸리에 변환을 통해 실험적으로 구한 값을 사용할 수 있다. 이때, 차수 n은 계측치를 적절히 표현할 수 있도록 충분히 크게 잡는다. 또한 광변조기(103)의 이득 파형의 평균값은 아래의 수학식(6)과 같이 정의될 수 있다.

여기서, T는 앞서 설명한 바와 같이 한 서브 프레임의 주기이다. 도 3은 수학식(5)로 표현된 광변조기(103)의 일반적인 이득 파형을 예시하는 것으로, 예를 들어 Te=25ns, n=5차항을 사용한 경우이고 이득 파형의 평균값은 0.4(W)이다.

2-2. 광변조기에 의한 광변조 및 광검출기에서의 세기 영상 생성

수학식(3)으로 표현된 반사광은 수학식(5)로 표현된 광변조기(103)의 이득 파형과 곱해져서 광검출기(105)에 도달한다. 상기 광변조기(103)를 투과한 후의 변조된 광의 광량 I^(s)(t)(s=1,2,3)는 아래의 수학식(7)과 같은 다항식으로 나타낼 수 있다.

광변조기(103)를 투과한 광 영상은 광검출기(105)에서 소정의 노출 시간(T) 동안 누적되며, 이로부터 세기 영상이 형성된다. 3개의 세기 영상을 이용하여 거리 정보를 추출하는 경우에, 노출 시간 T는 거리 정보 영상(depth image)의 출력 주기의 1/3로 할 수 있다. 예를 들어, 초당 30프레임의 거리 정보 영상을 출력하는 경우(즉, fd=30, fd는 거리 정보 영상의 프레임 속도), 노출 시간 T는 약 0.011초가 된다. 광검출기(105)의 감도에 따라, 광검출기(105)에 도달하는 광량과 세기 영상의 크기 사이에 소정의 변환 비율이 존재할 수 있지만, 편의상 이를 단순화하여 세기 영상의 크기를 아래의 수학식(8)과 같이 정의할 수 있다.

상기 수학식(8)에서 세기 영상을 정의할 때, 광검출기(105)로의 입력 광 세기와 광검출기(105)로부터의 출력 세기 사이의 스케일 계수(scale factor)를 1로 가정하였다. 따라서, 실제 계산시에는 광검출기(105)에 대한 보정(calibration)을 통해 스케일 계수를 결정하여 수학식(8)에 적용할 필요가 있을 것이다.

일반적으로, 투사광의 주기 Te(예컨대, 25ns)는 광검출기(105)의 노출 시간 T(예컨대, 0.011s)에 비해서 매우 작다. 따라서, 수학식(8)의 적분시에, 수학식(7)에 존재하는 직류 항(DC term)이 주요한 기여를 하며, 교류 항(AC term)은 서로 음수/양수로 상쇄되어 그 적분 결과에 기여하는 양이 매우 적다. 따라서, 수학식(7)을 수학식(8)에 대입하여 그 직류 항만을 고려하면, 아래와 같은 세기 영상에 관한 관계식(9)를 얻을 수 있다. 이에 대한 상세한 유도 과정은 생략한다.

여기서,

이며,

이다.

수학식(10)에서 차수 l은 차수 m과 차수 n중 작은 값이다. F^(s)(Φ_TOF)는 미지수인 위상 지연 Φ_TOF의 함수로서 상기의 수학식(10)과 같이 수학적인 표현이 가능한 항이다. 따라서, 수학식(9) 내지 수학식(11)로부터 알 수 있듯이, 세기 영상의 크기는 미지수인 위상 지연 Φ_TOF에 관한 함수 F^(s)(Φ_TOF)와 위상 지연과 관련 없는 상수항

의 합으로서 정리될 수 있다.

2-3. 거리 정보 추출을 위한 문제의 정의 및 추출 방법

거리 정보를 추출하기 위한 문제는 아래의 식(12)과 같이 정의될 수 있다.

[수학식 12]

ㆍ 풀이할 대상:

ㆍ 측정으로부터 구할 수 있는 기지의 파라미터

: 광출력을 측정하여 구함

: 광변조기(103)의 이득을 측정하여 구함

: 광검출기(105)의 검출 결과

위의 문제를 풀기 위해서는 3개 이상의 방정식이 필요하다. 이를 위해서, 수학식(9)로 표현된 세기 영상에 관한 관계식으로부터 3개의 방정식을 구성할 수 있다. 즉, 3개의 투사광에 대응하는 3개의 세기 영상을 광검출기(105)로 순차적으로 검출하고, 수학식(9)를 이용하면 다음과 같은 연립 방정식을 구성할 수 있다.

따라서, 상기 수학식(12)의 문제 정의에서 언급된 TOF 위상 지연(Φ_TOF), 반사도(r) 및 외광 크기(

)의 3개 미지수를 위의 수학식(13) 내지 수학식(15)의 3개의 방정식으로 구성된 연립방정식을 이용하여 추출할 수 있다.

그런데, 수학식(13) 내지 수학식(15)로 구성된 연립방정식은 미지수에 대해서 비선형 함수이므로, 수치해석을 통해 직접 미지수를 추출하는 것은 많은 계산 시간이 소요된다. 실시간으로 거리 정보 영상을 추출하기 위해서는, 비교적 짧은 계산 시간으로 정확한 결과를 도출할 수 있는 다른 방법이 필요하다. 따라서, 수학식(13) 내지 수학식(15)의 연립방정식을 푸는데 있어서 벡터 공간의 해법을 활용하여 룩업 테이블(Look-up Table)을 구성하는 방법을 제안한다.

이를 위하여, 먼저 아래의 수학식(16) 및 수학식(17)과 같은 3차원 공간 상의 벡터를 정의하면, 이를 기초로 룩업 테이블을 구성할 수 있다.

여기서,

수학식(16) 및 수학식(18)을 통해 알 수 있듯이, 세기 영상에 관한 3차원 공간 상의 벡터는 3개의 투사광과 각각 관련된 세기 영상들의 크기들 사이의 차들의 조합으로 구성될 수 있다. 마찬가지로, 수학식(17) 및 수학식(19)를 통해 알 수 있듯이, 위상 지연에 관한 3차원 공간 상의 벡터 함수는 3개의 투사광과 각각 관련된 위상 지연에 관한 함수들 사이의 차들의 조합으로 구성될 수 있다. 차들의 조합 대신에 차들의 비율들의 조합을 사용하는 것도 역시 가능하다. 도 8은 위상 지연에 관한 벡터 함수

와 세기 영상에 관한 세기 영상 벡터

을 3차원 공간 상에 표시한 예를 도시하고 있다.

는 수학적으로 알고 있는 벡터 함수로서 위상 지연 Φ_TOF을 변수로서 갖는다. 세기 영상 벡터

는 측정을 통해서 결정되는 벡터이다. 한편, 수학식(16) 내지 수학식(19)로 정의된 벡터는 위수(rank)가 2이며, 도 8에 도시된 바와 같이, 법선 벡터가 (1,1,1)인 디스크를 형성한다. 따라서, 세기 영상 벡터

가 기준 벡터, 예를 들어

로부터 기울어진 회전 각도 α는 위상 지연 Φ_TOF와 일대일 대응 관계를 가지고 있다. 따라서, 각도 α와 그에 대응하는 위상 지연 Φ_TOF을 수치적으로 미리 계산하면, 그 관계를 표(table) 또는 아래의 수학식(20)과 같은 룩업 테이블 함수 LUT(α)의 형태로 정리할 수 있다. 이것이 본 발명에서 활용하는 룩업 테이블이다.

도 9는 이렇게 얻은 룩업 테이블을 예시적으로 도시하는 그래프이다. 도 9의 그래프는 각도 α와 위상 지연 Φ_TOF 사이의 관계가 표로 정리되어 있는 것을 그래프의 형태로 그린 것이다. 도 9로부터 알 수 있듯이, 광검출기(105)의 측정을 통해 세기 영상 벡터

를 구할 수 있으면, 세기 영상 벡터

가 기준 벡터로부터 기울어진 각도 α를 구할 수 있으며, 상기 각도 α를 이용하여 룩업 테이블을 참조함으로써 위상 지연 Φ_TOF을 알 수 있게 된다.

한편, 수학식(13) 내지 수학식(15)의 연립방정식에서

를 소거하면, 다음과 같은 해(solution)를 위한 조건을 얻을 수 있다. 이에 대한 자세한 유도 과정은 생략한다.

상기 수학식(21)은, 전술한 수학식(16)과 수학식(17)에서 정의된 두 벡터가 아래의 수학식(22)와 같이 3차원 공간 상에서 평행이기 위한 조건이다.

즉, 미지수 Φ_TOF에 관한 조건은, 해석치

와 측정치

가 도 8에 도시된 3차원 공간의 디스크 상에서, 기준 벡터로부터 기울어진 각도 α 값이 동일하다는 조건이다. 따라서, 측정된

가 기준 벡터로부터 기울어진 각도 α에 해당하는 위상 지연 Φ_TOF이 해가 된다. 이 해는 α를 먼저 계산한 다음, 룩업 테이블에서 해당하는 Φ_TOF를 읽어서 찾을 수 있다. 각도 α를 구하는 방법은 여러 가지가 있을 수 있다. 예를 들어, 기준 벡터

로부터 기울어진 각도 α는 다음의 수학식(23)과 같이 계산될 수 있다.

여기서,

수학식(23)으로 계산된 각도 α와 미리 계산된 룩업 테이블을 이용해 위상 지연 Φ_TOF를 구한다. 예를 들어, 도 9의 그래프에서 α=250도인 경우에 해당되는 위상 지연은 Φ_TOF=270도이다. 이렇게 구한 위상 지연을 이용하여 광검출기(105)의 해당 화소에 대한 광학 장치(100)와 피사체(200) 사이의 거리(즉, depth) d를 아래의 수학식(26)으로 구할 수 있다.

여기서, c는 빛의 속도이다.

또한, 반사도 r은 수학식(21)로부터 아래와 같이 구할 수 있다.

또한, 외광 크기

는 수학식(11) 및 수학식(13)을 이용하여 아래와 같이 구할 수 있다.

수학식(8)에서 세기 영상을 정의할 때, 광검출기(105)로의 입력 광 세기와 광검출기(105)로부터의 출력 세기 사이의 스케일 계수(scale factor)를 1로 가정하였으나, 실제로는 특정한 비율로 크기 변환(scaling)된다. 따라서, 반사도 r과 외광 크기

의 물리적 수치도 역시 위의 특정한 비율로 수학식(27)과 수학식(28)의 결과를 크기 변환한 값이어야 하지만, 여기서는 편의상 스케일 계수를 1로 가정하여 그러한 크기 변환을 하지 않았다.

3. 흐름도(Flow Chart)

도 10은 상술한 거리 정보 추출 알고리즘에서 룩업 테이블을 구성하는 과정만을 요약하여 설명하는 흐름도를 도시하고 있다. 도 10을 참조하면, 단계(S10)에서, 광원(101)으로부터 방출될 적어도 3개의 상이한 투사광의 파형을 측정한다. 그러면 그 측정된 결과로부터 수학식(1)과 같이 투사광을 나타내는 일반적인 다항식의 계수들을 결정할 수 있다. 예를 들어, 수학식(1)에서 투사광 (s)에서의 k차 사인항의 계수 a_k ^(s)와 투사광 (s)에서의 k차 코사인항의 계수 b_k ^(s)를 결정할 수 있다. 만약 3개의 투사광을 사용하는 경우에, 3개의 투사광 각각에 대한 계수들을 측정을 통해 차례로 결정할 수 있다. 또한, 투사광의 평균값

도 역시 결정한다. 앞서 설명한 바와 같이, 3개의 투사광에 대한 평균값들이 같도록 제어될 수 있다.

다음으로 단계(S11)에서, 광변조기(103)의 이득 파형을 측정한다. 그러면 그 측정된 결과로부터 수학식(5)와 같이 이득 파형을 나타내는 일반적인 다항식의 계수들을 결정할 수 있다. 예를 들어, 수학식(5)에서 사인항과 코사인항의 각 차수의 계수 c_k와 d_k를 상기 측정을 통해 결정할 수 있다. 또한, 이득 파형의 평균값

도 역시 결정할 수 있다. 만약, 3개의 상이한 투사광과 1개의 이득 파형을 사용하는 대신, 1개의 투사광과 3개의 상이한 이득 파형을 사용하는 경우에는, 3개의 상이한 이득 파형을 모두 측정하여 그 각각에 대한 다항식의 계수들을 결정할 수 있다. 이하에서는 편의상 3개의 상이한 투사광과 1개의 이득 파형을 사용하는 경우에 대해 설명한다.

이어서 단계(S12)에서, 3개의 투사광이 피사체(200)에서 반사된 후의 반사광에 관한 일반적인 다항식을 수학식(3)과 같이 구한다. 그러면 수학식(3)으로부터, 상기 반사광이 광변조기(103)에서 변조된 후의 광량 I^(s)(t)(s=1,2,3)을 수학식(7)과 같이 구할 수 있다. 즉, 수학식(7)은 반사광에 관한 수학식(3)과 이득 파형에 관한 수학식(5)를 곱하여 얻어질 수 있다. 그런 후, 변조된 광에 관한 수학식(7)을 수학식(8)과 같이 광검출기(105)에서의 노출 시간 T로 적분하면, 광변조기(103)에서 변조된 반사광을 광검출기(105)에서 소정의 노출 시간 T 동안 누적하여 얻은 세기 영상(또는 세기 영상의 크기)에 관한 다항식을 유도할 수 있다. 여기서, 3개의 투사광의 각각에 대해 세기 영상이 얻어지므로, 3개의 세기 영상에 관하여 다항식이 각각 존재하게 된다.

단계(S13)에서, 앞서 설명한 바와 같이, 수학식(7)에 존재하는 직류 항만이 적분 결과에 주요한 기여를 하고 교류 항은 기여가 적기 때문에, 직류 항만을 고려하여 세기 영상의 크기에 대한 수학식(7) 및 수학식(8)의 다항식을 정리할 수가 있다. 그러면, 수학식(9)와 같이 미지수인 위상 지연 Φ_TOF에 관한 함수 F^(s)(Φ_TOF)(수학식(10) 참조)와 위상 지연과 관련 없는 상수항

(수학식(11) 참조)의 합으로서 상기 세기 영상의 크기에 대한 다항식이 정리될 수 있다. 수학식(11)과 같이 상수항

는 투사광의 평균값, 이득 파형의 평균값 및 투과광/반사광 이외의 성분인 외광 성분으로 구성된다.

이렇게 정리된 세기 영상의 크기에 관한 다항식과 위상 지연에 관한 함수는 수학식(9)와 수학식(10)으로 표현된 바와 같이, 3개의 투사광에 대해 각각 하나씩 존재한다. 단계(S14)에서, 수학식(17) 및 수학식(19)로 표현되는 바와 같이, 위상 지연에 관한 3개의 함수 F⁽¹⁾(Φ_TOF), F⁽²⁾(Φ_TOF), F⁽³⁾(Φ_TOF)들 사이의 차들의 조합을 이용하여 3차원 공간 상에 위상 지연에 관한 벡터 함수

를 정의할 수 있다. 상술한 바와 같이, 상기 벡터 함수는 법선 벡터가 (1,1,1)인 디스크를 형성할 수 있다(도 8 참조). 그리고, 이러한 3차원 공간 내에서 좌표 기준을 설정하기 위하여, 특정한 값의 벡터를 기준 벡터로서 정의할 수 있다. 예를 들어, 위상 지연에 관한 벡터 함수 중에서 위상 지연 Φ_TOF=0인 벡터

를 x축으로 설정할 경우, 기준 벡터는 수학식(24) 및 수학식(25)와 같이 정의될 수 있다.

단계(S15)에서, 세기 영상의 크기에 관한 3개의 정리된 수학식(13) 내지 수학식(15)을 이용하여, 수학식(16) 및 수학식(18)로 표현되는 바와 같이, 3개의 투사광과 각각 관련된 세기 영상들의 크기들 사이의 차들의 조합으로 3차원 공간 상에 세기 영상 벡터

를 정의할 수 있다. 상술한 바와 같이, 상기 세기 영상 벡터는 측정을 통해 결정되는 벡터로서, 위상 지연에 관한 벡터 함수와 마찬가지로 3차원 공간 내에서 법선 벡터가 (1,1,1)인 디스크를 형성할 수 있다. 이러한 세기 영상 벡터가 기준 벡터로부터 기울어진 각도 α는 위상 지연 Φ_TOF와 일대일 대응 관계를 가지고 있다. 따라서, 단계(S16)에서 세기 영상 벡터가 기준 벡터와 이루는 각도 α와 그에 대응하는 위상 지연 사이의 관계를, 예를 들어, 수치해석과 같은 해석적인 방식으로 미리 계산하여 결정해 둘 수 있다. 그러면 단계(S17)에서, 수학식(20)과 같이 상기 결정된 관계를 나타내는 룩업 테이블을 표 또는 함수의 형태로 구성하는 것이 가능하게 된다.

이렇게 구성된 룩업 테이블은 3개의 특정 투사광들과 1개의 특정 이득 파형의 조합에 관하여 미리 측정된 결과로 얻은 것이다. 만약 3개의 투사광들과 1개의 이득 파형 중에서 어느 하나의 위상 또는 파형 종류가 바뀐다면 그에 대응하는 새로운 룩업 테이블을 구성하여 둘 수 있다. 예를 들어, 광학 장치(100)에서 사용할 수 있는 투사광과 이득 파형의 다양한 조합별로 각각 별도의 룩업 테이블을 구성할 수 있다. 그러면, 광학 장치(100)의 동작시, 사용된 투사광과 이득 파형의 특정한 조합에 따라 그에 해당하는 룩업 테이블을 참조하는 것이 가능하다. 이러한 투사광과 이득 파형의 다양한 조합은 3개의 투사광들과 1개의 이득 파형의 조합뿐만 아니라, 4개 이상의 투사광과 1개의 이득 파형의 조합, 1개의 투사광과 3개 이상의 이득 파형의 조합도 포함할 수 있다. 어느 경우이든, 상술한 룩업 테이블의 구성 방법은 동일하게 적용될 수 있다. 이러한 룩업 테이블은, 예를 들어, 도 1에 도시된 거리정보영상 처리기(107) 내에 함께 통합되어 있을 수도 있으며, 또는 도시되지 않은 별도의 저장 매체에 저장되어 있을 수 있다.

도 11은 상술한 방식으로 얻은 룩업 테이블을 이용하여 실제로 거리 정보를 추출하는 과정을 요약하여 설명하는 흐름도를 도시하고 있다. 다른 방식의 투사광과 이득 파형의 조합도 가능하지만, 여기서도 편의상 3개의 상이한 투사광과 1개의 이득 파형을 사용하는 경우에 대해 예시적으로 설명한다.

먼저, 단계(S20)에서, 광원(101)이 3개의 상이한 투사광을 시간 순서에 따라 차례로 발생시켜 피사체(200)에 투사한다. 앞서 설명한 바와 같이, 3개의 투사광은 동일한 주기를 가지며, 단지 위상만이 서로 다를 수도 있고, 또는 파형 자체가 서로 다를 수도 있다. 상기 투사광은 예를 들어 약 850nm의 파장을 갖는 근적외선 광일 수 있다.

그런 후, 3개의 투사광은 피사체(200)에서 반사되어 차례로 광학 장치(100)로 되돌아온다. 이때, 필터(109)를 이용하여 반사광 중에서 예를 들어 약 850nm의 근적외선 광만을 투과시킨다. 그러면 단계(S21)에서, 광변조기(103)는 피사체(200)에서 반사된 3개의 반사광을 소정의 이득 파형으로 광변조하고, 변조된 광을 광검출기(105)에 제공한다. 광변조기(103)의 이득 파형은 어떠한 것이라도 사용될 수 있지만, 그 주기는 투사광의 주기와 동일하다.

단계(S22)에서, 광검출기(105)는 상기 광변조기(103)에서 변조된 반사광을 소정의 노출 시간 T 동안 누적하여 출력한다. 그러면, 3개의 투사광에 각각 대응하는 3개의 세기 영상을 얻을 수 있다. 이렇게 얻은 3개의 세기 영상은 거리정보영상 처리기(107)에 제공될 수 있다. 단계(S23)에서, 거리정보영상 처리기(107)는 3개의 세기 영상의 크기를 이용하여, 수학식(16) 및 수학식(18)로 설명된 바와 같이, 3차원 공간 상의 세기 영상 벡터를 구성한다.

다음 단계(S24)에서, 거리정보영상 처리기(107)는 수학식(23)을 이용하여 세기 영상 벡터가 3차원 공간 상의 기준 벡터로부터 기울어진 각도 α를 구한다. 상술한 바와 같이, 상기 기준 벡터는 수학식(24) 및 수학식(25)로부터 미리 정의되어 있다. 각도 α를 구한 후에, 거리정보영상 처리기(107)는 미리 저장되어 있는 룩업 테이블을 참조하여 각도 α에 대응하는 위상 지연을 구할 수 있다. 여기서 룩업 테이블은 사용 가능한 투사광과 이득 파형의 다양한 조합별로 다양하게 마련되어 있을 수 있다. 따라서, 거리정보영상 처리기(107)는, 광원(101)과 광변조기(103)에서 사용된 투사광과 이득 파형의 특정한 조합에 따라 그에 해당하는 룩업 테이블을 참조할 수 있다.

마지막으로 단계(S25)에서, 거리정보영상 처리기(107)는 상술한 방식으로 구한 위상 지연을 이용하여 피사체로부터의 거리, 피사체의 반사도 및 외광의 크기를 계산할 수 있다. 예를 들어, 수학식(26) 내지 수학식(28)에 기재된 공식에 위상 지연을 대입함으로써 피사체로부터의 거리, 피사체의 반사도 및 외광의 크기를 계산하는 것이 가능하다.

지금까지 광검출기(105)의 어느 한 화소에 대해 거리 정보를 추출하는 방식을 설명하였지만, 광검출기(105) 내의 다수의 화소들의 각각에 대해 동일한 방식이 적용될 수 있다. 또한, CCD와 같이 2차원 어레이로 배열된 다수의 화소를 갖는 광검출기(105)뿐만 아니라, 1차원 어레이로 배열된 다수의 화소를 갖는 광검출기 또는 단지 하나의 포토다이오드만으로 구성된 광검출기에 대해서도 위에서 설명한 방법이 그대로 적용될 수 있다.

도 10 및 도 11에 도시된 작업을 수행하는 데 필요한 연산량을 살펴보면, 피사체까지의 거리 정보를 추출하는데 필요한 계산의 대부분은 도 10의 룩업 테이블 구성 과정에서 이루어진다. 룩업 테이블은, 예를 들어, 광학 장치(100)의 제조시에 제조업자가 미리 계산하여 만들어 놓은 것일 수 있다. 따라서, 거리 정보를 추출하는데 있어서 필요한 실시간 연산은, 도 11에 도시된 세기 영상 벡터를 구성하기 위한 계산, 룩업 테이블을 참조하여 위상 지연을 구하기 위한 계산, 및 위상 지연으로부터 피사체로부터의 거리, 피사체의 반사도 및 외광의 크기 정보를 추출하기 위한 계산 정도이다. 이러한 점에서 광학 장치(100)가 직접 수행하는 연산량이 비교적 적기 때문에, 광학 장치(100)를 이용하여 실시간으로 거리 정보를 추출하는 것이 가능하다. 따라서, 다수의 화소를 갖는 화상 정보와 함께 화상 내의 각 화소별 거리 정보를 동시에 획득할 수 있는 3D 카메라의 구현이 가능하다.

4. 실험 결과

상술한 방식의 거리 정보 추출 방법을 확인하기 위하여 시뮬레이션을 수행하였다. 투사광으로는 도 2에 도시된 25ns의 주기를 갖는 3종의 파형(실선)을 사용하였으며, 이득 파형으로는 도 3에 도시된 25ns의 주기를 갖는 파형(실선)을 사용하였다. 0.5~3.5m의 거리에 있는 피사체에 대해 상술한 방식으로 거리를 측정하였으며, 광검출기(예컨대, CCD)의 노이즈를 고려하기 위해 세기 영상에 그 크기의 0.1% 정도인 랜덤 노이즈(random noise)를 의도적으로 인가하였다.

도 12는 시뮬레이션을 통해 거리 정보를 추출한 결과를 참값과 비교한 그래프이며, 도 13은 도 12의 거리 정보 추출 결과와 참값과의 오차를 나타낸 그래프이다. 도 12 및 도 13을 참조하면, 약 3m 거리 내에서 2cm 가량의 오차를 나타낸다는 것을 알 수 있다. 이는 광검출기에 의도적으로 인가한 노이즈에 기인한다. 거리가 멀수록 반사광의 크기가 작아져 신호대잡음비가 작아지기 때문에, 거리가 멀수록 오차가 커질 수 있다. 3m 내에서 약 2cm 이내의 오차는 상용의 거리 정보 카메라로서 사용 가능한 수준이라고 볼 수 있다.

또한, 상술한 알고리즘을 수행하기 위한 하드웨어를 제작하여 실험을 하였다. 이 실험에서, 레이저 다이오드(LD)와 광변조기를 약 20MHz로 구동하여 20cm 간격으로 20cm~180cm의 거리를 측정하였다. 도 14는 레이저 다이오드의 광출력을 측정한 결과이고, 도 15는 레이저 다이오드의 광출력 스펙트럼을 고속 푸리에 변환으로 분석한 결과이다. 도 15를 보면, 레이저 다이오드의 광출력에서 20MHz의 기본 주파수 이외에 고차항이 존재함을 알 수 있다. 이러한 고차항을 상술한 거리 정보 추출 알고리즘에 반영하였다. 또한, 도 16은 광변조기의 변조 이득 파형을 측정한 결과로서, DC-오프셋 및 상당량의 파형 왜곡을 관찰할 수 있다. 도 17은 상기 이득 파형 스펙트럼을 고속 푸리에 변환을 통해 분석한 결과이다. 도 17을 보면, 광변조기의 변조 이득 파형은 20MHz의 기본 주파수 이외에 고차항이 상당히 존재함을 알 수 있다. 이러한 고차항을 상술한 거리 정보 추출 알고리즘에 반영하였다.

도 18은 상술한 알고리즘에 따라 실제로 거리 정보를 추출한 결과이다. 도 18에는 상술한 알고리즘에 따라 파형의 왜곡을 실측하여 고려한 결과와 이상적인 파형만을 고려한 결과가 비교되어 있다. 도 18에서 실선으로 표시한 것은 실측된 파형 왜곡을 고려한 경우이고 점선으로 표시한 것은 파형 왜곡을 고려하지 않는 경우이다. 도 18의 결과를 살펴보면, 파형 왜곡을 실측하여 고려한 경우에 전체적으로 약 0.7cm의 평균적인 오차가 있었지만, 파형 왜곡을 고려하지 않은 경우에는 전체적으로 약 2.1cm의 평균적인 오차가 발생하였다.

상술한 바와 같이, 개시된 알고리즘은 수학적으로 이상적인 파형이 아닌 실제의 실측된 비선형적 파형을 고려하여 거리 정보를 추출하기 때문에, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있다. 따라서, 왜곡 및 비선형성이 거의 없는 고가의 광원이나 광변조 소자를 사용할 필요가 없으며, 복잡한 오차 보상 수단이 요구되지 않는다. 또한, 기존의 광원, 광변조 소자 및 광학 장치를 그대로 이용할 수 있어서 추가 비용이 소요되지 않는다. 더욱이, 미리 계산된 거리 정보가 저장되어 있는 룩업 테이블을 사용하기 때문에, 거리 정보를 추출하는데 있어서 연산량이 매우 작으므로 실시간 거리 정보 영상의 촬영이 가능하다. 따라서, 상술한 알고리즘이 채용된 광학 장치(100)는, 예를 들어 3D 카메라나 레이저 레이더(Laser Radar; LADAR)와 같은 분야에서 유용하게 사용될 수 있다.

지금까지, 본 발명의 이해를 돕기 위하여 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치에 대한 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

100....광학 장치 101....광원
102....광원 구동부 103....광변조기
104....광변조기 구동부 105....광검출기
106....제어부 107....거리정보영상 처리기
108....제 1 렌즈 109....필터
110....제 2 렌즈 200....피사체

Claims

적어도 3개의 상이한 투사광을 순차적으로 피사체에 각각 투사하는 단계;
피사체에서 반사된 반사광을 이득 파형을 갖는 광변조기로 변조하는 단계;
상기 변조된 반사광을 광검출기에서 검출하여 상기 적어도 3개의 상이한 투사광에 각각 대응하는 적어도 3개의 세기 영상을 얻는 단계;
상기 적어도 3개의 세기 영상을 이용하여 반사광의 위상 지연을 구하는 단계; 및
상기 위상 지연으로부터 피사체까지의 거리를 계산하는 단계를 포함하며,
상기 위상 지연을 구하는 단계는 상기 적어도 3개의 상이한 투사광의 파형과 상기 광변조기의 이득 파형을 미리 실측하여 구성한 룩업 테이블을 참조하고,
상기 룩업 테이블은 위상 지연, 피사체에 투사된 투사광의 파형, 및 상기 광변조기의 이득을 서로 연관짓도록 구성된 거리 정보 추출 방법.
제 1 항에 있어서,
상기 적어도 3개의 상이한 투사광과 상기 광변조기의 이득 파형은 동일한 주기를 갖는 거리 정보 추출 방법.
제 2 항에 있어서,
상기 적어도 3개의 상이한 투사광은 파형이 동일하고 위상이 서로 다르거나 또는 파형이 서로 다른 거리 정보 추출 방법.
제 2 항에 있어서,
상기 적어도 3개의 상이한 투사광은 그 평균값이 서로 같도록 제어되는 거리 정보 추출 방법.
제 1 항에 있어서,
상기 광검출기는 상기 적어도 3개의 상이한 투사광과 각각 대응하는 적어도 3개의 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여 상기 적어도 3개의 상이한 투사광에 각각 대응하는 적어도 3개의 세기 영상을 형성하는 거리 정보 추출 방법.
제 1 항에 있어서,
상기 위상 지연으로부터 피사체의 반사도 및 외광의 크기를 구하는 단계를 더 포함하는 거리 정보 추출 방법.
제 1 항에 있어서,
상기 위상 지연을 구하는 단계는:
상기 적어도 3개의 세기 영상을 이용하여 3차원 공간 상의 세기 영상 벡터를 구성하는 단계;
상기 세기 영상 벡터가 3차원 공간 상의 기준 벡터로부터 기울어진 각도를 구하는 단계; 및
상기 기울어진 각도로 상기 룩업 테이블을 참조하여 반사광의 위상 지연을 구하는 단계를 포함하는 거리 정보 추출 방법.
제 7 항에 있어서,
상기 룩업 테이블은 상기 기울어진 각도와 반사광의 위상 지연 사이의 미리 결정된 관계를 포함하는 거리 정보 추출 방법.
제 7 항에 있어서,
상기 세기 영상 벡터는 상기 적어도 3개의 세기 영상들의 크기들 사이의 차들의 조합으로 구성되는 거리 정보 추출 방법.
제 1 항에 있어서,
상기 적어도 3개의 투사광과 이득 파형의 상이한 조합별로 각각 별도의 룩업 테이블이 존재하며, 상기 적어도 3개의 투사광과 이득 파형의 특정한 조합에 따라 그에 해당하는 룩업 테이블을 참조하는 거리 정보 추출 방법.
제 1 항에 있어서,
상기 룩업 테이블은:
상기 적어도 3개의 상이한 투사광과 상기 광변조기의 이득 파형을 측정하여 각각의 투사광과 이득 파형을 나타내는 다항식을 각각 구하는 단계;
상기 적어도 3개의 상이한 투사광과 상기 광변조기의 이득 파형에 관한 다항식을 이용하여 적어도 3개의 세기 영상에 관한 다항식을 구하는 단계;
상기 적어도 3개의 세기 영상에 관한 다항식을 각각 위상 지연에 관한 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
상기 위상 지연에 관한 적어도 3개의 함수들 사이의 차들의 조합을 이용하여 3차원 공간 상에 위상 지연에 관한 벡터 함수를 정의하고, 특정한 벡터를 기준 벡터로서 정의하는 단계;
상기 적어도 3개의 세기 영상에 관한 다항식들 사이의 차들의 조합으로 3차원 공간 상에 세기 영상 벡터를 정의하는 단계;
세기 영상 벡터가 기준 벡터로부터 기울어진 각도와 상기 각도에 대응하는 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 구성하는 단계를 포함하는 방식으로 구성되는 거리 정보 추출 방법.
제 11 항에 있어서,
상기 세기 영상에 관한 다항식을 구하는 단계는:
상기 적어도 3개의 상이한 투사광이 피사체에서 반사된 후의 반사광에 관한 일반적인 다항식을 상기 적어도 3개의 상이한 투사광에 관한 다항식으로부터 유도하는 단계;
상기 반사광에 관한 다항식과 상기 이득 파형에 관한 다항식을 곱하여 광변조된 광에 대한 다항식을 구하는 단계; 및
상기 광변조된 광에 대한 다항식을 광검출기에서의 노출 시간으로 적분하여 상기 적어도 3개의 상이한 투사광에 각각 대응하는 적어도 3개의 세기 영상에 관한 다항식을 구하는 단계를 포함하는 거리 정보 추출 방법.
제 11 항에 있어서,
상기 적어도 3개의 상이한 투사광과 상기 광변조기의 이득 파형을 측정하여 각각의 투사광과 이득 파형을 나타내는 다항식을 각각 구하는 단계는:
상기 적어도 3개의 상이한 투사광을 각각 측정하는 단계;
상기 각각의 투사광을 측정한 결과를 시간 축상 직교하는 함수로 나타내는 단계;
상기 광변조기의 이득 파형을 측정하는 단계; 및
상기 이득 파형을 측정한 결과를 시간 축상 직교하는 함수로 나타내는 단계를 포함하는 거리 정보 추출 방법.
제 13 항에 있어서,
상기 각각의 투사광을 측정한 결과를 시간 축상 직교하는 함수로 나타내는 단계는, 푸리에 급수의 사인항의 계수와 코사인항의 계수 또는 체비셰프 다항식의 계수를 결정함으로써 각각의 투사광에 대한 다항식을 구하는 단계를 포함하는 거리 정보 추출 방법.
제 13 항에 있어서,
상기 이득 파형을 측정한 결과를 시간 축상 직교하는 함수로 나타내는 단계는, 푸리에 급수의 사인항의 계수와 코사인항의 계수 또는 체비셰프 다항식의 계수를 결정함으로써 이득 파형에 대한 다항식을 구하는 단계를 포함하는 거리 정보 추출 방법.
제 13 항에 있어서,
상기 각각의 투사광과 이득 파형을 측정한 결과로부터 각각의 투사광의 평균값과 이득 파형의 평균값을 결정하는 단계를 더 포함하는 거리 정보 추출 방법.
제 11 항에 있어서,
상기 적어도 3개의 세기 영상에 관한 다항식을 각각 위상 지연에 관한 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계는 상기 적어도 3개의 세기 영상에 관한 다항식에 존재하는 직류 항만을 고려하는 거리 정보 추출 방법.
제 11 항에 있어서,
상기 3차원 공간 상의 위상 지연에 관한 벡터 함수는

와 같이 정의되며, 여기서

이고(i,j=1,2,3),
F⁽ⁱ⁾(Φ_TOF)는 i번째 투사광에 대한 위상 지연에 관한 함수를 나타내는 거리 정보 추출 방법.
제 18 항에 있어서,
상기 위상 지연에 관한 벡터 함수 중에서 위상 지연 Φ_TOF=0인 벡터
를 기준 벡터로 정의하는 거리 정보 추출 방법.
제 11 항에 있어서,
상기 3차원 공간 상의 세기 영상 벡터는,

와 같이 정의되며, 여기서

이고(i,j=1,2,3),
I⁽ⁱ⁾ _CCD는 i번째 투사광에 대한 세기 영상을 나타내는 거리 정보 추출 방법.
제 11 항에 있어서,
상기 적어도 3개의 투사광과 이득 파형의 상이한 조합별로 각각 별도의 룩업 테이블을 구성하는 거리 정보 추출 방법.
하나의 주기적인 파형을 갖는 투사광을 피사체에 투사하는 단계;
피사체에서 반사된 반사광을 적어도 3개의 상이한 이득 파형을 갖는 광변조기로 순차적으로 변조하는 단계;
상기 변조된 반사광을 광검출기에서 검출하여 상기 적어도 3개의 상이한 이득 파형에 각각 대응하는 적어도 3개의 세기 영상을 얻는 단계;
상기 적어도 3개의 세기 영상을 이용하여 반사광의 위상 지연을 구하는 단계; 및
상기 위상 지연으로부터 피사체까지의 거리를 계산하는 단계를 포함하며,
상기 위상 지연을 구하는 단계는 상기 투사광의 파형과 상기 광변조기의 적어도 3개의 상이한 이득 파형을 미리 실측하여 구성한 룩업 테이블을 참조하고,
상기 룩업 테이블은 위상 지연, 피사체에 투사된 투사광의 파형, 및 상기 광변조기의 이득을 서로 연관짓도록 구성된 거리 정보 추출 방법.
제 22 항에 있어서,
상기 투사광과 상기 광변조기의 적어도 3개의 상이한 이득 파형은 동일한 주기를 갖는 거리 정보 추출 방법.
제 22 항에 있어서,
상기 광검출기는 상기 적어도 3개의 상이한 이득 파형과 각각 대응하는 적어도 3개의 변조된 반사광을 소정의 노출 시간 동안 각각 누적하여 상기 적어도 3개의 상이한 이득 파형에 각각 대응하는 적어도 3개의 세기 영상을 형성하는 거리 정보 추출 방법.
제 22 항에 있어서,
상기 위상 지연을 구하는 단계는:
상기 적어도 3개의 세기 영상을 이용하여 3차원 공간 상의 세기 영상 벡터를 구성하는 단계;
상기 세기 영상 벡터가 3차원 공간 상의 기준 벡터로부터 기울어진 각도를 구하는 단계; 및
상기 기울어진 각도로 상기 룩업 테이블을 참조하여 반사광의 위상 지연을 구하는 단계를 포함하는 거리 정보 추출 방법.
제 25 항에 있어서,
상기 룩업 테이블은 상기 기울어진 각도와 반사광의 위상 지연 사이의 미리 결정된 관계를 포함하는 거리 정보 추출 방법.
제 25 항에 있어서,
상기 세기 영상 벡터는 상기 적어도 3개의 세기 영상들의 크기들 사이의 차들의 조합으로 구성되는 거리 정보 추출 방법.
제 22 항에 있어서,
상기 투사광과 상기 적어도 3개의 이득 파형의 상이한 조합별로 각각 별도의 룩업 테이블이 존재하며, 상기 투사광과 상기 적어도 3개의 이득 파형의 특정한 조합에 따라 그에 해당하는 룩업 테이블을 참조하는 거리 정보 추출 방법.
주기적인 투사광을 발생시키는 광원;
피사체로부터 반사된 광을 주기적인 이득 파형으로 광변조하기 위한 광변조기;
상기 광변조기에 의해 광변조된 영상을 검출하기 위한 광검출기; 및
상기 광검출기의 출력을 기초로 피사체와의 거리를 계산하기 위한 거리정보영상 처리기를 포함하며,
상기 거리정보영상 처리기는 제 1 항 내지 제 28 항 중 어느 한 항에 따른 방법으로 거리 정보를 추출하는 광학 장치.
제 29 항에 있어서,
상기 광원을 구동시켜 투사광의 파형을 제어하는 광원 구동부;
상기 광변조기를 구동시켜 이득 파형을 제어하는 광변조기 구동부; 및
상기 광원 구동부, 광변조기 구동부 및 광검출기의 동작을 제어하기 위한 제어부를 더 포함하는 광학 장치.
제 29 항에 있어서,
상기 광변조기의 광입사면에서 반사광을 광변조기의 영역 내에 집광하는 제 1 렌즈;
상기 제 1 렌즈와 광변조기 사이에서 소정의 파장을 갖는 광만을 투과시키는 필터; 및
상기 광변조기와 광검출기 사이에서 상기 광변조된 영상을 광검출기의 영역 내에 집광하는 제 2 렌즈를 더 포함하는 광학 장치.
제 29 항에 있어서,
상기 광검출기는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토다이오드 어레이를 사용하거나 또는 단일 지점의 거리 측정을 위한 1개의 포토다이오드를 사용하는 광학 장치.
제 29 항에 따른 광학 장치를 포함하는 3D 카메라.
제 29 항에 따른 광학 장치를 포함하는 레이저 레이더.
적어도 3개의 상이한 투사광의 파형 및 광변조기의 이득 파형을 측정하여 각각의 투사광의 파형과 상기 광변조기의 이득 파형을 나타내는 다항식을 각각 구하는 단계;
상기 적어도 3개의 상이한 투사광의 파형과 상기 광변조기의 이득 파형에 관한 다항식을 이용하여 적어도 3개의 세기 영상에 관한 다항식을 구하는 단계;
상기 적어도 3개의 세기 영상에 관한 다항식을 각각 위상 지연에 관한 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
상기 위상 지연에 관한 적어도 3개의 함수들 사이의 차들의 조합을 이용하여 3차원 공간 상에 위상 지연에 관한 벡터 함수를 정의하고, 특정한 벡터를 기준 벡터로서 정의하는 단계;
상기 적어도 3개의 세기 영상에 관한 다항식들 사이의 차들의 조합으로 3차원 공간 상에 세기 영상 벡터를 정의하는 단계;
세기 영상 벡터가 기준 벡터로부터 기울어진 각도와 상기 각도에 대응하는 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
상기 해석적으로 결정된 관계를 표 또는 함수의 형태로 나타내는 단계를 포함하는, 위상 지연, 피사체에 투사된 투사광의 파형, 및 상기 광변조기의 이득을 서로 연관짓도록 구성된 거리 정보 추출용 룩업 테이블을 구성하는 방법.
하나의 투사광의 파형 및 광변조기의 적어도 3개의 상이한 이득 파형을 측정하여 각각의 투사광의 파형과 상기 광변조기의 이득 파형을 나타내는 다항식을 각각 구하는 단계;
상기 투사광의 파형과 상기 광변조기의 적어도 3개의 상이한 이득 파형에 관한 다항식을 이용하여 적어도 3개의 세기 영상에 관한 다항식을 구하는 단계;
상기 적어도 3개의 세기 영상에 관한 다항식을 각각 위상 지연에 관한 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
상기 위상 지연에 관한 적어도 3개의 함수들 사이의 차들의 조합을 이용하여 3차원 공간 상에 위상 지연에 관한 벡터 함수를 정의하고, 특정한 벡터를 기준 벡터로서 정의하는 단계;
상기 적어도 3개의 세기 영상에 관한 다항식들 사이의 차들의 조합으로 3차원 공간 상에 세기 영상 벡터를 정의하는 단계;
세기 영상 벡터가 기준 벡터로부터 기울어진 각도와 상기 각도에 대응하는 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
상기 해석적으로 결정된 관계를 표 또는 함수의 형태로 나타내는 단계를 포함하는, 위상 지연, 피사체에 투사된 투사광의 파형, 및 상기 광변조기의 이득을 서로 연관짓도록 구성된 거리 정보 추출용 룩업 테이블을 구성하는 방법.
제 35 항 또는 제 36 항에 따른 방법으로 구성된 룩업 테이블을 저장하고 있는 저장 매체.