KR100744937B1 - 렌즈 왜곡 보정 방법 - Google Patents

Abstract

본 발명은 렌즈의 왜곡차수를 보정하기 위한 렌즈 왜곡 보정 방법에 관한 것이다. 본 발명은, 설계 시 결정된 왜곡비율(R)을 갖는 렌즈에 의해 이미지 센서에 검출된 왜곡 영상을 보정하는 렌즈 왜곡 보정 방법을 제공한다. 본 발명의 렌즈 왜곡 보정 방법은, 상기 왜곡 영상의 각 픽셀에 대한 좌표를 설정하고, 원점으로부터 상기 왜곡 영상의 각 픽셀에 대한 좌표까지의 거리를 계산한 후, 상기 왜곡비율(R) 및 상기 상기 왜곡 영상의 각 픽셀에 대한 좌표까지의 거리를 이용하여 왜곡계수(k)를 구한다. 이렇게 구한 왜곡 계수를 이용하여 왜곡 영상의 각 픽셀의 좌표를 소정의 다항식을 이용하여 보정한다. 또한 본 발명은 소정의 기준선을 이용하여 왜곡 영상의 보정된 픽셀을 추가적으로 보정한다.

렌즈, 왜곡, 차수, 보정, 왜곡 계수, 왜곡비율

Description

렌즈 왜곡 보정 방법{LENS DISTORTION CORRECTION METHOD}

도 1의 (a), (b) 및 (c)는 왜곡 없는 영상, k(왜곡계수)＞0인 경우의 왜곡된 영상 및 k(왜곡계수)＜0인 경우의 왜곡된 영상을 도시한 도면이다.

도 2는 본 발명의 렌즈 왜곡 보정 방법이 적용되는 디지털 카메라 시스템을 도시한 블록 구성도이다.

도 3은 본 발명의 일실시형태에 따른 렌즈 왜곡 보정 방법을 도시한 순서도이다.

도 4는 본 발명의 일실시형태에 따른 렌즈 왜곡 보정 방법을 설명하기 위한 개념도이다.

*도면의 주요부분에 대한 부호의 설명*

21: 렌즈 22: 이미지 센서

23: 아날로그/디지털 변환부 24: 화상처리부

25: 디지털/아날로그 변환부

본 발명은 렌즈 왜곡을 보정하는 방법에 관한 것으로, 더욱 상세하게는 렌즈 설계에서 결정된 렌즈 왜곡 비율을 이용하여 렌즈 왜곡 보정에 사용되는 다항식의 차수를 감소시킴으로써 렌즈 왜곡을 보정을 위한 연산량을 감소시킬 수 있는 렌즈 왜곡 보정 방법에 관한 것이다.

일반적으로, 휴대폰에 내장된 카메라 등과 같은 디지털 카메라는 렌즈와 이 렌즈를 통해 입사되는 영상을 검출하는 CCD 또는 CMOS와 같은 이미지 센서로 이루어진다. 상기 렌즈를 투과한 영상은 렌즈 자체가 갖는 여러가지 광학적 특성으로 인해 실제 육안으로 보이는 영상과 여러가지 면에서 차이가 있다. 육안으로 보이는 영상과 렌즈를 통과하여 이미지 센서에 검출된 영상의 차이점을 렌즈 수차라고 하며, 렌즈의 설계, 제작 시 렌즈 수차를 제거하여 육안으로 보이는 것과 실질적으로 동일한 영상을 얻고자하는데 많은 연구가 이루어지고 있는 실정이다.

상기 렌즈 수차에는 여러가지 종류가 있으며, 특히 렌즈와 센서의 기하학적 형태 차이 또는 렌즈의 굴곡에 의해 발생하는 렌즈의 왜곡 수차(이하, "렌즈의 왜곡" 또는 "렌즈 왜곡"이라 함)는 육안으로 보기에 직선으로 보이는 영상이 렌즈를 통과한 후 곡선으로 나타내는 렌즈의 수차를 의미한다.

도 1은 렌즈 왜곡이 없는 영상과 렌즈 왜곡이 발생한 영상을 예시적으로 나타낸 것으로, 도 1의 (a)와 같이 가로 세로가 직선으로 이루어진 영상이 렌즈 왜곡에 의해 도 1의 (b) 또는 (c)와 같이 위치에 따라 곡선의 형상으로 나타나게 된다. 특히, 도 1의 (b)에 도시된 렌즈 왜곡 영상은 렌즈의 왜곡을 나타내는 렌즈 왜곡 계수(k)가 0보다 큰 배럴(barrel) 왜곡이 발생한 것을 도시하며, 도 1의 (c)에 도시된 렌즈 왜곡 영상은 렌즈의 왜곡을 나타내는 렌즈 왜곡 계수(k)가 0보다 작은 핀쿠션(pincushion) 왜곡이 발생한 것을 도시한다.

이러한 렌즈 왜곡을 보정하기 위한 방안으로 크게 두가지가 알려져 있다. 첫째로, 렌즈 왜곡을 보정하기 위한 보정 렌즈를 추가로 설치함으로써 이미지 센서에 검출되기 이전에 입사되는 영상 자체를 물리적으로 보정을 하는 방안이 있다. 다른 방안으로는 다음으로 왜곡된 영상을 이미지 센서에서 검출한 후 이미지 센서의 각 픽셀에 검출된 왜곡된 영상을 소프트웨어적으로 연산하여 보정하는 방안이 있다.

전자의 물리적 보정 방법은 보정 렌즈를 추가하여야 한다는 점에서 카메라의 제조 비용을 상승시킨다는 단점이 있다. 따라서 휴대폰에 내장되는 카메라 등에서는 후자의 소프트웨어적인 보정이 주로 사용되고 있다.

상기 소프트웨어적인 렌즈 왜곡 보정방법으로 "Tsai, techniques for calibrating certain intricsic camera parameters for machine vision, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19"에는 왜곡 보정 계수에 의한 방법이 개시되어 있다. 상기 문헌에는 렌즈 왜곡을 보정하기 위한 고차 다항식이 개시되어 있으며 이 고차 다항식의 왜곡 보정 계수를 결정함으로써 보정된 좌표를 얻는 렌즈 왜곡 보정방법이 개시된다. 상기 문헌에 개시된 고차 다항식은 하기 수학식 1 및 수학식 2와 같다.

(x': 보정된 x좌표, x: 왜곡된 x 좌표)

(y': 보정된 y좌표, y: 왜곡된 x 좌표)

종래의 렌즈 왜곡 보정 방법은 상기 수학식 1 및 수학식 2로부터 왜곡 계수(k₁, k_{2, ...)}를 결정함으로써 원하는 좌표의 보정된 좌표를 구하였으나, 대부분 3차 이상의 고차식을 이용함으로써 계산식이 매우 복잡해지고 그 연산량이 매우 많은 문제점이 있었다.

따라서, 본 발명은 절술한 종래기술의 문제점을 해결하기 위해 제안된 것으로 그 목적은 렌즈 설계에서 결정된 렌즈 왜곡 비율을 이용하여 렌즈 왜곡 보정에 사용되는 다항식의 차수를 감소시킴으로써 렌즈 왜곡을 보정을 위한 연산량을 감소시킬 수 있는 렌즈 왜곡 보정 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 기술적 구성으로서 본 발명은,

설계 시 결정된 왜곡비율(R)을 갖는 렌즈에 의해 이미지 센서에 검출된 왜곡 영상을 보정하는 렌즈 왜곡 보정 방법에 있어서,

상기 왜곡 영상의 중심점을 원점으로 하고 왜곡 영상의 수평방향 중심선 및 수직방향 중심선을 좌표축으로 하여 상기 왜곡 영상의 각 픽셀에 대한 좌표(x_d, y_d)를 설정하는 단계;

상기 원점으로부터 상기 왜곡 영상의 각 픽셀에 대한 좌표(x_d, y_d)까지의 거리(r_d)를 계산하는 단계;

상기 왜곡비율(R) 및 상기 상기 왜곡 영상의 각 픽셀에 대한 좌표(x_d, y_d)까지의 거리(r_d)를 이용하여 하기 수학식*과 같이 왜곡계수(k)를 구하는 단계-

-; 및

상기 왜곡계수(k)를 이용하여 하기 수학식* 및 수학식*과 같이 각 픽셀의 보정된 좌표(x_u, y_u)을 구하는 단계-

-

를 포함하는 렌즈 왜곡 보정 방법을 제공한다.

바람직한 실시형태에서, 본 발명은 상기 왜곡 영상의 픽셀이 영상의 최외곽 픽셀이라고 가정했을 때, 상기 가정된 최외곽선이 상기 좌표축과 만나는 점을 통과하는 상기 좌표축에 수직인 직선을 기준선으로 설정하는 단계; 및 상기 보정된 좌표를, 상기 원점과 상기 왜곡 영상의 픽셀을 연결하는 직선이 상기 기준선과 만나는 좌표로 수정하여 픽셀 좌표를 추가 보정하는 단계를 더 포함할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 또한 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 더욱 명확한 설명을 위해 과장될 수 있을 것이다.

도 2는 본 발명의 렌즈 왜곡 방법이 적용되는 디지털 카메라 시스템을 도시한 블록 구성도이다.

도 2를 참조하면, 본 발명의 렌즈 왜곡 보정 방법이 적용되는 디지털 카메라 시스템은, 렌즈(21)와, 상기 렌즈(21)를 투과한 영상을 검출하는 이미지 센서(22)와, 상기 이미지 센서(22)에서 검출된 아날로그 신호를 디지털 신호로 변환하는 아날로그/디지털 변환부(23)와, 디지털 변환된 영상의 각 픽셀에 대한 왜곡 보정이 이루어지는 화상처리부(24)와, 상기 화상처리부(24)에 의해 왜곡 보정된 영상을 다시 아날로그 신호로 변환하는 디지털/아날로그 변환부(25)를 포함한다.

상기 렌즈(21)는 외부로부터 촬영하고자 하는 영상을 투과하여 전달한다. 이 렌즈(21)는 최초 설계 시 결정된 왜곡비율(R)을 갖는다. 즉, 거의 대부분의 렌즈는 투과되는 영상에 대한 왜곡을 발생시키며, 이러한 왜곡에 대한 정보는 렌즈 설계시 해당 렌즈가 갖는 스펙의 하나인 왜곡비율(R)로 주어진다. 왜곡비율(R)은 검출된 영상의 중심으로부터 거리의 비로 나타난다. 예를 들어, 왜곡되지 않은 영상의 중심으로부터 소정 픽셀까지의 거리를 r_u라고 하고, 이 픽셀이 렌즈에 의해 왜곡되어 이동된 위치를 r_d라고 하면, 왜곡 비율(R)은 하기 수학식 6과 같이 결정된다.

상기 이미지 센서(22)는 고체 촬상 소자로 알려진 CCD 또는 CMOS일 수 있다. 상기 이미지 센서(22)는 m×n의 매트릭스 배열로 이루어진 다수의 픽셀을 포함하 며, 각 픽셀별로 상기 렌즈(21)로부터 제공되는 영상의 해당 영역에 대한 정보를 검출하여 소정의 아날로그 전기신호로 출력한다. 상기 이미지 센서(22)의 각 픽셀에 의해 검출된 아날로그 신호는 아날로그/디지털 변환부(23)에서 디지털 값으로 변환되어 상기 화상 처리부(24)로 전달된다.

상기 화상 처리부(24)는 디지털값으로 입력되는 각 픽셀이 갖는 정보를 이용하여 본 발명에 따른 렌즈 왜곡 보정 방법을 실행함으로써 렌즈에 의해 왜곡된 영상을 보정한다. 이렇게 보정된 각 픽셀에 대한 정보는 상기 디지털/아날로그 변환부(25)에서 변환되어 사람이 인식할 수 있는 영상으로 제공된다.

이하, 상기와 같은 구성을 갖는 디지털 카메라 시스템의 화상 처리부(24)에서 이루어지는 본 발명의 렌즈 왜곡 보정 방법을 더욱 상세하게 설명한다.

도 3은 본 발명에 따른 렌즈 왜곡 보정 방법의 일실시형태를 도시한 순서도이다.

도 2 및 도 3을 참조하면, 본 발명의 일실시형태에 따른 렌즈 왜곡 보정 방법의 일실시형태는 먼저, 이미지 센서(22)에 의해 검출된 왜곡 영상의 중심점을 원점으로 하여 이 왜곡 영상의 각 픽셀에 대한 좌표(x_d, y_d)를 설정한다(S31). 상기 설명한 바와 같이, 이미지 센서(22)는 m×n의 매트릭스 배열로 이루어진 다수의 픽 셀으로 이루어져 있으며, 렌즈(21)로부터 전달된 왜곡 영상의 일부분들이 각 픽셀에 의해 검출된다. 각 픽셀에 의해 검출된 영상의 부분들을 취합하면 하나의 전체 영상이 된다. 렌즈(21)에 의해 이미지 센서(22)로 전달된 영상은 왜곡된 것이므로, 이미지 센서(22)에 의해 검출되어 화상 처리부(24)로 전달된 영상 역시 왜곡된 영상이다. 이 왜곡된 영상을 소프트웨어적으로 보정하기 위해, 화상 처리부(24)에서는 왜곡된 영상의 각 픽셀에 대한 좌표(x_d, y_d)를 먼저 설정한다.

본 발명에 대한 설명에서, 픽셀(pixel)이라는 용어는 이미지 센서를 구성하며 이미지 센서로 입력되는 영상의 일부분을 검출하는 단위 구성요소를 의미하기도 하며, 이미지 센서에 의해 검출된 전체 영상에서 상기 이미지 센서의 각 픽셀에 의해 검출된 정보를 담고 있는 영역, 즉 전체 영상을 구성하는 각 단위 화소를 의미하는 것일 수도 있다.

다음으로, 상기 좌표가 설정된 각 픽셀과 상기 원점과의 거리(r_d)를 연산한다(S32). 상기 왜곡된 영상의 임의의 픽셀의 좌표가 (x_d, y_d)라고 하면, 이 픽셀과 원점과의 거리는 하기의 수학식7과 같이 결정된다.

다음으로, 상기 왜곡비율(R) 및 상기 상기 왜곡 영상의 각 픽셀에 대한 좌표(x_d, y_d)까지의 거리(r_d)를 이용하여 하기 수학식3과 같이 왜곡계수(k)를 구한다(S33).

[수학식 3]

상기 수학식 3은 다음과 같은 식의 전개과정을 통해 도출될 수 있다.

상기 수학식 4, 5에서 보정된 픽셀과 원점 간의 거리(r_u)는 하기 수학식 8과 같이 정의 된다.

상기 수학식 8을 k에 대해 정리하면, 다음의 수학식 9과 같다.

상기 수학식 6에서 r_u/r_d=R 이므로, 상기 수학식 9로부터 왜곡계수는 상기 수학식 3과 같이 결정된다.

이어, 상기 수학식 3과 같이 결정된 왜곡계수(k)를 적용하여, 수학식 4 및 수학식 5와 같이 각 픽셀의 보정된 좌표(x_u, y_u)을 구한다(S34).

[수학식 4]

[수학식 5]

상기 수학식 4, 5는, 종래 기술에서 적용되던 다항식인 수학식 1, 2를 가장 낮은 차수로 적용한 식으로 왜곡계수 k의 값에 따라 보정의 정확도 및 계산의 복잡성이 결정된다. 본 발명은 렌즈의 설계시 렌즈의 스펙으로 결정되는 렌즈의 왜곡비율(R)을 이용하여 k를 결정함으로써, 낮은 차수의 다항식을 이용하면서도 보정의 정확도 및 계산의 복잡성을 감소시킬 수 있게 된다.

한편, 본 발명은 렌즈 왜곡의 보정의 정확도를 향상시키기 위해 추가 보정 단계가 더 추가될 수 있다. 이 추가 보정 단계에 대해서 도 4를 참조하여 더욱 상세하게 설명하기로 한다.

도 4는 본 발명의 일실시형태에 따른 렌즈 왜곡 보정 방법을 설명하기 위한 개념도이다. 도 4를 참조하면, 영상의 중심으로부터 r_d의 거리를 갖는 왜곡된 픽 셀(P_d)은 전술한 본 발명의 렌즈 왜곡 보정 방법에 의해 영상의 중심으로부터 r_u1의 거리를 갖는 픽셀(P_u1)으로 그 좌표가 보정된다. 본 발명은 렌즈의 왜곡을 더욱 정밀하게 보정하기 위해 추가적인 렌즈 왜곡 보정 단계(도 3의 S35)을 더 포함할 수 있다. 이 추가적인 렌즈 왜곡 보정 단계(도 3의 S35)는 상기 수학식 3, 4, 5에 의해 보정된 픽셀(P_u1)을 추가적인 연산을 통해 픽셀(P_u2)로 보정하는 단계이다. 상기 픽셀(P_u2)은 왜곡 영상의 중심점인 원점(C)을 통과하는 왜곡 영상의 수평방향 중심선 및 수직방향 중심선, 즉 픽셀의 좌표를 설정하는 좌표축에 수직인 두 직선으로 이루어지는 기준선과 상기 원점(C)과 왜곡된 픽셀(P_d)을 연결하는 직선이 만나는 점의 좌표이다. 상기 기준선은 왜곡된 픽셀(P_d)의 좌표에 따라 미리 설정될 수 있다. 즉, 왜곡 보정을 하고자 하는 왜곡된 픽셀(P_d)이 영상의 최외곽 픽셀이라고 가정했을 때, 이 가정된 최외곽선이 좌표축과 만나는 점 통과하는 좌표축에 수직인 직선이 상기 기준선이 된다.

따라서, 본 발명은 상기 수학식 3, 4 및 5에 의해 왜곡된 픽셀의 좌표를 1차적으로 보정하고, 추가적으로 기준선을 이용하여 설정된 보정 좌표로 추가 보정함으로써, 복잡도 낮은 연산을 통해 왜곡된 영상을 보정할 수 있으며, 그 보정의 정확도를 더욱 향상시킬 수 있다.

전술한 렌즈 왜곡의 보정의 정확도를 향상시키기 위한 추가 보정 단계 이후, 왜곡 보정에 의해 발생하는 이미지의 계단현상을 제거하기 위해 안티-앨리어싱(anti-aliasing) 기법에 의해 각 픽셀을 보정하는 단계가 추가될 수 있다. 안티-앨리어싱 기법은 당업계에 일반적으로 알려진 기술이므로 그에 대한 구체적인 설명은 생략하기로 한다.

이상에서 설명한 바와 같이, 본 발명에 따르면, 렌즈 설계에서 결정된 렌즈 왜곡 비율을 이용하여 렌즈 왜곡 보정에 사용되는 다항식의 차수를 감소시킴으로써 렌즈 왜곡을 보정을 위한 연산의 복잡도를 감소시킬 수 있는 효과가 있다. 또한, 추가적인 보정 과정을 통해 보정의 정확도를 더욱 향상시킬 수 있는 효과가 있다.

Claims (3)

1. 설계 시 결정된 왜곡비율(R)을 갖는 렌즈에 의해 이미지 센서에 검출된 왜곡 영상을 보정하는 렌즈 왜곡 보정 방법에 있어서,

   상기 왜곡 영상의 중심점을 원점으로 하고 왜곡 영상의 수평방향 중심선 및 수직방향 중심선을 좌표축으로 하여 상기 왜곡 영상의 각 픽셀에 대한 좌표(x_d, y_d)를 설정하는 단계;

   상기 원점으로부터 상기 왜곡 영상의 각 픽셀에 대한 좌표(x_d, y_d)까지의 거리(r_d)를 계산하는 단계;

   상기 왜곡비율(R) 및 상기 상기 왜곡 영상의 각 픽셀에 대한 좌표(x_d, y_d)까지의 거리(r_d)를 이용하여 하기 수학식 3과 같이 왜곡계수(k)를 구하는 단계-

   [수학식 3]

   

   -; 및

   상기 왜곡계수(k)를 이용하여 하기 수학식 4 및 수학식 5과 같이 각 픽셀의 보정된 좌표(x_u, y_u)을 구하는 단계-

   [수학식 4]

   

   [수학식 5]

   

   -

   를 포함하는 렌즈 왜곡 보정 방법.
2. 제1항에 있어서,

   상기 왜곡 영상의 픽셀이 영상의 최외곽 픽셀이라고 가정했을 때, 상기 가정된 최외곽선이 상기 좌표축과 만나는 점을 통과하는 상기 좌표축에 수직인 직선을 기준선으로 설정하는 단계; 및

   상기 보정된 좌표를, 상기 원점과 상기 왜곡 영상의 픽셀을 연결하는 직선이 상기 기준선과 만나는 좌표로 수정하여 픽셀 좌표를 추가 보정하는 단계를 더 포함하는 것을 특징으로 하는 렌즈 왜곡 보정 방법.
3. 제2항에 있어서,

   상기 추가 보정하는 단계 이후, 죄표가 보정된 각 픽셀들을 안티-앨리어싱법으로 보정하는 단계를 더 포함하는 것을 특징으로 하는 렌즈 왜곡 보정 방법.

Images