KR101026049B1 - 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법 - Google Patents

Abstract

입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 샘플링 간격 설정부; 상기 샘플링 간격 설정부에서 결정된 샘플링 되는 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 히스토그램 생성부; 상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하고, 상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하는 단색영상 판단부; 및 상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임을 제외한 입력 이미지 프레임의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산하여 출력하는 자동 화이트 밸런스 이득 연산부를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치가 개시된다.

자동 화이트 밸런스(AWB), RGB, YCbCr, 샘플링, 히스토그램, 단색영상, 복합영상

Description

단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법{WHITE BALANCE ADJUSTING APPARATUS AND METHOD CONSIDERING EFFECT OF SINGLE TONE IMAGE}

본 발명은 디지털 영상처리 분야에 관한 것으로, 더욱 상세하게는 단일 색상이 크게 분포하는 단색 영상에서 단일 색상이 자동 화이트 밸런스 조정을 위한 이득 연산에 미치는 영향을 고려하여 자동 화이트 밸런스가 무너지는 것을 방지할 수 있는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치 및 방법에 관한 것이다.

일반적으로, 사람의 시각은 광원이 바뀌어도 동일한 피사체에 대하여 항상 같은 색으로 인지하는 특징이 있다. 즉, 광원이 태양광, 형광등, 백열등과 같이 색온도가 다른 광원으로 변화하는 경우에도 사람의 시각은 흰색을 항상 동일한 흰색으로 인식하게 된다. 이에 반해, 고체 촬상소자를 적용한 이미지 센서는 빛을 전기적 신호로 변환하는 장치이기 때문에 광원에 따라 변화하는 피사체의 색상을 변화한 그대로 검출하게 된다. 따라서, 이러한 이미지 센서로부터 검출된 색상을 사람 의 시각과 유사하게 표현될 수 있도록 하기 위해 대부분의 디지털 이미지 처리 장치들(예를 들어, 디지털 카메라)은 화이트밸런스를 자동으로 조정하기 위한 자동 화이트 밸런스 조정 알고리즘을 적용하고 있다.

통상적으로, 디지털 이미지 처리 장치에서 이루어지는 자동 화이트 밸런스 조정은, 이미지에서의 중간 밝기를 가진 흰색 피사체가 동일한 출력 레벨들을 가지는 색신호(RGB 신호)로 표현되도록 함으로써 수행된다. 종래의 자동 화이트 밸런스 조정을 위하여 사용되는 가장 일반적인 알고리즘은, 광원의 변동과 상관없이 화면의 색 평균치를 화이트로 가정하여 색 평균치를 구한 후 색 평균치를 화이트로 이동시킬 수 있는 색신호 레벨의 이득을 구하여 전체 이미지에 적용하는 방식을 채택하고 있다. 예를 들면, 종래의 자동 화이트 밸런스 조정 방법은 입력 이미지 내의 백색 추정 영역에 속한 화소들의 색차 신호인 Cb, Cr 값을 적분하고 이에 대한 평균값을 계산하여 적색(R)과 청색(B)의 이득을 조정하는 방법을 채택하였다.

그러나 이러한 통상의 자동 화이트 밸런스 조정 기술들은 한 색상이 매우 넓게 분포하는 단색 영상에서는 화이트 밸런스를 위한 이득을 연산하는데 한 색상의 영향을 크게 받아 연산된 이득을 적용한 경우 화이트 밸런스가 무너지는 문제가 발생하게 된다. 따라서, 입력되는 영상이 단색 영상인지 판단하는 기술이 자동 화이트 밸런스 조정 알고리즘에 요구되고 있다.

이러한, 종래의 단색영상 판단 방법으로, 입력영상의 RGB 각각의 데이터를 모두 고려하여 인접한 화소와의 값들을 비교하고 인접 화소와의 값 차에 대한 데이터의 누적을 통해서 단색영상을 판단하는 방법이 알려져 있다. 이 종래의 방법은 시스템의 효율성이 떨어질 수 있으며 이웃한 화소와의 비교를 통해서 이상적인 단색영상은 판단할 수 있지만 카메라 센서로부터 입력되는 단색영상은 완전히 특정한 한 영역에 모두 집중적으로 형성되는 경우가 아니라 특정한 영역 주변에 집중되어 있는 형태로 구성되어 있기 때문에 이웃한 화소간의 비교 오차가 진행될수록 계속 누적 된다면 최종적으로 판단의 오류가 발생할 확률이 높다. 또한, 이웃한 화소와의 비교는 단순히 한 프레임을 고려했을 때는 단색영상으로 판단하여 색상의 왜곡의 발생을 방지할 수 있으나, 다양한 색상이 비교적 일정하게 분포하는 복합영상에서 한가지 색상이 넓게 분포하는 단색영상으로의 진행과정은 판단할 수 없는 문제점이 있다.

또 다른 단색영상 판단 방법으로, 화면의 중앙을 카메라 촬영을 위한 피사체의 영역으로 가정하고 해당 영역에서 피사체로 판단되는 윤곽선 영역을 판단해서 판단된 윤곽선 영역을 일정 크기의 블록으로 나누어서 화면 중앙의 피사체 영역의 휘도 값의 평균과 산포도를 비교하여 단색영상을 판단하는 방법이 알려져 있다. 이 방법은, 화면의 중앙에 대한 윤곽선 영역을 판단하고 해당 영역을 일정 크기의 블록으로 분할하는 과정에서 시스템의 부하가 증가될 수 있으며, 피사체 영역에 대한 가정이 어긋난 경우에는 원하는 결과를 얻을 수 없다는 단점이 있다. 그리고 이 방법 또한 복합영상에서 단색영상으로의 진행과정에 대한 고려가 없기 때문에 상기 경우가 발생하는 경우에는 올바르지 못한 결과를 얻을 수 있는 단점이 있다.

본 발명은 스틸 이미지 또는 동영상을 생성하는데 있어서 단색 영역이 과도하게 존재하는 경우 자동 화이트 밸런스 조정을 수행하더라도 화이트 밸런스가 깨어지는 것을 방지할 수 있는 자동 화이트 밸런스 조정 장치 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.

또한, 본 발명은 자동 화이트 밸런스 조정을 위한 연산량 및 하드웨어 크기를 감소시킬 수 있는 자동 화이트 밸런스 조정 장치 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.

상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,

입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 샘플링 간격 설정부;

상기 샘플링 간격 설정부에서 결정된 샘플링 되는 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 히스토그램 생성부;

상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하고, 상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하는 단색영상 판단부; 및

상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임을 제외한 입력 이미지 프레임의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산하여 출력하는 자동 화이트 밸런스 이득 연산부를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치를 제공한다.

본 발명의 일실시형태에서, 상기 자동 화이트 밸런스 이득 연산부는, 상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력할 수 있다.

본 발명의 일실시형태에서, 상기 히스토그램 생성부는, 하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성할 수 있다.

본 발명의 일실시형태에는, 상기 단색영상 판단부에 의해 단색영상으로 판단되지 않은 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 제거대상 화소 판단부를 더 포함할 수 있다. 이 실시형태에서, 상기 자동 화이트 밸런스 이득 연산부는, 상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산할 수 있다.

본 발명의 일실시형태는, 상기 제거대상 화소 판단부에서 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 제거량 판단부를 더 포함할 수 있으며, 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 상기 자동 화이트 밸런스 이득 연산부는 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력할 수 있다.

상기 기술적 과제를 해결하기 위한 다른 수단으로서 본 발명은,

입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 단계;

상기 샘플링되는 화소를 결정하는 단계에서 샘플링 되는 것으로 결정된 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 단계;

상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하는 단계; 및

상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하고, 상기 단색영상으로 판단된 입력 이미지 프레임을 제 외한 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 제공한다.

본 발명의 일실시형태에서, 상기 자동 화이트 밸런스 조정을 수행하는 단계는, 상기 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계일 수 있다.

본 발명의 일실시형태에서, 상기 히스토그램을 작성하는 단계는, 하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성하는 단계일 수 있다.

본 발명의 일실시형태는, 상기 최대값들이 모두 상기 제1 임계값보다 크지 않은 경우, 상기 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, 그룹들의 Cb값 및 Cr값의 범위와 사전 설정된 기준 범위를 비교하는 단계;

상기 Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 단계; 및

상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산하는 단계를 더 포함할 수 있다.

본 발명의 일실시형태는, 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 단계 및 상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스를 수행하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 자동 화이트 밸런즈 수행시, 이미지 프레임에 포함된 과도한 단색 영역의 영향에 의해 화이트 밸런스가 깨어지는 문제점을 해결하여 자연스런 색상의 이미지를 구현할 수 있다.

또한, 본 발명에 따르면, 복합영상에서 단색영상으로의 진행과정에서의 자동 화이트 밸런스 수행시 증가하는 단색 영역을 자동 화이트 밸런스 이득 연산에서 제외 함으로써 동영상에서도 자연스런 색상 구현이 가능한 효과가 있다.

또한, 본 발명에 따르면, 입력되는 이미지 프레임의 모든 화소가 아닌 일부 화소만 사용하고, 하나의 이미지 프레임에 대해 Cr 또는 Cb 중 하나의 히스토그램 만 작성하므로 단색영상 판단에 필요한 연산량 및 하드웨어 크기를 감소시킬 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.

도 1은 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치의 블록 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치는, 색좌표 변환부(11), 샘플링 간격 설정부(12), 히스토그램 생성부(13), 단색영상 판단부(14), 제거대상 화소 판단부(15), 제거량 판단부(16), 자동 화이트 밸런스(Auto White Balance: AWB) 이득 연산부(17) 및 자동 화이트 밸런스 적용부(18)를 포함할 수 있다.

상기 색좌표 변환부(11)는 RGB 색좌표로 표현된 이미지 프레임을 YCbCr 색좌표로 변환한다. 통상적으로 이미지 센서가 장면을 캡쳐하여 출력하는 신호는 각 화소들을 RGB 중 하나의 색상으로 표현한 베이어 패턴을 나타내며, 이 베이어 패턴으로 출력된 이미지 프레임에 컬러 보간 알고리즘을 적용하여 각 화소들이 RGB 값으로 표현되는 RGB 색좌표로 변환된다. 본 발명의 색좌표 변환부(11)는 이 RGB 색좌표로 표현된 이미지 프레임을 YCbCr 색좌표로 변환한다.

상기 샘플링 간격 설정부(12)는, 입력되는 이미지 프레임에서 샘플링 되는 화소를 결정한다. 즉, 상기 샘플링 간격 설정부(12)는, 입력되는 이미지 프레임에 포함된 모든 화소에서 일부 화소를 선택하기 위해 수평 또는/및 수직 방향의 샘플링 간격을 설정하고, 이 샘플링 간격에 해당하는 화소만을 포함하는 다운 샘플링된 이미지 프레임을 생성할 수 있게 한다. 상기 샘플링 간격 설정부(12)는 이후에 수행되는 단색영상 판단을 위해 적절한 사이즈의 이미지 프레임을 생성하기 위한 것으로, 입력되는 이미지 프레임의 사이즈에 따라 적절하게 샘플링 간격을 설정할 수 있다.

상기 히스토그램 생성부(13)는 상기 변환된 YCbCr 색좌표를 이용하여, 상기 샘플링 간격 설정부(12)에서 샘플링되는 것으로 결정된 화소들을 포함하는 이미지 프레임에 대해 Cb 또는 Cr에 대한 히스토그램을 생성한다. 즉, 입력되는 이미지 프레임의 각 화소들의 Cb 또는 Cr 값을 파악하고, x축이 Cb 값을 나타내고 y축이 빈 도수를 나타내는 Cb의 히스토그램 또는 x축이 Cr 값을 나타내고 y축이 빈도수를 나타내는 Cr의 히스토그램을 각각 생성한다. 바람직하게, 상기 히스토그램 생성부(13)는, 샘플링된 하나의 이미지 프레임에 대해 Cb 값 및 Cr 값 중 하나의 값에 대한 히스토그램을 생성할 수 있다. 이러한 히스토그램을 생성하기 위한 Cb 값 또는 Cr 값의 선택은 입력되는 프레임의 순서에 따라 번갈아서 수행될 수 있다.

본 발명은 상기 샘플링 간격 설정부(12)에 의한 이미지 프레임의 일부 화소들을 샘플링하는 동작과, 하나의 이미지 프레임에 대해 하나의 색상값에 대해 히스토그램을 산출하는 과정을 통해 단색영상 판단에 소요되는 연산량 및 하드웨어 사이즈를 감소시킬 수 있다.

상기 단색영상 판단부(14)는 상기 히스토그램 생성부(13)에서 생성된 Cb 및 Cr의 히스토그램 각각의 최대값, 즉 최대 빈도수와 사전 설정된 제1 임계값을 비교하여 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 경우 해당 이미지 프레임을 단색 영상으로 판단한다.

상기 제거대상 화소 판단부(15)는 Cb 및 Cr의 히스토그램을 분석하여 해당 이미지 프레임이 복합영상에서 단색 영상으로 변경되고 있는지 판단하고, 단색 영역이 오토 화이트 밸런스에 영향을 미치는 것을 차단하기 위해 오토 화이트 밸런스 이득 연산에서 단색 영역을 제거할 수 있도록 단색 영역의 화소들을 판단한다. 상기 제거대상 화소 판단부(15)는 Cb 및 Cr의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖는 Cb 및 Cr의 값 중 서로 인접한 값들을 그룹화하고, 이 그 룹들의 Cb 및 Cr의 범위가 사전 설정된 기준 범위보다 좁은 경우 이 그룹에 속한 화소들은 단색 영역에 포함되는 화소들로 판단하고 해당 영상에서 이 그룹에 속한 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산할 수 있게 한다.

상기 제거량 판단부(16)는 상기 제거대상 화소 판단부(15)에서 오토 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들의 수를 판단하여 과도한 수의 화소가 이득 연산에서 제외되어야 하는 것으로 판단된 경우, 이 판단된 이미지 프레임에 대해 자동 화이트 밸런스 이득 연산 새로이 수행하는 것을 차단하게 한다.

상기 자동 화이트 밸런스 이득 연산부(17)는, 입력 이미지 프레임의 각 화소들의 색상정보를 이용하여 당 기술분야에 알려진 다양한 기법을 이용하여 색상값을 변동시킬 수 있는 자동 화이트 밸런스 이득을 연산한다. 상기 자동 화이트 밸런스 이득 연산부(17)는 입력 이미지 프레임의 색상 정보를 이용하여 자동 화이트 밸런스 이득을 연산하되, 상기 단색영상 판단부(14)에서 입력 이미지 프레임이 단색영상으로 판단된 경우에는 해당 입력 이미지 프레임을 이용한 자동 화이트 밸런스 이득을 연산하지 않고 이전 입력 이미지 프레임에 대해 연산되었던 자동 화이트 밸런스 이득을 그대로 출력할 수 있다. 또한, 상기 자동 화이트 밸런스 이득 연산부(17)는 상기 제거대상 화소 판단부(15)에서 자동 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들을 입력 이미지 프레임에서 제외하고 나머지 화소들의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산할 수 있다. 또한, 상기 자동 화이트 밸런스 이득 연산부(17)는 상기 제거량 판단부(16)에 의해 상기 제거대상 화소 판단부(15)에서 오토 화이트 밸런스 이득 연산에서 제외되어야 하는 것으로 판단된 화소들의 수가 과도하게 많은 경우, 해당 입력 이미지 프레임을 이용한 자동 화이트 밸런스 이득을 연산하지 않고 이전 입력 이미지 프레임에 대해 연산되었던 자동 화이트 밸런스 이득을 그대로 출력할 수 있다.

상기 자동 화이트 밸런스 이득 적용부(18)는, 상기 자동 화이트 밸런스 이득 연산부(17)에서 입력 이미지 프레임의 색상 상태에 따라 연산되어 출력되는 자동 화이트 밸런스 이득을 입력 이미지 프레임에 적용하여 자동 화이트 밸런스 조정이 이루어진 이미지 프레임을 생성한다.

상기와 같이 구성되는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치의 작용 및 효과에 대해 첨부도면을 참조하여 더욱 상세하게 설명한다.

도 2는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 도시한 플로 차트이다.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시형태는 각 화소가 RGB 색좌표로 표현된 입력 이미지 프레임을 색좌표 변환부(11)에서 YCbCr 색좌표로 변환하는 단계(S21) 및 입력 이미지 프레임에서 일부 화소를 선택하는 샘플링을 수행하기 위한 샘플링 간격을 설정하는 단계(S22)로부터 시작될 수 있다.

이어, 히스토그램 생성부(13)에서, 샘플링 간격에 따라 선택된 화소를 포함하는 이미지 프레임의 색상 정보에 대한 고려를 위해 Cb 또는 Cr의 히스토그램을 생성한다(S23). 이 때, 하나의 샘플링된 이미지 프레임에 대해서는 Cb 값 및 Cr 값 중 하나의 히스토그램을 생성할 수 있다. 히스토그램의 X축은 0부터 255의 값을 가지며 이는 한 픽셀에서 Cb, Cr이 가질 수 있는 값의 범위를 나타낸다. 그리고 각각의 히스토그램 X축은 0부터 255까지의 값을 모두 하나씩 고려하여 모두 256개의 그룹으로 나누어서 히스토그램을 생성할 수 있으나, 시스템의 부담이 커질 수 있다. 그러므로 0부터 255까지 생성되는 256개의 그룹을 일정 범위의 값끼리는 서로 그룹으로 묶어서 고려함으로 히스토그램을 분석하기 위한 데이터의 그룹을 256개 보다 줄여줄 수 있도록 하여 시스템의 효율성을 높일 수 있도록 하였다. 이 때 한 그룹이 갖는 값의 크기를 작게 한다면 히스토그램의 정밀도는 높아지는 반면에 시스템의 복잡도가 증가하게 되고, 한 그룹이 갖는 값의 크기를 크게 한다면 고려해야 되는 그룹의 개수는 줄어들어 시스템의 부담을 줄여줄 수 있지만 히스토그램의 정밀도는 낮아질 수 있다. 예를 들어, 0부터 255까지의 값에서 하나의 그룹 크기를 4로 지정하는 경우, 0~3, 4~7, ..., 248~251, 252~255로 그룹을 나누어 총 64개의 그룹으로 히스토그램을 생성할 수 있다. 히스토그램의 Y축은 입력 이미지 프레임의 전 체 픽셀들을 고려하여 X축의 Cb 및 Cr 값이 나타나는 빈도수를 나타낸다. 이 때, Y축에 표현되는 빈도수는 해당 Cb, Cr값을 나타내는 픽셀의 수를 그대로 나타낼 수도 있으나, 실제 픽셀 수를 전체 픽셀 개수로 나누어 0~1까지 정규화 시킨 값으로 표현할 수도 있다. 이와 같이 생성된 Cb, Cr의 히스토그램은 Cb, Cr이 갖는 각각의 값에 전체 영상 대비 얼마나 많은 픽셀들이 분포되어 있는지를 알 수 있다.

이어, 단색영상 판단부(14)에서는 샘플링된 입력 이미지 프레임에 대해 작성된 Cb, Cr의 히스토그램을 분석하여 입력 이미지 프레임이 단색 영상인지 판단한다(S24).

도 3 및 도 4는 본 발명의 일실시형태에 의해 생성된 Cb, Cr의 히스토그램의 일례를 도시한 것으로, 도 3은 한 색상의 영역이 넓게 분포하지 않은 복합 영상의 히스토그램을 도시한 것이며, 도 4는 한 색상의 영역이 넓게 분포하는 단색 영상의 히스토그램을 도시한 것이다.

도 3에 도시된 바와 같이, 복합영상의 Cb, Cr의 히스토그램 분포는 전체 영상에 다양한 색상의 분포로 인해 Cb, Cr 데이터의 분포가 넓게 퍼져있는 형태를 나타내고 있으며 따라서 Cb, Cr 히스토그램의 Y축, 즉 빈도수의 최대값이 크게 나타나지 않음을 확인할 수 있다. 이에 반해, 도 4의 단색영상의 Cb, Cr 히스토그램의 분포는 단일 색에 해당되는 부분에 집중적으로 구성되어 있어서 누적 카운팅되는 픽셀의 수가 증가하게 되고 따라서 Cb, Cr 히스토그램의 최대값 또한 복합영상의 히스토그램의 최대값 보다 상대적으로 큰 값을 갖는 것을 확인할 수 있다. 이 때, 단색영상이라고 정의하는 것은 영상의 RGB 값이 각각 한가지 값으로 완전히 집중되어 있는 이상적인 경우 만을 단색영상이라고 하는 것이 아니라 이미지 센서로부터 입력되는 다양한 이미지 즉, 자연환경에서 단색영상이라고 판단할 수 있는 벽면, 단색의 섬유, 등을 모두 포함한다. 그러므로 사용되는 이미지 센서의 특성 또는 조명의 반사광 등의 영향으로 인해서 영상의 RGB 값이 하나의 값에 모두 집중적으로 형성되는 것이 아니라 하나의 값 주변에 집중적으로 형성되는 형태를 나타낸다. 그러므로 본 발명에서는 단색영상의 이러한 특성 또한 고려하여 단색영상을 판단할 수 있도록 하였다.

본 발명의 일실시형태는, 이러한 복합영상과 단색영상의 상기 히스토그램의 특성을 이용하여, 다양한 이미지를 이용한 실험을 통해 얻은 소정의 임계값(Th1)을 사전 결정하고, Cb, Cr 히스토그램의 최대값이 이 임계값(Th1)보다 작으면 복합영상으로 판단해서 자동 화이트 밸런스를 정상적으로 수행하고, Cb Cr 히스토그램의 최대값이 임계값(Th1)보다 크면 단색영상으로 판단해서 자동 화이트 밸런스 이득을 새로이 생성하지 않고, 이전 입력 이미지 프레임에 의해 생성된 자동 화이트 밸런스 이득을 적용하여(S27) 단색영상의 탈색을 방지할 수 있게 한다. 더하여, 일반적인 단색영상일 경우 Cb 히스토그램의 형태와 Cr 히스토그램의 형태가 유사한 형태를 갖지만 일부 단색영상의 경우에는 Cb, Cr의 히스토그램의 형태가 유사하지 않고 Cb 또는 Cr의 히스토그램 중 하나의 히스토그램은 복합영상과 유사한 히스토그램의 형태를 나타나고 나머지 하나의 히스토그램은 단색영상의 히스토그램의 형태를 나타내는 경우가 발생할 수 있다. 이러한 경우를 고려하여 본 발명에서는 단색영상을 판단하기 위하여 Cb 히스토그램의 최대값 또는 Cr 히스토그램의 최대값, 두 값 중 하나의 경우만 임계값을 초과하여도 단색영상이라고 판단하는 것이 바람직하다.

상기와 같은 입력 이미지 프레임의 단색 영상 여부를 판단하는 것을 통해 고정된 스틸 이미지를 획득하는데 있어 자동 화이트 밸런스의 성능을 향상시킬 수 있으나, 결과물로서 동영상을 제공하여야 하는 경우에는 1초에 수 프레임이 진행됨으로 단일 프레임을 단색영상으로 판단한다고 하더라도 복합영상에서 단색영상으로 또는 단색영상에서 복합영상으로 진행되는 과정에서 복합영상에서 일부분을 차지하게 되는 단색영상의 영향으로 인하여 색상의 왜곡이 발생할 수 있다. 그러한 경우 단색영상에서 복합영상으로의 진행 과정에서는 어차피 복합영상에서 자동 화이트 밸런스를 위한 새로운 자동 화이트 밸런스 이득이 생성됨으로 인해서 크게 문제점이 나타나지 않지만, 복합영상에서 단색영상으로 진행되는 경우에는 단색영상으로 판단되기 전까지는 자동 화이트 밸런스 이득이 연산됨으로써 복합영상의 일부분을 차지하고 있는 단색 영역의 영향으로 인해 색상의 왜곡이 발생한다. 즉, 단색영상으로의 진행을 마친 이후에는 전술한 단색 영상 판단 과정(S24)으로 인해 더 이상 자동 화이트 밸런스 이득의 변경이 수행되지 않고 단색영상으로 진행되기 이전의 자동 화이트 밸런스 이득이 유지됨으로 인해서 왜곡된 색상이 계속 유지되어서 단색영상이 탈색이 되지는 않지만, 왜곡된 색상이 유지되는 문제점이 발생한다. 이러한 문제점을 해결하기 위해서 본 발명의 일실시형태는 동영상 결과물을 생성하여야 하는 경우 복합영상에서 단색영상으로의 진행 과정에서 발생하는 색상의 왜곡을 방 지할 수 있는 기법을 구비한다.

도 5는 복합영상에서 단색영상으로 진행되는 과정의 예제 이미지를 일정간격의 프레임 단위로 나타내고 있고, 도 6은 도 5의 일부 이미지 프레임의 Cb, Cr 히스토그램을 나타내고 있다. 도 5 및 도 6에 도시된 바와 같이, 복합영상에서 단색영상으로의 진행 과정에서는, 처음에는 복합영상의 특성을 나타내다가 서서히 단색영역에 대한 영향으로 인해 히스토그램 일부 영역의 빈도수가 증가됨을 확인할 수 있다. 즉, 단색 영역이 증가한 이후에는 최초의 복합영상에 의한 히스토그램 데이터들이 거의 없어지고 단색영역에 의해 생성된 데이터들로 구성되는 것을 알 수 있다. 그러므로 히스토그램 일부 영역의 빈도수가 현저히 증가하게 되는 히스토그램의 데이터를 복합영상에서 단색영상으로 진행되는 과정에서의 단색의 영향이라고 판단할 수 있다. 상기 판단에 따라서 완전히 단색영상으로 판단되기 이전에는 복합영상에서 진행되는 단색영상의 영향을 제거하고 남아있는 복합영상의 데이터들을 이용해서 자동 화이트 밸런스 이득 연산을 수행할 수 있도록 하는 것이 바람직하다.

단색영역의 영향으로 인해 생성되는 히스토그램 데이터를 제거하기 위해서는 입력 이미지 프레임에 대한 히스토그램에서 데이터가 형성되어 있는 형태를 비교해서 복합영상에 대한 그룹인지 또는 진행되고 있는 단색영상에 의한 그룹인지를 판단한다. 이를 위해 본 발명에서는, Cb, Cr의 히스토그램에서 사전 설정된 임계값(Th2)보다 큰 값을 갖는 서로 인접한 X축의 Cb, Cr값들을 그룹으로 형성하고, 각 그룹의 Cb, Cr 값의 범위와 사전 설정된 기준범위를 비교하여, Cb, Cr값의 범위가 사전 설정된 기준범위보다 작은 그룹은 단색 영역으로 진행되는 것으로 판단한다(S25). 단색 영역으로 진행되는 것으로 판단된 그룹에 속한 픽셀들은 자동 화이트 밸런스 이득 연산에서 제외시킨다. 도 7은 복합영상에서 단색영상으로의 진행과정을 재현한 히스토그램 형태의 예를 나타내고 있다. 도 7에서, 제2 그룹(G2)은 복합영상의 히스토그램 데이터의 형태를 나타내고, 있고 제1 그룹(G1)은 복합영상에서 단색영상으로의 진행과정에서 발생하는 단색영역의 히스토그램 데이터의 형태를 나타낸다. 일반적으로 복합영상에서 단색영상으로의 진행과정이 이루어진다 하더라도 완전히 독립된 데이터로 그룹이 형성되는 것이 아니라 도 7에서와 같이 2개의 그룹으로 나누어지는 형태는 띄지만 전체적으로는 두 그룹 사이에는 미량의 데이터가 잔재하게 된다. 그러므로 복합영상의 히스토그램 데이터들과 단색영상의 히스토그램 데이터들의 두 그룹을 명확하게 구분하기 위해서는 두 그룹 사이에 형성되어 있는 아주 작은 값의 데이터들을 영향을 제거하기 위해 소정의 임계값(Th2)보다 큰 빈도수를 나타내는 경우만 고려함으로써 복합영상에 의한 그룹과 단색영역에 의한 그룹을 명확하게 구분할 수 있게 된다. 단색영역에 의한 데이트임을 판단하기 위해서는 각 그룹이 X축, 즉 각 그룹의 Cb, Cr값의 범위를 비교한다. 일반적으로 복합영상의 히스토그램 데이터는 색상 정보가 다양하게 구성되어 있어 넓게 퍼져있는 형태로 이루어지며 단색영상의 히스토그램 데이터는 다양하지 않은 색상 정보의 구성으로 한 곳에 집중되어 있는 형태로 나타난다. 따라서 X 축의 0부터 255의 값을 갖는 히스토그램에서 복합영상의 데이터는 X축에 차지하게 되는 그룹 영역의 크기가 단색영상이 X축에 차지하게 되는 그룹 영역의 크기보다 큰 그룹 영역을 갖게 된 다. 그러므로 단색영역으로 판단할 수 있는 기준 범위를 사전에 설정하고, 히스토 그램에서 나타나는 그룹들 중 이 기준 범위 보다 작은 x축 범위, 즉 Cb, Cr의 범위를 갖는 그룹은 단색 영상에 의한 그룹으로 판단하여 해당 그룹에 속한 픽셀들은 자동 화이트 밸런스를 위한 이득 연산에서 제외한 후(S28), 자동 화이트 밸런스 이득을 연산하게 한다(S29).

한편, 상기와 같이 자동 화이트 밸런스 이득 연산에 단색 영역에 속한 픽셀들을 제거하게 되는 경우, 과도한 픽셀 제거로 인해 화이트 밸런스 이득 연산에 충분한 수의 픽셀이 사용되지 못하는 문제가 발생할 수 있다. 예를 들어, 입력 이미지 프레임이 도 8에 도시한 것과 같이 한 종류 이상의 단색영상이 입력되는 경우가 발생할 수도 있다. 이러한 경우 히스토그램 데이터는 도 9와 같이 히스토그램의 Y축의 최대값이 단색영상을 판단하는 과정(S24)에서 제1 임계값보다 작은 값이어서 단색영상으로 판단되지 않고, 단색영역에 포함되는 그룹의 픽셀들을 자동 화이트 밸런스 이득 연산에서 제거하는 과정(S25)에서의 조건은 만족하여, 화이트 밸런스 이득 연산에서 대부분의 픽셀들이 제외될 수 있다. 이러한 경우 자동 화이트 밸런스 이득을 연산하여 적용하면, 화이트 밸런스 이득 연산에 사용된 픽셀을 수가 너무 적어 색상의 왜곡이 심해지거나 원하지 않는 결과를 얻는 문제점이 발생할 수 있다. 이러한 경우를 방지하기 위해서 단색영역의 영향에 의한 히스토그램 데이터 제거를 수행하는 경우에는, 자동 화이트 밸런스 이득 연산에 제외되는 픽셀의 양을 판단하여(S26) 사전 설정된 임계값(Th3) 이상의 픽셀이 제외된다면 이는 하나 이상 의 단색영상이 입력되는 경우라고 판단해서 자동 화이트 밸런스를 위한 이득 연산을 수행하지 않고 단색영상으로 판단되었을 경우와 동일하게 이전의 입력 이미지 프레임에 의해 연산된 자동 화이트 밸런스 이득을 적용함으로써 많은 수의 픽셀이 연산에서 제외되어 발생할 수 있는 문제점을 해결할 수 있도록 하였다.

본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 일실시형태에 따른 화이트 밸런스 조정 장치의 블록 구성도이다.

도 2는 본 발명의 일실시형태에 따른 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법을 도시한 플로 차트이다.

도 3 및 도 4는 본 발명의 일실시형태에 의해 생성된 Cb, Cr의 히스토그램의 일례이다.

도 5는 복합영상에서 단색영상으로 진행되는 과정의 이미지를 일정 간격의 프레임 단위로 나타낸 도면이며, 도 6은 도 5의 일부 이미지 프레임의 Cb, Cr 히스토그램이다.

도 7은 복합영상에서 단색영상으로의 진행과정을 나타내는 히스토그램이다.

도 8은 두 가지 색상으로 이루어진 단색 영상의 예를 도시한 도면이다.

도 9는 도 8에 도시된 단색 영상의 히스토그램이다.

*도면의 주요부분에 대한 부호의 설명*

11: 색좌표 변환부 12: 샘플링 간격 설정부

13: 히스토그램 생성부 14: 단색영상 판단부

15: 제거대상 화소 판단부 16: 제거량 판단부

17: 자동 화이트 밸런스 이득 연산부

18: 자동 화이트 밸런스 이득 적용부

Claims (10)

1. 입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 샘플링 간격 설정부;

   상기 샘플링 간격 설정부에서 결정된 샘플링 되는 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 히스토그램 생성부;

   상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하고, 상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하는 단색영상 판단부; 및

   상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임을 제외한 입력 이미지 프레임의 색상정보를 이용하여 자동 화이트 밸런스 이득을 연산하여 출력하는 자동 화이트 밸런스 이득 연산부

   를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.
2. 제1항에 있어서,

   상기 자동 화이트 밸런스 이득 연산부는,

   상기 단색영상 판단부에 의해 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.
3. 제1항에 있어서, 상기 히스토그램 생성부는,

   하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.
4. 제1항에 있어서,

   상기 단색영상 판단부에 의해 단색영상으로 판단되지 않은 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 제거대상 화소 판단부를 더 포함하며,

   상기 자동 화이트 밸런스 이득 연산부는, 상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.
5. 제4항에 있어서,

   상기 제거대상 화소 판단부에서 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 제거량 판단부를 더 포함하며,

   상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 상기 자동 화이트 밸런스 이득 연산부는 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 출력하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 장치.
6. 입력 이미지 프레임의 사이즈에 따라 상기 입력 이미지 프레임에서 샘플링 되는 화소를 결정하는 단계;

   상기 샘플링되는 화소를 결정하는 단계에서 샘플링 되는 것으로 결정된 화소들에 대해 Cb값 및 Cr값의 히스토그램을 작성하는 단계;

   상기 Cb값의 히스토그램의 최대값 또는 상기 Cr값의 히스토그램의 최대값을 사전 설정된 제1 임계값과 각각 비교하는 단계; 및

   상기 최대값들 중 적어도 하나가 상기 제1 임계값보다 큰 입력 이미지 프레임을 단색영상으로 판단하고, 상기 단색영상으로 판단된 입력 이미지 프레임을 제외한 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계

   를 포함하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.
7. 제6항에 있어서,

   상기 자동 화이트 밸런스 조정을 수행하는 단계는,

   상기 단색영상으로 판단된 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스 조정을 수행하는 단계를 포함하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.
8. 제6항에 있어서, 상기 히스토그램을 작성하는 단계는,

   하나의 입력 이미지 프레임에 대해 Cb값 및 Cr값 중 하나의 값에 대한 히스토그램을 작성하는 단계인 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.
9. 제6항에 있어서,

   상기 최대값들이 모두 상기 제1 임계값보다 크지 않은 경우, 상기 입력 이미지 프레임의 Cb값 및 Cr값의 히스토그램에서 사전 설정된 제2 임계값보다 큰 빈도수를 갖고 서로 인접한 Cb값 및 Cr값을 각각 그룹화하고, 그룹들의 Cb값 및 Cr값의 범위와 사전 설정된 기준 범위를 비교하는 단계;

   상기 Cb값 및 Cr값의 범위가 사전 설정된 기준 범위보다 보다 좁은 그룹에 속한 화소들을 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단하는 단계; 및

   상기 입력 이미지 프레임으로부터 상기 자동 화이트 밸런스 조정에 사용되지 않는 화소로 판단된 화소들을 제외한 나머지 화소들을 이용하여 자동 화이트 밸런스 이득을 연산하는 단계를 더 포함하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.
10. 제9항에 있어서,

    상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수와 사전 설정된 제3 임계값을 비교하는 단계; 및

    상기 자동 화이트 밸런스 조정에 사용되지 않는 것으로 판단된 화소의 수가 상기 제3 임계값보다 큰 경우, 해당 입력 이미지 프레임에 대해 자동 화이트 밸런스 이득을 연산하지 않고 그 이전 입력 이미지 프레임에 대해 연산된 자동 화이트 밸런스 이득을 이용하여 자동 화이트 밸런스를 수행하는 단계를 더 포함하는 것을 특징으로 하는 단색 영상의 영향을 고려한 자동 화이트 밸런스 조정 방법.

Images