KR100801085B1

KR100801085B1 - 자동 백색 조절 방법 및 장치

Info

Publication number: KR100801085B1
Application number: KR1020060041702A
Authority: KR
Inventors: 김성수; 이호영; 오현화; 이성덕
Original assignee: 삼성전자주식회사
Priority date: 2005-12-14
Filing date: 2006-05-09
Publication date: 2008-02-11
Also published as: KR20070063399A

Abstract

본 발명은 자동 백색 조절 방법 및 장치에 관한 것이다.

본 발명의 실시예에 따른 자동 백색 조절 방법은 입력된 이미지가 도미넌트 색도를 갖는 오브젝트를 포함하는 경우, 상기 이미지의 색채적 특징을 갖는 복수의 특징 포인트를 제공하는 단계, 상기 복수의 특징 포인트를 사용하여 제1 광원 정보를 검출하는 단계, 상기 이미지를 구성하는 데이터 중에서 상기 제1 광원 정보의 색도와 임계치 이내의 색도차를 나타내는 데이터들의 평균 색도를 계산하는 단계, 및 상기 평균 색도를 소정의 광원 궤도에 매핑하여 제2 광원 정보를 제공하는 단계를 포함한다.

자동 백색 조절, 오브젝트 유입, 광원

Description

자동 백색 조절 방법 및 장치{Method and apparatus for auto white controlling}

도 1은 본 발명의 일 실시예에 따른 자동 백색 조절 장치를 나타낸 블록도이다.

도 2는 본 발명의 일 실시예에 따른 이미지를 기준 영역과 서브 영역으로 구분한 상태를 나타낸 도면이다.

도 3은 입력된 이미지에서 도미넌트 오브젝트를 검색하는 과정을 나타낸 흐름도이다.

도 4는 본 발명의 일 실시예에 따른 도미넌트 오브젝트의 유입 여부의 판단 과정을 설명하기 위한 도면이다.

도 5는 입력된 이미지의 특징 포인트를 제공하는 과정을 나타낸 흐름도이다.

도 6a 내지 도 6c는 휘도-색도 좌표 상의 이미지 데이터 분포의 일 예를 나타낸 도면이다.

도 7은 본 발명의 일 실시예에 따른 광원 검출 과정을 나타낸 흐름도이다.

도 8a 내지 도 8g는 광원 검출 과정을 설명하기 위한 도면이다.

<도면의 주요 부분에 관한 부호의 설명>

110 : 휘도-색도 매핑 모듈 120 : 검색 모듈

130 : 특징 분석 모듈 140 : 광원 검출 모듈

150 : 백색 조절 모듈

본 발명은 자동 백색 조절 방법 및 장치에 관한 것으로서, 더욱 상세하게는 이미지 내에 도미넌트 색도(dominant chroma)를 갖는 오브젝트가 유입되는 경우에도 일관된 색 재현 성능을 제공하는 자동 백색 조절 방법 및 장치에 관한 것이다.

빛에는 색온도라 불리는 특유의 색이 있는데, 그 단위로 켈빈(K)이 사용된다. 일반적으로, 인간의 시각 능력은 자동으로 색에 대한 감수성을 조절하기 때문에 어떤 색온도의 빛이 비추어지더라도 색채에 대한 인간의 인식 차이는 매우 미미하다. 그러나, 카메라나 캠코더와 같은 이미지 픽업(pick up) 장치는 색온도가 반영된 색채를 그대로 감지하기 때문에 광원이 변하게 되면 이미지 픽업 장치가 촬영한 이미지들이 서로 다른 색채를 띠게 된다.

예를 들면, 맑은 날 태양광은 색온도가 높기 때문에 이미지 픽업 장치가 촬영한 이미지는 전체적으로 청색을 띠는 반면, 일출이나 일몰 시간대의 태양광은 색온도가 낮기 때문에 이미지 픽업 장치가 촬영한 이미지는 전체적으로 붉은색을 띠게 된다. 이러한 문제점을 개선하기 위하여 제안된 자동 백색 조절 기술은 촬영된 이미지가 색온도에 따라서 적색(R), 녹색(G), 청색(B) 성분 중 적어도 한 방향으로 편향되는 경우, 이미지의 색조가 왜곡되는 현상을 보정해주는 역할을 한다. 여기 서 자동 백색 조절 기술은 자동 화이트 밸런스 기술로 불리기도 한다.

그러나 종래의 자동 백색 조절 기술은 이미지 내에 도미넌트 색도를 갖는 오브젝트가 유입되는 경우 동일한 광원 하에서도 색 재현 결과가 일관적이지 않은 문제점이 있었다.

본 발명은 이미지 내에 도미넌트 색도를 갖는 오브젝트가 유입되는 경우에도 일관된 색 재현 성능을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 자동 백색 조절 방법은 입력된 이미지가 도미넌트 색도를 갖는 오브젝트를 포함하는 경우, 상기 이미지의 색채적 특징을 갖는 복수의 특징 포인트를 제공하는 단계, 상기 복수의 특징 포인트를 사용하여 제1 광원 정보를 검출하는 단계, 상기 이미지를 구성하는 데이터 중에서 상기 제1 광원 정보의 색도와 임계치 이내의 색도차를 나타내는 데이터들의 평균 색도를 계산하는 단계, 및 상기 평균 색도를 소정의 광원 궤도에 매핑하여 제2 광원 정보를 제공하는 단계를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 자동 백색 조절 장치는 입력된 이미지가 도미넌트 색도를 갖는 오브젝트를 포함하는 경우, 상기 이미 지의 색채적 특징을 갖는 복수의 특징 포인트를 제공하는 특징 분석 모듈, 및 상기 복수의 특징 포인트를 사용하여 제1 광원 정보를 검출하고, 상기 이미지를 구성하는 데이터 중에서 상기 제1 광원 정보의 색도와 임계치 이내의 색도차를 나타내는 데이터들의 평균 색도를 계산하고, 상기 평균 색도를 소정의 광원 궤도에 매핑하여 제2 광원 정보를 제공하는 광원 검출 모듈을 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도시된 자동 백색 조절 장치는 휘도-색도 매핑 모듈(110), 검색 모듈(120), 특징 분석 모듈(130), 광원 검출 모듈(140), 및 백색 조절 모듈(150)을 포함한다.

휘도-색도 매핑 모듈(110)은 입력되는 이미지에 포함된 데이터들을 YCrCb 데이터로 변환한다.

검색 모듈(120)은 입력되는 이미지를 분석하여 이미지 내에서 도미넌트 색도를 갖는 오브젝트(이하 도미넌트 오브젝트라 한다)를 검색한다. 이를 위하여 검색 모듈(120)은 도 2에 도시한 바와 같이 입력된 이미지를 복수의 기준 영역으로 구분하고, 각 기준 영역을 다시 복수의 서브 영역으로 구분할 수 있다. 여기서 기준 영역은 이미지에서 일반적으로 도미넌트 오브젝트가 유입될 가능성이 높은 영역들로 사전에 설정되어 있을 수 있다. 검색 모듈(120)은 각 기준 영역 별로 기준 영역을 구성하는 데이터들(또는 픽셀들)의 평균 색도(이하 기준 영역의 평균 색도라 한다)와 기준 영역에 포함되는 서브 영역별로 서브 영역을 구성하는 데이터들(또는 픽셀들)의 평균 색도(이하 서브 영역의 평균 색도라 한다)를 계산한다. 그 후 검색 모듈(120)은 기준 영역의 평균 색도와 기준 영역에 포함되는 서브 영역들의 평균 색도들 간의 차이 값을 계산한다.

어느 한 기준 영역의 평균 색도와 상기 기준 영역에 포함되는 서브 영역으로서 상기 기준 영역의 평균 색도와의 차이 값이 소정의 임계치 미만인 평균 색도를 갖는 서브 영역이 상기 기준 영역에 포함된 복수의 서브 영역 중에서 임계 비율 이상을 차지한다면, 검색 모듈(120)은 상기 기준 영역에 도미넌트 오브젝트가 유입된 것으로 판단할 수 있다. 여기서 임계치는 다양한 실험을 통하여 도미넌트 오브젝트의 유입 여부를 판별하는데 적절한 수치로 사전에 설정되어 있을 수 있다.

특징 분석 모듈(130)은 입력된 이미지의 색채적 특징을 갖는 복수의 특징 포 인트를 제공한다. 여기서 복수의 특징 포인트는 입력된 이미지를 구성하는 데이터 중에서 최대 휘도 값을 갖는 데이터(이하 최대 휘도 포인트이라 한다)와 최소 휘도 값을 갖는 데이터(이하 최소 휘도 포인트이라 한다), 입력된 이미지에서 도미넌트 오브젝트를 구성하는 데이터들의 평균 휘도와 평균 색도를 갖는 기준 포인트, 및 입력된 이미지를 구성하는 데이터 중에서 도미넌트 오브젝트의 데이터 이외의 잔여 데이터들로 구성되는 두 개의 그룹에 포함되는 데이터들의 평균 휘도와 평균 색도를 갖는 제1 클러스터링 포인트와 제2 클러스터링 포인트를 포함한다.

이러한 특징 포인트들은 검색 모듈(120)이 입력된 이미지에서 도미넌트 오브젝트를 검출한 경우에 제공될 수 있으며, 특징 분석 모듈(130)이 특징 포인트를 제공하는 과정은 도 3을 참조하여 후술하도록 한다.

광원 검출 모듈(140)은 특징 분석 모듈(130)이 제공하는 특징 포인트를 사용하여 1차 광원 정보를 검출한다. 1차 광원 정보는 입력된 이미지에서 최종적인 광원 정보를 검출하기 위하여 사용되는 임시적인 광원 정보이다. 광원 검출 모듈(140)은 입력된 이미지를 구성하는 데이터 중에서 1차 광원 정보의 색도와 임계치 이내의 색도차를 갖는 데이터들을 검색하고 검색된 데이터들의 평균 색도를 계산한다. 여기서 임계치는 환경 변화에 따라서 광원 정보를 잘 표현할 수 있는 데이터들의 바운더리를 나타내며, 실험을 통하여 적절한 값으로 사전에 설정될 수 있다. 그 후, 광원 검출 모듈(140)은 계산된 평균 색도를 갖는 그레이시 포인트(grayish point)를 소정의 광도 궤적(illuminant locus)에 매핑하여 최종 광원 정보를 검출한다. 광원 검출 모듈(140)이 최종 광원 정보를 검출하는 과정은 도 4 를 참조하여 후술하도록 한다.

백색 조절 모듈(150)은 최종 광원 정보를 사용하여 입력되는 이미지에 대한 화이트 밸런싱 작업을 수행한다.

도 1의 설명에서 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.

이하 도 3 내지 도 8g를 참조하여 자동 백색 조절 방법에 대하여 설명하도록 한다.

도 3은 입력된 이미지에서 도미넌트 오브젝트를 검색하는 과정을 나타낸 흐름도이다. 도 3의 과정은 도 1을 참조하여 설명한 자동 백색 조절 장치의 검색 모듈(120)에 의하여 수행된다.

휘도-색도 매핑 모듈(110)에 의하여 YCrCb 데이터로 변환된 이미지가 입력되면(S310), 검색 모듈(120)은 입력된 이미지를 도 2에서 예시한 바와 같이 복수의 기준 영역으로 구분하고(S320), 각 기준 영역을 복수의 서브 영역으로 구분한다(S330). 도 2에서는 하나의 이미지를 5개의 기준 영역으로 구분하고, 각 기준 영역을 16개의 서브 영역으로 구분하였으나 본 발명은 이에 한정되지 않는다.

그 후, 검색 모듈(120)은 각 기준 영역 별로, 각 기준 영역의 평균 색도와 해당 기준 영역을 구성하는 서브 영역의 평균 색도를 계산한다(S340). 그 후, 검색 모듈(120)은 각 기준 영역 별로 기준 영역의 평균 색도와 해당 기준 영역을 구성하는 서브 영역들의 평균 색도들 간의 차이를 구한다(S350).

구해진 차이가 소정의 임계치 보다 작은 서브 영역이 존재하고 그 개수가 해당 기준 영역을 구성하고 있는 전체 서브 영역의 개수에 대해서 일정 비율 이상을 차지할 경우(S360), 검색 모듈(120)은 해당 기준 영역으로 도미넌트 오브젝트가 유입된 것으로 판단할 수 있다(S370). 이에 대한 구체적인 예를 도 4를 참조하여 설명하도록 한다.

도 4는 이미지 상의 어느 한 기준 영역(410)을 도시한 것인데, 도시된 기준 영역(410)은 16개의 서브 영역으로 구성되어 있다. 기준 영역(410)에 포함되는 데이터들의 평균 색도를 R1이라 하고, 16개의 서브 영역들 각각에 포함되는 데이터들의 평균 색도를 r1 내지 r16이라 한다. 평균 색도의 계산은 도 3의 과정 S340에서 수행된다.

그 후에 도 3에서 수행되는 과정 S350을 통해서 r1 내지 r16 각각을 R1과 비 교하고 이들간의 차이값을 계산하는 작업이 수행된다. 계산 결과, R1과의 차이값이 임계치 미만인 평균 색도를 갖는 서브 영역의 개수가 8개였다면, 이들이 기준 영역(410)에서 차지하는 비율은 50％가 된다. 만약, 도 3의 과정 S360에서 언급된 임계 비율이 40%라면, 기준 영역(410)의 서브 영역들 중에서 기준 영역(410)의 평균 색도 R1과의 차이값이 임계치 미만인 평균 색도를 갖는 서브 영역의 비율이 임계 비율보다 높으므로, 도 3의 과정 S360 및 S370에 의해서 기준 영역(410)에 도미넌트 오브젝트가 유입된 것으로 판단할 수 있게 된다.

한편, 과정 S360의 판단 결과 이미지 내에서 도미넌트 오브젝트가 존재하는 기준 영역이 없다면, 종래의 기술에서와 같이 이미지 내의 모든 데이터들을 기반으로 하여 광원을 검출하는 작업이 수행될 수 있다.

도 5는 입력된 이미지의 특징 포인트를 제공하는 과정을 나타낸 흐름도이다. 도 5의 과정은 도 3의 과정을 통해서 이미지에 도미넌트 오브젝트가 존재하는 것으로 판단된 경우 도 1을 참조하여 설명한 자동 백색 조절 장치의 특징 분석 모듈(130)에 의하여 수행될 수 있다.

먼저 특징 분석 모듈(130)은 이미지에 포함된 데이터 중에서 최대 휘도 포인트와 최소 휘도 포인트를 추출한다(S510). 이미지에 포함되는 데이터를 휘도-색도 공간 상에 분포시킬 경우, 최대 휘도 포인트와 최소 휘도 포인트는 도 6a에 도시한 예로 이해될 수 있을 것이다.

그 후, 특징 분석 모듈(130)은 이미지에 포함된 데이터 중에서 도미넌트 오브젝트에 해당하는 데이터를 추출하고(S520), 추출된 데이터의 평균 휘도 및 평균 색도를 갖는 기준 포인트를 설정한다(S530).

여기서, 도미넌트 오브젝트에 해당하는 데이터는 기준 영역과 서브 영역 간의 색도 차를 통하여 검출될 수 있다. 예를 들어, 특징 분석 모듈(130)은 검색 모듈(120)에 의하여 도미넌트 오브젝트가 유입되었다고 판단되는 기준 영역에 대하여, 상기 기준 영역의 평균 색도와 상기 기준 영역을 구성하는 각 서브 영역들의 평균 색도들을 계산한다. 그 후, 특징 분석 모듈(130)은 기준 영역의 평균 색도와 각 서브 영역의 평균 색도를 비교하여 그 차이가 임계치보다 작은 서브 영역에 포함되는 데이터를 도미넌트 오브젝트의 데이터로 판단할 수 있다. 물론 특징 분석 모듈(130)은 기준 영역의 평균 색도와 서브 영역들의 평균 색도들을 직접 계산하지 않고, 검색 모듈(120)이 도미넌트 오브젝트의 유입 여부를 판단하기 위하여 계산한 결과를 사용할 수도 있다.

이미지를 구성하는 데이터들의 색도 좌표상의 분포가 도 6b와 같은 상태에서 도미넌트 오브젝트의 데이터가 추출되고 남은 잔여 데이터들은 도 6c에 도시된 바와 같이 특징 분석 모듈(130)에 의하여 두개의 그룹으로 클러스터링 된다(S540). 그 후 특징 분석 모듈(130)은 클러스터링된 각 그룹 별로 각 그룹의 데이터들의 평균 휘도와 평균 색도를 갖는 클러스터링 포인트를 설정한다(S550). 과정 S540에서 잔여 데이터들을 클러스터링하기 위하여 다양한 유형의 클러스터링 기법이 사용될 수 있다. 일 예로써 특징 분석 모듈(130)은 simplified K mean 클러스터링 기법을 사용하여 잔여 데이터들을 클러스터링할 수 있다.

이에 따라서 특징 분석 모듈(130)은 입력된 이미지의 색채적 특성을 갖는 5 개의 특징 포인트인 최대 휘도 포인트, 최소 휘도 포인트, 기준 포인트, 및 두개의 클러스터링 포인트를 제공하게 된다.

특징 포인트가 제공되면, 도 1에서 설명한 광원 검출 모듈(140)에 의한 광원 검출 작업이 수행되며 이를 도 7을 참조하여 설명하도록 한다.

도 7은 본 발명의 일 실시예에 따른 광원 검출 과정을 나타낸 흐름도이다. 본 흐름도에서 광원 검출 모듈(140)은 도미넌트 오브젝트의 데이터가 무채색(achromatic)인지 유채색(chromatic)인지를 구분함으로써, 광원 정보 검출의 기초 자료로서 도미넌트 오브젝트의 데이터를 포함시킬 것인지의 여부를 판단하게 된다.

우선 광원 검출 모듈(140)은 최대 휘도 포인트와 최소 휘도 포인트 간의 색도차(이하 D1이라 한다)를 계산한다(S710). 예를 들어 광원 검출 모듈(140)은 도 8a에 도시한 바와 같이 최대 휘도 포인트와 최소 휘도 포인트를 색도 좌표(Cr-Cb 좌표)에 투영시키고, 색도 좌표에서 두 데이터 간의 거리를 구할 수 있는데, 이 때의 거리가 D1이 된다.

이와 유사하게, 광원 검출 모듈(140)은 두 클러스터링 포인트 간의 색도차(이하 D2라 한다)를 계산한다(S715).

D1이 작을수록 최대 휘도 포인트의 색도와 최소 휘도 포인트의 색도 사이에 많은 광원 정보가 포함되며, D2가 클수록 이미지의 산포도가 크다. 따라서 광원 검출 모듈(140)은 D1과 D2를 비교함으로써 도미넌트 오브젝트에 의한 영향으로 입력된 이미지의 색채가 변화될 가능성을 체크할 수 있다.

이를 보다 구체적으로 설명하면 우선, 광원 검출 모듈(140)은 D1가 D2보다 작은지 비교한다(S720). 만약 D1이 D2보다 작다면 광원 검출 모듈(140)은 도미넌트 오브젝트의 평균 색도값을 나타내는 기준 포인트가 색도 좌표 상에서 D2의 범위 내에 존재하는지 판단한다(S725). 여기서, 기준 포인트가 D2의 범위 내에 존재한다는 의미는 기준 포인트가 제1 클러스터링 포인트의 색도값(Cr 및 Cb)과 제2 클러스터링 포인트의 색도값(Cr 및 Cb)의 사이에 존재한다는 의미이다. 예를 들어 제1 클러스터링 포인트와 제2 클러스터링 포인트가 도 8b에 도시된 바와 같이 색도 좌표 상에 존재할 경우, 제1 클러스터링 포인트와 제2 클러스터링 포인트의 Cr 및 Cb 값을 경계로 하여 구획되는 영역(명암처리된 영역) 내에 기준 포인트가 존재하면, 기준 포인트가 색도 좌표 상에서 D2의 범위 내에 존재한다고 말할 수 있는 것이다.

만약 D1이 D2보다 작고, D2의 범위 내에 기준 포인트가 존재한다면, 입력된 이미지는 도미넌트 오브젝트에 의한 영향을 받지 않은 정상 이미지(usual image)로 구분될 수 있다. 참고로, 입력 이미지가 정상 이미지(usual image)인 경우, 특징 분석 모듈(130)이 제공하는 특징 포인트들의 휘도-색도 좌표 상 배치 예는 도 8c에 도시한 바와 같다.

D1이 D2보다 작고 D2의 범위 내에 도미넌트 오브젝트의 색도 평균값이 존재하는 경우에는 도미넌트 오브젝트의 데이터가 무채색(achromatic) 데이터인 것으로 판단할 수 있으며, 광원 검출 모듈(140)은 이미지에 포함된 모든 데이터들을 바탕으로 하여 광원 정보를 검출한다(S730). 여기서, 광원 정보를 검출하기 위하여 종래의 광원 검출 기법이 사용될 수 있다.

한편, 과정 S720의 판단 결과 D1이 D2 보다 작지 않거나, 과정 S725의 판단 결과 D2 범위 내에 도미넌트 오브젝트의 평균 색도값을 나타내는 기준 포인트가 존재하지 않는다면, 입력된 이미지는 도미넌트 오브젝트에 의한 영향으로 색채가 변질되었을 가능성이 있는 비정상 이미지(unusual image)로 구분될 수 있다. 참고로, 입력 이미지가 비정상 이미지(unusual image)인 경우, 특징 분석 모듈(130)이 제공하는 특징 포인트들의 휘도-색도 좌표 상 배치 예는 도 8d에 도시한 바와 같다. 즉, D1이 D2 이상이거나, D1이 D2 보다 작더라도 D2 범위 내에 도미넌트 오브젝트의 평균 색도값을 나타내는 기준 포인트가 존재하지 않는 경우에는 도미넌트 오브젝트의 데이터가 유채색(chromatic) 데이터일 가능성이 있다.

도미넌트 오브젝트의 데이터가 유채색 데이터인지 무채색 데이터인지 식별하기 위하여 광원 검출 모듈(140)은 우선, 최대 휘도 포인트와 최소 휘도 포인트 중에서 광원과 가깝다고 판단되는 포인트(이하 비교 포인트라 한다)를 선택한다(S735). 이를 위하여, 광원 검출 모듈(140)은 최대 휘도 포인트 및 최소 휘도 포인트를 도미넌트 오브젝트의 데이터 중에서 최대 휘도를 갖는 데이터 및 최소 휘도를 갖는 데이터와 비교할 수 있다.

보다 구체적으로 설명하면, 광원 검출 모듈(140)은 도미넌트 오브젝트의 데이터 중에서 최대 휘도를 갖는 데이터 및 최소 휘도를 갖는 데이터의 색도차(이하 D3라 한다)와 D1 사이의 오버랩(overlap) 여부를 사용하여 비교 포인트를 선택할 수 있다. 여기서 D1과 D3가 오버랩 된다는 것는, 이미지 내의 최대 휘도 포인트의 색도값과 최소 휘도 포인트의 색도값을 경계로 하는 색도 영역이 도미넌트 오브젝 트에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터의 색도값들을 경계로 하는 색도 영역과 중첩된다는 의미이다. 예를 들어, 최대 휘도 포인트, 최소 휘도 포인트, 및 도미넌트 오브젝트에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터가 도 8e에 도시된 바와 같이 색도 좌표 상에 존재하는 상태에서, 최대 휘도 포인트와 최소 휘도 포인트의 Cr 및 Cb 값을 경계로 하여 구획되는 영역(810)이 도미넌트 오브젝트에서 최대 휘도를 갖는 데이터(830)와 최소 휘도를 갖는 데이터(840)의 Cr 및 Cb 값을 경계로 하여 구획되는 영역(820)과 중첩되는 경우 D1과 D3가 오버랩 된다고 말할 수 있는 것이다.

일반적으로 휘도 변화에 따른 색도 데이터의 천이 경향을 보면, 전체 이미지 내에 존재하는 높은 휘도의 색도 값이 상대적으로 더 높은 휘도의 색도 값으로 천이될 경우 또는 전체 이미지 내에 존재하는 낮은 휘도의 색도 값이 상대적으로 더 낮은 휘도의 색도 값으로 천이될 경우, 이 색도 값들은 무채색화되는 경향을 나타내게 된다. 따라서 D1과 D3가 색도 좌표 상에서 오버랩되면서 최대 휘도 포인트와 최소 휘도 포인트 중 어느 하나가 D3의 범위(도 8e의 색도 영역 820)에 포함된다면, 해당 포인트가 광원과 가까운 비교 포인트로 판단 된다. 도 8e의 경우에는 최대 휘도 포인트가 영역 820에 포함되어 있으므로 광원과 가장 가까운 비교 포인트로 판단될 수 있다. 또한, D1과 D3가 오버랩되면서 최대 휘도 포인트와 최소 휘도 포인트 중 어느 것도 D3의 범위에 포함되지 않는다면 최소 휘도 데이터가 광원과 가장 가까운 비교 포인트로 판단되고, D1과 D3가 오버랩하지 않는다면 최대 휘도 포인트와 최소 휘도 포인트 중에서 D3의 범위로부터 색도 거리가 더 먼 포인트가 광원과 가장 가까운 비교 포인트로 판단된다.

비교 최대 휘도 포인트와 최소 휘도 포인트 중에서 광원과 가깝다고 판단되는 비교 포인트가 선택되면, 광원 검출 모듈(140)은 선택된 비교 포인트의 색도와 클러스터링 포인트들의 색도의 평균값 간의 색도차(이하 D4라 한다)를 계산한다(S740). 또한 광원 검출 모듈(140)은 과정 S735에서 선택된 비교 포인트의 색도와 도미넌트 오브젝트를 구성하는 데이터들의 평균 색도(기준 포인트의 색도) 간의 색도차(이하 D5라 한다)를 계산한다(S745).

만약 D4가 D5 보다 크다면(S750), 광원 검출 모듈(140)은 도미넌트 오브젝트의 데이터를 무채색 데이터로 판단하고 이미지 내의 전 데이터를 바탕으로 하여 광원 정보를 검출한다(S730).

그러나 D4가 D5 보다 크지 않다면, 광원 검출 모듈(140)은 도미넌트 오브젝트의 데이터를 유채색 데이터로 판단하고 이미지에서 도미넌트 오브젝트의 데이터들을 제외한 잔여 데이터들을 바탕으로 하여 1차 광원 정보를 검출한다(S755). 과정 S755에서 1차 광원을 검출하기 위하여 사용하는 광원 검출 기법 역시 과정 S730에서와 마찬가지로 종래의 기술을 사용할 수 있다. 다만, 과정 S755에서는 1차 광원을 검출하기 위하여 이미지에서 도미넌트 오브젝트의 데이터들을 제외한 잔여 데이터들을 사용한다는 점이 과정 S730와 다르다.

1차 광원 정보가 검출되면, 광원 검출 모듈(140)은 도 8f에 도시한 바와 같이 이미지를 구성하는 데이터들 중에서 1차 광원 정보로부터 임계치 이내의 색도차를 갖는 데이터들을 검색하고(S760), 검색된 데이터들의 평균 색도를 계산한 다(S765).

그 후, 광원 검출 모듈(140)은 소정의 광원 궤적(illuminant locus) 상에 과정 S765에서 계산된 평균 색도를 매핑하여 최종 광원 정보를 검출한다(S770). 여기서 광원 궤적은 복수의 다양한 유형의 광원(예를 들면, D65, D50, CWF(Cool White Fluorescent), A 등)의 채도를 바탕으로 한 추세선일 수 있으며 이를 도 8g에 도시하였다. 도 8g에는 색도 평면(Cr-Cb)상에 광원 궤적과 과정 S765에서 계산된 평균 색도가 도시되어 있다. 최종 광원 정보는 평균 색도를 광원 궤적 상에 수직하게 투사한 지점의 색도를 갖는다.

이러한 과정에 따라서 광원 검출 모듈(140)은 도미넌트 오브젝트의 영향으로 인하여 광원 정보가 변질되는 현상을 방지할 수 있다.

도 3 내지 도 8g를 참조하여 설명한 일련의 과정을 통해서 최종 광원 정보가 검출되면, 백색 조절 모듈(150)은 검출된 최종 광원 정보를 사용하여 입력되는 이미지에 대한 화이트 밸런싱 작업을 수행하게 된다.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 자동 백색 조절 방법 및 장치에 따르면 이미지 내에 도미넌트 색도(dominant chroma)를 갖는 오브젝트가 유입되는 경우에도 일관된 색 재현 성능을 제공하는 효과가 있다.

Claims

입력된 이미지 내에 도미넌트 색도를 갖는 오브젝트가 포함된 경우, 상기 이미지를 구성하는 데이터, 상기 오브젝트를 구성하는 데이터, 및 상기 이미지를 구성하는 데이터 중에서 상기 오브젝트를 구성하는 데이터를 제외한 잔여 데이터의 색채적 특징을 갖는 복수의 특징 포인트를 제공하는 단계;

상기 복수의 특징 포인트를 사용하여 제1 광원 정보를 검출하는 단계;

상기 이미지를 구성하는 데이터 중에서 상기 제1 광원 정보의 색도와 임계치 이내의 색도차를 나타내는 데이터들의 평균 색도를 계산하는 단계; 및

상기 평균 색도를 소정의 광원 궤적에 매핑하여 제2 광원 정보를 제공하는 단계를 포함하는 자동 백색 조절 방법.
제 1항에 있어서,

상기 입력된 이미지를 복수의 기준 영역으로 구분하고, 상기 복수의 기준 영역 각각을 복수의 서브 영역으로 구분하는 단계;

상기 복수의 기준 영역 별로, 상기 기준영역의 평균 색도와 상기 서브 영역 각각의 평균 색도 간의 차이 값을 계산하는 단계; 및

상기 복수의 기준 영역 중에서 상기 차이 값이 소정의 임계값 미만인 서브 영역의 비율이 임계 비율 이상인 기준 영역에 상기 오브젝트가 포함된 것으로 판단하는 단계를 더 포함하는 자동 백색 조절 방법.
제 1항에 있어서,

상기 특징 포인트를 제공하는 단계는,

상기 이미지를 구성하는 데이터 중에서 최대 휘도값을 갖는 데이터인 최대 휘도 포인트와 최소 휘도값을 갖는 데이터인 최소 휘도 포인트를 추출하는 단계;

상기 오브젝트를 구성하는 데이터들의 평균 휘도와 평균 색도를 갖는 기준 포인트를 제공하는 단계; 및

상기 이미지를 구성하는 데이터 중에서 상기 오브젝트를 구성하는 데이터들을 제외한 잔여 데이터들을 두 그룹으로 클러스터링하고, 상기 두 그룹 각각에 포함된 잔여 데이터들의 평균 휘도와 평균 색도를 갖는 제1 클러스터링 포인트와 제2 클러스터링 포인트를 제공하는 단계를 포함하는 자동 백색 조절 방법.
제 3항에 있어서,

상기 이미지를 복수의 기준 영역으로 구분하고 상기 복수의 기준 영역 각각을 복수의 서브 영역으로 구분하였을 경우, 자신이 포함된 기준 영역과의 평균 색도의 차이 값이 소정의 임계값 미만인 서브 영역에 포함된 데이터들을 상기 오브젝트를 구성하는 데이터로 판단하는 단계를 더 포함하는 자동 백색 조절 방법.
제 3항에 있어서,

상기 제1 클러스터링 포인트와 상기 제2 클러스터링 포인트를 제공하는 단계는,

simplified K mean 클러스터링 기법을 사용하여 상기 잔여 데이터들을 상기 두 그룹으로 클러스터링 하는 단계를 포함하는 자동 백색 조절 방법.
제 3항에 있어서,

상기 제1 광원 정보를 검출하는 단계는,

상기 최대 휘도 포인트와 상기 최소 휘도 포인트 간의 제1 색도차가 상기 제1 클러스터링 포인트와 상기 제2 클러스터링 포인트 간의 제2 색도차 이상인 경우, 상기 최대 휘도 포인트와 상기 최소 휘도 포인트 중에서 어느 하나를 비교 포인트로 선택하는 단계; 및

상기 제1 클러스터링 포인트의 색도와 상기 제2 클러스터링 포인트의 색도의 평균값과 상기 비교 포인트의 색도 간의 제3 색도차가 상기 기준 포인트의 색도와 상기 비교 포인트의 색도 간의 제4 색도차 이하이면, 상기 이미지를 구성하는 데이터에서 상기 오브젝트의 데이터를 제외한 잔여 데이터를 사용하여 상기 제1 광원 정보를 검출하는 단계를 포함하는 자동 백색 조절 방법.
제 6항에 있어서,

상기 제1 광원 정보를 검출하는 단계는,

상기 제1 색도차가 상기 제2 색도차보다 작고 상기 제2 색도차의 범위 내에 상기 기준 포인트의 색도가 존재하지 않는 경우, 상기 비교 포인트를 선택하는 단계를 더 포함하는 자동 백색 조절 방법.
제 6항에 있어서,

상기 비교 포인트를 선택하는 단계는,

상기 제1 색도차가 상기 오브젝트를 구성하는 데이터들 중에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터 간의 제5 색도차와 중첩되는 경우, 상기 최대 휘도 포인트와 상기 최소 휘도 포인트 중에서 상기 제5 색도차 범위에 포함되는 쪽을 상기 비교 포인트로 선택하는 단계를 포함하는 자동 백색 조절 방법.
제 6항에 있어서,

상기 비교 포인트를 선택하는 단계는,

상기 제1 색도차가 상기 오브젝트를 구성하는 데이터들 중에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터 간의 제5 색도차와 중첩되고, 상기 최대 휘도 포인트와 상기 최소 휘도 포인트가 상기 제5 색도차 범위에 포함되지 않는 경우 상기 최소 휘도 포인트를 상기 비교 포인트로 선택하는 단계를 포함하는 자동 백색 조절 방법.
제 6항에 있어서,

상기 비교 포인트를 선택하는 단계는,

상기 제1 색도차가 상기 오브젝트를 구성하는 데이터들 중에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터 간의 제5 색도차와 중첩되지 않는 경우, 상기 최대 휘도 포인트와 상기 최소 휘도 포인트 중에서 상기 제5 색도차 범위에 더 가까운 쪽을 상기 비교 포인트로 선택하는 단계를 포함하는 자동 백색 조절 방법.
제 1항에 있어서,

상기 광원 궤적은 서로 다른 복수의 광원의 채도를 이용한 추세선인 자동 백색 조절 방법.
제 1항에 있어서,

상기 제2 광원 정보를 사용하여 상기 이미지의 화이트 밸런싱 작업을 수행하는 단계를 더 포함하는 자동 백색 조절 방법.
입력된 이미지 내에 도미넌트 색도를 갖는 오브젝트가 포함된 경우, 상기 이미지를 구성하는 데이터, 상기 오브젝트를 구성하는 데이터, 및 상기 이미지를 구성하는 데이터 중에서 상기 오브젝트를 구성하는 데이터를 제외한 잔여 데이터의 색채적 특징을 갖는 복수의 특징 포인트를 제공하는 특징 분석 모듈; 및

상기 복수의 특징 포인트를 사용하여 제1 광원 정보를 검출하고, 상기 이미지를 구성하는 데이터 중에서 상기 제1 광원 정보의 색도와 임계치 이내의 색도차를 나타내는 데이터들의 평균 색도를 계산하고, 상기 평균 색도를 소정의 광원 궤적에 매핑하여 제2 광원 정보를 제공하는 광원 검출 모듈을 포함하는 자동 백색 조절 장치.
제 13항에 있어서,

상기 입력된 이미지를 복수의 기준 영역으로 구분하고, 상기 복수의 기준 영역 각각을 복수의 서브 영역으로 구분하고, 상기 복수의 기준 영역 별로 상기 복수 의 기준영역의 평균 색도와 상기 서브 영역 각각의 평균 색도 간의 차이 값을 계산하고, 상기 복수의 기준 영역 중에서 상기 차이 값이 소정의 임계값 미만인 서브 영역의 비율이 임계 비율 이상인 기준 영역에 상기 오브젝트가 포함된 것으로 판단하는 검색 모듈을 더 포함하는 자동 백색 조절 장치.
제 13항에 있어서,

상기 특징 분석 모듈은 상기 이미지를 구성하는 데이터 중에서 최대 휘도값을 갖는 데이터인 최대 휘도 포인트와 최소 휘도값을 갖는 데이터인 최소 휘도 포인트를 추출하고, 상기 오브젝트를 구성하는 데이터들의 평균 휘도와 평균 색도를 갖는 기준 포인트를 제공하고, 상기 이미지를 구성하는 데이터 중에서 상기 오브젝트를 구성하는 데이터들을 제외한 잔여 데이터들을 두 그룹으로 클러스터링하여 상기 두 그룹의 각각에 포함된 데이터들의 평균 휘도와 평균 색도를 갖는 제1 클러스터링 포인트와 제2 클러스터링 포인트를 제공하는 자동 백색 조절 장치.
제 15항에 있어서,

상기 이미지를 복수의 기준 영역으로 구분하고 상기 복수의 기준 영역 각각을 복수의 서브 영역으로 구분하였을 경우, 자신이 포함된 기준 영역과의 평균 색도의 차이 값이 소정의 임계값 미만인 서브 영역에 포함된 데이터들을 상기 오브젝트를 구성하는 데이터로 판단하는 검색 모듈을 더 포함하는 자동 백색 조절 장치.
제 15항에 있어서,

상기 특징 분석 모듈은 simplified K mean 클러스터링 기법을 사용하여 상기 잔여 데이터들을 상기 두 그룹으로 클러스터링 하는 자동 백색 조절 장치.
제 15항에 있어서,

상기 광원 검출 모듈은 상기 최대 휘도 포인트와 상기 최소 휘도 포인트 간의 제1 색도차가 상기 제1 클러스터링 포인트와 상기 제2 클러스터링 포인트 간의 제2 색도차 이상인 경우, 상기 최대 휘도 포인트와 상기 최소 휘도 포인트 중에서 어느 하나를 비교 포인트로 선택하고, 상기 제1 클러스터링 포인트의 색도와 상기 제2 클러스터링 포인트의 색도의 평균값과 상기 비교 포인트의 색도 간의 제3 색도차가 상기 기준 포인트의 색도와 상기 비교 포인트의 색도 간의 제4 색도차 이하이면, 상기 이미지를 구성하는 데이터에서 상기 오브젝트의 데이터를 제외한 잔여 데이터를 사용하여 상기 제1 광원 정보를 검출하는 자동 백색 조절 장치.
제 18항에 있어서,

상기 광원 검출 모듈은 상기 제1 색도차가 상기 제2 색도차보다 작고 상기 제2 색도차의 범위 내에 상기 기준 포인트의 색도가 존재하지 않는 경우, 상기 비교 포인트를 선택하는 자동 백색 조절 장치.
제 18항에 있어서,

상기 광원 검출 모듈은 상기 제1 색도차가 상기 오브젝트를 구성하는 데이터들 중에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터 간의 제5 색도차와 중첩되는 경우, 상기 최대 휘도 포인트와 상기 최소 휘도 포인트 중에서 상기 제5 색도차 범위에 포함되는 쪽을 상기 비교 포인트로 선택하는 자동 백색 조절 장치.
제 18항에 있어서,

상기 광원 검출 모듈은 상기 제1 색도차가 상기 오브젝트를 구성하는 데이터들 중에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터 간의 제5 색도차와 중첩되고, 상기 최대 휘도 포인트와 상기 최소 휘도 포인트가 상기 제5 색도차 범위에 포함되지 않는 경우 상기 최소 휘도 포인트를 상기 비교 포인트로 선택하는 단계를 포함하는 자동 백색 조절 장치.
제 18항에 있어서,

상기 광원 검출 모듈은 상기 제1 색도차가 상기 오브젝트를 구성하는 데이터들 중에서 최대 휘도를 갖는 데이터와 최소 휘도를 갖는 데이터 간의 제5 색도차와 중첩되지 않는 경우, 상기 최대 휘도 포인트와 상기 최소 휘도 포인트 중에서 상기 제5 색도차 범위에 더 가까운 쪽을 상기 비교 포인트로 선택하는 단계를 포함하는 자동 백색 조절 장치.
제 13항에 있어서,

상기 광원 궤적은 서로 다른 복수의 광원의 채도를 이용한 추세선인 자동 백 색 조절 장치.
제 13항에 있어서,

상기 제2 광원 정보를 사용하여 상기 이미지의 화이트 밸런싱 작업을 수행하는 백색 조절 모듈을 더 포함하는 자동 백색 조절 장치.