KR100861386B1

KR100861386B1 - 촬상장치 및 화상 처리 방법

Info

Publication number: KR100861386B1
Application number: KR1020060055196A
Authority: KR
Inventors: 에이이치로 이케다
Original assignee: 캐논 가부시끼가이샤
Priority date: 2005-06-20
Filing date: 2006-06-20
Publication date: 2008-10-02
Also published as: US20110205391A1; US20060284991A1; JP4217698B2; JP2006352795A; US8013906B2; EP2897361A1; US8514297B2; EP2107814A1; EP2107814B1; CN100515095C; EP1737247A2; EP1737247B1; EP1737247A3; CN1885952A; KR20060133487A

Abstract

피사체를 촬상하고, 그러한 촬상으로부터 얻는 화상 신호를 처리하는 촬상장치는, 상기 화상 신호에 포함된 얼굴 영역과 다른 영역에 의거하여 산출된 화이트 밸런스 보정값을 이용해 상기 화상 신호의 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정부와, 상기 화상 신호에 의거하여 상기 화이트 밸런스 보정값을 산출할 때에, 상기 얼굴 영역의 화상 신호를 상기 화이트 밸런스 보정값의 산출에 사용하는 비율을 변경하는 CPU를 포함한다.

촬상장치, 화이트 밸런스, 화상 처리

Description

촬상장치 및 화상 처리 방법{IMAGE SENSING APPARATUS AND IMAGE PROCESSING METHOD}

도 1은 본 발명의 제1 실시 예에 따른 얼굴 검출 기능을 구비한 촬상장치의 기능 구성을 나타내는 개략 블록도이다.

도 2a 및 도 2b는 본 발명의 제1 실시 예에 따른 얼굴 정보를 나타내는 도면이다.

도 3은 본 발명의 제1 실시 예에 따른 촬상 처리를 나타내는 플로차트이다.

도 4는 본 발명의 제1 실시 예에 따른 포커스 제어/측광/측색 처리를 나타내는 플로차트이다.

도 5는 본 발명의 제1 실시 예에 따른 촬상 처리를 나타내는 플로차트이다.

도 6은 본 발명의 제1 실시 예에 따른 기록 처리를 나타내는 플로차트이다.

도 7은 본 발명의 제1 실시 예에 따른 WB(화이트 밸런스) 제어부의 상세 기능 구성을 도시한 블록도이다.

도 8은 본 발명의 제1 실시 예에 따른 제1 WB 보정값 산출 처리를 도시한 플로차트이다.

도 9는 본 발명의 제1 실시 예에 따른 제2 WB 보정값 산출 처리를 도시한 플 로차트이다.

도 10은 본 발명의 제1 실시 예에 따른 제3 WB 보정값 산출 처리를 도시한 플로차트이다.

도 11은 본 발명의 제1 실시 예에 따른 화이트 검출 범위 및 미리 준비한 WB 보정값에 대응하는 색 평가값의 예를 도시한 도면이다.

도 12는 본 발명의 제1 실시 예에 따른 피부색 색상 범위를 나타내는 도면이다.

도 13은 본 발명의 제1 실시 예에 따른 복수의 얼굴 영역이 검출된 경우의 제2 WB 보정값 산출 처리를 나타내는 플로차트이다.

도 14는 본 발명의 제1 실시 예에 따른 가중 가산 계수를 산출하기 위한 특성을 도시한 도면이다.

도 15는 본 발명의 제1 실시 예에 따른 가중 가산 계수를 산출하기 위한 특성을 도시한 도면이다.

도 16은 본 발명의 제2 실시 예에 따른 제2 WB 보정값 산출 처리를 나타내는 플로차트이다.

도 17a 및 도 17b는 본 발명의 제2 실시 예에 따른 피부색 평가값-흰색 평가값 대응 직선을 나타내는 도면이다.

도 18은 본 발명의 제3 실시 예에 따른 WB 제어부의 기능 구성을 나타내는 블록도이다.

도 19는 본 발명의 제3 실시 예에 따른 WB 보정값 산출 처리를 나타내는 플 로차트이다.

도 20은 본 발명의 제3 변형 예에 따른 촬영 처리를 나타내는 플로차트이다.

도 21은 본 발명의 제3 변형 예에 따른 포커스 제어/측광/측색 처리를 나타내는 플로차트이다.

도 22는 화면을 임의의 복수 블록으로 분할한 예를 도시한 도면이다.

도 23은 흰색 검출 범위를 도시한 도면이다.

도 24는 피사체가 클로우즈-업 촬영한 얼굴인 예를 도시한 도면이다.

도 25는 얼굴 영역을 흰색 검출로부터 제외한 종래의 예를 도시한 도면이다.

본 발명은 디지털 카메라, 디지털 비디오 카메라 등의 촬상장치와, 촬상에 의해 얻은 화상 신호를 처리하는 화상 처리 방법에 관한 것으로, 특히 얼굴 검출을 수행하는 촬상 장치에 있어서의 화이트 밸런스 보정 및 화상 처리 방법에 관한 것이다.

이하에, 디지털 카메라 등에 이용된 종래의 화이트 밸런스 게인 산출회로의 동작을 설명한다. 우선, 도 22에 도시한 바와 같이, 미리 화면을 임의의 복수 블록(m개)으로 분할한다. 그 다음, 각 블록(1~m)마다, 화소 값을 각 색마다 가산 평균하고, 색 평균값(R[i], G[i], B[i])를 산출하며, 예를 들면 이하의 식(1)을 이용 해서 색 평가값(Cx[i], Cy[i])을 산출한다.

Cx[i] = (R[i] - B[i]) / Y[i] × 1024

Cy[i] = (R[i] + B[i] - 2G[i]) / Y[i] × 1024 ....(1)

다만, Y[i] = R[i] + 2G[i] + B[i], [i]는 각 블록의 인덱스 번호이다.

그리고, 다양한 광원 아래에서 흰색 피사체를 미리 촬영하고, 색 평가값을 산출한다. 이렇게 함으로써, 미리 설정된 도 23에 도시한 것과 같은 흰색 검출 범위(301) 내에, 각 블록마다 산출된 색 평가값이 포함되는 경우, 그 블록을 흰색이라고 판정하고, 마찬가지로 흰색으로 판정된 블록의 화소값을 적분한다. 흰색 검출 범위(301)는, 미리 산출한 색 평가값과 각기 다른 광 조건 하에서 흰색을 촬영한 색 평가값을 플롯(plot)하고, 도 23에 도시한 x 좌표(Cx)의 부(-)방향은 높은 색 온도 피사체의 흰색을 촬영할 때의 색 평가값을 나타내고, 정(+)방향은 낮은 색 온도 피사체의 흰색을 촬영할 때의 색 평가값을 나타낸다. y좌표(Cy)는 광원의 녹색 성분 정도를 나타낸다. 부방향으로 그 정도가 크면 클수록 G성분이 커져, 광원이 형광등일 확률이 크다.

그 후, 적분된 화소값(sumR, sumG, sumB)으로부터, 이하의 식(2)을 이용해서 화이트 밸런스 계수(WBCo_R, WBCo_G, WBCo_B)를 산출한다.

WBCo_R = sumY × 1024/sumR

WBCo_G = sumY × l024/sumG

WBCo_B = sumY × 1024/sumB (2)

다만, sumY = (sumR + 2 × sumG + sumB)/4.

그렇지만, 종래의 화이트 밸런스 게인 산출 방법에서는, 도 24에 도시한 바와 같이 사람의 얼굴을 클로우즈-업하여 촬영할 경우, 이하의 문제가 일어난다. 즉, 햇빛 아래에서 촬영한 피부색 영역의 색 평가값(도 23의 9-1)과, 텅스텐 빛 아래에서 촬영한 흰색 피사체의 색 평가값(도 23의 9-2)이 거의 같기 때문에, 피부색을 텅스텐 빛 아래의 흰색이라고 오판하여, 피부색을 흰색으로 보정하는 경우가 있었다.

상기의 문제를 해결하기 위해, 얼굴 검출 회로에 의해 검출된 얼굴 영역을, 흰색 검출로부터 제외(도 25 참조)하는 것이 제안되어 있다(일본국 공개특허공보 특개 2003-189325호 참조).

그렇지만, 그러한 종래의 화이트 밸런스 게인 산출 방법에 있어서는, 얼굴 검출 회로에 있어서 얼굴을 오인식하거나 검출할 수 없는 경우를 처리하기 위한 대책이 고려되어 있지 않다. 그 결과, 얼굴 검출 회로가 얼굴이 아닌 영역을 얼굴로서 오검출했을 경우에, 흰색 검출 대상 영역이 감소하여, 출력되는 색 온도 정보의 정밀도가 낮아진다. 또한, 영역이 사람의 얼굴이어도 영역이 사람의 얼굴로서 인식되지 않는 경우에는, 얼굴 영역에서 흰색 검출을 실행하기 때문에, 결과적으로 화이트 밸런스 보정의 정밀도가 낮아진다.

또한, 도 24에 도시한 바와 같이 사람의 얼굴이 클로우즈-업 촬영된 경우, 얼굴 영역을 흰색 검출 대상 영역으로부터 제외하면, 흰색 검출을 실행하는 피사체영역이 거의 없어져, 화이트 밸런스 보정 정밀도가 낮아진다.

본 발명의 국면은, 피사체를 촬상하고, 그러한 촬상으로부터 얻은 화상 신호를 처리하는 촬상장치로서, 상기 화상 신호에 포함된 얼굴 영역과 다른 영역에 의거하여 산출된 화이트 밸런스 보정값을 이용해 상기 화상 신호의 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정수단과, 상기 화상 신호에 의거하여 상기 화이트 밸런스 보정값을 산출할 때에 상기얼굴 영역의 화상 신호를 상기 화이트 밸런스 보정값의 산출에 사용하는 비율을 변경하는 제어 수단을 구비하는 것을 특징으로 하는 촬상장치이다.

본 발명에 따르면, 상기 목적은 또한, 피사체를 촬상하고, 그러한 촬상으로부터 얻는 화상 신호들을 처리하는 촬상장치로서, 상기 촬상장치는 상기 화상 신호들로부터 얼굴 영역을 검출하는 얼굴 검출 수단과, 화이트 밸런스 보정값을 이용해 상기 화상 신호들의 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 수단과, 상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역이 얼굴일 확률을 나타내는 신뢰도에 의존해서 상기 화이트 밸런스 보정 수단을 제어하는 제어 수단을 구비하는 것을 특징으로 하는 촬상장치를 제공함으로써 달성된다.

본 발명에 따르면, 상기 목적은 또한 피사체를 촬상하고, 그러한 촬상으로부터 얻은 화상 신호들을 처리하는 촬상장치로서, 상기 화상 신호들로부터 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역에 대한 속성 정보를 취득하는 얼굴 검출 수단과, 상기 화상 신호들 중에서, 흰색이라고 판정된 화상 신호들을 이용해 제1 화이트 밸런스 보정값을 산출하는 제1 산출 수단과, 상기 화상 신호들 중에서, 상기 얼 굴 검출 수단에 의해 검출된 상기 얼굴 영역의 화상 신호를 이용해 제2 화이트 밸런스 보정값을 산출하는 제2 산출 수단과, 상기 얼굴 검출 수단에 의해 취득한 상기 속성정보에 의거하여 상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 가중 합성을 수행함으로써 제3 화이트 밸런스 보정값을 산출하는 제3 산출 수단과, 상기 제3 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 수단을 구비하는 것을 특징으로 하는 촬상장치를 제공함으로써 달성된다.

본 발명에 따르면, 상기 목적은 또한 피사체를 촬상하고, 그러한 촬상으로부터 얻은 화상 신호들을 처리하는 촬상장치로서, 상기 화상 신호들로부터 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역으로부터 속성정보를 취득하는 얼굴 검출 수단과, 상기 화상 신호들을 분할한 복수의 분할 영역의 각각에 할당되어야 할 가중치를, 상기 분할 영역의 화상 신호들이 흰색인지 여부와, 상기 분할 영역이 얼굴 영역에 포함되는지 여부와, 상기 속성 정보에 의거하여 결정하는 가중 결정 수단과, 각 분할 영역마다 상기 가중 결정 수단에 의해 할당된 가중치를 이용해 가중, 가산된 상기 화상 신호들로 이루어진 화상 신호들에 의거하여 화이트 밸런스 보정값을 산출하는 화이트 밸런스 보정값 산출 수단과, 상기 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 수단을 구비하는 것을 특징으로 하는 촬상장치를 제공함으로써 달성된다.

본 발명에 따르면, 상기 목적은 또한 피사체를 촬상함으로써 얻은 화상 신호들을 처리하는 화상 처리 방법으로서, 상기 화상 신호들에 포함된 얼굴 영역과 다 른 영역에 의거하여 산출된 화이트 밸런스 보정값을 이용해 상기 화상 신호들의 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 스텝과, 상기 화상 신호에 의거하여 상기 화이트 밸런스 보정값을 산출할 때에, 상기얼굴 영역의 화상 신호들을 상기 화이트 밸런스 보정값의 산출에 사용하는 비율을 변경하는 제어 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법을 제공함으로써 달성된다.

본 발명에 따르면 상기 목적은 또한 피사체를 촬상함으로써 얻은 화상 신호들을 처리하는 화상 처리 방법으로서, 상기 화상 신호들로부터 얼굴 영역을 검출하는 얼굴 검출 스텝과, 화이트 밸런스 보정값을 이용해 상기 화상 신호들의 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 스텝과, 상기 얼굴 검출 스텝에서 검출된 상기 얼굴 영역이 얼굴일 확률을 나타내는 신뢰도에 의존해서 상기 화이트 밸런스 보정 스텝을 제어하는 제어 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법을 제공함으로써 달성된다.

본 발명에 따르면, 상기 목적은 또한 피사체를 촬상함으로써 얻은 화상 신호들을 처리하는 화상 처리 방법으로서, 상기 화상 신호들로부터 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역에 대한 속성정보를 취득하는 얼굴 검출 스텝과, 상기 화상 신호들 중에서, 흰색이라고 판정된 화상 신호들을 이용해서 제1 화이트 밸런스 보정값을 산출하는 제1 산출 스텝과, 상기 화상 신호들 중에서, 상기 얼굴 검출 스텝에서 검출된 상기 얼굴 영역의 화상 신호들을 이용해서 제2 화이트 밸런스 보정값을 산출하는 제2 산출 스텝과, 상기 얼굴 검출 스텝에서 취득한 상기 속성정보에 의거하여 상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 가중, 합성함으로써 제3 화이트 밸런스 보정값을 산출하는 제3 산출 스텝과, 상기 제3 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법을 제공함으로써 달성된다.

본 발명에 따르면, 상기 목적은 또한 피사체를 촬상함으로써 얻은 화상 신호들을 처리하는 화상 처리 방법으로서, 상기 화상 신호들로부터 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역으로부터 속성정보를 취득하는 얼굴 검출 스텝과, 상기 화상 신호들을 분할한 복수의 분할 영역의 각각에 할당되어야 할 가중치를, 상기 분할 영역의 화상 신호들이 흰색인지 여부와, 상기 분할 영역이 얼굴 영역에 포함되는지 여부와, 상기 속성정보에 의거하여 결정하는 가중 결정 스텝과, 각 분할 영역마다 상기 가중 결정 스텝에서 할당된 가중치를 이용해 가중, 가산된 상기 화상 신호들로 이루어진 화상 신호들에 의거하여 화이트 밸런스 보정값을 산출하는 화이트 밸런스 보정값 산출 스텝과, 상기 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법을 제공함으로써 달성된다.

본 발명의 다른 특징 및 이점은 첨부도면을 참조하여 설명된 이하의 설명으로부터 분명해질 것이고, 도면 전반에 걸쳐 동일한 참조번호는 동일하거나 비슷한 구성소자를 나타낸다.

본 발명의 바람직한 실시 예를 첨부 도면을 참조하여 상세히 설명한다.

<제1 실시 예>

도 1은 본 발명의 제1 실시 예에 따른 얼굴 검출 기능을 구비한 촬상 장치의 기능 구성을 나타내는 개략 블럭도다.

도 1에 있어서, 참조번호 101은 CCD, CMOS 등으로 이루어진 고체 촬상소자이며, 그 앞 표면은, 예를 들면 베이어(Bayer) 레이아웃 RGB 컬러 필터로 덮여져, 컬러 촬영할 수 있는 구성을 갖는다. 참조번호 102는 OB(Optical Black) 보정 회로(102)로서, 촬상소자(101) 위에 설치된 차광부로부터 얻은 암전류 신호를, 촬상소자(101)의 노광 영역으로부터 얻은 화상 신호로부터 공제함으로써 암전류 제거 처리를 수행한다. OB 보정 회로(102)에 의해 암전류 제거 처리된 화상 신호는, 메모리(103)에 일시적으로 기억된다.

참조번호 115는 메모리(103)에 기억된 화상 신호를 사용해서 얼굴의 검출을 수행하는 얼굴 검출부다. 얼굴 검출부(115)는, 공지의 방법으로, 도 2a에 나타낸 바와 같이 얼굴(Face1,Face2)을 검출하는 경우, 도 2b에 도시한 것과 같은 얼굴 정보를 메모리에 기억한다. 이 얼굴 정보는, 얼굴 부분의 영역 및 중심을 나타내는 좌표값, 좌우의 눈의 좌표값, 및 신뢰도(얼굴 이외의 것을 얼굴이라고 오검출하지 않는 신뢰도)등을 포함한다. 여기서 사용된 메모리는, 상기에서 설명한 메모리(103)여도 되고, 그 밖의 내부 메모리여도 된다는 점에 유념해야 한다.

이하, 상기에서 설명한 신뢰도를 얻기 위한 방법에 관하여 설명한다.

우선, 얼굴 부분을, 화상 신호로부터 추출한다. 구체적으로는, 예를 들면, 아래와 같은 방법으로 얼굴 부분을 추출한다. 우선, 얼굴 부분의 추출은, 수평 및 수직방향의 밴드패스 필터에 의해 화상 신호를 필터링하여, 얼굴 부분의 에지를 검출하는 것을 포함한다. 그 후에, 에지를 2치화하여, 텍스쳐(texture)를 검출한다. 검출된 텍스쳐를, 얼굴의 윤곽, 눈, 코, 입 등의 얼굴의 구성요소를 인식하는 패턴 인식 회로로 보내, 얼굴의 구성요소 후보로 좁힌다.

다음에, 상기에서 설명된 추출된 얼굴의 구성요소 후보를 비얼굴 필터를 통해서 전달하고, 그 구성요소를 좁힌다. 구체적으로, 예를 들면, 검출된 얼굴의 구성요소들을, 복수의 비얼굴 필터를 통과시켜, 점수를 할당하며, 미리 설정한 점수 이상의 구성요소들을 얼굴의 구성요소로 간주한다.

예를 들면, 1) 검출된 눈의 후보 구성요소가, 1조인지 아닌지, 2) 1조의 눈의 구성요소에 있어서, 눈의 크기와, 눈 간의 거리에 대하여 무언인가 부자연스러움은 없는지, 3) 눈과 눈 간의 공간의 중심에서 아래로, 코 및 입 구성요소가 있는지, 4) 눈 주변의 색이 피부색인지와 같은 필터를 얼굴의 구성요소 후보가 통과한다. 그리고, 각 필터마다 미리 설정한 임계값으로 점수를 할당하고, 점수 이상의 얼굴 구성요소를 얼굴로서 출력한다.

여기에서, 상술한 점수를 신뢰도에 반영시켜, 예를 들면, 특정 점수 이상이면 신뢰도를 1로 하고, 특정 점수 이하이면, 신뢰도를 0.5로 한다(신뢰도는 최대 1이고 최소 0이다).

또한, 얼굴 검출부(115)는, 검출한 얼굴 부분에 대응하는 화상 신호(즉, 얼굴 부분의 좌표값에 의해 정의된 영역 내에 있는 화상 신호)를 CPU(116)로 보낸다. 사람 얼굴을 검출할 수 없는 경우에는, 얼굴을 검출할 수 없다는 것을 나타내는 정보를 메모리에 기록하고, 메모리(103)에 기억되어 있는 화상 신호를 그대로 CPU(116)로 보낸다는 점에 유념해야 한다.

CPU(116)에서는, 얼굴 검출부(115)로부터 보내진 화상 신호에 의거하여 사람의 얼굴이 검출되면, 얼굴에 가장 적합한 밝기를 제공하는 셔터 스피드 Tv, 조리개값 Av를 계산하고, 또 얼굴을 포커스에 맞추는 포커스 렌즈 구동량을 계산한다. 한편, 사람의 얼굴이 검출되지 않으면, CPU(116)는 화상 전체에 대하여 최적의 밝기를 제공하는 셔터 스피드 Tv와, 조리개 값 Av를 계산하는 동시에, 미리 설정된 포커스 영역 내에 있는 피사체의 구성요소를 포커스에 맞추는 포커스 렌즈 구동량을 계산한다. CPU(116)에 의해 계산된 노출 값(Tv, Av) 및 포커스 렌즈 구동량은 셔터/조리개/포커스 렌즈 제어회로(114)로 보내지고, 각 값에 의거하여 도시하지 않은 렌즈, 조리개, 및 셔터와, 촬상 소자(101)가 각각 제어된다.

참조번호 104는 화이트 밸런스(WB) 제어부로서, 메모리(103)에 기억된 화상 신호 및 얼굴 검출부(115)로부터 취득한 얼굴 정보에 의거하여 WB 보정값을 산출하고, 산출한 WB 보정값을 사용하여, 메모리(103)에 기억된 화상 신호에 대하여 WB 보정을 수행한다. 이 WB 제어부(104)의 상세구성 및 WB 보정값을 산출하는 방법에 대해서는, 후에 상세히 설명한다.

참조번호 105는, WB 제어부(104)에 의해 WB 보정되는 화상 신호가 가장 적합한 색으로 재현되도록 색 게인을 추가하여 색차 신호 R-Y, B-Y로 변환하는 색 변환 MTX 회로다. 참조번호 106은 색차 신호 R-Y, B-Y의 대역을 제한하는 로패스 필 터(LPF)회로이고, 107은 LPF 회로(106)에 의해 대역이 제한된 화상 신호의 포화된 부분의 의사(pseudo) 색 신호를 억제하는 CSUP(Chroma Suppress)회로이다.

동시에, WB 제어부(104)에 의해 WB 보정되는 화상 신호는 휘도 신호(Y) 생성 회로(112)에도 출력되어 휘도신호 Y가 생성된다. 그 후, 생성된 휘도신호 Y가 에지 강조 회로(113)에 의해 에지 강조 처리된다.

CSUP 회로(107)로부터 출력되는 색차 신호 R-Y, B-Y와, 에지 강조 회로(113)로부터 출력되는 휘도 신호 Y는, RGB 변환 회로(108)에 의해 RGB 신호로 변환되고, 감마 보정 회로(109)에 의해 계조 보정되며, 그 후에 색 휘도 변환 회로(110)에 의해 YUV 신호로 변환되어, 더욱 압축 회로(111)에 의해 압축된 후, 콤팩트 플래시(등록상표) 등의 외부 기록 매체 또는 내부 기록 매체에 화상 신호로서 기록된다.

다음에, 상술한 구성을 갖는 촬상장치에 있어서의 촬상 처리에 대해서, 도 3 내지 도 6을 참조하여 설명한다. 이 처리는 도면에 나타내지 않은 모드 다이얼 등에 의해 장치가 촬상 모드로 설정될 때 행해진다는 점에 유념해야 한다.

우선, 스텝 S11에서, 도면에 나타내지 않은 셔터 스위치의 상태를 체크한다. 유저에 의해 셔터 스위치가 반 눌러(half-stroke)지면(SW1이 ON), 촬상 처리는 스텝 S12로 진행되고, 포커스 제어/측광/측색 처리를 수행한다. 이 포커스 제어/측광/측색 처리의 상세한 것은 도 4를 참조하여 후술한다. 포커스 제어/측광/측색 처리(스텝 S12)를 종료하면, 촬상 처리는 스텝 S13로 진행된다.

도시하지 않은 셔터 스위치가 완전히 눌러(full-stroke)지지 않고(SW2이 ON) (스텝 S13에서 OFF), 반 누름(SW1이 ON)에서 해제되면(스텝 S14에서 OFF), 촬상 처 리는 스텝 S11로 되돌아오고, 상술한 처리를 반복한다. 셔터 스위치가 완전히 눌러지지 않고(full-stroke)(SW2이 ON)(스텝 S13에서 OFF), 반 눌러진(SW1이 ON) 채로 존재하는 경우에는(스텝 S14에서 ON), 촬상 처리가 스텝 S13로 되돌아온다. 셔터 스위치가 완전히 눌러지면(SW2이 ON)(스텝 S13에서 ON), 촬상처리는 스텝 S15로 진행된다.

스텝 S15에서는, 촬영 처리를 실행한다. 이 스텝 S15에서 행해지는 촬영 처리의 상세한 것은, 도 5를 참조해서 후술한다. 스텝 S15의 촬영 처리를 종료한 후, 촬상 처리는 스텝 S16로 진행되어 기록 처리를 실행한다. 스텝 S16에서 수행된 기록 처리의 상세한 것은 도 6을 참조하여 후술한다.

스텝 S16에서 수행된 기록 처리를 종료하면, 스텝 S17에서 셔터 스위치가 완전히 눌러졌는(SW2이 ON)지의 여부를 조사한다. ON이면, 촬상 처리가 스텝 S18로 진행되어서, 촬상 장치가 연사 모드에 있는지를 확인한다. 촬상 장치가 연사 모드로 설정되어 있지 않으면, 촬상 처리는 스텝 S17로 되돌아오고, 촬상 장치는 셔터 스위치의 완전 누름(SW2이 ON)을 기다리고, 촬상 처리는 스텝 S19로 진행된다. 촬상 장치가 연사 모드로 설정되어 있으면, 촬상 처리는 스텝 S15로 되돌아오고, 다음 촬영을 수행한다. 한편, 셔터 스위치의 완전 누름(SW2이 ON)이 해제되면(스텝 S17에서 OFF), 스텝 S19에서 촬상 장치가 셔터 스위치의 반 누름(SW1이 ON)이 해제되는 것을 기다린다. 해제되면, 촬상 처리는 스텝 S11로 되돌아온다.

도 4는, 도 3에 도시한 스텝 S12에서 행해지는 포커스 제어/측광/측색 처리의 상세한 것을 나타내는 플로차트이다.

우선, 스텝 S21에서, 촬상소자(101)로부터 전하 신호를 판독하고, OB 보정 회로(102)는 암 전류 제거를 행하며, 그 결과로 얻은 화상 신호를, 메모리(103)에 연속적으로 기록한다. 그리고, CPU(116)는 메모리(103)에 기록된 화상 신호로부터 노출이 적절한지 아닌지를 판단한다(스텝 S22). 노출이 적절하지 않다고 CPU(116)가 판단한 경우에, CPU(116)는 상술한 바와 같이 셔터 스피드 Tv 및 조리개 값 Av를 산출하고(스텝 S23), 처리는 스텝 S21로 되돌아온다. 셔터/조리개/포커스 렌즈 제어 회로(114)는 스텝 S23에서 산출한 각 값에 의거하여 도면에 나타내지 않은 조리개 및 셔터뿐만 아니라, 촬상소자(101)를 각각 제어하고, 한번 더 전하 신호를 판독한다. 상기한 바와 같이, 얼굴 검출부(115)에 의해 얼굴이 검출되는 경우에, CPU(116)은 모든 노출된 화소의 화상 신호 중, 검출된 얼굴 영역 내에 있는 화상 신호를 연산에 사용함으로써, 얼굴에 적합한 노출 제어를 수행할 수가 있다.

스텝 S22에서 CPU(116)가, 노출이 적절하다고 판단하면, 산출된 셔터 스피드 Tv 및 조리개값 Av를 CPU(116)의 내부 메모리에 기억한다.

다음에, 화이트 밸런스가 적정하다고 판단될 때까지(즉, 스텝 S26에서 NO인 동안), WB 제어부(104)를 사용해서 AWB 제어(스텝 S27)를 수행한다. 이 AWB 제어에 대한 자세한 것은, 도 7 및 도 8~도 10을 참조해서 후술한다.

화이트 밸런스가 적정하다고 판단되면(스텝 S26에서 YES), WB 보정값(화이트 밸런스 게인)을 WB 제어부(104)의 후술하는 제1 WB 보정값 보유부(205)에 기억하고, 처리는 스텝 S28로 진행된다.

스텝 S28에서, 포커스 제어 처리에 의해 포커스 내에 화상이 있다고 판단될 때까지(스텝 S28에서 NO인 동안), CPU(116)는 도면에 나타내지 않은 포커스 렌즈를 제어하는 AF 제어를 행한다(스텝 S29). 이 AF 제어는, 포커스 렌즈 구동량을 산출하고, 셔터/조리개/포커스 렌즈 제어회로(114)에서 산출된 포커스 렌즈 구동량에 의거하여 도면에 나타내지 않은 포커스 렌즈를 제어하는 것을 포함한다. 상기한 바와 같이, 얼굴 검출부(115)에 의해 얼굴이 검출된 경우에, CPU(116)는 모든 노출된 화소의 화상 신호 중, 검출된 얼굴 영역 내에 있는 화상 신호를 연산에 사용함으로써, 얼굴에 적합한 노출 제어를 수행하는 것이 가능하다.

포커스 제어 처리에 의해 화상이 포커스 내에 있다고 판단되면(스텝 S28에서 YES), 측정 데이터를 CPU(116)의 내부 메모리에 기억하고, 포커스 제어/측광/측색 처리 루틴 S12을 종료한다.

상술한 처리 예에서는, 노출 제어, WB 제어, 포커스 제어의 순으로 처리를 수행하는 경우에 관해서 설명했지만, 본 발명은 이것에 한정되는 것이 아니라는 점에 유념해야 한다. 따라서, 다른 처리 순을 사용하거나, 이들 처리를 평행하게 수행하는 것도 물론 가능하다.

도 5는, 도 3에 도시된 스텝 S15의 촬영 처리를 상세히 나타낸 플로차트이다.

도면에 나타내지 않은 셔터 버튼이 완전히 눌러지면(SW2이 ON), 도 4를 참조하여 설명한 바와 같이 얻은 셔터 스피드 Tv 및 조리개값 Av에 따라 셔터/조리개/포커스 렌즈 제어 회로(114)를 제어한다. 그리고, 조리개 기능을 갖는 도면에 나타내지 않은 셔터를, 조리개 값에 따라 오픈해서(스텝 S31), 촬상소자(101)의 노광을 개시한다 (스텝 S32).

그리고, 셔터/조리개/포커스 렌즈 제어 회로(114)는 셔터 스피드 Tv에 따라 촬상소자(101)의 노광 종료를 기다린다(스텝 S33). 노광 시간이 종료하면, 처리는 스텝 S34로 진행되어, 셔터를 닫고, 촬상소자(101)로부터 전하 신호를 판독하고, OB 보정 회로(102)에 의해 암 전류 제거 처리된 화상 신호를 메모리(103)에 기록한다(스텝 S35).

스텝 S36에서, WB 제어부(104)로부터 색 휘도 변환 회로(110)까지의 각 회로에 의해, WB 보정을 포함하는 전술한 색 처리를 순차적으로 수행한 후, 촬상 처리 루틴(스텝 S15)을 종료한다.

도 6은, 도 3에 도시한 스텝 S16의 기록 처리의 상세한 것을 나타내는 플로차트이다.

스텝 S41에서, 색 처리된 화상 데이터를 압축 회로(111)에 의해 압축한 후, 메모리 카드 혹은 콤팩트 플래시(등록상표) 카드 등의 도면에 나타내지 않은 외부기록 매체, 혹은 내부 기록 매체에 압축한 화상 데이터를 기록한다(스텝 S42). 압축된 화상 데이터를 기록매체에 기록하는 것이 종료하면, 기록 처리 루틴(스텝 S16)을 종료한다.

다음에, 도 4에 도시한 포커스 제어/측광/측색 처리의 스텝 S27에서 행해진 본 제1 실시 예에 있어서의 AWB 제어에 대해서, 도 7 및 도 8-도 10을 참조해서 자세히 설명한다.

도 7은 WB 제어부(104)의 상세 기능 구성을 나타내는 블럭도이고, 도 8 내지 도 10은 WB 제어부(104)에서 행해지는 WB 보정값을 산출하는 방법을 설명하는 플로차트이다.

본 제1 실시 예의 WB 제어부(104)의 특징은, 제1 내지 제3 WB 보정값 산출부(202-204)를 갖는다는 것이다. 제1 WB 보정값 산출부(202)는, 얼굴 검출부(115)에 의해 검출된 얼굴 정보를 사용하지 않고, 종래 방법을 사용해서 제1 WB 보정값을 산출한다. 제2 WB 보정값 산출부(203)는, 얼굴 검출부(115)에 의해 검출된 얼굴 영역의 피부색의 색 재현을 제공하는 제2 WB 보정값을 산출한다. 제3 WB 보정값 산출부(204)는, 얼굴 정보로부터 산출한 가중 가산 계수를 사용해서 제1 WB 보정값과 제2 WB 보정값을 가중, 가산함으로써 제3 WB 보정값을 산출한다. 또한, 본 제1 실시 예의 WB 제어부(104)는, 도면에 나타내지 않은 셔터 스위치가 반 눌러진 경우(SW1이 ON), 단자 1에 접속하고, 그 이외의 경우에는 단자 0에 접속하는 스위치 201를 갖는다. 또한, WB 제어부(104)는 제3 WB 보정값 산출부(204)에 의해 산출된 제3 WB 보정값을 기억하는 제1 WB 보정값 보유부(205)와, 미리 설정된 WB 보정값을 보유하는 제2 WB 보정값 보유부(206)를 갖는다. 또한, WB 제어부(104)는 도면에 나타내지 않은 셔터 스위치가 반 눌러지거나(SW1이 ON) 또는 완전히 눌러진(SW2이 ON) 경우에, 단자 1에 접속하고, 그 이외의 경우에는 단자 0에 접속하는 스위치 207을 갖는다. 또한, WB 제어부(104)는 제1 또는 제2 WB 보정값 보유부(205 또는 206)에 기억된 WB 보정값을 사용하여, 메모리(103)에 기억된 화상 신호의 WB 보정을 수행하는 WB 보정부(208)를 갖는다. 이러한 구성에서는, 셔터 스위치가 작동되지 않는 경우에(SW1도 SW2도 OFF), 스위치 201, 207은 모두 단자 0에 접속하고, 그 결과, 메모리(103)에 기억된 화상 신호는 WB 보정부(208)에 입력되고, WB 보정부(208)는 제2 WB 보정값 보유부(206)에 기억된 소정의 WB 보정값을 이용해서 WB 보정을 수행한다. 도 7에서는 제1 및 제2 WB 보정값 보유부(205, 206)가 WB 제어부(104) 내부에 있는 것으로 도시되었지만, 제1 및 제2 WB 보정값 보유부(205, 206)는 WB 제어부(104)의 외부에 있어도 되고, WB 제어부(104)에/로부터 기록/판독 가능한 메모리가 사용되어도 된다는 것은 말할 필요도 없다는 점에 유념해야 한다.

도 4에 도시한 포커스 제어/측광/측색 처리의 스텝 S27에서는, 셔터 스위치가 반 눌러진(SW1이 ON) 상태이므로, 양 스위치 201, 207은 단자 1측에 접속되고, 제1 WB 보정값, 제2 WB 보정값, 및 제3 WB 보정값을 산출하는 처리가 행해진다. 이하, 제l WB 보정값, 제2 WB 보정값, 및 제3 WB 보정값을 산출하는 방법을 상세히 설명한다.

우선, 최초로, 제1 WB 보정값 산출부(202)에 의해 행해진 제1 WB 보정값 산출 방법에 대해서 도 8을 참조해서 설명한다. 우선, 메모리(103)로부터 화상 신호를 출력하고, 그 화상 신호로 구성된 화상을 도 22에 도시한 바와 같이 임의의 m개의 블록으로 분할한다(스텝 S101). 그리고, 각 블록(1~m)마다, 화소값을 각 색마다 가산, 평균하여 색 평균값(R[i], G[i], B[i])을 산출하고, 식(1)을 사용해서 색 평가값(Cx[i], Cy[i])을 산출한다(스텝 S102).

Cx[i] = (R[i] - B[i]) / Y[i] × 1024

Cy[i] = (R[i] + B[i]) - 2G[i] / Y[i] × 1024 … (1)

다만, Y[i] = R[i] + 2G[i] + B[i]이고, [i]는 블록의 인덱스 번호이다.

다음에, 스텝 S102에서 산출한 i번째의 블록의 색 평가값(Cx[i], Cy[i])이, 도 23에 나타낸 미리 설정한 화이트·검출 범위(301)에 포함되는지 아닌지를 판단한다(스텝 S103). 흰색 검출 범위(301)는, 미리 각기 다른 광원 아래에서 흰색을 촬영하고, 산출한 색 평가값을 플롯(plot)한다. 도 23에 도시한 x좌표(Cx)의 부(-)방향은, 높은 색 온도 피사체의 흰색을 촬영했을 때의 색 평가값이고, 정방향은 낮은 색온도 피사체의 흰색을 촬영했을 때의 색 평가값이다. y좌표(Cy)는 광원의 녹색 성분의 정도를 나타낸다. 부방향으로 그 정도가 증가하면 할수록, G성분이 커지는데, 즉 광원이 형광등인 것을 나타낸다.

i번째 블록의 색 평가값(Cx[i], Cy[i])이 흰색 검출 범위(301) 내에 있으면, 블록이 흰색이라고 판정하고, 블록의 색 평균값(R[i], G i], B[i])을 적분한다(스텝 S104). 색 평가값(Cx[i], Cy[i])이 흰색 검출 범위(301) 내에 있지 않으면, 블록의 색 평균값을 적분하지 않고 처리가 스텝 S105로 진행된다. 이 스텝 S103 및 스텝 S104의 처리는, 식(3)에 의해 아래와 같이 표현될 수 있다.

.......(3)

식(3)에서, 색 평가값(Cx[i], Cy[i])이 흰색 검출 범위(301) 내에 있는 경우에는, Sw[i]을 1로 설정하고, 흰색 검출 범위(301) 내에 있지 않은 경우에는, Sw[i]를 0으로 설정함으로써, 보정된 색 평균값(R[i], G[i], B[i])를 가산할지 가산하지 않을지의 처리를 실질적으로 수행한다.

스텝 S105에서는, 모든 블록에 대해서 상술한 처리를 행했는지 아닌지를 판단한다. 미처리된 블록이 있으면, 처리는 스텝 S102로 되돌아와서 상술한 처리를 반복한다. 모든 블록이 처리되었으면, 처리는 스텝 S106로 진행된다.

스텝 S106에서는, 취득된 색 평가값의 합계 값(sumR, sumG, sumB)으로부터, 이하의 식(4)을 사용하여, 제1 WB 보정값(WBCo1_R, WBCo1_G, WBCo1_B)을 산출한다.

....(4)

단, SumY = (sumR + 2 × sumG + sumB)/4.

다음에, 제2 WB 보정값 산출부(203)에 의해 행해지는 제2 WB 보정값 산출 방법에 대해서 도 9를 참조해서 설명한다. 본 제1 실시 예에 있어서의 제2 WB 보정값 산출 방법은, 다수의 미리 설정된 WB 보정값의 그룹으로부터, 검출된 얼굴 영역의 색상(색 재현)을 최적화하는 WB 보정값을 선택하는 것을 포함한다. 설명을 알기 쉽게 하기 위해서, 우선, 얼굴이 하나만 검출되었을 경우에 관하여 설명한다.

우선, 얼굴 검출부(115)에 의해 검출되는 얼굴 영역 내의 화소값을 RGB의 각색마다 가산, 평균하고, 얼굴 영역의 색 평균값(aveFaceR, aveFaceG, aveFaceB)을 산출한다(스텝 S111).

다음에, 식(5)에 의해 미리 각 색 온도마다 준비한 후술하는 n개의 WB 보정 값(WBCo_R[j], WBCo_G[j], WBCo_B[j], j=1-n)과 스텝 S111에서 산출된 얼굴 영역의 색 평균값을 곱한다. 그리고, 각 색마다 WB 보정값으로 보정한 얼굴 영역의 보정색평균값(R[j], G[j], B[j])을 산출한다 (스텝 S112).

....(5)

여기에서, n개의 WB 보정값에 관하여 설명한다.

도 11의 참조번호 301은, 도 23에 나타낸 것과 같은 흰색 검출 범위(301)를 나타낸다. 이 색 검출 범위(301) 내의 색 평가값은 WB 보정값에 1:1로 대응한다. 따라서, 색 평가값이 알려지면, WB 보정값은 이하와 같은 계산식에서 산출될 수 있다.

상기 식(1)에서, Y[m]=1024라고 하면, 아래의 식(6)과 같이 된다.

....(6)

식(6)의 연립 방정식을 풀면, RGB 화소값은 각각 아래의 식(7)과 같이 되고,

...(7)

이것으로부터 WB 보정값을 산출할 수 있다. 본 제1 실시 예의 제2 WB 보정값 산출 방법에서는, 도 11에 도시한 ○점과 같이, 미리 임의의 색 온도 폭(Cx), 임의 의 형광등 폭(Cy)마다, n개의 색 평가값과, 그 색 평가값으로부터 산출된 WB 보정값을, 서로 관련시켜 기억해 둔다. (WBCo_R[j], WBCo_G[j], WBCo_B[j], j=1-n). 그리고, 그 중에서 이하의 처리에 의해 최적의 WB 보정값을 선택하고, 제2 WB 보정값을 산출한다.

다음에, 상술한 바와 같이 산출된 보정색 평균값(R[j], G[j], B[j])으로부터, 식(8)에 의해 얼굴 영역 색차값(R-Y[j], B-Y[j])을 산출한다(스텝 S113).

......(8)

다만,

.

다음에, 식(8)에 의해 산출된 얼굴 영역 색차값(R-Y[j], B-Y[j])로부터, 식(9)에 의해 색상 각도 값(Hue[j])을 산출한다(스텝 S114).

....(9)

그리고, 산출한 색상 각도 값이, 도 12에 도시한 미리 설정한 바람직한 피부색 색상 범위 내에 있는지 아닌지를 판단한다(스텝 S115). 그 결과, 그 범위 내에 있으면, 색상 각도 값을 산출할 때에 사용한 WB 보정값(WBCo_R[j], WBCo_G[j], WBCo_B[j])을 적분한다(스텝 S116). 그리고, 미리 준비한 n개의 WB 보정값(WBCo_R[j], WBCo_G[j], WBCo_B[j])에 대하여, 스텝 S112에서 S116까지의 처리를 수행한다(스텝 S117).

n개의 모든 WB 보정값에 대하여 처리를 끝내면, 산출된 WB 보정값의 합을 평 균하고, 제2 WB 보정값을 산출한다(스텝 S118). 즉, 스텝 S112-스텝 S118을 총괄하면, 제2 WB 보정값은, 이하의 식(10)에 의해 주어지게 된다.

.......(10)

식(10)에서, 스텝 S114에서 산출된 n개의 색상 각도 값 중에서, 그 값이 도 12에 나타낸 피부색 색상 영역 내에 있는 경우에는, 식(3)의 Sw[i]을 1로 설정하고, 그 값이 피부색 색상 영역 내에 있지 않은 경우에는, Sw[i]을 0으로 설정한다. 그 결과, 스텝 S115에서 행해진 판단의 결과에 의해 WB 보정값을 가산할지 가산하지 않을지를 실질적으로 판단한다. 또한, Num은, n개의 색상 각도 값 중, Sw[i]을 1로 설정하도록 되어 있는 색상 각도 값의 개수를 나타낸다.

다음에, 제3 보정값 산출부에 의해 행해지는 제3 WB 보정값 산출 방법에 대해서 도 10을 참조하여 설명한다.

본 제1 실시 예에 있어서의 제3 WB 보정값 산출 방법은, 얼굴 검출부(115)에 의해 검출된 얼굴의 신뢰도(도 2b을 참조)에 응답해서, 제1 WB 보정값과 제2 WB 보정값을 선택 혹은 가중, 가산하고, 그 결과를 제3 WB 보정값으로서 출력한다. 얼굴 검출부(115)에 의해 검출된 신뢰도는 1~0까지의 값을 취하는데, 1은 얼굴 검출의 신뢰도가 100%인 것을 나타내고, 값이 감소함에 따라서 신뢰도가 내려간다.

우선, 스텝 S121에서, 제1 및 제2 WB 보정값 산출부(202 및 203)에 의해 산 출된 제1 및 제2 WB 보정값을 입력한다. 다음에, 얼굴 검출부(115)로부터 출력된 얼굴 정보로부터, 신뢰도(r)를 추출하고(스텝 S122), 그 신뢰도(r)를 사용하여, 이하의 식(11)에 의해 제3 보정값(WBCo3_R, WBCo3_G, WBCo3_B)을 산출한다(스텝 S123).

WBCo3_R = (1-r) × WBco1_R + r × WBco2_R

WBCo3_G = (1-r) × WBco1_G + r × WBco2_G

WBCo3_B = (1-r) × WBco1_B + r × WBco2_B .....(11)

따라서, 본 제1 실시 예에서는 얼굴 검출부(115)에 의해 얼굴을 검출할 때의 신뢰도가 높은 경우(r=1), 제2 WB 보정값을 100% 사용하고, 신뢰도가 낮은 경우(r=0)에는, 제1 WB 보정값을 100% 사용한다. 그 중간의 신뢰도에 대해서는, 상기 신뢰도에 따른 제1 WB 보정값과 제2 WB 보정값을 함께 가중, 가산한다. 얼굴 검출부(115)는, 때때로 사람의 얼굴과 비슷한 텍스쳐를 얼굴로서 오검출하는 경우가 있지만, 식(11)을 사용해서 제3 WB 보정값을 산출함으로써 잘못하여 검출된 비얼굴 영역을 사용해서 산출된 제2 WB 보정값을 사용하는 오동작을 회피할 수 있다.

또한, 얼굴의 영역이 화상의 대부분을 차지하고 있는 경우에도, 제2 WB 보정값을 사용해서 제3 WB 보정값을 산출하는 것이 가능하다.

상술한 바와 같이 산출된 제3 WB 보정값은, 제1 WB 보정값 보유부(205)에 기억된다. 그리고, 도면에 나타내지 않은 셔터 스위치가 완전히 눌러져(SW2이 ON), 촬영 처리가 행해지는 경우에는, 도 5에 도시한 스텝 S36의 색 처리를 행한다. 이때, WB 보정부(208)는, 스위치 207의 단자 1을 통해서 입력되는 제3 WB 보정값을 사용해서 스위치 201의 단자 0을 통해서 메모리로부터 판독된 화상 신호에 대하여 WB 보정을 행한다.

상기 설명에서는, 제2 WB 보정값을 산출할 때에 단 하나의 얼굴이 검출된 경우에 관해서 설명했다. 그에 반해서, 복수의 얼굴이 검출된 경우의 제2 WB 보정값을 산출하는 산출방법에 대해서는, 도 13에 도시한 플로차트를 참조해서 설명한다. 여기에서는, 도 2a에 나타낸 바와 같이 얼굴이 2개 검출된다.

우선, 스텝 S131에 있어서, 얼굴 검출부(115)로부터 취득된 얼굴 정보에 근거해서, 검출된 얼굴 영역의 수(Face1, Face2)를 취득한다.

그리고, 각 얼굴 영역에 대해서, 도 9에 도시한 스텝 S111-S118을 참조해서 전술한 처리를 수행하고, 각 얼굴 영역에 대한 제2 WB 보정값을 산출한다(스텝 S132). 스텝 S133에서 모든 얼굴 영역의 처리가 종료될 때까지, 스텝 S132을 반복한다.

여기에서, 도 2a에 나타낸 바와 같이, 얼굴 영역이 2개 있기 때문에, 2조의 WB 보정값, 즉 Facel의 제2 WB 보정값과 Face2의 제2 WB 보정값을 산출한다. 여기에서, Facel의 제2 WB 보정값을, WBCo2_R_Face[1], WBCo2_G_Face[1], WBCo2_B_Face [1]이라고 하고, Face2의 제2 WB 보정값을, WBCo2_R_Face[2], WBCo2_G_Face[2], WBCo2_B_Face[2]라고 한다.

다음에, 얼굴 정보에 포함된 신뢰도의 값(r[1]=F1(rel), r[2]=F2(rel))으로부터, 식(12)을 사용해서 가중 가산 계수 MixRatio[i]을 산출한다(스텝 S134).

......(12)

이들 식은, 검출된 얼굴 영역 중, 실제로 얼굴인 신뢰성이 높은 영역으로부터 산출된 WB 보정값을 많이 사용하도록 되어 있다. 다음에, 스텝 S134에서 산출된 가중 가산 계수 MixRatio[i]에 의해, 스텝 S132에서 산출된 2조의 제2 WB 보정값을 식(13)에 의해 가중, 가산한다(스텝 S135).

WBCo2_R=(MixRatio[1]×WBCo2_R_Face[1]+MixRatio[2]×WBCo2_R_Face[2])

WBCo2_G=(MixRatio[1]×WBCo2_G_Face[1]+MixRatio[2]×WBCo2_G_Face[2])

WBCo2_B=(MixRatio[1]×WBCo2_B_Face[1]+MixRatio[2]×WBCo2_B_Face[2])

....(13)

상기와 같이 가중 가산함으로써 얻는 것들을, 제2 WB 보정값이라고 한다.

전술한 도 10에 도시한 순서에 의해 제3 WB 보정값을 산출하는 것이 가능하지만, 복수의 얼굴 영역이 검출된 경우에는, 스텝 S122에서 산출된 신뢰도의 평균값을 산출하고, 스텝 S123에서 사용한다는 점에 유념해야 한다. 예를 들면, 2개의 얼굴 영역이 검출되어, 각 얼굴 영역의 신뢰도가 r[1]=F1(rel), r[2]=F2(rel)인 경우, 제3 WB 보정값을 산출할 때 사용된 신뢰도 r은 r=(r[1]+r[2])/2이다.

전술한 도 13에 도시한 스텝 S134에서 행해진 가중 가산 계수 MixRatio[i]의 산출은, 얼굴정보 중의 정보가 얼굴을 나타낼 확률을 수치화한 신뢰도 r[i]을 사용했지만, 이하에 기술하는 기법을 사용해도 된다는 점에 유념해야 한다.

예 (1)

얼굴 영역의 면적에 따라 산출된 0에서 1까지의 값을 사용한다. 이 기법은 얼굴이 클로우즈-업되어 찍힌 피사체에 대하여 우선적으로 WB 보정값을 최적화한다. 우선, 얼굴 검출부(115)에 의해 검출된 얼굴정보를 사용해서 식(14)에 의해 각 얼굴 영역의 면적 S[i](i는 얼굴 영역의 인덱스 번호)을 산출한다. 그리고, 입력으로서 얼굴의 면적 S[i]을 사용하고, 출력으로서 가중 가산 계수 k[i]을 사용하는 도 14에 나타낸 것과 같은 그래프를 이용해서 취득한 값인 r[i]를 이용해, 식(12)에 의해 MixRatio[i]을 산출한다. 예를 들면, 도 2a에 나타낸 바와 같이 얼굴이 2개 산출되었을 경우, 면적 S[i]은, 아래의 식(14)과 같다.

....(14)

예 (2)

얼굴의 좌표값에 따라 산출된 0에서 1까지의 값을 사용한다. 이 기법은 화면 중앙의 피사체에 대하여 우선적으로 WB 보정값을 최적화한다. 얼굴 검출부(115)에 의해 검출된 얼굴 정보의 중심 좌표(x_Center[i], y_Center[i])와, 촬영 화면의 중심 좌표(CenterX, CenterY)와, 화면중심으로부터 대각방향의 화면 코너까지의 거리로부터, 각 얼굴 영역의 화상 높이(FaceDis[i])(여기서 [i]는 얼굴 영역의 인덱스 번호)을 산출하고, 입력으로서 화상의 높이를 사용하고, 출력으로서 가중 가산 계수 k[i]을 사용하는 도 15에 도시한 것과 같은 그래프를 이용해 취득된 값인 r[i]을 사용해, 식(12)에 의해 MixRatio[i]을 산출한다.

...(15)

상기 스텝 S134에서 설명한 방법과, 상기 예(1) 및 예(2)에서 설명한 방법의 임의의 조합에 의해 얻은 값을 사용하는 것도 가능하다는 점에 유념해야 한다. 예를 들면, 얼굴 검출의 신뢰도로부터 산출된 가중 가산 계수와, 얼굴의 면적으로부터 산출된 가중 가산 계수를 곱셈함으로써 새로운 가중 가산 계수를 산출할 수 있다. 이것은, 얼굴일 확률이 높은 얼굴에, 더욱 면적으로 가중치를 가한 계수이다.

또한, 복수의 얼굴 영역이 검출되었을 경우에 각 얼굴 영역의 신뢰도(r[i])의 평균값을, 제3 WB 보정값을 산출할 때에 사용된 신뢰도(r)로서 사용하는 것을 상기에서 설명했지만, 다른 방법을 사용해서 신뢰도(r)를 산출해도 좋다. 예를 들면, 카메라가 미리 등록된 사람의 얼굴의 최적의 색 재현을 제공하는 모드를 구비했을 경우, 미리 등록된 사람에 대해서만 최적의 WB 보정값을 산출함으로써, 다음과 같이 되어,

r= 특정 사람의 신뢰도(1-0)

미리 등록된 사람에 대해서 최적의 WB 보정값을 얻을 수 있다.

또한, 디지탈 카메라가 피부색 우선 모드를 구비하고, 피부색 우선 모드가 선택되었을 경우, 제2 WB 보정값을 제3 WB 보정값으로서 출력함으로써 사람의 얼굴이 최적의 피부색을 취득한다.

상기 설명에서는, 얼굴 검출부(115)에 의해 검출된 얼굴의 신뢰도에 따라, 제1 WB 보정값과 제2 WB 보정값을 가중, 합성하지만, 이하와 같은 구성을 이용해도 된다.

촬영자가, 제2 WB 보정값을 사용하는 비율을 설정할 수 있는 조작 부재를 촬상장치에 설치한다. 조작 부재는, 예를 들면, 0.1의 증분으로 0~1의 사이에서 설정될 수 있다. 예를 들면, 0이 설정된 경우에는, CPU(116)가 제1 WB 보정값만을 사용하도록 제어한다. 또한, 예를 들면 0.4가 설정된 경우에는, CPU(116)가, 60%의 제1 WB 보정값과 40%의 제2 WB 보정값을 더해서 제3 WB 보정값을 산출하도록 제어한다. 1이 설정된 경우에는, CPU(116)가 제2 WB 보정값만을 사용하도록 제어한다.

또한, 상기 설명에서는, 제1 WB 보정값과 제2 WB 보정값을 가중하여 합성할 때의 보정값의 비율을 변경할 수 있지만, 제3 WB 보정값을 산출할 때에, 제1 WB 보정값과 제2 보정값을 항상 절반 사용해도 좋다.

<제2 실시 예>

다음에, 본 발명의 제2 실시 예에 관하여 설명한다.

본 제2 실시 예에 있어서, 제2 WB 보정값 산출 방법은 제1 실시 예의 것과는 다르다. 그 밖의 구성 및 처리는 제1 실시 예의 것과 같으므로, 여기에서는 그 설명을 생략한다. 제2 실시 예에 있어서의 제2 WB 보정값 산출 방법에 대해서, 도 16을 참조해서 설명한다.

제2 WB 보정값 산출 방법에서는, 아래와 같이 제2 WB 계수를 산출한다. 우선, 얼굴 검출부(115)에 의해 검출된 얼굴 영역으로부터 색 평가값(본 제2 실시 예에서는 "피부색 평가값"이라고 부른다.)를 산출하고, 미리 설정된 피부색 평가값-흰색 평가값 직선에 근거해 흰색의 색 평가값(본 제2 실시 예에서는 "흰색 평가값" 이라고 부른다.)를 산출한다. 그리고, 흰색 평가값으로부터 제2 WB 계수를 산출한다.

우선, 얼굴 검출부(115)에 의해 검출된 얼굴 영역 내의 화소값을 RGB의 각 색마다 가산 평균하고, 얼굴 영역의 색 평균값(aveFaceR[i], aveFaceG[i], aveFaceB[i])을 산출한다(스텝 S211). i는 검출된 얼굴 영역의 인덱스 번호라는 점에 유념해야 한다.

스텝 S211에서 산출된 색 평균값으로부터, 식(16)에 의해 피부색 평가값 CxSkin[i], CySkin[i])을 산출한다(스텝 S212).

CxSkin[i]=(aveFaceR[i] - aveFaceB[i])/Y[i]×1024

CySkin[i]=(aveFaceR[i] + aveFaceB[i]) - 2aveFaceG[i]/Y[i]×1024...(16)

다만, Y[i]=aveFaceR[i]] + 2aveFaceG[i] + aveFaceB[i], [i]은 검출된 얼굴 영역의 인덱스 번호이다.

다음에, 피부색 평가값(CxSkin[i], CySkin[i])을, 도 17a, 도 17b에 도시한 것과 같은 미리 설정한 피부색 평가값(CxSkin, CySkin)-흰색 평가값(CxWhite, CyWhite) 간의 직선 대응을 사용하여 각 얼굴 영역마다 흰색 평가값(Cx[i], Cy[i])로 변환한다(스텝 S213). 각 얼굴 영역마다 산출된 흰색 평가값으로부터, 식(7)을 사용해서 각 색값(R[i], G[i], B[i])을 산출하고, 산출한 각 색값으로부터 식(17)에 의해 우선 각 영역마다 제2 WB 보정값을 산출한다(스텝 S214).

WBco2_R[i] = Y[i] × 1024 / R[i]

WBco2_G[i] = Y[i] × 1024 / G[i]

WBco2_B[i] = Y[i] × 1024 / B[i] .......(17)

다만, Y[i] = (R[i] + 2 × G[i] + B[i])/4.

얼굴 검출부(115)에 의해 검출된 얼굴 영역이 1개 있는 경우에는, 식(17)에 의해 제2 WB 보정값을 결정한다. 그러나, 검출된 얼굴 영역이 2개 이상 있는 경우에는, 상기 제1 실시 예에서 설명한 바와 같이 제2 WB 보정값을 결정한다. 우선, 식(12)을 사용해서, 각 얼굴 영역의 신뢰도의 가중 가산 계수 MixRatio[i]을 산출한다. 그리고, 가중 가산 계수 MixRatio[i]을 사용하여, 식(13)에 의해 산출된 제2 WB 보정값을 가중, 가산하고, 이와 같이 취득한 값을 제2 WB 보정값이라고 한다.

상기 설명에서는, 얼굴 검출부(115)에 의해 검출된 얼굴의 신뢰도에 따라, 제1 WB 보정값과 제2 WB 보정값을 가중, 합성하지만, 이하와 같은 구성을 사용해도 된다.

촬영자가, 제2 WB 보정값을 사용하는 비율을 설정할 수 있는 조작 부재를 촬상장치에 설치해도 된다. 조작 부재는, 예를 들면, 0.1의 증분으로 0~1의 사이에서 설정될 수 있다. 예를 들면, 0이 설정된 경우는, CPU(116)이 제1 WB 보정값만을 사용하도록 제어한다. 예를 들면 0.4가 설정된 경우는, CPU(116)가 60%의 제1 WB 보정값과 40%의 제2 WB 보정값을 더해서 제3 WB 보정값을 산출하도록 제어한다. 1이 설정된 경우는, CPU(116)가, 제2 WB 보정값만을 사용해 동작하도록 제어한다.

또한, 상기 설명에서는, 제1 WB 보정값과 제2 WB 보정값을 가중, 합성할 때의 보정값의 비율을 변경할 수 있지만, 제3 WB 보정값을 산출할 때에, 제1 WB 보정값과 제2 WB 보정값을 항상 절반 사용해도 된다.

<제3 실시 예>

다음에, 본 발명의 제3 실시 예에 관하여 설명한다.

본 제3 실시 예에서는, WB 보정값 산출 방법이 제1 및 제2 실시 예의 것과는 다르며, 제1 실시 예에서 설명한 도 4에 도시한 스텝 S27에서 제1-제3 WB 보정값을 산출하는 처리 대신에 실행된다. 촬상장치의 구성은 도 1에 나타낸 것과 같고, 또 촬영 처리는 도 3-6을 참조해서 설명한 것과 같기 때문에, 여기에서는 그 설명을 생략한다는 점에 유념해야 한다.

도 18은, 본 발명의 제3 실시 예에 따른 WB 제어부(104)의 기능 구성을 나타내는 블럭도다. 도 18에 있어서, 참조번호 401은 가중 결정부이고, 402는 WB 보정값 산출부이며, 403은 WB 보정부다.

이하, 도 4에 도시한 스텝 S27에서 도 18에 나타낸 구성을 갖는 WB 제어부(104)에 의해 행해지는 제3 실시 예에 있어서의 WB 보정값 산출 방법에 대해서 도 19를 참조해서 설명한다.

우선, 메모리(103)에 기억된 화상 신호를 판독하고, 그 화면을 예를 들면 도 22에 도시한 것과 같이 임의의 m개의 블록으로 분할한다(스텝 S311). 그리고, m개의 각 블록마다, 각 블록 내의 화소 값을 각 색마다 가산, 평균하고, 색 평균값(R[i], G[i], B[i])을 산출하며, 전술한 식(1)을 사용해서 색 평가값(Cx[i], Cy[i])을 산출한다(스텝 S312).

다음에, 스텝 S312에서 산출된 색 평가값(Cx[i], Cy[i])이, 도 23에 도시한 미리 설정한 흰색 검출 범위(301) 내에 포함되는지 아닌가를 판단한다(스텝 S313). 색 평가값(Cx[i], Cy[i])이 흰색 검출 범위(301) 내에 있지 않은 경우에는, 처리가 스텝 S312로 되돌아오고, 다음 블록의 처리가 진행된다. 색 평가값(Cx[i], Cy[i])이 흰색 검출 범위(301) 내에 있는 경우에는, 처리가 스텝 S314로 진행되고, 색 평가값(Cx[i], Cy[i])이 얼굴 검출부(115)에 의해 검출된 얼굴 영역 내에 있는지 아닌지를 판단한다.

색 평가값(Cx[i], Cy[i])이 얼굴 영역 내에 있지 않은 경우에는, 그 블록의 색 평가값(Cx[i], Cy[i])을 적분한다(스텝 S315). 색 평가값(Cx[i], Cy[i])이 얼굴 영역 내에 있는 경우에는, 얼굴정보로부터 산출된 가중치(FaceWeight[i])을 색 평가값(Cx[i], Cy[i])에 가해, 적분한다(스텝 S316). 스텝 S313-S316의 처리는, 이하의 식(18)에 의해 실현된다는 점에 유념해야 한다.

....(18)

단, r는 얼굴 영역 i의 신뢰도값이고, Sw[i]은, 색 평가값(Cx[i], Cy[i])이 흰색 검출 범위 내에 포함되는 경우에는 1이고, 포함되지 않는 경우에는 0이다.

여기에서, 얼굴 정보를 사용해서 FaceWeight를 산출하는 방법에 관하여 설명한다. 본 제3 실시 예에 있어서의 WB 보정값 산출 방법에서는, 흰색이라고 판단된 블록 중, 얼굴이라고 검출되는 영역을 화소 적분 대상으로부터 제외하는 것이 목적이기 때문에, 신뢰도 r을 사용해서 FaceWeight를 산출한다. 예를 들면, 신뢰도가 100%인 얼굴 영역에서는, 가중치를 0으로 해서 그 영역의 색 평가값을 적분하지 않지만, 신뢰도가 0%인 얼굴 영역은 가중치를 1로 해서 그 영역의 색 평가값을 적분한다. 여기에서는, 이하의 식(19)에 의해 FaceWeight를 산출한다.

....(19)

단, r 은 얼굴 영역 i에 있어서의 신뢰도다.

상술한 처리를 전 블록에 대해서 완료했는지 아닌지를 판단한다(스텝 S317). 전 블록이 처리되었으면, 적분한 색 평균값(SumR, SumG, SumB)을 사용해서 이하의 식(20)에 의해 WB 보정값을 산출한다(스텝 S318).

.....(20)

다만, SumY= (sumR + 2 × sumG + sumB)/4

상기한 바와 같이 WB 보정값을 산출함으로써, 흰색이라고 판단되는 블록이 얼굴 영역 내에 있는 경우에는, 얼굴정보의 신뢰도에 근거해 가중치를 할당하고, 색 평균값을 적분하기 때문에, 얼굴 영역의 검출 정밀도에 따라 WB 보정값을 산출하는 것이 가능하다.

<제1 변형 예>

상기 제1 내지 제3 실시 예에서는, 도 3에는 나타내지 않은 셔터 스위치가 반 눌러진(SW1이 ON) 경우에, 스텝 S12에서 행해진 포커스 제어/측광/측색 처리 중에 얼굴 검출 및 WB 보정값 산출을 행한다. 이에 반하여, 이 제1 변형 예에서는, 이 타이밍에서 산출을 행하지 않고, 대신 셔터 스위치가 완전히 눌러진(SW2이 ON) 경우에 촬영 처리를 수행할 때에 산출을 행한다. 이때, 촬영에 의해 취득된 화상 신호를 사용하여, 도 5에 도시한 스텝 S36의 화상 신호 색 처리와 동시에, 얼굴검출, 제1 내지 제3 WB 보정값의 산출 및 WB 보정을 모두 수행한다.

<제2 변형 예>

제2 변형 예에서는, 도 3에는 나타내지 않은 셔터 스위치가 반 눌러진(SW1이 ON) 경우에, 얼굴검출 및 제2 WB 보정값의 산출만을 수행하고, 셔터 스위치가 완전히 눌러진(SW2이 ON) 경우에 행해진 스텝 S15의 촬영 처리와 동시에 얼굴 검출 및 WB 보정값 산출을 수행한다. 이때, 촬영해서 얻은 화상 신호를 사용하여, 도 5에 도시한 스텝 S36의 화상 신호 색 처리와 동시에, 제1 및 제3 WB 보정값의 산출 및 WB 보정을 수행한다.

<제3 변형 예>

다음에 제3 변형 예에 대해서 설명한다.

제3 변형 예에서는, 장면 변화에 응답해서 얼굴 검출 및 WB 보정값의 산출의 타이밍을 변경한다. 이하, 도 20 및 도 21을 참조해서 설명한다.

도 20은 제3 변형 예의 촬상장치의 촬영 처리를 나타내는 플로차트이다. 우선, 스텝 S41에 있어서, 촬상소자(101)로부터 전기신호를 출력하고, OB 보정 회로(102)에 의해 암 전류를 제거한 화상 신호를, 메모리(103)에 순차적으로 기록한다. 다음에, 스텝 S42에서, 메모리(103)에 기록된 화상 신호와, 상술한 제1 내지 제3 실시 예에서 설명한 방법 중 어느 것인가를 사용해서, 얼굴 검출 및 WB 보정값 산출을 수행한다. 제1 및 제2 실시 예의 방법에서, 여기에서 말하는 WB 보정값은, 제1 내지 제3 WB 보정값을 의미한다.

다음에, 스텝 S43에서, 메모리(103)에 기록된 화상 신호를 사용하여, 도면에 나타내지 않은 표시장치에 대하여 공지된 스루(through) 표시 처리를 수행한다. 스텝 S44에서는, 도면에 나타내지 않은 셔터 스위치가 반 눌러졌는지(SW1이 ON) 아닌지를 판단한다. 셔터 스위치가 반 눌러져 있지 않으면, 처리는 스텝 S41로 진행된다. 셔터 스위치가 반 눌러져 있으면, 처리는 스텝 S45로 진행되고, 제3 변형 예에 따른 포커스 제어/측광/측색 처리를 수행한다. 이 이후에는, 처리가 상기 제1 실시 예에서 도 3을 참조해서 설명한 스텝 S13 이후의 처리와 같기 때문에, 여기에서는 그 설명을 생략한다.

다음에, 스텝 S45에서 행해진 포커스 제어/측광/측색 처리에 대해서 도 21을 참조해서 설명한다. 그러나, 도 4에 나타낸 것과 같은 스텝에는 같은 참조번호를 부착하고 그 설명을 생략한다. 제3 변형 예에 따른 포커스 제어/측광/측색 처리에서는, 화이트 밸런스의 상태를 확인하기 전에, 스텝 S21에서 판독한 화상과, 도 20에 도시된 셔터를 반 누르기(SW1이 ON) 전에 스루 표시를 위해 판독한 화상을 비교한다. 그리고, 장면 변화가 있었는지 없었는지를 판단한다(스텝 S51). 이 판단은, 예를 들면 스텝 S21에서 출력된 화상과 스루 화상 간의 차분의 합을 얻고, 그 합이 소정 값을 초과한 경우에 장면 변화가 있었다고 판단함으로써 행해진다.

이 판단의 결과가 장면 변화가 있다고 나타내면, 처리가 스텝 S26로 진행되어서 화이트 밸런스 상태 및 WB 보정값을 다시 얻는다. 장면 변화가 없으면, 도 20 에 도시한 스텝 S42에서 산출한 WB 보정값을 사용하고, 스텝 S26 및 S27을 스킵한다.

상술한 처리에 의해 장면에 변화가 없을 경우에는 포커스 제어/측광/측색 처리에 걸리는 시간을 단축할 수 있기 때문에, 릴리즈 타임 래그(release time lag)를 짧게 하는 것이 가능하다.

<제4 변형 예>

제4 변형 예에서는, 스루 표시 중에 얼굴 검출을 수행하여 제2 WB 보정값을 을 얻고, 셔터 스위치가 반 눌러진(SW1이 ON) 후의 포커스 제어/측광/측색 처리에서 제1 및 제3 WB 보정값을 산출한다.

<제5 변형 예>

제5 변형 예에서는, 스루 표시 중에 얼굴 검출을 수행하고, 셔터 스위치가 반 눌러진(SW1이 ON) 경우의 포커스 제어/측광/측색 처리에서 WB 보정값을 산출한다.

<제6 변형 예>

제6 변형 예에서는, 스루 표시 중에 얼굴 검출을 수행하고, 셔터 스위치가 반 눌러진(SW1이 ON) 후의 포커스 제어/측광/측색 처리에서 제2 WB 보정값을 산출하며, 또한, 셔터 스위치가 완전히 눌러진(SW2이 ON) 후의 색 처리에 의해 제1 및 제3 WB 보정값을 산출한다.

<제7 변형 예>

제7 변형 예에서는, 셔터 스위치가 반 눌러진(SW1이 ON) 후의 포커스 제어/ 측광/측색 처리에서 얼굴 검출을 수행하고, 셔터 스위치가 완전히 눌러진(SW2가 ON) 후의 색 처리에서 WB 보정값을 산출한다.

이렇게, 얼굴 검출 및 WB 보정값의 산출의 타이밍을, 적절하게 변경하는 것이 가능하다.

<그 외의 실시 예>

본 발명은, 촬영한 화상 신호 그대로(RAW 화상 데이터) 또는 RAW 화상 데이터를 가역(可逆) 압축함으로써 얻은 화상 데이터를 입력하여 처리하는 화상처리 장치에서도 실행되는 것이 가능하다는 점에 유념해야 한다.

또, 본 발명은, 전술한 실시 예의 기능을 실현하는 소프트웨어 프로그램을 시스템 혹은 장치에 직접 또는 간접적으로 공급하고, 그 시스템 혹은 장치의 컴퓨터로 공급된 프로그램 코드를 판독한 후, 그 프로그램 코드를 실행함으로써도 실현될 수 있다. 이 경우, 시스템 또는 장치가 프로그램의 기능을 갖는 한, 실현 모드는 프로그램에 의존할 필요가 없다.

따라서, 본 발명의 기능은, 컴퓨터에 의해 실현되기 때문에, 컴퓨터에 인스톨된 프로그램 코드도 본 발명을 실현한다. 즉, 본 발명의 청구항들은 본 발명의 기능을 실현하기 위해 컴퓨터 프로그램도 포함한다.

이 경우에, 시스템 또는 장치가 프로그램의 기능을 갖는 한, 프로그램은 오브젝트 코드, 인터프리터에 의해 실행되는 프로그램, 오퍼레이팅 시스템에 공급되는 스크립트 데이터 등의 어떤 형태로도 실행될 수 있다.

프로그램을 공급하기 위해 사용될 수 있는 기억 매체로서는, 예를 들면, 플 로피 디스크, 하드 디스크, 광디스크, 광자기 디스크, CD-ROM, CD-R, CD-RW, 자기 테이프, 불휘발성의 메모리 카드, ROM, 및 DVD(DVD-ROM, DVD-R)이 있다.

프로그램을 공급하기 위한 방법에서는, 클라이언트 컴퓨터가 인터넷상의 웹사이트에 클라이언트 컴퓨터의 브라우저를 이용하여 접속될 수 있고, 본 발명의 컴퓨터 프로그램 또는 자동 인스톨 가능한 프로그램의 압축 파일을, 하드 디스크 등의 기록 매체로 다운로할 수 있다. 또한, 본 발명의 프로그램은, 그 프로그램을 구성하는 프로그램 코드를 복수의 파일로 분할하고, 각각의 파일을 각기 다른 웹사이트로부터 다운로드함으로써 공급될 수 있다. 즉, 본 발명의 기능을 컴퓨터로 실현하는 프로그램 파일을 복수의 유저가 다운로드하게 하는 WWW(World Wide Web) 서버도, 상기 본 발명의 청구항들에 포함되는 것이다.

또, 본 발명의 프로그램을 암호화해 CD－ROM 등의 기억 매체에 기억하고, 이 기억매체를 유저에게 배포하며, 소정의 조건을 만족한 유저만, 인터넷을 통해서 웹사이트로부터 해독 키 정보를 다운로드하고, 이들 유저가 이 키 정보를 이용해 암호화된 프로그램을 해독할 수 있게 함으로써, 사용자 컴퓨터에 프로그램이 인스톨된다.

또, 판독한 프로그램을 컴퓨터에 의해 실행함으로써, 전술한 실시 예에 따른 기능이 실현되는 경우에, 컴퓨터상에서 가동하고 있는 오퍼레이팅 시스템 등이, 실제의 처리의 전부 또는 일부 수행하여, 전술한 실시 예의 기능을 이 처리에 의해 실현할 수 있다.

또한, 기억매체로부터 판독한 프로그램이 컴퓨터에 삽입된 기능 확장 보드 혹은 컴퓨터에 접속된 기능 확장 유닛에 설치된 메모리에 기록된 후, 그 기능 확장 보드 혹은 기능 확장 유닛에 구비된 CPU 등은 실제의 처리의 전부 또는 일부를 수행하여, 전술한 실시 예의 기능을 이 처리에 의해 실현할 수 있다.

본 발명의 많은 명확한 각기 다른 실시 예를 본 발명의 정신 및 범위로부터 벗어나지 않고 구성할 있기 때문에, 본 발명은 첨부된 청구항들에 규정된 것을 제외하고 그 특정 실시 예에 한정되는 것이 아니라는 것을 알아야 한다.

본 발명에 따르면, 디지털 카메라, 디지털 비디오 카메라 등의 촬상장치와, 촬상에 의해 얻은 화상 신호를 처리하는 화상 처리 방법, 특히 얼굴 검출을 수행하는 촬상 장치에 있어서의 화이트 밸런스 보정 및 화상 처리 방법을 제공할 수 있다.

Claims

피사체를 촬상하고, 그러한 촬상으로부터 얻은 화상 신호들을 처리하는 촬상장치에 있어서,

상기 화상 신호들에 포함된 얼굴 영역과 다른 영역에 의거하여 산출된 화이트 밸런스 보정값을 이용해 상기 화상 신호의 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정수단과,

상기 화상 신호에 의거하여 상기 화이트 밸런스 보정값을 산출할 때에 상기얼굴 영역의 화상 신호들을 상기 화이트 밸런스 보정값의 산출에 사용하는 비율을 변경하는 제어 수단을 구비하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 화이트 밸런스 보정수단은,

상기 화상 신호들에 의거하여 제1 화이트 밸런스 보정값을 산출하는 제1 산출 수단과,

상기 화상 신호들에서 검출된 상기 얼굴 영역 이외의 영역에 의거하여 제2 화이트 밸런스 보정값을 산출하는 제2 산출 수단과,

상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값에 의거하여 제3 화이트 밸런스 보정값을 산출하는 제3 산출 수단을 구비하고,

상기 화이트 밸런스 보정 수단은, 상기 제3 화이트 밸런스 보정값을 이용해 상기 화상 신호의 화이트 밸런스 보정을 수행하고,

상기 제어 수단은, 상기 제3 화이트 밸런스 보정값을 산출할 때에 상기 제2 화이트 밸런스 보정값을 사용하는 비율을 변경하도록 제어하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 화이트 밸런스 보정 수단은, 한 프레임의 화상의 화상 신호들 중에서 흰색이라고 판정된 화상 신호들에 근거해 상기 화이트 밸런스 보정값을 산출하고, 상기 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하며,

상기 제어 수단은, 상기 화이트 밸런스 보정값을 산출할 때에 얼굴 검출수단에 의해 검출된 상기 얼굴 영역의 화상 신호들 중에서 흰색이라고 판정된 상기 화상 신호들을 사용하는 비율을 변경하도록 제어하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 제어 수단은, 상기 화상 신호들에 의거하여 상기 화이트 밸런스 보정값을 산출할 때에, 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역이 얼굴일 확률을 나타내는 신뢰도에 의존해서 산출에 사용된 상기 얼굴 영역의 비율을 변경하는 것 을 특징으로 하는 촬상장치.
피사체를 촬상하고, 그러한 촬상으로부터 얻는 화상 신호들을 처리하는 촬상장치에 있어서,

상기 화상 신호들로부터 얼굴 영역을 검출하는 얼굴 검출 수단과,

화이트 밸런스 보정값을 이용해 상기 화상 신호들의 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 수단과,

상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역이 얼굴일 확률을 나타내는 신뢰도에 의존해서 상기 화이트 밸런스 보정 수단을 제어하는 제어 수단을 구비하는 것을 특징으로 하는 촬상장치.
피사체를 촬상하고, 그러한 촬상으로부터 얻은 화상 신호들을 처리하는 촬상장치에 있어서,

상기 화상 신호들로부터 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역에 대한 속성 정보를 취득하는 얼굴 검출 수단과,

상기 화상 신호들 중에서, 흰색이라고 판정된 화상 신호들을 이용해 제1 화이트 밸런스 보정값을 산출하는 제1 산출 수단과,

상기 화상 신호들 중에서, 상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영 역의 화상 신호를 이용해 제2 화이트 밸런스 보정값을 산출하는 제2 산출 수단과,

상기 얼굴 검출 수단에 의해 취득한 상기 속성정보에 의거하여 상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 가중, 합성함으로써 제3 화이트 밸런스 보정값을 산출하는 제3 산출 수단과,

상기 제3 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 수단을 구비하는 것을 특징으로 하는 촬상장치.
제 6 항에 있어서,

상기 제2 산출 수단은, 상기 얼굴 검출 수단에 의해 검출된 각 얼굴 영역마다, 미리 설정된 복수의 고정 화이트 밸런스 보정값을 이용해 얼굴 영역들에 포함된 화상 신호들을 보정하여 복수의 보정 화상 신호들을 산출하고, 상기 복수의 보정 화상 신호들 중에서, 소정 범위 내에 있는 보정 화상 신호들을 산출할 때에 사용한 고정 화이트 밸런스 보정값을 평균하여 각 얼굴 영역에 대한 화이트 밸런스 보정값을 산출하며, 상기 얼굴 검출 수단에 의해 1개의 얼굴 영역이 검출되는 경우에는, 상기 화이트 밸런스 보정값을 제2 화이트 밸런스 보정값으로서 사용하는 것을 특징으로 하는 촬상장치.
제 6 항에 있어서,

상기 제2 산출 수단은, 상기 얼굴 검출 수단에 의해 검출된 각 얼굴 영역마다, 각 얼굴 영역에 포함된 화상 신호들로부터 색 평가값을 산출하며 상기 산출한 색 평가값을 대응하는 흰색의 색 평가값으로 변환하고, 상기 변환한 색 평가값으로부터 화이트 밸런스 보정값을 산출하며, 상기 얼굴 검출 수단에 의해 1개의 얼굴 영역이 검출되는 경우에는, 상기 화이트 밸런스 보정값을 제2 화이트 밸런스 보정값으로서 사용하는 것을 특징으로 하는 촬상장치.
제6항 내지 제8항 중 어느 한 항에 있어서,

상기 얼굴 검출 수단은, 상기 속성정보로서, 검출한 각 얼굴 영역마다 신뢰도, 영역의 크기, 및 영역의 중심 중 적어도 하나를 취득하고,

상기 얼굴 검출 수단이 복수의 얼굴 영역을 검출한 경우에, 상기 제2 산출 수단은, 각 얼굴 영역의 신뢰도, 영역의 크기, 및 영역의 중심 중 적어도 하나에 따라, 각 얼굴 영역마다 산출된 화이트 밸런스 보정값을 가중, 평균해서 상기 제2 화이트 밸런스 보정값을 산출하는 것을 특징으로 하는 촬상장치.
제9항에 있어서,

상기 제2 산출 수단은, 얼굴 영역의 신뢰도가 증가할수록, 얼굴 영역의 중심이 화상의 중심에 근접할수록, 얼굴 영역의 크기가 증가할수록, 얼굴 영역에 할당되는 가중치를 증가시키는 것을 특징으로 하는 촬상장치.
제6항 내지 제8항 중 어느 한 항에 있어서,

미리 특정 피사체를 등록하여 기억하는 등록부를 더 구비하고,

상기 촬상장치가 상기 등록된 피사체의 색 재현을 최적화하는 모드로 설정되고, 상기 얼굴 검출 수단이 복수의 얼굴 영역을 검출한 경우에, 상기 제2 산출 수단은 상기 등록된 피사체의 얼굴 영역 이외의 영역보다 상기 등록된 피사체의 얼굴 영역에 큰 가중치를 할당하는 것을 특징으로 하는 촬상장치.
제6항 내지 제8항 중 어느 한 항에 있어서,

상기 얼굴 검출 수단은, 상기 속성정보로서 상기 검출한 각 얼굴 영역마다의 신뢰도를 적어도 취득하고,

상기 제3 산출 수단은, 상기 얼굴 검출 수단이 복수의 얼굴 영역을 검출한 경우에, 상기 복수의 얼굴 영역 각각의 신뢰도의 평균에 의거하여 가중, 합성하여 상기 제3 화이트 밸런스 보정값을 얻는 것을 특징으로 하는 촬상장치.
제12항에 있어서,

상기 제3 산출 수단은, 상기 신뢰도 또는 상기 신뢰도의 평균이 증가할수록, 상기 제2 화이트 밸런스 보정값의 가중치를 감소시키는 것을 특징으로 하는 촬상장치.
피사체를 촬상하고, 그러한 촬상으로부터 얻은 화상 신호들을 처리하는 촬상장치에 있어서,

상기 화상 신호들로부터 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역으로부터 속성정보를 취득하는 얼굴 검출 수단과,

상기 화상 신호들을 분할한 복수의 분할 영역의 각각에 할당되어야 할 가중치를, 상기 분할 영역의 화상 신호들이 흰색인지 여부와, 상기 분할 영역이 얼굴 영역에 포함되는지 여부와, 상기 속성 정보에 의거하여 결정하는 가중 결정 수단과,

각 분할 영역마다 상기 가중 결정 수단에 의해 할당된 가중치를 이용해 가중, 가산된 상기 화상 신호들로 이루어진 화상 신호들에 의거하여 화이트 밸런스 보정값을 산출하는 화이트 밸런스 보정값 산출 수단과,

상기 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 수단을 구비하는 것을 특징으로 하는 촬상장치.
제 14 항에 있어서,

상기 가중 결정 수단은, 흰색이라고 판단된 분할 영역이 상기 얼굴 영역 내에 있지 않는다고 판단한 경우에 상기 가중치를 최대로 하고, 상기 분할 영역이 상기 얼굴 영역 내에 있는 경우에는 상기 속성정보에 의거하여 상기 가중치를 할당하는 것을 특징으로 하는 촬상장치.
제14항 또는 제15항에 있어서,

상기 얼굴 검출 수단은, 상기 속성정보로서, 검출한 각 얼굴 영역마다 신뢰도, 영역의 크기, 및 영역의 중심 중 적어도 하나를 취득하고,

상기 얼굴 검출 수단이 복수의 얼굴 영역을 검출한 경우에, 상기 가중 결정 수단은, 얼굴 영역의 신뢰도가 증가할수록, 얼굴 영역의 중심이 화상의 중심에 근접할수록, 얼굴 영역의 크기가 증가할수록, 얼굴 영역에 할당되는 가중치를 증가시키는 것을 특징으로 하는 촬상장치.
피사체를 촬상함으로써 얻은 화상 신호들을 처리하는 화상 처리 방법에 있어서,

상기 화상 신호들에 포함된 얼굴 영역과 다른 영역에 의거하여 산출된 화이트 밸런스 보정값을 이용해 상기 화상 신호들의 화이트 밸런스 보정을 수행하는 화 이트 밸런스 보정 스텝과,

상기 화상 신호에 의거하여 상기 화이트 밸런스 보정값을 산출할 때에, 상기얼굴 영역의 화상 신호들을 상기 화이트 밸런스 보정값의 산출에 사용하는 비율을 변경하는 제어 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
피사체를 촬상함으로써 얻은 화상 신호들을 처리하는 화상 처리 방법에 있어서,

상기 화상 신호들로부터 얼굴 영역을 검출하는 얼굴 검출 스텝과,

화이트 밸런스 보정값을 이용해 상기 화상 신호들의 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 스텝과,

상기 얼굴 검출 스텝에서 검출된 상기 얼굴 영역이 얼굴일 확률을 나타내는 신뢰도에 의존해서 상기 화이트 밸런스 보정 스텝을 제어하는 제어 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
피사체를 촬상함으로써 얻은 화상 신호들을 처리하는 화상 처리 방법에 있어서,

상기 화상 신호들로부터 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역에 대한 속성정보를 취득하는 얼굴 검출 스텝과,

상기 화상 신호들 중에서, 흰색이라고 판정된 화상 신호들을 이용해서 제1 화이트 밸런스 보정값을 산출하는 제1 산출 스텝과,

상기 화상 신호들 중에서, 상기 얼굴 검출 스텝에서 검출된 상기 얼굴 영역의 화상 신호들을 이용해서 제2 화이트 밸런스 보정값을 산출하는 제2 산출 스텝과,

상기 얼굴 검출 스텝에서 취득한 상기 속성정보에 의거하여 상기 제1 화이트 밸런스 보정값과 상기 제2 화이트 밸런스 보정값을 가중, 합성함으로써 제3 화이트 밸런스 보정값을 산출하는 제3 산출 스텝과,

상기 제3 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
피사체를 촬상함으로써 얻은 화상 신호들을 처리하는 화상 처리 방법에 있어서,

상기 화상 신호들로부터 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역으로부터 속성정보를 취득하는 얼굴 검출 스텝과,

상기 화상 신호들을 분할한 복수의 분할 영역의 각각에 할당되어야 할 가중치를, 상기 분할 영역의 화상 신호들이 흰색인지 여부와, 상기 분할 영역이 얼굴 영역에 포함되는지 여부와, 상기 속성정보에 의거하여 결정하는 가중 결정 스텝과,

각 분할 영역마다 상기 가중 결정 스텝에서 할당된 가중치를 이용해 가중, 가산된 상기 화상 신호들로 이루어진 화상 신호들에 의거하여 화이트 밸런스 보정값을 산출하는 화이트 밸런스 보정값 산출 스텝과,

상기 화이트 밸런스 보정값을 이용해 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
청구항 17 내지 20 중 어느 한 항에 기재된 화상 처리 방법을 실현하기 위한 프로그램 코드를 갖는, 컴퓨터가 실행가능한 프로그램을 기억한 것을 특징으로 하는 정보 처리 장치가 판독 가능한 기억매체.