KR20080037738A - 이미징 카메라 처리 유닛 및 방법 - Google Patents

Abstract

카메라 출력 이미지가 어떻게 원래 장면을 캡쳐하는지에 대해 양호한 사용자 제어를 허용하기 위해, 이미지 캡쳐링 카메라 시스템(400)의 부분을 형성하도록 배치된 이미징 카메라 유닛(401)은: 사용자로 하여금 입력(403)을 통해 이미징 센서(406)로부터 수신된 캡쳐된 이미지(Io)에서 사용자 선호도에 대한 오브젝트(101)의 기하학적 위치의 적어도 하나의 표시(gp)를 지정하게 하는 사용자 인터페이스(420); 표시(gp)에 기초하여, 오브젝트(101)의 부분인 픽셀들의 세트를 결정하도록 배치된 사용자 적응가능한 오브젝트 세그먼테이션 유닛(410); 및 픽셀들의 세트(sg)의 적어도 하나의 컬러 속성에 기초하여 적어도 하나의 통계(ST)를 결정하도록 배치된 컬러 구성 모니터 유닛(412)을 포함한다.

오브젝트 세그멘테이션, 쉐도우, 세그먼트 트래킹 모듈, 블렌딩

Description

이미징 카메라 처리 유닛 및 방법{IMAGING CAMERA PROCESSING UNIT AND METHOD}

본 발명은 최적 출력 이미지(Is), 달리 말해서, 그 이미지의 최적 보기(optimal look)를 결정하기 위한 이미징 카메라에 관한 것이다.

본 발명은 또한, 카메라에서 최적으로 보이는 그러한 출력 이미지를 결정하기 위한 방법 및 그러한 방법의 알고리즘 단계들을 인코딩하는 컴퓨터 프로그램 제품에 관한 것이다.

최신형 카메라들은 (독점의) 자동적인 최적화 과정들을 제공함으로써, 사용자의 손에서 벗어난 물리적인 이미징 원리들에 따르는 이미지 캡쳐링(image capturing)을 최적화하는 지루한 작업을 취한다.

선명도 최적화(sharpness optimization)(자동적인 포커싱)는 이러한 최적화의 예이다. 그것은 최적화하기 위한 양호한 특성인데, 왜냐하면, 그것이 렌즈 시스템의 물리적 특성들에 매우 의존하기 때문이며: 보통의 카메라에서 모든 오브젝트들(깊은 평면들(depth planes))이 선명할 수는 없고, 예컨대, 사용자가 가리키는 중앙 영역은 선명하게 될 수 있지만(예컨대, 라인 확산(line spread)을 보는 것과 같은, 간단한 물리적 및/또는 기계적인 분석으로), 일반적으로 이것은 사용자의 요 구에 만족스럽게 대응한다. 실제로, 많은 사용자들은 최신형 카메라들로, 그들의 수동 포커스보다는 자동 포커스로, 심지어는 어려운 자동 포커싱 상태들 하에서도, 보다 선명한 픽쳐들(pictures)을 얻을 수 있다.

자동화의 또 다른 예로는, 사용자로 하여금 장면(scene)을 사진-측정(photo-measuring) 및 환산표들(conversion tables)을 사용해야하는 것으로부터 자유롭게 하는 자동 노출이 있으며, 그 시스템은 그것의 동작이 어떤지를 알고 있다.

하지만, 극히 일부의 캡쳐된 이미지들이 그들이 하는 것과 같이 그 모든 것들이 양호하게는 보이지 않고, 심지어는 일부 이미지들이 명백히 불쾌하게 보인다(이것은 도시 전경을 가로질러 패닝(panning)하는 카메라로 설명되며, 그에 의해 빌딩들은 많은 하늘(sky)이 이미지된 픽쳐들에 대해 낮은 다이내믹 범위 디스플레이(low dynamic range display)로 렌더(render)될 때 인식불가능하게 될 수 있음)는 점을 나타낸다는 것이 이들 시스템들의 단점이다.

본 발명에 따라, 자동 노출은 선명도와 같은 간단한 최적화가능한 특성과는 달리, 기본적으로 바람직하지 않으며, 장면의 컬러 보상은 단지 그것의 기하학적 구성(geometric composition) 즉, 기술적 시스템이 진부한 방식이 아닌 바람직하게 그것에 영향을 미치도록 존재하는 것과 같은, 픽쳐의 예술적인 품질인 특성이다.

그러므로, 사용자에게 그가 캡쳐하는 이미지에 대해 증가된 제어를 제공하고, 특히, 그가 이미 다수의 에디팅(editing) 및 PC 사진-편집 소프트웨어(PC photo-editing software)에서 가능한 것과 유사한 이미지 개선 용이성들(image-improvement facilities)을 갖는 기술을 갖는 것이 바람직한데, 왜냐하면, 그것은 사용자가 여전히 캡쳐되는 것 및 어떻게 하는지(예컨대, 픽셀들 상의 노이즈의 양)에 대해 완전한 제어를 갖는 캡쳐링 시간이지만, 차후에는, 원래 3D 장면과 특정한 사진 대표(photographic representation) 사이에서 돌이킬 수 없는 날짜가 손실될 수 있기 때문이다. 더욱이, 사용자는 아마도 캡쳐링하는 동안, 어떻게 그가 차후의 사용을 위해 픽쳐를 "최적으로" 저장하도록 원하는지를 결정할 수 있고, 픽셀 휘도들(pixel luminance)과 같은 많은 실제 캡쳐링 파라미터들은 정보가 잘 캡쳐되도록(예컨대, 검정색에서 세부사항의 손실 클리핑(loss-of-detail clipping)이 없는) 조치가 취해지는 한, 필요하다면 차후에 어쨌든 추가로 변경가능할 수 있다.

이것은 이미지 캡쳐링 카메라 시스템(400)의 부분을 형성하도록 배치된, 이미지 카메라 유닛(401)에 의해 용이해지고, 상기 이미지 카메라 유닛(401)은:

- 사용자로 하여금, 입력(403)을 통해 이미징 센서(406)로부터 수신된 캡쳐된 이미지(Io)에서 사용자의 선호도의 오브젝트(101)의 기하학적 위치 중 적어도 하나의 표시(indication)(gp)를 지정하도록 허용하는 사용자 인터페이스(420);

- 상기 표시(gp)에 기초하여, 오브젝트(101)의 부분인 픽셀들의 세트(sg)를 결정하도록 배치된 사용자 적응가능한 오브젝트 세그멘테이션 유닛(user-adaptable object segmentation: 410);

- 픽셀들의 세트(sg)의 적어도 하나의 컬러 속성에 기초하여 적어도 하나의 통계(ST)를 결정하도록 배치된 컬러 구성 모니터 유닛(color composition monitor unit:412)을 포함한다.

인간 시각 시스템은 카메라와는 완전히 다른 방식으로 장면에서 오브젝트들 및 장면들을 본다. 가장 최근의 카메라들은 선형(linear)이고(예컨대, CCD들; 적어도 센서가 관련되는 것, 출력 이미지 신호를 얻기 위해 적용되는 역 감마 특성(inverse gamma characteristic)과 관련되지 않는 것), 그에 반해, 인간 시각 시스템은 장면 상태들(예컨대 평균적인 휘도)에 의존하여 적응가능한(adaptable) 비선형 기능을 갖는 비선형(예컨대, 보다 휘도들이 도일한 범위에서 캡쳐될 수 있음, 예컨대 0-255)이다. 또한, 인간 시각 시스템은 고도로(이성적으로) 적응가능하다. 밝은 날 자동차의 픽쳐를 찍는 카메라는 자동차 상에 심각한 쉐도우들(shadows)을 갖는 이미지를 생성할 수 있고, 그 쉐도우들은 원래 캡쳐링 상태들에 대한 인식 없이, 뷰잉 환경(viewing environment)에서 뷰어에게 장애가 될 수 있다. 인간은 "자동차"와 같은 전체 오브젝트를 보는 경향이 있고, 심지어 쉐도우들을 인지하지 못 할 수 있다(즉, 뇌는 그것들이 눈에 잘 띄지 않도록 그것들을 "수정한다").

그 표면 상에 모든 종류들의 주변 컬러들을 반영하는 실버 크리스마스 볼(silver Christmas ball)과 같은 복잡한 오브젝트들에 대해서도, 인산은 크리스마스 볼의 컬러를 이성적으로 결정할 수 있다.

본 발명에 따라, 인간 시각 시스템이 위에서 설명된 "정확한 장면 대표 이미지들"(이것에 의해, 우리는 거친 쉐도우들 등을 갖지 않는, 특히 매우 많은 클리핑된 컬러들을 갖지 않는 오프-라인 인간 뷰잉(off-line human viewing)에 보다 적절한 이미지를 의미하고, 인간의 실질적인 효과, 예컨대 어두운 쉐도우들이 거의 없는 자동차 픽쳐를 제공함), 즉, 장면에 대한 이해, 및 그것의 가장 적절한 오브젝트들, 및 그것들의 관계들에 도달하도록 하는데 필요한 서로 다른 부분은 세그먼테이션의 수동 표시 부분으로써 고려된다. 즉, 본 발명은 추가적 분석에 대해, 보다 지능적인 카메라 알고리즘들을 인에이블하는 그것 중 적어도 하나의 중요한 오브젝트들로서 장면의 양호한 특징화를 제공한다.

이미징 카메라 유닛(401)의 구현체는 적어도 하나의 또 다른 이미지를 캡쳐하기 위해 적어도 하나의 캡쳐링 파라미터(cp)를 최적화하도록 배치된 캡쳐링 최적화 유닛(424)을 포함한다.

이미지 처리(노출 지속기간과 같은 센서의 캡쳐링 파라미터들을 변경하거나, 또는 컬러 수정을 적용하는 것과 같이, 출력된 센서 캡쳐 이미지(outputted sensor-captured image)를 후-처리(post-processing)하는 것)의 자동 부분은 사용자를 위해 비교적 간단히 될 수 있고, 인간이 익숙지 않으며, (예컨대, 사용자에 의해 선택된 서로 다른 이미지 오브젝트들에서 픽셀들의 컬러들의 통계적인 측정치들에 기초한 최적 노출을 결정하는 것과 같은)하고 싶어하지 않은 장면의 물리적인 현실성(physical reality)에 기초한 성가신 수학적인 처리를 포함한다. 최적화는 기존의 캡쳐링 최적화 시스템들에 비해 장면에서 중요한 내용에 대해 훨씬 증가된 제어에 기초하여 행해진다. 캡쳐링 파라미터(cp)는 예컨대, 셔터 속도, 애퍼처(aperture), 증배율(amplification factor), 콘트라스트 조정, 컬러 온도 수정, 및 컬러 캐스트 제거(color cast removal) 중 하나 또는 여러 개 일 수 있다.

또 다른, 가능한 누적하는, 이미징 카메라 유닛의 구현체는 변환 인터페이스 유닛(450)을 통해 오브젝트 변환 유닛(414)에 제공된 사용자의 지정(specification:sp)에 기초하여, 픽셀들의 세트(sg)에서 픽셀들의 적어도 하나의 컬러 속성에 대해 변환을 적용하도록 배치된 오브젝트 변환 유닛(414)을 포함한다.

게다가, 사용자는 (부가적인 데이터를 갖는 가능하게 이미 재구성된 이미지 또는 이미지들의 세트가 현재 메모리에 존재하는 것에 기초하여,) 추가적 픽쳐들을 캡쳐할 필요가 있거나 없이, 사용자 요구(및 주어진 물리적 제한)에 따라 가장 조화로운 것들을 장면 오브젝트들에 보이게 하도록 추가적 제어를 갖는다.

보다 단순한 변환들 중 하나로, 그레이 값 범위(grey value range)는 예컨대, 서로 연관되어 캡쳐된 이미지(Io)에서 사용자-선택된 배경 오브젝트들(user-selected and background objects)의 적어도 일부의 픽셀 세트의 범위들을 보여주는 구성 픽쳐(601)를 통해 수정가능하다.

만약 이미징 카메라 유닛(401)이 사용자 지정(user specification:spp)에 기초하여 오브젝트(101)의 펙셀들의 세트(sg)의 적어도 하나의 컬러 속성의 기하학적 프로파일을 수정하도록 배치된 공간 수정 유닛(spatial modification unit:416)을 포함한다.

비록 많은 이미지들에 대해, 범위 재분배(range redistribution)는 사용자를 만족시키지만, 이것은 다른 타입들의 이미지 예컨대 장면의 작은 부분이 과잉 조명되는 이미지에 대해 충분한 제어를 사용자에게 제공하지 않고, 가능하게는, 기하학적으로 의존하는 방식으로, 예컨대 오브젝트의 부분은 거의 발광체에 가깝고, 반면에, 또 다른 부분은 쉐도우들 내에 있다.

사용자는 범위를 시프트(shift)하지만, 그것은 클리핑된-화이트 픽셀들(clipped-to-white pixels)로서 그들을 돕지 않고, 오브젝트를 가로지르는 콘트라스트는 너무 커서 사용자의 요구에 따라 조화롭데 되지 못한다. 사용자는 예컨대 보다 부드럽게 전개하는 컬러 프로파일(smoother evolving color profile)을 지정하고자 원할 수 있다.

이것은, 이미징 카메라 유닛(401)이 예컨대 어느 위치에서 사용자가 오브젝트 범위를 시프트하고, 예컨대 많은 노이지를 가지고 오브젝트가 캡쳐되므로 추가적 이미지의 캡쳐링이 필요한지의 여부를, 사용자에 의해 결정된 최종 이미지(Is) 보기(look)에 의존하여 결정하도록 배치된 상태 결정 유닛(415)을 포함한다. 카메라는 자동으로 또 다른 이미지를 캡쳐할 수 있고, 그로부터 오브젝트를 채울 수 있고, 또는 그 사실을 사용자에게 간단히 주의시키고, 적어도 하나의 다른 이미지를 취하도록 요청할 수 있다.

세그먼테이션 부분의 많은 실시예들이 청구범위의 범위 내에 있는데, 예컨대 이미징 카메라 유닛(401)은 오브젝트(101)의 기하학적 위치에 대한 적어도 하나의 표시(gp)가 오브젝트(101)의 윤곽의 지정(specification)을 포함하도록 배치될 수 있다.

장래에, 많은 사람들은 카메라들로서 작동하는 상이한 이름의 디바이스들을 사용할 것이다.

이미징 카메라 유닛의 등가물이 카메라의 이미징 센서(406)에 의해 캡쳐된 픽쳐(Io)에서 오브젝트(101)의 픽셀들의 적어도 하나의 특성에 대한 적어도 하나의 통계(ST)를 카메라(400)에서 결정하는 방법으로서, 상기 방법은:

- 사용자로 하여금, 캡쳐된 이미지(Io)에서 그의 선호도의 오브젝트(101)의 기하학적 위치에 대한 적어도 하나의 표시(gp)를 지정하도록 허용하는 단계;

- 상기 표시(gp)에 기초하여, 오브젝트(101)의 부분인 픽셀들의 세트(sg)를 결정하는 단계; 및

- 픽셀들의 세트(sg) 내의 픽셀들의 적어도 하나의 컬러 속성에 기초하여 적어도 하나의 통계(ST)를 결정하는 단계를 포함한다.

본 발명에 따른 방법 및 장치의 여러 가지 특징들은 이하에서 설명되는 구현예들 및 실시예들을 참조하여, 그리고 단순히 보다 일반적인 개념을 예시하는 비제한적인 특정한 도해로서 기능하며, 구성성분이 선택적임을 나타내도록 점선들이 사용되고, 실선으로된 성분들이 반드시 필수성분이지는 않은, 첨부된 도면들을 참조하여 명백해질 것이다.

도 1은 사진촬영을 위한 장면을 개략적으로 도시하는 도면.

도 2는 전자 이미지 센서의 개머트(gamut)를 개략적으로 도시하는 도면.

도 3은 캡쳐된 이미지 및 종래의 노출 최적화를 개략적으로 도시하는 도면.

도 4는 본 발명의 서로 다른 실시예들의 집적(accumulation)을 포함하는 카메라를 개략적으로 도시하는 도면.

도 5는 사용자 인터페이스가 사용자로 하여금 오브젝트들을 세그먼트하게 하는 것을 개략적으로 도시하는 도면.

도 6은 출력될 최종 이미지로 오브젝트 컬러 범위들을 매핑(mapping)하기 위 한 인터페이스를 개략적으로 도시하는 도면.

도 7은 세그먼트된 오브젝트에 공간 컬러 프로파일(spatial color profile)을 적용하기 위한 인터페이스를 개략적으로 도시하는 도면.

도 8은 쉐도우 효과를 어떻게 증가시키는지를 개략적으로 도시하는 도면.

도 1은 사진사들에게 그것의 어려움들로 유명한 장면, 즉 결혼식 장면(그 장면은 실내 및 실외 부분들을 포함할 수 있음)을 도시한다. 신랑(101)은 통상적으로 어두운 컬러들인 검정색 옷을 입고고, 신부(103)는 흰색 드레스를 입고, 정숙하게 재연되어야 한다. 원리적으로, 상기 장면이 선택적으로 조명될 때(적어도 아마추어 사진사들이 좀처럼 고려하지 않는 것), 문제가 일어나지 않아야 한다. 검정색들은 통상적으로 그것 상에 내려오는 빛의 결합 퍼센트들(couple percents)을 반영하고, 흰색들은 약 90~95% 반영을 가질 수 있다. 그래서, 장면 콘트라스트 비는 약 100/1이다. 유닛(1)이 필요로하는 것이 여전히 정의되는데, 즉, 그레이 값 차가 얼마나 작은지를 카메라가 여전히 기록해야 한다.

통상적(아마도 다소 보수적인) 값은 인간들이 230 코드들(또는 8 비트)의 필요한 양에 대해 1과 95% 사이의 반사를 유도하는 2%의 휘도 차들(luminance differences)을 인지하는 것이다. 등가의 선형 시스템에 대해, 차이가 (저장 또는 전송 전에 캡쳐된 데이터에 역감마(inverse gamma)를 적용하는 것과 같이) 비선형성들의 효과를 즉시 설명하는 1% 반사 검정색에 대해 가장 작은 2% 인지가능한 단계만큼 큰 단계들을 인코드하기 위해 4700 코드들(13 비트 = 8192 코드들)이 필요 하다.

이 100/1 범위는 예컨대 15개의 전자들의 총 노이즈(센서 + D/A 컨버터와 같은 전자기기들) 및 85000개의 전자들의 웰-깊이(well-depth)를 가질 수 있는 많은 디지털 카메라들에 대해 중요한 문제는 아니어서, 이러한 웰 조명된 장면이 매우 크거나 또는 매우 작은 노출(카메라의 자동 노출은 그것을 고려해야 함)을 가지며 캡쳐된다할지라도, 콘트라스트 비가 5700(밀도 = 3.75 또는 13 비트)으로 된다.

하지만, 통상적인 장면들은 조명시에 심각한 변화를 오브젝트에 의한 반사의 상부(top) 상에 부가할 수 있다. 예를 들어, 표면 위의 램프 1m는 표면을 따라 조명 3미터의 1/10만을 생성하여, 장면 콘트라스트 비를 이미 1000:1로 만든다.

통상적인 내부 장면들에서, 많은 쉐도우들(113)이 존재할 수 있고, 때로는 그것들이 또 다른 방에 있다면 심각하다. 사용자는 어두운(즉, 내부적인 오브젝트 구조체들이 없음) 것으로서 이들 다른 방 영역들을 보고자 할 수 있지만, 사용자는 다른 방에서 정보의 부분을 보고자 원할 수 있고(사용자가 장면 상에 있는 그의 인간 시각 시스템으로 할 수 있으므로), 또는 적어도, 사용자가 차후의 후처리하도록 일부 정보를 가지질 수 있다. 한편, (밝은) 실외 오브젝트들(109)로부터의 높은 조명, 또는 광원들(107), 또는 광원들의 거울 같은 반사들이 존재한다.

또 다른 가능한 문제점은 예컨대 노출 시에 특별히 조명되는 강한 광원(151)에 매우 인접한 오브젝트들(예컨대 오브젝트(151)에 의해 형성된다. 이들 오브젝트들은 과잉 조명될 수 있고, 적어도 일부의 오브젝트 위에서 그들의 특징적인 색도를 느슨하게 한다.

실외 장면들에서, 상기 효과는 악화될 수 있다. 쉐도우된 부분들을 갖는 햇빛이 잘 드는 픽쳐들은 소비자들에게 매우 명암이 심하게 될 수 있고(특히, 콘트라스트 및 화려함(colorfulness)이 또한 상승되는 디스플레이 상에 보여질 때), 실내 부분들(예컨대, 문이 열린 차고의 내부)은 전체 장면으로 조명될 수 있고, 안 보이는 것(invisible) 이외에 콘텐트들(contents)을 남기고, 그것은 사진 조작에 의해 후속 수정될 수 없는데, 왜냐하면, 날짜가 캡쳐된 이미지에 저장되지 않았기 때문이다.

실제 장면들은 예컨대, (이미 150000 구별가능한 센서 출력 코드들을 필요로하는 2% 인간 시각 민감도를 위해) 필요한 3000:1의 콘트라스트 비를 가질 수 있고, 그것은 현재 카메라들 및 통상적인 사용자에게 보다 큰 도전이다.

이것은 센서에 의한 캡쳐된 디지털 값들(Io*)의 히스토그램(220)과 장면 휘도들의 히스토그램(210) 대 센서의 전송 특성(200)을 도시하는 도 2에 개략적으로 도시된 바와 같은, 히스토그램 함수를 갖는 통상적인 디지털 카메라의 사용자에 의해 경험된다. 또한, 카메라에서, 전송 특성(200)이 예컨대 셔터 속도를 변경함으로써 적응가능하다(화살표 290).

전송 특성(200)의 선형 부분(212)을 따라 장면 오브젝트 휘도들(211)은 합리적으로 이미지된다(비이상적인 카메라 컬러 필터들로 인해 여전히 컬러 에러들이 존재함).

사용자가 캡쳐하고자 원하는 이미지들이 많이 없다면, 장면(216)의 보다 어두운 부분들(보다 낮은 오브젝트 휘도(Lin)의 상당한 비율은 센서의 최소 코드 값 들(215)에 매칭되어, 어두운 부분들, 예컨대 나쁘게 조명되는 신랑의 옷 부분들에서 세부사항의 손실(또한, 클리핑 또는 블로운-아웃(blown-out)이라 함)을 야기한다. 예컨대, CCD는 각 픽셀에 대해 적어도 하나의 전자를 필요로 하고, 그래서, 무엇이든지 0 출력 코드를 제공하지 않지만, 실제로, 항상 노이즈(N)가 존재하여, 장면의 가장 작은 코드 값들은 장면에 대한 대푯값이 아니며, 오히려 그것들은 뮤직 노이즈를 갖는 카메라들에서 사용자에게 매우 장애가 될 수 있다. 높은 장면 오브젝트 휘도 측(high scene object luminance side: 218) 상에서, 유사한 것이 일어나는데: 왜냐하면 카메라가 최대값(MAX)을 갖고, 모든 보다 높은 휘도들이 동일한 값, 예컨대 255로 매핑되기 때문이다. 세부사항의 이러한 손실이 예컨대, 흰색 꽃들에서 보여지고, 또는 신부의 가운(gown)의 강하게 조명된 부분들에서 보여진다. 보다 높은 휘도들은 광-전자들(photo-electrons)을 일으키고, 심지어는, 성가신 아티펙트 블루밍(artifact blooming)을 일으킬 수 있지만, 그 모든 것은 통상적으로 최대값 위에 있다.

또 다른 유사한 아티펙트는 강한 조명 하에서 오브젝트들의 변색 및 포화도저하(desaturation)이다. 또한, 스카이들(skies)은 매우 창백한 청색(청색 채널 포화, 하지만, 적색과 녹색은 또한 높게 되고, 반청색(anti-blue)을 부가함)으로 보일 수 있다.

사용자는 그의 캡쳐링이 수정된 많은 오버플로우 및 언더플로우로부터 히스토그램 윈도우에서 불 수 있지만(이것은 ON으로 설정된 카메라의 자동 최적화일 수 있음), 사용자는 적절한 동작을 취할 수 없다. 심지어 총명한 사용자가 여러 개의 나쁜 자동 최적화들 사이에서 선택하도록 될 수 있다. 더욱이, 카메라들은 차후에, 많은 통상적인 사용자들이 광도계(photometer)를 가지며, 여전히 아름다운 픽쳐를 원하는 고전주의 사진사의 지식을 갖지 않는 예컨대, 모바일 폰들과 같은 모든 종류의 휴대 장치에서 팝업(pop up)하게, 인기 있게 될 수 있다.

브래킷(bracketing)(서로 다른 노출 값들로 취해진 다수의 연속적인 이미지들로부터, 잘 이미징된 영역들이 병합됨)과 같은, 카메라 또는 이중 픽셀 센서들(크고, 민감하고, 작고, 민감하지 않은 함께-위치된 픽셀(co-located pixel)을 가짐)에서 장면들의 양호한 다이내믹 범위 캡쳐링을 얻기 위해 지속적인 발전이 존재하지만, 사용자는 사용되는 고정된 알고리즘에 거의 영향을 미치지 않고, 그가 갖은 영향력이라는 것은 조면 측정치의 까다로운 서로 다른 옵션들이다.

전자 노출은 통상적으로, 장면에서(또는 대략적인 선형성(linearity) 하에서, 캡쳐된 픽셀들의 (R,G,B) 값들) 휘도들을 손보는 것이며, "평균" 조명에 기초하여, 캡쳐링 파라미터들(예컨대, 셔터 속도 등등)을 설정한다.

이것은 상술한 바와 같이, 물리적인 실현을 위한 양호한 모델이고, 오브젝트들은 약 0.5% 내지 99%를 반사하고, 이것은 7배(예컨대, 여름에 100 000 1x 외부) 이산으로 변할 수 있는 (외부) 조명의 비상관 배수(multiplicative irrespective)이다. 그래서, 인간 시각 시스템은 (콘 광화학(cone photochemistry)), 콘-옵신 블리칭(cone-opsin bleaching), 신경 적응성(neural adaptation) 등으로 인해) 이용가능한 조명으로 그것의 응답 곡선을 시프트하고, 카메라는 애퍼처, 셔터 시간, 및 증폭을 변경함으로써 동일하게 할 수 있다.

하지만, 장면 개머트(gamut)(예컨대, 휘도들)가 컬러 대표 공간(예컨대, PAL, JPEG)의 개머트보다 크면, 그것이 예컨대, 설명할 수 없는 보다 어두운 영역들을 야기하는 나쁜 평균일 수 있다는 점에서 조명 측정치를 갖는 또 다른 문제점이 존재한다. 본 명세서에서는 아래 두 개의 개머트들을 다룬다:

- 컬러들이 (무엇보다도 선택적으로 이미징됨으로써) 충실히 나타내질 수 있고, 기존의 코드들(소위 클리핑이라고 하는 비가역적인 이중 할당(non-inversible double allocation))로 매핑하는 노이즈, 웰 깊이, 및 셔터 속도와 같은 캡쳐링 파라미터들을 고려하는, 센서의 개머트;

- 컬러 대표 공간의 개머트(그것은 추가적 개머트 매핑을 적용하기 위해 필수적일 수 있고, 그것은 디스플레이되는 보다 큰 개머트를 차후에 얻기 위해 부분적으로 가역적일 수 있고; 본 발명에 따라, 이 매핑은 바람직하게는 사용자의 제어 하에서 지능적(intelligent)임).

그래서, 본 발명에 따라, 사용자는 (사용자-최적화된 픽쳐들을 위해) 캡쳐링 및 최종 렌더링(예컨대, "이론적인" 디스플레이에 대해, 최종 매핑은 본 발명에서와 같이, 바람직하게는 카메라에서 한번만 행해질 필요가 있음)에 대해 선택적인 제어를 갖는다.

센서가 무한(완전한) 개머트를 갖는 경우, 우리가 매우 작은 대표 공간(예컨대, 전통적인 습식 사진(wet photography)이 하이라이트들을 다루는 훌륭한 방식을 찾고, 전자 사진은 그렇지 않음)으로 센서 출력을 개머트 매핑하면, 심지어는, 감마(gamma)가 인간 시각 시스템(종종, 감마 미스매치가 존재하여, 보다 심각한 문제 를 일으킴)에 근접할 때에도 문제가 존재할 수 있다.

본 명세서에서는, 텔레비전 디스플레이 또는 신문 인쇄물과 같은 출력 디바이스의 개머트를 다루지는 않는다. 적당한 컬러 대표가 주어지면, 디스플레이 개머트 쪽으로의 최적 개머트 매핑이 디스플레이의 물리적 현상 및 뷰잉 환경(예컨대, 텔레비전은 통상적으로 약 50:1의 콘트라스트 비를 가지며, 또는 하루 중에 뷰잉될 때는 그보다 낮고, 검정색의 밝기(brightening)는 바람직함)고려하여, 디스플레이 측에서 행해질 수 있다.

도 3은 그것이 캡쳐링된 것으로서의 이미지를 도시한다. 원 장면에 비하여 기하학적인 변경에 주의하자: 이것은 장면에서의 카메라의 몇몇 위치들에서, 이미지의 일부 영역들이 센서의 조명이 기하학적으로 의존하는 것(매우 높거나 매우 어두운, 예컨대 어두운 쉐도우(313))으로서 나쁘게 이미징될 수 있다는 사실을 나타낸다. 임의의 정도의 쉐도잉(shadowing)은 또한 정확한 3D 인상(impression)을 장면에 제공하기 위해 필요하지만, 사진사/아티스트는 요구된 캡쳐링의 물리적인 현상에 대해 적절히 독립적인 광 효과들을 적용하고자 원한다(픽셀 휘도들과 같은 캡쳐링을 제어하는 본 발명은 쉐도우들을 제어하도록 동시에/사용자 동작을 가능하게 하고, 3D 외관을 후-체크(post-check)/수정함).

통상적인 카메라 노출 알고리즘은 영역들(301,...,305)의 결합에서 휘도들을 측정하고, 휘도 분배 측정치를 계산한다. 사용자는 통상적으로, 중심 영역(301) 위치에 대해 제어하지만, 다른 영역들은 크기 및 위치에 있어 고정된다(장면의 조명에 대해 평균적으로 양호한 표시를 제공함). 하지만, 신부(103)와 같은 중요한 오 브젝트들은 부분적으로만 샘플링될 수 있고(이 경우에, 가능하게는 가장 중요한 영역인 신부의 얼굴조차 아님), 한편, 그 영역들은 외부 오브젝트들로부터 광을 샘플링하는 영역(303)과 같은 특이 값들(outlier values)을 샘플링할 수 있다. 이것은 노출을 낮추고, 사용자의 요구에 비하여 통상적으로 매우 어두운 커플의 얼굴들과 같은 중요한 오브젝트들을 만들고(가장 어두운 영역들은 단독으로 노이즈로 됨), 전체 장면 조명 측정치에 크게 기여하는 높은 픽셀 휘도들 때문이다. 사용자가 좋아하는 것은 외부 픽셀들이 개별적으로 처리되는 것이고, 또한, 일부 사용자-선택된 값을 제공한다(가능하게는, 그것은 중요하지 않고: 그것은 장면에서 광 부분이고, 적어도 클리핑/블루밍하지 않는 장면의 나머지, 및 현재 다수의 카메라들에서와 같이 탈색된 컬러들(washed-out colors)을 갖는 픽셀 휘도에서 조화됨).

아마도 특정한 중요하지 않은 오브젝트들, 예컨대 고양이(105)는 배경 장면(오브젝트들 115 및 119)의 나머지와 혼합되는데, 즉 (주변 배경에 비하여 유사하지만 서로 다른 충분한 휘도로) 적절히 인식가능하게 되고, 바람직하게는 조화롭게 이미징된다.

대안으로, 사용자는 그것의 컬러 대표에 대해서도 양호한 제어를 갖도록 결정할 수 있다.

종래 카메라의 또 다른 가능성은 임의의 (어려운 또는 중요한) 스폿(spot)의 휘도를 측정하고, 이것을 고려하여 이미지를 캡쳐하는 것이지만, 다시, 전체 장면의 얻어진 이미지는 이 단일 측정치에 의존한다.

임의의 경우에, 하드웨어/소프트웨어 제한들 또는 사용자의 무경험으로 인 해, 현대식 카메라들은 (서로 다른 뷰잉 환경들 하에서 이들 이미지들을 렌더링할 때 추가적 문제점들을 야기함)이미지와 같은 조화로운 인간 시각을 얻기에 쉽지 않다. 사용자가 바라는 것은 기하학적인 조작만큼이나 쉬운 기술로 정확한 컬러들에 도달하는 방식이다(인간은 이미지의 기하학적 콘텐트를 분석/구성하는데에 매우 익숙해있는데, 예컨대, 가장 유명한 아마추어가 방에서 아름다운 스폿의 정면에 서있는 커플을 조직화할(organize) 수 있고, 비록 윈도우를 통해 광이 누출된다할지라도, 사용자의 사진(특별히 포즈(pose) 및 모든 사람들 사이의 순서)이 파괴될 수 있다.

본 발명은 양호한 라이팅(lighting)을 전적으로 필요로 하는 것은 아니며, 물론, 지능적인 라이팅은 사진의 절반이지만, 즉각적인 상호작용은 사용자로 하여금, 그들의 선호도에 따라 최상의 결과들처럼 보이는 것을 즉시로 보게 허용하고, 사용자는 그것이 바람직한지의 여부를 또는 필요하다면, 라이팅이나 장면을 조정하고, 또는 그가 이미지를 어디서 어떻게 재캡쳐링하는지를 결정할 수 있다. 한편, 가장 간단한 실시예는 여분의 사용자 상호작용을 필요로 하고, 그것은 빠른 휴일 캡쳐링에 대해서 바람직하다.

도 4는 본 발명에 따라, 이미지 처리 이미징 카메라 유닛(401)(예컨대, 전용 ASIC, 또는 그것의 일부, 또는 일반적인 프로세서 상에서 운용하는 소프트웨어)의 다수의 상이한 실시예 옵션들을 포함하는 카메라(400)를 도시한다.

통상적으로 반-자동 오브젝트 세그먼테이션 유닛(semi-automatic object segmentation unit:410)이 포함되고, 이것은 (예컨대, 자동으로 결정된 세그먼트 내에서, 또는 바람직하게는, 자동 세그먼테이션 부분 앞에서 클리핑) 오브젝트들의 기하학적 위치의 적어도 하나의 표시(gp)에 기초하여, 신랑(101)과 같은, CCD 또는 CMOS와 같은 이미징 센서(406)(디지털 데이터 버스와 같은 입력(403)을 통해 이미징 카메라 유닛(401)에 접속됨)에 의해 캡쳐된 이미지(Io)에서 오브젝트들을 선택하도록 배치된다.

적어도 하나의 세그먼트된 오브젝트(즉, 픽셀들의 세트(sg) 및 그들의 값들)는 컬러 구성 모니터 유닛(412)에 대해 입력되고, 그것은 오브젝트 내의 픽셀들의 컬러들을 분석한다. 예컨대, 그것은 특이한 컬러들의 양 또는 평균 휘도, 또는 오브젝트 컬러들의 임의의 공간적인 통계(ST)를 유도할 수 있다.

파라미터들의 두 개의 세트들은 본 발명의 이미징 카메라 유닛으로 변경(하나씩 개별로 또는 둘 모두)될 수 있고: 캡쳐링 파라미터들 및 컬러 대표에 대한 매핑 파라미터들은 메모리(460)(예컨대, 디스크, 인-카메라 고체 메모리(in-camera solid state memory,...) 상에 저장되거나 임의의 네트워크를 통해 전송될 이미지(Is)를 출력한다.

캡쳐링 파라미터들은 캡쳐링 최적화 유닛(424)에 의해 계산된다. 이 유닛(424)은 전체 이미지의 고정된 부분에 기초하여, 적어도 하나의 중요한 오브젝트의 세그먼트된 픽셀들의 컬러들에 기초하여 전통적인 카메라 (예컨대, 신랑(101)에 대해, 또는 두 개의 오브젝트들의 세트(신부(103) + 신랑(101))에 대해; 노출은 예컨대, 그들이 CCD의 선형 부분의 중간영역에 매칭하도록 결정됨) 대신에, (컬러 구성 모니터 유닛(412)으로부터 입력 통계적인 특성들을 입력으로서 얻는)노출 값에 기초한 임의의 픽셀 히스토그램을 유도하기 위한 것으로 간단히 배치될 수 있다. 하지만, 캡쳐링 최적화 유닛(424)이 제 1 사용자-선택된 오브젝트(신랑)에 대한 최적 노출을 갖는 제 1 이미지 및 제 2 사용자-선택된 오브젝트(신부)에 대한 최적 노출을 갖는 제 2 이미지, 및 최적 이미지가 이들 두 개의 캡쳐링으로부터 유도되는 사용자 선호도에 따를 수 없는 경우에, 장면에서 주변에 대한 제 3 이미지를 캡쳐하기 위해 배치되는 본 발명에 따라, 그 사이에서 고정된 수의 스폿들을 갖는 두 개의 이미지들을 캡쳐링하는 대신에, 예컨대 카메라가 브래킷을 인에이블하는 경우, 카메라의 성능을 고려할 수 있다. 예컨대, 컬러 구성 모니터 유닛(412)은 적어도 하나의 세그먼트된 중요한 오브젝트를 포함하지 않는 장면의 모든 부분들에 대해 최적 파라미터들을 계산하고, 필요하다면(가능한 변환 후의 주변의 컬러들이 어떻게 맞는지(fit)에 의존함), 지능적인 오브젝트 기반의 브래킷에 대하여 주변에 대한 제 2 이미지를 캡쳐하도록 배치될 수 있다.

캡쳐링 최적화 유닛(424)은 예컨대 셔터(402) 개방 시간(404는 렌즈)을 세팅한다.

사용자가 캡쳐링 파라미터들만을 제어하는 경우, 오브젝트 세그먼테이션 유닛(410)에 의해 수행되는 오브젝트 세그먼테이션은 완벽하게될 필요는 없지만(즉, 픽셀이 정확하지 않고, 신부에게 들러붙는 몇몇 배경 픽셀들이 존재할 수 있고, 신보의 드레스의 부분은 선택된 오브젝트 영역에서 미싱(missing)될 수 있지만(오브젝트 세그먼테이션 알고리즘의 복잡한 요구사항들을 완화시키고, 계산들을 세이브함), 그것은 신부의 어떤 것이라도(신부의 머리는 아님) 선택하는 고정된 영역보다 양호해야 한다. 세그먼테이션이 반자동(즉, 이미지 처리와 자동으로 얻어진 영역의 사용자 선택/수정의 믹스(mix))이고, 세그먼테이션의 결과가 (제 2 이미지 버퍼에 의해) 예컨대, 캡쳐된 이미지의 상부 상에 경계 곡선을 그림으로써 보여질 수 있고, 사용자는 충분하지 않다거나, (예컨대, 그것들을 신부 오브젝트에 접속 또는 접속해제하기 위해, 인접하는(가능하게는 오버-세그먼트된(over-segmented)) 세그먼트들 상을 클릭함으로써) 신부의 흥미없는 부분들이 선택되는 경우 수정할 수 있다.

반자동 세그먼테이션은 항상, 이해하기에 가장 난해한 장면 부분, 또는 적어도 사용자가 찾는 가장 중요한 것이 무엇인지를 사용자에게 나타내는 사용자의 최소 요구사항, 및 장치에 대한 픽셀 수집(pixel collection)의 지루한 작업을 남기는 최상의 세그먼테이션 방법이다.

그것은 투자된 시간과 품질 사이의 최적화이다. 가장 높은 품질, 하지만 대부분의 오퍼레이션들에 대해, 사용자 인터페이스(420) 오브젝트 선택 모듈(421)은 사용자로 하여금 예컨대, 카메라의 디스플레이(434)를 터치하기 위한 스타일러스(432)로, 오브젝트 주변의 컨투어(contour)를 정확하게 그리게 할 수 있다. 이것은 (비록, 그것이 주말에는 거의 바람직하지 않을지라도, 빠르게 한 커플의 샷들(shots)을 찍고자 원할 때)장면의 정확한 캡쳐링을 고려한 트리포드(tripod)로 그들 가정 환경에서의 사용자 또는 전문적인 사진사들에 의해 바람직할 수 있다.

사용자가 출력 이미지(Is)로의 렌더링에 영향을 미치고자 원하는 경우(즉, 센서에 의해 캡쳐된 픽셀 값들이 예컨대, JPEG 또는 OpenEXR 파일로 출력될 최종 센서 값들로 전환되는 방식), 사용자는 통상적으로 정확한 세그먼테이션을 원할 수 있다.

이 컨투어 드로잉 케이스(contour drawing case)에 대해, 오브젝트 세그먼테이션 유닛(410) 세그먼테이션 알고리즘은 단순히, 그려진 경계(컴퓨터 그래픽들에서 본질적으로 공지됨) 내부의 픽셀들의 유도(derivation)이다.

하지만, 통상적으로 오브젝트 세그먼테이션 유닛(410) 및 사용자 인터페이스(420)는 노동 집약적이지 않은 다양한 반자동 세그먼테이션 모드들을 사용자에게 제공하도록 배치되다. 오브젝트 선택 모듈(421)은 예컨대, 지속적으로, 또는 소수의 포인트들을 접속되게 함으로써, 다수의 경계 드로잉 옵션들 중의 옵션을 사용자에게 제공하도록 배치될 수 있다. 사용자 인터페이스(420)가 현재 캡쳐된 이미지의 상부에 대한 선택을 렌더링하도록 어떻게 배치될 수 있는지의 예가 도 5에 도시되어 있다.

신부가 선택되었고, 반자동으로 얻어진 오브젝트 영역(510)은 신부의 상부 상의 컨투어(512)로서 드로잉된다. 또한, 선형 라인들, 스플라인들(splines) 등에 의한 오브젝트 선택 모듈(421)의 알고리즘에 의해 접속될 수 있는, 포인트들(501, 502 등등)을 클릭하여 영역을 묘사하는 예가 주어진다. 상기 예에서, 대략적인 주변 영역(520)(코드 CS로 사용자 인터페이스에 의해 마킹됨)은 그것이 작은 비트의 모든 주변 컬러들(어두운 코너, 가구, 외부)을 포함하도록 사용자에 의해 선택되는데, 즉, 사용자가 생각하는 것에 대한 대략적인 선택은 장면 배경에서 통상적이거나 중요하다. 바람직하게는, 외부는 그것이 다른 픽셀들의 캡쳐링 및/또는 렌더링 에 영향을 미치지 않도록 개별 영역으로서 선택된다.

원하는 오브젝트 주변(예컨대, 가장 간단한 사용자 인터페이스 버튼들(예컨대, 카메라의 후면 상의 인터페이스(430)의 터닝 휠(turning wheel:431)은 주변 직사각형의 외쪽 상부 코너 및 오른쪽 하부 코너로 커서(550)를 위치시키는데 사용될 수 있음)로 드로잉될 수 있는 그것의 직사각형 주변)의 포인트들로부터 시작하여, 세그먼테이션의 자동 부분은 종래의 이미지 처리 세그먼테이션으로부터 잘 알려진 바와 같은, 그레이 값, 컬러, 텍스처 패턴들(texture patterns) 등으로서 특성들을 찾음으로써, 적절한 오브젝트 세그먼트를 형성할 수 있다. 예컨대, 수학적인 스네이크들(mathematical snakes)은 오브젝트들의 경계( 2D 세트의 픽셀들을 사용하는 세그먼트들 및 1D 세트 주변의 세그먼트들인 경계들을 사용하며, 숙련자들이 그것들 중 하나 또는 둘 모두로 등가적인 알고리즘을 어떻게 구현하는지를 알 것이므로, 본 명세서에서 상호교환가능함)에 대해 그것들 자체를 로크(lock)하는데 사용될 수 있다. 예컨대, 상이한 개머트 그레이 값 오브젝트들로서 신부와 신랑은 특정 텍스처 템플릿 패턴들(texture template patterns)을 체크할 필요 없이, 그레이 값에서만, 그들 주변들과는 상당히 다를 수 있다.

대안으로, 수동 수분은 오브젝트 내부를 클릭하고(예컨대, 적어도 신부의 얼굴에 커서(550)를 위치시키고), 필요하다면, 사용자 표시 클릭 위치에 기초하여 자동으로 세그먼트된 오브젝트를 수정하는 것과 같이 간단할 수 있다. 인터페이스는 예컨대, 신부-오브젝트 세그먼트들의 오버-세그먼테이션(over-segmentation)을 제공할 수 있고, 사용자는 (예컨대, 스타일러스(432)로) 그것들 상을 클릭함으로써 최종 오브젝트로 수집(collect)할 수 있다.

이상적으로 사람이 일정한 그레이 값 세그먼트들보다는 오히려 오브젝트들을 원하므로(예컨대, 자동 노출 알고리즘에 동일한 그레이 값 픽셀들을 부가하는 것은 가장 적절한 노출을 얻는 충분한 임팩트(impact)를 제공하지 않고, 렌더링 매핑을 위해, 사람은 가능한 실제 오브젝트들만큼 많은 것이 갖고자 함), 이미징 카메라 유닛(401)에서 모션 추정 유닛(422)(또는 유사한 영역, 예컨대 블록 수정 유닛)을 포함하는 것이 이롭고, 그 출력(예컨대, 동일한 모션을 갖는 세그먼트들)은 오브젝트 세그먼트들을 직접적으로 생성하는 오브젝트 세그먼테이션 유닛(410)에 의해 또는 추가적 정교한 알고리즘(예컨대, 픽셀이 정교하게 되도록 블록 정확성 모션 기반의 세그먼테이션을 파인-터닝(fine-tuning)하는 컬러 기반의 수학적인 스네이크들)에 대한 입력으로서 사용될 수 있다. 이 모션 추정 유닛(422)은 예컨대, 모션 비디오 카메라들에서의 일시적인 업-컨버젼(up-conversion) 또는 이미지 안정화(image stabilization) 등, 다른 이유로 카메라에 이미 제공될 수 있다.

이롭게는, 모션 추정 유닛(422)은 다수의 초들(seconds)을 스팬(span)하는 이전의 시간 프레임들에 대해 인간들의 마이크로-모션의 측정치들을 유도하도록 배치된다.

또한, 모션 추정 유닛(422)이 외부 오브젝트들(109)이 쉽게 세그먼트되도록 모션 패럴랙스 차 깊이들(motion parallax different depths)에 기초하여 유도하도록 배치된다.

선택적으로, 세그먼트 트래킹 모듈(segment tracking module:411)이 또한 포 함될 수 있다. 그것은 제 1 캡쳐된 이미지(세그먼테이션이 사용자에 의해 행해짐)로부터 최적화된 캡쳐링 파라미터들을 갖는 제 2 캡쳐된 이미지로 세그먼트들을 트랙하고, 그 사이에서 카메라 움직임을 고려하도록 배치되며, 비록 이것이 엄격하게 필요하지는 않지만(예컨대, 캡쳐링 파라미터들을 변경할 때에만), 카메라가 대략적으로 동일한 장면(통계학은 이미 캡쳐된 이미지에 대해 계산됨)을 보이는, 대략적으로 동일한 위치에 있고, 그래서, 최적화된 캡쳐링 파라미터들은 여전히 유효하다. 하지만, 사용자 선호된 오브젝트 세그먼트들의 재결정은 사용자가 최적화된 렌더링을 적용하고자 할 때 유용하며, 이중적인 사용자 상호작용이 회피되고, 양호한 멀티-픽쳐 구성이 달성될 수 있다.

이롭게는, 세그먼트 트래킹 모듈(411)은 차후의 반자동 세그먼테이션에 대한 이동 오브젝트들의 정보를 고려하도록 배치된다. 예컨대, 히스토그램들은 그들의 장소들(places)쪽으로 걸어가는 사람들과 주변으로 앞서 이동하는 오브젝트들로부터 수집될 수 있고(비디오 카메라에서, 이것은 이벤트의 빠른 리코딩(예컨대 과거 10초)과 함께, 예컨대 세그먼트된 오브젝트 서브 픽쳐들 더하기 그것의 통계적인 컬러 디스크립터들(color descriptors)의 일련의 시간과 같은 메타-출력(meta-output)일 수 있고, 반면에, 스틸 카메라(still camera)는 이미지를 캡쳐하도록 사용자가 실제 결정하기 전에, 배터리 전력을 세이브하도록 예컨대 낮은 해상도, 품질 등에 대해, 장면을 프리-스캐닝(pre-scan)할 수 있음), 특별히는, 영역들이 특정한 크기들을 갖고, 또는 극한의 휘도 값들(평균보다 어둡거나 밝아서, 잠재적인 문제점)을 갖는 경우에 저장될 수 있다.

인간들이 통상적으로 사진사들에게 가장 흥미있으므로, 이동하는 영역들의 히스토그램들이 차후의 사용을 위해 저장될 필요가 있다고 결정할 때에 입력을 제공하는 얼굴 검출기(413)가 또한 제공될 수 있다. 얼굴 검출기는 픽셀 컬러들의 값들, 및/또는 얼굴 영역 성분들(예컨대, 인터-아이(inter-eye), 코 거리들(nose distances)) 등 사이의 기하학적 관계들에 기초하여 알고리즘을 사용하도록 배치도리 수 있고, 얼굴 검출기들은 본질적으로 공지되어 있다.

카메라 사용자 인터페이스(420)는, 사용자로 하여금 예컨대 터닝 휠(431)을 통해, 다수의 최적화 프로그램들을 선택하게 하는 분석 모드 제어 유닛을 갖는다. 모드가 FA로 세팅될 때, 오브젝트 세그먼테이션 유닛(410) 및/또는 컬러 구성 모니터 유닛(412)은 (예컨대, 서로 다른 소프트웨어를 적용함으로써), 얼굴을 구성하는 세그먼트들을 찾도록 구성되고, 가능하게는 보다 무겁게 가중된 얼굴 픽셀들의 기여도(contribution)가 컬러 구성 통계(ST)로 제공되도록 각각 보장한다.

이 히스토그램이 후속하는 세그먼테이션에서 가능하게는 흥미있는 오브젝트 도움(object aids)으로 미리저장되고: 패턴 인식 기술들은 히스토그램이 선택적으로 캡쳐될 이미지에서 사용자에 의해 선택된 오브젝트에 가장 근접함을 식별하게 하는데 사용될 수 있고, 세그먼테이션은 상술한 바와 같이, 세그먼트 트래킹 모듈(411)에 의해 모션 추정의 얻어진 영역에 대한 기하학적인 매핑에 부가하여, 히스토그램의 콘텐트를 고려할 수 있다(예컨대, 컬러 또는 텍스처 히스토그램의 보조부분들에 대응하는 서브-세그먼트들은 그것들이 차단되지 않으면, 현재 세그먼트된 오브젝트에 제공될 필요가 있음).

캡쳐링의 사용자 제어된 오브젝트 기반의 최적화에 부가하여 또는 그에 대안으로, 상술한 바와 같이, 이미징 카메라 유닛(401)은 사용자로 하여금, 양호한 최종 구성을 달성하기 위해 출력(Is)(각각 그것의 표시 공간)될 최종 이미지에 대해 매칭 파라미터들을 수정하도록 배치될 수 있다.

사용자가 좋아하는 컬러 패턴들을 변경하는 옵션을 사용자에게 제공하도록 배치된 변환 인터페이스 유닛의 제어 하에서, (그것의 휘도 또는 그것의 색도(chromaticity), 또는 유사한 픽셀 컬러 대표 파라미터들을 의미하는) 픽셀 컬러들의 수정을 적용하기 위해, 즉 그것의 주변에 대해 오브젝트의 컬러들을 재위치시키기 위해 배치되는 (이에 따라 주변 오브젝트의 빈 공간 또는 이미지의 나머지) 오브젝트 변환 유닛(414)이 포함될 수 있다.

이러한 변환 인터페이스의 예는 도 6에 기호로 도시되어 있다(사용자가 카메라 디스플레이(434) 상에서 보는 것). 물론, 도 6은 단순히, 오브젝트 변환 유닛과의 사용자 상호작용을 위해 필요한 기술적인 성분들을 개시하는데 사용되며, 유사한 기술적인 가능성들을 갖는 다른 인터페이스들이 설계가능하다.

세그먼트된 오브젝트들은 이롭게는, 두 종류의 디스크립터, 즉 첫 번째는 단순히 (그것의 가장 어두운 픽셀에서부터 가장 밝은 픽셀까지의 정도, 또는 특정한 미리정의된 기준, 예컨대 픽셀 노이즈에 기초하여 몇몇 개머트 픽셀들을 제거하는 그것의 보조범위인) 범위이고, 두 번째는 픽셀 컬러들의 공간 프로파일(이것은 이상적인 2차원이지만, 간단한 인터페이스에 대해, 1차원 서머리(summary)가 미리결정된 알고리즘에 기초하여 생성됨)로 수학적으로 설명된다. 여기서 말하는 컬러에 주의해야 하는데, 이것은 간단히 휘도, 또는 다른 컬러 측정치(예컨대, 거울같은 반사들로 인해 그것의 프로파일에서 저포화된 부분들(de-saturated parts)을 갖는 적색 오브젝트, 이 경우에, 1D 변수는 약간 적색 측정치, 또는 청색-노란색 코디네이트(coordinate), 또는 여러 개의 컬러 코디네이트들의 1D 구성일 수 있음)일 수 있다. 청구범위에서, 숙련자들은 또한, 다차원 디스크립터들을 설계할 수 있지만, 간단히, 우리는 이러한 정보로 본 명세서를 복잡하게 하지 않는다.

도 6은 범위들을 재위치시키기 위한 최소의 사용자 노력 인터페이스(minimal suer effort interface)를 도시하고, 그것이 예컨대, 캡쳐된 입력 이미지(Io)에 비하여 최종 이미지(Is)에서 신랑 오브젝트에 대해 보다 덜 밝게 그리고 훌륭하게 보이도록 허용하므로, 많은 사용자들에 대해, 그것들이 필요로 하는 모두이다.

서브픽쳐(601)는 캡쳐된 픽쳐의 상부에(또는 카메라가 현재 디스플레이되는 곳에) 도시된다. 출력 컬러 공간의 범위(또는 개머트)(624)가 도시된다(센서의 현재 캡쳐링 범위가 또한 도시될 수 있음). 본 예에서, 아마도 브래킷을 사용함으로써, (이롭게는, 아이콘파이된(iconfied) 바와 같은, 예컨대, 오브젝트 세그먼트의 포스터화된(posterized) 작은 버전(version)인, 심볼(623)로 식별되는)신부 오브젝트의 범위(603)(O1) 및 신랑 오브젝트의 범위(605)(O2)는 출력 이미지(Is)의 출력 컬러 공간 내에서 이미징된다. 이롭게는, 그레이 스케일(625)이 또한 도시되어, 사용자는 대략적으로(적어도 카메라 디스플레이(434)보다 먼) 범위(624)에서의 그레이 값들 포인트들이 대응하는 것을 볼 수 있다. 출력 개머트(624)의 보더들(borders)이 또한 라인들(611) 및 심볼(612)로 표시된다.

변환 인터페이스 유닛(450)은 사용자로 하여금, 사용자가 여전히 어둡다고 생각하는 경우에, 신랑 오브젝트의 범위를 수정하도록 배치된다. 커서(621)는 사용자로 하여금 범위를 정하고, 그것을 위쪽으로 시프트하고(오브젝트의 밝기 변경), 또는 범위의 극한 포인트들(예컨대, 보다 낮은 바운드(bound)(Lo1)) 중 하나를 변경(오브젝트 내에서 콘트라스트를 수정)하도록 한다. 사용자는 아마도, 현재 노출 하에 있는 고양이 오브젝트 범위(607)(O3)에 대해 그것을 행하도록 원할 것이다. 오브젝트 변경 유닛(414)은, 몇몇 자동 제안들(automatic suggestions)을 행하도록 배치될 수 있고, 조화로운 개머트를 위해 미리정의된 알고리즘들에 기초하여(이 경우에, 오브젝트 변환 유닛에 전달되는 사용자 요청에 대한 수학적인 대표(representation)인 사용자 동작 및 지정(sp)은 매우 간단하고, 소수의 클릭들은 미리결정된 단계들로 그레이 값에서 위 또는 아래쪽으로 선택된 오브젝트 범위를 이동시킴), 서로 다른 오브젝트들을 매핑하는 제 1 가능성을 사용자 인터페이스를 통해 사용자에게 제공한다.

흥미 있는 오브젝트들을 도시하는 이외에, 장면의 나머지의 표시기들(indicators)은 예컨대, 배경 부분으로 보여진다. 상기 예에서, 적어도 매우 밝은 픽셀들의 부분(범위 609)을 아이콘파이함으로써, 과잉 노출을 보여주는 배경 영역의 부분(608)이 도시된다. 이것은 사용자로 하여금, 전체 배경 영역을 수정하게 하고, 또는 개머트 범위 내에서, 광에 대해 수정하는(윈도우 외부의 모든 것) 추가적 세그먼트를 정의하게 한다.

동시에, 선택된 오브젝트의 컬러 범위를 수정함으로서, 오브젝트 변환 유 닛(414)은 탄성 상수(elasticity constant)를 통해, 이미지의 나머지 컬러들에 대한 수정을 적용하도록 배치된다. 예컨대, 신랑의 밝기가 10 유닛들만큼 증가되면, 20%의 탄성을 가지며, 장면 배경 및 이미지 오브젝트들의 나머지는 2 유닛들만큼 증가된다(예컨대 신부의 가장 밝은 픽셀들이 클리핑을 회피하기 위해 1 유닛만큼만 변경되도록, 추가적 개머트 매핑이 존재할 수 있음). 탄성은 오브젝트들의 그룹 중에서만 정의될 수 있다(예컨대, 신부 및 신랑은 하나의 동작으로 보다 밝아지지만, 픽쳐의 나머지는 그렇지 않다). 0%의 탄성을 가지고, 오브젝트는 그 주변에 무관하게 수정될 수 있다. 오브젝트 변환 유닛(414)은 통상적으로 수정된 오브젝트 주변에서만, 기하학적 프로파일을 갖는 다른 오브젝트 컬러들의 탄성 컬러 변환을 적용하도록 배치될 수 있다(원형 프로파일은 예컨대, 오브젝트 보더 모형 프로파일(object border-shaped profile)에 기초한 거리 변환보다 양호하다). 그래서, 중심 포인트는 수정될 오브젝트에 대해 결정된다(예컨대, 무게중심, 또는 사용자가 오브젝트를 세그먼트하기 위해 클릭한 곳). 오브젝트들 내의 픽셀들은 일반적으로 범위 기반의 수정(range based modification)에 따라 수정되는데, 예컨대, 신부 범위(603)의 낮은 바운드(Lo1)가 Lo1' 위쪽으로 이동되면, 오브젝트 내의 컬러(x)의 포인트들은 아래 수식에 따라 변경된다.

[수식 1]

여기서, x'는 새로운 컬러이고, x는 원래의 컬러이고, Uo1은 신부 범위(603)의 원래 상부 바운드이고, 또는 범위에 대해 또 다른 매핑 프로파일로 스트레 치(stretch)보다 시프트를 더 좋아하도록 동작하는 또 다른 미리정의된 기능이다(상부 포인트는 고정되고 또는 함께 이동하게 된다).

신부 오브젝트들 근처 및 외부의 포인트들은 아래 수식에 따라 변환된다.

r는 중심 포인트에 대한 포인트의 거리이고, 방사 함수(H)는 예컨대, 가우시안 레벨잉 오프 형태(Gaussian leveling-off shape)를 갖는다.

이것은 부가적인 스포트라이트를 갖는 신부를 비추도록 시뮬레이트하고, 그것은 신부를 주변과 보다 더 조화하게 할 수 있다. 모든 수정들의 결과들은 아래 놓이는 최종 이미지 상에 즉시 보여진다.

몇몇 경우들에서, 오브젝트 변환 유닛(414)은 재캡쳐링(recapturing)의 필요성에서 후처리로서 캡쳐된 이미지에 대한 몇몇 변환들을 수행할 수 있다. 이론적으로, 사용자가 비가역 하이라이트들, 및 노이즈 등으로 인해, 임의의 즐거운 변환 결과를 얻지 못하는 경우에 이미지를 재캡쳐링하는 모든 가능성을 일어버릴지라도, 이 처리는 가정에서 동일하게 잘 수행될 수 있다. (그가 베니스에서 2일째 휴가를 보내지만, 그녀의 20번째 생일을 축하하도록 퀸(Queen)에게 요청하지는 않고; 전문적인 사진사들이 많은 픽쳐들을 찍어 이것을 해결하지만, 조용한 그들의 스튜디오에서, 약간의 편집 후에 실제 양호한 사진을 캡쳐하는지의 여부는 약간의 추측이며; 본 발명은 이러한 가능성을 증가시킨다).

다른 경우들에 대해, 상태 결정 유닛(415)은, 자동적으로, 또는 사용자의 요청에 따라, 캡쳐링의 물리적인 현상 및 요구된 최종 결과를 고려함으로써, 추가적 이미지를 캡쳐하고자 바라는지를 결정한다. 예컨대, 고양이는 불량하게 이미징되고, 그것은 사용자가 어두운 곳에 감춰진 그것을 보고자 원할 때 문제가 되지 않는다. 하지만, 그가 그것의 밝기를 높이고자 원할 때에, 노이즈 및 포스터리제이션(posterization)이 지배적이어서, 의도된 범위에 대응하는 노출로 제 2 이미지를 캡쳐하는 것이 바람직하다.

게다가, 상태 결정 유닛(415)과 캡쳐링 최적화 유닛(424) 사이의 데이터 링크(485)가 제공되고, 이것은 선택된 오브젝트(예컨대, 평균 렌더링 그레이 값 등)의 최종 렌더링의 통계치의 전송을 허용한다.

세그먼트 트래킹 모듈(411)은 블렌딩(blending)에 도움을 줄 수 있는데, 예컨대, 이것은 새로운 이미지에서 대응하는 패치들(patches)의 컬러 값들로 제 1 이미지에서 고양이의 원래 위치된 패치들을 재컬러(recolor)할 수 있다. 물론, 바람직하게는, 이미징 카메라 유닛은 또한, 최종 이미지를 캡쳐하도록 사용자에게 요청하도록 배치될 수 있고, 실제로, (사용자의 요구된 최종 렌더링에 따라) 여러 개의 이미지들의 최적화된 빠른 연속 캡쳐링을 활성시킬 수 있다.

분석 모드 제어 유닛(470)의 모드들에 대응하는 오브젝트들을 사용자가 세그먼트하는 서로 다른 이유들이 존재한다. 모드(DO)(지배적인 오브젝트 모드)는 이미 설명되었다. 하나 또는 여러 개의 흥미 있는 오브젝트들이 세그먼트되고, 이어서, 예컨대, (적어도 하나의 이미징의) 최적 캡쳐링 파라미터들이 계산되어, 적어도 이들 오브젝트들은 잘 드러난다(또는 사용자는, 지배적인 오브젝트들에 대해 최적인 아닌 단일의 제 1 캡쳐링으로, 도 6으로 설명된 바와 같이 그들의 컬러들을 수정할 수 있다).

또 다른 타입의 오브젝트는 특이한 오브젝트이고, 카메라를 OL 모드에 둔 후에 세그먼트된다. 이것은 예컨대, 윈도우 뒤의 모든 것일 수 있다. 카메라는 노출을 최적화할 때에 이들 오브젝트 픽셀들을 배제한다(즉, 모든 집 내의 오브젝트들은 윈도우 오브젝트를 컷아웃(cut out)함으로써 선택된다). 선택적으로, 추가적 캡쳐링은 윈도우 오브젝트에 대해 행해질 수 있고, 또는 사용자는 도 6으로 설명된 변환 인터페이스 유닛(450)으로 단일 캡쳐링으로부터 윈도우 픽셀들을 변환할 수 있다.

제 3 모드는 수정 동작 모드(corrective action mode:CA)이다. 이 경우에, 오브젝트는 불량하게 노출되는데, 예컨대, 꽃병 오브젝트(151)는 밝은 광(150)에 근접하여 있다. 그 픽셀들의 적어도 일부는 아름다운(또는 난해한) 핑크 꽃병 컬러인 대신에, 흰색으로 클리핑된다. 이러한 오브젝트들에 대해, 범위(비록 많은 경우들에서 이미 중분함)를 조정할 없는 것이 이롭지만, 조명이 빛의 위치 및 오브젝트의 형태 등으로 인해 공간 특징을 가지므로, 공간 프로파일을 통해 제어한다.

게다가, 공간 수정 유닛(416)이 선택적으로 포함된다. 그것은 또한, 공간 모드 제어 유닛(471)을 통해 선택하는한 서로 다른 모드들을 갖는다.

EQ(equalize color) 모드의 한 예가 도 7의 도움으로 설명된다.

제 1 서브 윈도우(701)는 제 1의 높은 노출(E1) 및 제 2의 낮은 노출(E2) 하에서, 캡쳐된 지배적인 오브젝트의 컬러 프로파일들을 보여준다. 임의의 알고리즘은 오브젝트의 가장 밝은 영역과 가장 어두운 영역 사이의 (통상적으로 물결모양) 상당히 단조로운 경로 또는 지그재그 경로 또는 어느 경로나 바람직하게, 경로에 따르는 좌표(x)를 통해 1-D 프로파일에 대한 2차원 영역으로 서로 다른 컬러들(C)(예컨대, 휘도(Y), 컬러 좌표(C), 또는 그것들의 일부 조합)을 전환하도록 적용될 수 있다. 긴 셔터 시간을 갖는 램프(150)의 접근(closeness)으로 인해, 오브젝트(영역 770)의 일부는 과잉 노출되고, 흰색(또는 적어도 흰색에 근접한 컬러들)으로 클리핑된다. 이 예에서, 오브젝트의 나머지는 매우 밝게 될 수 있지만, 적어도, 구별가능한 컬러들을 보여주고, 높은 콘트라스트를 보여준다. 높은 콘트라스트는 불충분하게 노출된 제 2 캡쳐된 픽쳐(프로파일 E2)에서, 매두 어두운 영역들(영역 771)이 존재한다는 것을 암시한다. 사용자는 꽃병이 보다 작은 콘트라스트의 양호하게 균일한 핑크로 보이도록 원할 수 있다. 그는 우선, 오브젝트의 평균 컬러를 조정할 수 있다(도 7은 주변을 수정하거나 고려하지 않고, 전적으로 오브젝트 "내에서" 수행될 수 있는 컬러 변환의 예를 도시하며, 가능하게는 오브젝트의 평균 밝기는 상당히 변하지 않고, 오히려, 그것의 콘트라스트는 까칠하다기보다는 부드러운(softer), 어두운 조명으로 상이하게 조명된 것을 갖도록 시뮬레이트한다).

이것은 새로운 위치(705)에 대한 공간 수정 유닛(416)에 의해(아마도 그는 평균적으로 보다 밝은 컬러를 원한다) 수학적으로 유도된(예컨대, 모든 컬러들의 평균, 또는 오브젝트의 무게중심의 주변에 캡쳐된 컬러들을 선호하며, 오브젝트 중에서 기하학적인 위치를 고려한 기하학적 평균) 중심 컬러를 이동시키는 사용자에 의해 행해질 수 있다. 오브젝트 중에서 콘트라스트를 결정하기 위해, 그는 통상적으로, 가장 밝은 컬러의 값(U')이 무엇인지를(최종 포인트 708) 입력함으로써, 하 나의 컬러 스팬 표시(color span indication)를 제공한다. 다른 최종 포인트(708)는 수학적으로 유도될 수 있고, 또는 사용자 결정될 수 있다. 요구된 프로파일 변수(F)의 가장 간단한 대표는 직선(픽셀 컬러들의 실제 변이성(variability)이 매핑됨)이지만, 그것은 또한, 이하에서 설명되는 바와 같이, 보다 복잡한 함수일 수 있다.

서브 윈도우(651)는 바람직하게는 몇몇 주변 픽셀들과 함께, 오브젝트의 최종 렌더링 결과를 도시한다. (예컨대, 제 2 캡쳐링의) 정확하게 이미지된 모든 픽셀들은 다음 수식과 같은 함수로, 상대적인 컬러 변이성을 유지하여, 새로운 보다 작은 콘트라스트 프로파일로 매핑된다.

[수식 3]

여기서, M은 일부 중심 컬러(예컨대, 모든 컬러들의 평균)이고, Uo는 원래 가장 밝은 컬러이고, C'는 변환 후의 임의의 픽셀 컬러이다.

보다 복잡한 함수들은 오브젝트(약간 원통 형태라고 미리 가정함)의 기하학을 고려하여 적용될 수 있다..

공간 수정 유닛(416)은, 두 개의 캡쳐된 이미지들 중 어느 것이 최상으로 사용되는지를(예컨대, 높은 x 값들에 대해, E2는 노이지(noisy)하고 또는 어두운 클립된 값들을 가지며, 제 1 이미지가 최상으로 사용됨) 그리고 사용자의 요구에 따라, 추가적 이미지(예컨대, 사용자가 어두운 부분들을 아주 밝게 되도록 원하므로, 이 영역에 대해 빛 노출을 하는 것이 최상임)를 캡쳐하는 것이 최상인지를 결정하 기 위해 배치된다. 이것은 본 발명의 평균을 예시한다. 사용자는 이미지에서 각각의 선택된 오브젝트(또는 비이상적임(non-ideality))에 대해 항상 그것의 선호도를 제공할 수 있고, 카메라는 물리적인 제한들을 제공한 가장 완벽한 픽쳐를 달성하기 위해 모든 요구된 동작들을 취할 수 있다.

사용자는 또한, 보다 복잡한 방식으로 프로파일(즉, 컬러 다이내믹들이 어떻게 이미지 평면(image plane)에서 전개하는지)을 형성하고자 원할 수 있는데, 예컨대, 그는 대부분의 꽃병에 대해 훌륭한 균일 핑크(uniform pink)를 원할 수 있고, 다소 어두운 쉐도우들을 만들 수 있다. 그는 추가적 선택 포인트(621)를 소개할 수 있고, 예컨대, 621을 넘어, 보다 어두운 영역들의 슬로프(slope)를 변경시킬 수 있다.

이미지의 어떠한 부분을 보기 위해, 상기 값들은 특별히 적절하지 않은 값들에 대응하고, 커서(611)는 사용자로 하여금 곡선들 중 임의의 것을 따라 x 또는 대응하는 C 값을 선택하게 하고, 윈도우(661)는 오브젝트의 일부가 요구된 컬러(통상적으로, 선택된 것 위 및 아래의 소수의 컬러 값들)에 대응하는 지를 보여준다. 상기 예에서, 꽃병 상의 쉐도우 패치(663)가 도시되어 있고, 그에 대해, 사용자는 나쁜 이미징을 얻을 수 있고, 그것은 그가 흥미 없어하는 것이다.

유사하게, 사용자는 그가 변경시키고자 원할 수 있는 프로파일의 부분들을 선택하기 위해 이미지 상에 또 다른 커서(712)를 위치시키는데, 왜냐하면, 이것은 그을 위해 보다 직관적(intuitive)이기 때문이다. 커서(711)는 자동으로 상호 위치된다.

보다 부드러운 프로파일을 적용하는 외에, 강화된 쉐도우 효과를 생성하기 것은 모드(SE)(shadow enhance)로 스위칭함으로써 적용될 수 있다. 이것은 도 8에 기호로 도시되어 있다. 공간 수정 유닛(416)은 (일반적인 그래디언트(gradient)에서) 쉐도우 프로파일이 존재하는지를 결정하기 위해 배치되고, 적어도 그것의 방향과 같은 특성들을 미리정의하기 위해 쉐이딩 결정 유닛(shading determining unit:417)을 포함한다. 에지 검출기는 (꽃병의 어두운 내부와 같은)큰 점프들 및 스무스 그래디언트들(smooth gradients) 사이에서 구별하기 위해 사용될 수 있고, 추가적 처리를 위해 그래디언스 보조영역(gradient subregion)만을 선택할 수 있다. 쉐이딩은 일반적으로 2차원(영역 803)이지만, 단순화를 위해, 우리는 1차원 프로파일을 설명한다. 꽃병 그래디언트는 가장 밝은 휘도에서 가장 어두운 휘도(YO)로, 휘도를 변경시키는 영역들(예컨대, 휘도(g+-e) 내에서 모든 픽셀들로서 도시될 수 있는 영역(801), e는 공차(tolerance)임)로 구성된다. 다시, 원래 프로파일(850)은 예컨대, 쉐이딩된 오브젝트 자체 중에서 사용자(도8.2)에 도시된 지배적인 그래디언트(805)를 따라서 구성될 수 있다. 가장 간단한 인터페이스에서, 사용자는 간단히, 최종 프로파일(851)을 얻기 위해 커서(853 및/또는 855)를 당김(pull on)으로써 이 프로파일을 스케일(scale)한다. 보다 진보된 프로파일들은, 바람직하게는 인터페이스 대 사용자가 단순히 동일하게 스테이(stay)하도록 자동 알고리즘들로 적용될 수 있고, 그것은 오브젝트(보더 패치 811)의 기하학적 극한들 쪽으로 또는 컬러 극한들 쪽으로 스케일링(scaling)을 라운드-오프(round-off)하고, 또는 지배적인 방향 및/또는 오브젝트 보더(직사각 벡터 813)로부터 픽셀들이 얼마나 먼 지에 의존한다.

추가적 공간 프로파일들은 오브젝트 내에서만이 아닌 주변 픽셀들과 함께 그것을 연관시키기 위해 적용될 수 있다. 모드(MB)(merge background)는 몇몇 보간 프로파일에 따라 주변 픽셀들과 외부 오브젝트 픽셀들의 값들을 보간한다.

모드(EB)(emboss)는, (예컨대, 그래디언트 사이에서, 조명에 의해 오브젝트를 팝-아웃(pop-out)하도록 보다 어두운 곳에서의 롤링(rolling)을 아래쪽으로 그리고 오브젝트 내에서의 롤링을 약간 위쪽으로 적용함으로써) 주변과의 차이를 증가시킨다.

많은 추가적 공간 프로파일들이 적용될 수 있다.

비록, 단순화를 위해, 위의 처리가 선형으로 설명되었지만, 대표 공간 감마, 인간 시각 모델들, 및 다른 컬러 모델링은 변환시에 고려되고, 사용자는 간단히 결과를 드래그(drag)하고 봐야만 한다는 것이 이해될 것이다.

위에서, 이미지된 오브젝트 픽셀들의 휘도(그레이 값들)를 변경하는 본 발명을 논의하였지만, 동일한 원리들은 장면에서 백열로 조명된 오브젝트들(incandescently illuminated objects)에 따라 보다 노란색으로 되도록 예컨대 매우 푸르스름한(그것이 윈도우에 매우 근접하고 있으므로) 오브젝트를 수정하는 다른 컬러 속성들에 대해 적용될 수 있다. 그러므로, 우리는 일반적인 워딩 컬러(wording color)를 사용한다. 자동 흰색 밸런싱(automatic white balancing)은 이러한 점에 있어 유사하고(요구된 최종 대표 개머트쪽으로 최적의 매핑), 실제로, 3개의 컬러 채널들이 그들 자신의 단-색채(mono-chromatic)이다.

본 명세서에 설명된 알고리즘 성분들은 실제에 있어, 하드웨어(예컨대, 어플리케이션 특정 IC의 일부들) 또는 특별한 디지털 신호 프로세서 또는 일반적인 프로세서 상에서 운용하는 소프트웨어로서 (전체로서 또는 부분적으로) 구현될 수 있다.

컴퓨터 프로그램 제품 하에서, 프로세서에 명령하고, 발명의 특징적인 기능들 중 임의의 기능을 수행하기 위해 일련의 로딩 단계들(중간 언어 및 최종 프로세서 언어로의 번역과 같이, 중간 변환 단계들을 포함할 수 있음) 후에 프로세서(일반적이거나 특별한 용도)를 인에이블하는 명령들의 수집(collection)에 대한 임의의 물리적인 구현을 이해해야 한다. 특히, 컴퓨터 프로그램 제품은 디스크 또는 테이프와 같은 캐리어 상의 데이터로서 구현될 수 있고, 데이터는 메모리 내에 존재하고, 데이터는 네트워크 접속(유선 또는 무선) 또는 페이퍼 상의 프로그램 코드를 통해 이동한다. 프로그램 코드 외에, 프로그램을 위해 요구되는 특징적인 데이터는 또한, 컴퓨터 프로그램 제품으로서 구현될 수 있다.

통상적으로, 이미징 카메라 유닛은 카메라에 실치되지만, 이미지 처리 ASIC를 포함하는 플러그-인 카드와 같은 개별 부품 내에 존재할 수 있다.

상기 방법의 작동을 위해 요구되는 단계들의 일부는 데이터 입력 및 출력 단계들과 같은, 컴퓨터 프로그램 제품에서 설명된 것 대신에 프로세서의 기능으로 이미 제공될 수 있다.

상술한 실시예들은 본 발명을 제한하기보다는 예시하는 것임에 유의해야 한다. 청구범위에서 조합된 바와 같이 본 발명의 요소들의 조합 외에, 요소들의 다른 조합들이 가능하다. 요소들의 임의의 조합은 단일의 전용 요소로 구현될 수 있다.

청구범위에서 괄호 사이의 임의의 참조번호는 청구범위를 제한하고자 의도된 것이 아니다. 용어 "포함하는"은 청구범위에 열거되지 않은 요소들 또는 특징들의 존재를 배제하지 않는다. 요소 앞의 용어 "a" 또는 "an"은 복수의 이러한 요소들의 존재를 배제하지 않는다.

Claims (13)

1. 이미지 캡쳐링 카메라 시스템(image-capturing camera system:400)의 부분을 형성하기 위해 배치된 이미징 카메라 유닛(401)에 있어서,

   - 사용자로 하여금, 입력(403)을 통해 이미징 센서(406)로부터 수신된 캡쳐된 이미지(Io) 내에서 사용자가 선호하는 오브젝트(101)의 기하학적 위치의 적어도 하나의 표시(gp)를 지정하게 하는 사용자 인터페이스(420);

   - 상기 표시(gp)에 기초하여, 상기 오브젝트(101)의 부분인 픽셀들의 세트(sg)를 결정하기 위해 배치된 사용자 적응가능한 오브젝트 세그먼테이션 유닛(user-adaptable object segmentation unit:410); 및

   - 상기 픽셀들의 세트(sg) 내의 픽셀들의 적어도 하나의 컬러 속성에 기초하여, 적어도 하나의 통계(statistic:ST)를 결정하기 위해 배치된 컬러 구성 모니터 유닛(color composition monitor unit:412)을 포함하는, 이미징 카메라 유닛(401).
2. 제 1 항에 있어서, 적어도 하나의 추가적 이미지를 캡쳐하기 위해 적어도 하나의 캡쳐링 파라미터(cp)를 최적화하기 위해 배치된 캡쳐링 최적화 유닛(424)을 포함하는, 이미징 카메라 유닛(401).
3. 제 2 항에 있어서, 상기 적어도 하나의 캡쳐링 파라미터(cp)는 셔터 속도, 애퍼처(aperture), 증배율(amplification factor), 콘트라스트 조정(contrast adjustment), 컬러 온도 수정, 및 컬러 캐스트 제거(color cast removal)의 세트에 속하는, 이미징 카메라 유닛(401).
4. 제 1 항 또는 제 2 항에 있어서, 변환 인터페이스 유닛(450)을 통해 오브젝트 변환 유닛(414)에 제공된 사용자의 지정(specification:sp)에 기초하여, 상기 픽셀들의 세트(sg) 내의 상기 픽셀들의 적어도 하나의 컬러 속성에 변환을 적용하기 위해 배치된 상기 오브젝트 변환 유닛(414)을 포함하는, 이미징 카메라 유닛(401).
5. 제 4 항에 있어서, 상기 오브젝트 변환 유닛(414) 및 상기 변환 인터페이스 유닛(450)은 상기 사용자로 하여금 상기 오브젝트(101)의 상기 픽셀들의 세트(sg) 내의 상기 픽셀들의 그레이 값들(grey values)의 범위를 지정하게 하기 위해 배치되는, 이미징 카메라 유닛(401).
6. 제 5 항에 있어서, 상기 변환 인터페이스 유닛(450)은 상기 캡쳐된 이미지(Io) 내의 픽셀들의 세트의 적어도 두 개의 범위들을 포함하는 구성 픽쳐(composition picture:601)를 디스플레이하기 위해 배치되는, 이미징 카메라 유닛(401).
7. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서, 사용자 지정(spp) 에 기초하여 상기 오브젝트(101)의 상기 픽셀들의 세트(sg)의 상기 적어도 하나의 컬러 속성의 기하학적 프로파일(geometrical profile)을 수정하기 위해 배치되는 공간 수정 유닛(spatial modification unit:416)을 포함하는, 이미징 카메라 유닛(401).
8. 제 4 항 또는 제 7 항에 있어서, 추가적 이미지의 캡쳐링이 요구되는지 여부를, 상기 사용자에 의해 결정된 최종 이미지(Is) 보기(look)에 따라 결정하기 위해 배치되는 상태 결정 유닛(status determining unit:415)을 포함하는, 이미징 카메라 유닛(401).
9. 제 7 항 또는 제 7 항에 따르는 제 8 항에 있어서, 상기 공간 수정 유닛(416)은 상기 오브젝트(101)의 상기 픽셀들의 세트(sg)의 상기 적어도 하나의 컬러 속성의 값들의 확산(spread)을 감소시키기 위해 배치되는, 이미징 카메라 유닛(401).
10. 제 1 항에 있어서, 상기 오브젝트(101)의 기하학적 위치의 적어도 하나의 표시(gp)는 상기 오브젝트(101)의 윤곽에 대한 지정을 포함하는, 이미징 카메라 유닛(401).
11. 제 1 항, 제 4 항, 제 7 항, 또는 제 8 항 중 어느 한 항에 청구된 바와 같 은 이미징 카메라 유닛(401)에 접속된 이미징 센서(406)를 포함하는 스틸 픽쳐 또는 비디오 카메라(still-picture or video camera).
12. 카메라의 이미징 센서(406)에 의해 캡쳐된 픽쳐(Io) 내의 오브젝트(101)의 픽셀들의 적어도 하나의 컬러 속성에 대한 적어도 하나의 통계(ST)를 카메라(400)에서 결정하는 방법에 있어서,

    - 사용자로 하여금, 상기 캡쳐된 이미지(Io) 내에서 사용자가 선호하는 상기 오브젝트(101)의 기하학적 위치의 적어도 하나의 표시(gp)를 지정하도록 하는 단계;

    - 상기 표시(gp)에 기초하여, 상기 오브젝트(101)의 부분인 픽셀들의 세트(sg)를 결정하는 단계; 및

    - 상기 픽셀들의 세트(sg) 내의 픽셀들의 적어도 하나의 컬러 속성에 기초하여 상기 적어도 하나의 통계(ST)를 결정하는 단계를 포함하는, 방법.
13. 프로세서가 제 12 항의 방법을 수행하도록 하는 컴퓨터 프로그램 제품에 있어서,

    - 사용자로 하여금, 캡쳐된 이미지(Io) 내에서 사용자가 선호하는 오브젝트(101)의 기하학적 위치의 적어도 하나의 표시(gp)를 지정하게 하고,

    - 상기 표시(gp)에 기초하여, 상기 오브젝트(101)의 부분인 픽셀들의 세트(sg)를 결정하고,

    - 상기 픽셀들의 세트(sg) 내의 픽셀들의 적어도 하나의 컬러 속성에 기초하여 적어도 하나의 통계(ST)를 결정하는 코드를 포함하는, 컴퓨터 프로그램 제품.

Images