KR20080023745A

KR20080023745A - 촬상 장치

Info

Publication number: KR20080023745A
Application number: KR1020087001481A
Authority: KR
Inventors: 다께하루 무라마쯔; 다까요시 노세; 요시오 하기노; 신지 다나까
Original assignee: 샤프 가부시키가이샤
Priority date: 2005-07-19
Filing date: 2006-07-18
Publication date: 2008-03-14
Also published as: JPWO2007010891A1; US20080259175A1; EP1914982A1; WO2007010891A1; JP4254969B2

Abstract

카메라 부착 휴대 전화 등과 같이 고속으로 복수의 화상을 취득하는 데에 충분한 처리 능력이 없고, 또한 메모리 용량에도 제한이 있는 촬상 장치이라도, 손떨림 보정을 가능하게 하는 것을 과제로 한다. 과제를 해결하는 수단으로서, 프리뷰 화상 등의 사이즈가 작은 화상과, 촬상 장치의 유저 등이 셔터를 누름으로써 얻는 것을 목적으로 하는 목적 화상을 이용하여 손떨림 보정이 가능한 촬상 장치를 제안한다. 프리뷰 화상 등은 적정 노출이지만 손떨림이 발생하고 있을 가능성이 높고, 목적 화상은 셔터 스피드를 빠르게 하여 노출 부족이지만 손떨림이 경감된 화상으로 되도록 촬상한다. 목적 화상의 화상 정보를, 프리뷰 화상 등의 화상 정보에 의해 보정함으로써, 손떨림이 경감되고, 또한 적정 노출의 화상을 얻을 수 있다.

프리뷰 화상, 목적 화상, 손떨림, 적정 노출, 셔터 스피드, 화상 정보

Description

촬상 장치{IMAGING DEVICE}

본 발명은, 정지 화상을 촬상하는 촬상 장치에 관한 것으로, 더 상세하게는 손떨림 보정 기술에 관한 것이다.

통상, 디지털 카메라나 카메라 부착 휴대 전화 등의 촬상 장치에 의해 피사체를 촬상할 때에는, 그 촬상 장치를 사람이 손으로 지지하여 촬상하는 경우가 많다. 그 때문에, 피사체를 촬상할 때에, 소위 「손떨림」등에 의해 촬상한 화상의 품질이 저하된다고 하는 문제가 존재하고 있었다. 이와 같은 문제를 해결하기 위해, 예를 들면 특허 문헌 1에서는, 흔들림을 무시할 수 있을 정도의 짧은 노광 시간에 의해 촬상한 복수의 화상을, 위치를 맞추어 서로 겹침으로써 밝기를 보정하여 흔들림이 없는 화상을 취득하는 발명이 개시되어 있다.

[특허 문헌 1] 일본 특허 공개 평9-261526호 공보

<발명의 개시>

<발명이 해결하고자 하는 과제>

그러나, 특허 문헌 1과 같은 방법은, 디지털 카메라와 같이 처리 속도나 메모리 용량을 충분히 확보할 수 있는 카메라이면 적용 가능하지만, 카메라 부착 휴대 전화 등에서는, 고속으로 복수의 화상을 취득하는 데에 충분한 처리 능력은 없 고, 또한 메모리 용량에도 제한이 있기 때문에, 복수의 사이즈가 큰 화상을 일시적으로 축적해 두는 것도 곤란하다.

<과제를 해결하기 위한 수단>

따라서, 본 발명에서는 프리뷰 표시에 이용되는 프리뷰 화상 등의 사이즈가 작은 화상과, 촬상 장치의 유저 등이 셔터를 누름으로써 얻는 것을 목적으로 하는 화상(이하, 「목적 화상」이라고 부름)을 이용하여 손떨림 보정이 가능한 촬상 장치를 제안한다. 여기서, 「프리뷰 표시」란, 유저가 촬상 장치에 의해 피사체를 촬상하고자 할 때에 파인더로서 이용하기 위한 표시이다. 예를 들면, 촬상 장치가 카메라 부착 휴대 전화인 경우, 피사체를 촬상할 때에는 카메라가 포착하고 있는 피사체가 휴대 전화의 액정 화면 등에 표시되고 유저는 이 표시를 보면서 셔터를 누르는데, 이 때의 표시를 의미한다. 또한, 프리뷰 화상은 프리뷰 표시 시에 액정 화면 등에 표시되는 화상이며, 목적 화상보다도 사이즈가 작다.

통상의 촬상 장치에서는, 촬상 시의 주변의 밝기 등으로부터 노출 제어가 행해져, 적정한 노출로 촬상이 행해지도록 되어 있다. 그러나, 노출 제어에 의해 셔터 스피드가 길어지면 손떨림이 발생할 가능성이 높아진다. 그에 대해, 본 발명의 촬상 장치에서는, 프리뷰 화상 등의 사이즈가 작은 화상은, 노출은 적절하지만 손떨림이 발생하는 것을 상정하고 있고, 한편 목적 화상은 손떨림이 경감되도록 셔터 스피드를 짧게 한다. 이에 의해, 목적 화상은, 손떨림은 없지만 노출 부족의 화상으로 되기 때문에, 프리뷰 화상 등의 적정 노출의 화상의 휘도 정보를 이용하여 목적 화상의 휘도 정보를 보정한다. 또한, 상기의 설명에서는 사이즈가 작은 화상을 이용하는 것을 전제로 하고 있지만, 카메라의 처리 능력이나 메모리 용량이 충분하면 반드시 사이즈가 작은 화상을 이용하지 않아도, 본 발명의 촬상 장치에서의 손떨림 보정 기술은 적용 가능하다. 즉, 사이즈가 동일하고, 손떨림이 있을 가능성이 있는 적정 노출의 화상과, 손떨림이 있을 가능성이 낮은 노출 부족의 화상을 이용하여 손떨림 보정을 행하게 되어 있어도 된다. 또한, 사이즈가 작은 화상으로서 프리뷰 화상 이외의 화상을 이용하여도 물론 괜찮다. 또한, 프리뷰 화상이나 목적 화상 등의 촬상 순번과는 무관계로 적용 가능하다. 또한, 본 발명의 촬상 장치에서 보정 가능한 것은, 소위 「손떨림」이외에도 촬상 장치를 흔들 수 있는 여러 가지의 요인에 의해 발생하는 「흔들림」이 대상이다. 예를 들면, 촬상 장치를 실은 다이가 흔들린 것에 의한 흔들림 등도 포함된다.

<발명의 효과>

본 발명의 촬상 장치에서는, 손떨림을 보정하기 위해 적정 노출인 화상과 노출 부족이지만 손떨림이 경감된 화상의 양방을 이용하기 때문에, 노출 부족의 화상의 화상 정보를 적정 노출의 화상의 화상 정보에 기초하여 보정하는 것만에 의해 손떨림이 경감된 화상을 얻을 수 있다.

<발명을 실시하기 위한 최량의 형태>

본 발명을 실시하기 위한 최량의 형태에 대해 도면을 이용하여 상세하게 설명한다. 또한, 본 발명은 이들 실시 형태에 하등 한정되는 것은 아니며, 그 요지를 일탈하지 않는 범위에서, 여러 가지의 양태로 실시할 수 있다. 또한, 이하의 실시 형태와 청구항의 관계는 다음과 같다. 실시 형태 1은, 주로 청구항 1, 2, 6, 8, 9 등에 대해 설명한다. 실시 형태 2는, 주로 청구항 3, 10 등에 대해 설명한다. 실시 형태 3은, 주로 청구항 4 등에 대해 설명한다. 실시 형태 4는, 주로 청구항 5 등에 대해 설명한다. 실시 형태 5는, 주로 청구항 7 등에 대해 설명한다.

<실시 형태 1>

(실시 형태 1 : 개요)

본 실시 형태는, 서로 다른 촬상 조건에 의해 촬상된 복수의 화상을 이용하여 손떨림이 없는 화상을 합성하기 위한 촬상 장치에 관한 것이다.

(실시 형태 1 : 구성)

본 실시 형태에 따른 촬상 장치의 기능 블록을 도 1, 도 2에 예시한다. 도 1에 예시한 촬상 장치(0100)는 「촬상부」(0101)와, 「제어부」(0102)와, 「유지부」(0103)와, 「합성부」(0104)를 갖는다.

또한, 도 2에 예시한 바와 같이 촬상 장치(0200)는 「촬상부」(0201)와, 「제어부」(0202)와, 「유지부」(0203)와, 「합성부」(0204)를 갖고 있고, 또한 상기 제어부(0202)는 「제1 제어 수단」(0205)과, 「제2 제어 수단」(0206)을 갖고 있고, 상기 합성부(0204)는 「제1 휘도 정보 취득 수단」(0207)과, 「제2 휘도 정보 취득 수단」(0208)과, 「제2 휘도 정보 보정 수단」(0209)을 갖고 있어도 된다. 즉, 도 1에 예시한 촬상 장치의 구성에, 「제1 제어 수단」(0205)과, 「제2 제어 수단」(0206)과, 「제1 휘도 정보 취득 수단」(0207)과, 「제2 휘도 정보 취득 수단」(0208)과, 「제2 휘도 정보 보정 수단」(0209)을 가한 구성이다.

또한, 본건 발명의 구성 요소인 각 부는 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 양방 중 어느 하나에 의해 구성된다. 예를 들면, 이들을 실현하는 일례로서, 컴퓨터를 이용하는 경우에는, CPU, 버스, 메모리, 인터페이스, 주변 장치 등으로 구성되는 하드웨어와, 그들 하드웨어 상에서 실행 가능한 소프트웨어가 있다. 소프트웨어로서는, 메모리 상에 전개된 프로그램을 순차적으로 실행함으로써, 메모리 상의 데이터나, 인터페이스를 통하여 입력되는 데이터의 가공, 보존, 출력 등에 의해 각 부의 기능이 실현된다. 더 구체적으로는, 도 17은 촬상 장치의 보다 구체적인 구성을 도시하는 도면이며, 일례로서 렌즈(1701), CCD(1702), A/D 변환기(1703), CPU(1704), 일시 기억 메모리(1705), 기억 장치(1706), 화상 출력 유닛(1707), 모니터(1708) 등으로 구성되는 것을 도시하고 있다(명세서의 전체를 통하여 마찬가지임).

「촬상부」(0101)는, 피사체를 촬상하는 기능을 갖는다. 「촬상」이란, 구체적으로는 도 17을 예로 들어, 피사체로부터의 광을 렌즈(1701) 등의 광학계를 통하여서 CCD(1702) 등의 촬상 소자에서 수광하여, 전기 신호로 변환한다. 또한, 전기 신호를 A/D 변환기(1703)에 의해 디지털 신호로 변환하여, 화상 처리 프로세서(1704)에서 화상 정보로 하는 것을 의미한다. 또한, 촬상부는, 이와 같은 처리를 실행하기 위한 프로그램을 포함하고 있어도 된다. 또한, 촬상부는 제어부(0102)에 의해 제어되는 촬상 조건에 기초하여 촬상을 실행한다. 「촬상 조건」이란, 구체적으로는 노광 시간(「셔터 스피드」와 동의), 복수 화상간을 촬상하는 촬상 간격 등이 해당한다.

「제어부」(0102)는, 촬상부(0101)에서의 촬상 조건을 제어하는 기능을 갖는 다. 「촬상 조건을 제어한다」란, 구체적으로는 노광 시간이나 촬상 간격을 결정하는 것을 의미한다. 예를 들면, 종래의 카메라와 같이 주변의 밝기 등에 의해 적정 노출의 노광 시간을 산출하여 촬상 시의 노광 시간으로서 설정하는 것이나, 적정 노광 시간의 길이에 의해 손떨림을 일으킬 가능성이 높다고 고려되는 경우에는 노광 시간을 짧게 설정하는 것 등이 상정된다. 촬상부의 구체적인 처리로서는, 예를 들면 도 17에서의 일시 기억 메모리(1705)나 기억 장치(1706) 등의 소정의 기억 영역에 노광 시간, 촬상 간격 등의 값이 저장되어 있고, 이 소정의 기억 영역에 설정값을 기입함으로써 각 조건의 설정이 실현되게 된다. 또한, 촬상부는, 이와 같은 처리를 CPU(1704)에 실행시키기 위한 프로그램을 포함하고 있어도 된다.

또한, 제어부는, 도 2에 예시한 바와 같이 「제1 제어 수단」(0205)과, 「제2 제어 수단」(0206)을 갖고 있어도 된다.

「제1 제어 수단」(0205)은, 촬상하는 복수 화상 중 하나의 화상인 제1 화상을, 적정 노출의 화상으로 되도록 제어하는 기능을 갖는다. 노출이 적정 노출로 되도록 제어한 경우에는, 손떨림 등에 의해 흔들림이 발생할 가능성이 높다. 왜냐하면, 셔터 스피드가 느릴수록 손떨림 등이 발생할 가능성은 높아지고, 적정 노출의 경우에는, 셔터 스피드는 주변의 밝기가 부족한 경우에는, 어느 정도 느려지는 것이 통상이기 때문이다. 즉, 제1 제어 수단은, 흔들림이 발생하고 있을 가능성은 높지만 노출은 적정한 화상이 얻어지도록 촬상 조건을 제어하는 역할을 한다.

「제2 제어 수단」(0206)은, 촬상하는 복수 화상 중 다른 하나의 화상인 제2 화상을, 비교적 셔터 스피드를 빠르게 하여 촬상하도록 제어하는 기능을 갖는다. 「비교적 셔터 스피드를 빠르게 하여」란, 제1 제어 수단(0205)에 의해 제어되는 셔터 스피드와 비교하여 빠르다라고 하는 의미이며, 보다 구체적으로는 적정 노출로 되는 셔터 스피드보다도 빠른 셔터 스피드이다. 셔터 스피드가 빨라짐에 따라서, 손떨림 등에 의한 흔들림이 발생할 가능성은 보다 낮아져 손떨림이 경감된 화상을 얻을 수 있도록 되지만, 노출은 보다 부족해지기 때문에, 제2 화상은 적정 노출로 촬상된 제1 화상보다도 어두운 화상으로 된다. 즉, 제2 제어 수단은, 노출은 부족하지만, 손떨림이 경감된 화상이 얻어지도록 촬상 조건을 제어하는 역할을 한다. 또한, 제1 화상과 제2 화상의 촬상의 순번은 불문한다.

도 3은, 제1 제어 수단과 제2 제어 수단에 의해 제어되는 노광 시간에 대해 도시하는 도면이다. 가장 위의 그래프가 적정 노출인 경우의 노광 시간을 나타내고 있다고 하면, (a)는 제1 화상의 노광 시간, 즉 제1 제어 수단에 의해 제어되는 노광 시간을 나타낸다. 적정 노출의 경우의 노광 시간과 마찬가지로 되므로 제1 화상은 적정 노출로 촬상된다. (b)는 제2 화상의 노광 시간, 즉 제2 제어 수단에 의해 제어되는 노광 시간을 나타낸다. 적정 노출의 경우의 노광 시간보다도 짧아지기 때문에 제2 화상은 노출 부족으로 된다.

「유지부」(0103)는, 제어부(0102)에 의해 서로 다른 촬상 조건으로 제어되어 단시간 내에 촬상된 복수 화상의 화상 정보를 유지하는 기능을 갖는다. 「서로 다른 촬상 조건으로 제어되어 단시간 내에 촬상된 복수 화상」이란, 예를 들면 제1 제어 수단(0205)에 의해 제어되어 촬상된 제1 화상과 제2 제어 수단(0206)에 의해 제어되어 촬상된 제2 화상 등이 해당한다. 「단시간 내에」란, 손떨림 등이 발생 하지 않는 시간 내라고 하는 의미이다. 복수 화상간의 촬상 간격이 짧을수록 그 동안에 손떨림 등의 흔들림이 발생할 가능성이 낮아지기 때문에, 화상과 화상의 촬상 위치의 어긋남도 경감된다고 하는 메리트가 있다. 예를 들면, 일반적으로는 촬상 간격이 약 1/60초(약 16밀리 초) 이하이면 화상간의 위치 어긋남은 없어지는 것으로 되어 있다. 또한, 합성부(0104)에서는, 복수 화상의 촬상 위치가 어긋난 경우에는 위치를 맞추고 나서 복수 화상의 합성을 행할 필요가 있지만, 예를 들면 촬상 간격을 약 1/60초(약 16밀리 초) 이하로 하면 합성 처리에서 위치 어긋남을 고려할 필요가 없어져, 연속하여 촬상된 화상은 동일한 것이라고 할 수 있어(단, 밝기는 상이함), 합성에서의 처리가 경감된다. 또한, 「화상 정보」란, 화상을 실현하기 위한 정보이며, 구체적으로는, 각 화소의 RGB값이나 YUV값 등의 수치로 표시할 수 있는 정보를 예로 들 수 있다. 그런데, 휘도 정보(Y)는 RGB의 값에 의해 표시되는 것이 일반적으로 알려져 있고, 대략 「Y=0.299R+0.587G+0.114B」(이하, 「수식 1」이라고 칭함)라고 하는 식에 의해 구해진다. 따라서, 휘도 정보도 화상 정보에 포함된다고 할 수 있다. 유지부는, 구체적으로는, 주로 도 17에 예시한 일시 기억 메모리(1705)나 기억 장치(1706) 등에 의해 실현된다. 또한, 유지부는 화상 정보를 유지하는 처리를 CPU(1704)에 실행시키기 위한 프로그램을 포함하고 있어도 된다.

「합성부」(0104)는, 상기 복수의 화상의 화상 정보를 부분적으로 이용하여 하나의 화상의 화상 정보를 합성하는 기능을 갖는다. 「상기 복수의 화상의 화상 정보를 부분적으로 이용하여」란, 합성하는 경우에 화상 정보 모두를 이용하지 않 아도 된다라고 하는 의미이다. 예를 들면, 화상 중의 임의의 일부분만의 RGB값을 보정하여 합성하는 경우 등이 상정된다. 또한, 「하나의 화상」이란, 최종적으로 얻는 것을 목적으로 하고 있는 화상으로, 흔들림이 경감된 적정 노출의 화상이다.

도 4를 이용하여, 합성부에서 제1 화상과 제2 화상을 이용하여 합성을 행하는 경우의 개략을 설명한다. 도 4에서는, 제1 화상(0401)과 제2 화상(0402)의 크기가 서로 다른 경우를 일례로서 도시한다. 또한, (a)는 제1 화상과 제2 화상 사이에서 위치 어긋남이 없는 경우, (b)는 제1 화상과 제2 화상 사이에서 위치 어긋남이 있는 경우를 예시한다. 제1 화상(0401)의 높이를 Ph, 폭을 Pw로 나타내고, 제2 화상(0402)의 높이를 Sh, 폭을 Sw로 나타내는 것으로 한다. 우선, (a)에서, 제1 화상(0401)의 화소(x', y')에 대응하는 점이 제2 화상(0402)의 화소(x, y)인 것으로 하면, (a)에서는 위치 어긋남이 없으므로, x'=αx, y'=βy로 나타낼 수 있다. 여기서, α와 β는 제1 화상과 제2 화상의 수평 방향, 수직 방향의 축소율이며, α=Pw/Sw, β=Ph/Sh이다. 또한, (b)에서는, 위치 어긋남의 움직임량을 (Mx, My)로 하고, 제1 화상(0401)의 화소(x", y")에 대응하는 점이 제2 화상(0402)의 화소(x, y)인 것으로 하면, x"=αx+Mx, y"=βy+My로 나타낼 수 있다. 이와 같이 하여, 제1 화상과 제2 화상에서의 각 화소끼리의 대응 관계를 구할 수 있다. 따라서, 이 대응 관계를 이용함으로써, 예를 들면 대응하는 각 화소의 휘도 정보를 비교하여 밝기를 보정하거나 하여 합성을 행할 수 있다. 또한, 위치 어긋남의 움직임량(Mx, My)은, 블록 매칭이나 엣지 검출 등에 의해 검출할 수 있다. 또한, 합성부에서의 처리는, 더 구체적으로는, 예를 들면 상기 유지부(0103)에 의해 도 17에 서의 일시 기억 메모리(1705)나 기억 장치(1706) 등의 소정의 기억 영역에 저장되어 있는 제1 화상과 제2 화상의 화상 정보를 판독하여, 위치 어긋남의 검출을 행한다. 위치 어긋남의 검출 결과는, 일시 기억 메모리(1705) 등의 소정의 기억 영역에 저장된다. 또한, 판독한 화상 정보나 검출한 위치 어긋남의 정보로부터 전술한 바와 같이 각 화소끼리의 대응 관계를 산출하고, 산출한 결과도 일시 기억 메모리(1705) 등의 소정의 기억 영역에 저장된다. 이 산출 결과에 기초하여, 휘도 정보를 보정하거나 하여 합성을 행하고, 합성함으로써 생성된 화상의 화상 정보는, 일시 기억 메모리(1705)나 기억 장치(1706) 등의 소정의 기억 영역에 저장된다. 또한, 합성부는, 이와 같은 처리를 CPU(1704)에 실행시키기 위한 프로그램을 포함하고 있어도 된다.

또한, 합성부는, 도 2에 예시한 바와 같이 「제1 휘도 정보 취득 수단」(0207)과, 「제2 휘도 정보 취득 수단」(0208)과, 「제2 휘도 정보 보정 수단」(0209)을 갖고 있어도 된다.

「제1 휘도 정보 취득 수단」(0207)은, 상기 제1 화상의 제1 휘도 정보를 취득하는 기능을 갖는다. 「상기 제1 화상의 제1 휘도 정보」는, 제1 화상을 구성하는 모든 화소에서의 휘도 정보이어도 되고, 일부의 화소만의 휘도 정보이어도 된다. 또한, 휘도 정보는 수식 1과 같이 RGB의 각 값을 이용하여 표시되므로, 휘도 정보로서, Y의 값이 아니라 RGB의 값의 조합을 휘도 정보로 하여도 된다.

「제2 휘도 정보 취득 수단」(0208)은, 상기 제2 화상의 제2 휘도 정보를 취득하는 기능을 갖는다. 「상기 제2 화상의 제2 휘도 정보」는, 제2 화상을 구성하 는 모든 화소에서의 휘도 정보이어도 되고, 일부의 화소만의 휘도 정보이어도 된다.

「제2 휘도 정보 보정 수단」(0209)은, 상기 제2 휘도 정보를, 상기 제1 휘도 정보에 의해 보정하는 기능을 갖는다. 제1 휘도 정보는 적정 노출의 화상이지만 손떨림이 있을 가능성이 높은 제1 화상으로부터 취득되고, 제2 휘도 정보는 노출 부족의 화상이지만 손떨림이 경감된 제2 화상으로부터 취득되는 휘도 정보이다. 따라서, 노출 부족인 제2 화상의 제2 휘도 정보를, 적정 노출인 제1 화상의 제1 휘도 정보에 의해 보정하면, 손떨림이 경감되고, 또한 적정 노출의 화상을 얻을 수 있다.

도 5는, 제2 휘도 정보 보정 수단에서의 보정 방법의 구체예를 도시한다. 도 4에서 설명한 바와 같이, 위치 어긋남의 움직임량을 (Mx, My), α=Pw/Sw, β=Ph/Sh라고 하면, 제1 화상의 화소(x', y')와 제2 화상의 화소(x, y)와의 관계는, x'=αx+Mx, y'=βy+My(이하, 「수식 2」라고 칭함)로 나타낼 수 있다. 통상, 화소의 밝기는 노광 시간의 길이에 비례하여 변화하므로(예를 들면, 노광 시간이 2배로 되면, 화소의 밝기도 2배로 되므로), 제1 화상과 제2 화상의 노광 시간의 비에 따라서, 제2 화상의 화상 정보로 나타내어지는 각 화소에서의 화소값(RGB값 등)을 증가시키면, 제2 화상의 밝기는 제1 화상과 동일하게 된다. 그러나, 노이즈도 증폭되게 되므로, 여기서는 선형 보간에 의해 제1 화상의 화소값과의 평균을 취하여 노이즈 성분을 감소시키는 방법으로 화소값의 보정을 행하는 경우를 예시한다. 또한, 수식 1과 같이 휘도 정보는 RGB의 값으로 결정되므로, 화소값의 보정이란, 휘 도 정보를 보정하는 것과 동의이다. 또한, 선형 보간에 관해서는 일반적으로 잘 알려져 있으므로 여기서는 상술하지 않는다. 수식 2에 의해 산출되는 x'의 정수부를 k, 소수부를 u, y'의 정수부를 l, 소수부를 v로 하고, 제1 화상의 화소(x', y')에서의 화소값을 Pp(x', y')로 하면, Pp(x', y')=Pp(k+u, l+v)=Pp(k, l)(l-u)(l-v)+Pp(k+1, l)u(l-v)+Pp(k, l+1)(l-u)l+Pp(k+1, l+1)kl이라고 하는 식에 의해 화소값 Pp(x', y')가 구해진다. 또한, 제2 휘도 정보를 보정할 때의 보정량은 이하와 같이 산출한다. 제1 제어 수단에 의해 거의 적정 노출로 제어된 노광 시간(제1 화상의 노광 시간)을 To, 제2 제어 수단에 의해 손떨림이 발생하기 어렵게 제어된 노광 시간(제2 화상의 노광 시간)을 Tx로 하고, Tr=Tx/To로 한다. 제2 화상의 화소(x, y)에서의 화소값을 Ps(x, y)라고 하면, 제2 휘도 정보 보정 수단에 의해 보정하는 화소값 Pa(x, y)는, Pa(x, y)=(Pp(x', y')+Ps(x, y)ㆍTr)/2라고 하는 식으로 표현된다. 이에 의해, 제1 휘도 정보인 화소값 Pp(x', y')와 제2 휘도 정보인 화소값 Ps(x, y)에 의해, 제2 휘도 정보를 화소값 Pa(x, y)로 보정할 수 있다.

또한, 제1 제어 수단과, 제2 제어 수단은, 제1 화상 정보가 제2 화상 정보보다도 데이터량이 적어지도록 제어하도록 되어 있어도 된다. 「데이터량이 적어진다」란, 제1 화상의 사이즈가 제2 화상의 사이즈보다도 작은 경우 등을 의미하지만, 데이터량이 적어짐으로써 제1 화상 정보를 유지하기 위한 메모리량이 적어도 되므로, 특히 카메라 부착 휴대 전화 등과 같이 메모리 용량에 제한이 있는 촬상 장치에서 주효하다. 또한, 데이터량이 적어지는 경우로서, 제1 화상으로서 사이즈가 작은 프리뷰 화상을 이용하거나, 후술의 화소 가산에 의해 사이즈를 작게 하는 등의 방법이 있다.

(실시 형태 1 : 처리의 흐름)

도 6, 도 7은, 본 실시 형태에 따른 촬상 장치에서의 처리의 흐름을 도시하는 플로우도를 예시한다. 촬상 장치는, 예를 들면 유저에 의해 셔터가 눌러지거나 하여 피사체를 촬상할 때마다, 도 6, 도 7과 같은 처리를 행한다. 도 6은, 촬상 장치의 구성이 도 1의 구성인 경우의 처리의 흐름을 도시하고, 도 7은 촬상 장치의 구성이 도 2의 구성인 경우의 처리의 흐름을 도시한다.

우선, 도 6에 대해 설명한다. 최초로, 촬상 조건을 제어한다. 이 처리는, 제어부에 의해 실행된다(제어 스텝 S0601). 다음으로, 상기 제어 스텝(S0601)에서 제어된 촬상 조건에 의해 촬상을 행한다. 이 처리는, 촬상부에 의해 실행된다(촬상 스텝 S0602). 다음으로, 상기 촬상 스텝(S0602)에서 서로 다른 촬상 조건으로 제어되어 단시간 내에 촬상된 복수 화상의 화상 정보를 유지한다. 이 처리는, 유지부에 의해 실행된다(유지 스텝 S0603). 마지막으로, 상기 유지 스텝(S0603)에서 유지되는 복수 화상의 화상 정보를 부분적으로 이용하여 하나의 화상의 화상 정보를 합성한다. 이 처리는, 합성부에 의해 실행된다(합성 스텝 S0604).

다음으로, 도 7에 대해 설명한다. 최초로, 제1 화상을, 적정 노출의 화상으로 되도록 제어한다. 이 처리는, 제1 제어 수단에 의해 실행된다(제1 제어 스텝 S0701). 다음으로, 상기 제1 제어 스텝(S0701)에서 제어된 촬상 조건에 의해 촬상을 행한다. 이 처리는, 촬상부에 의해 실행된다(제1 화상 촬상 스텝 S0702). 다음으로, 상기 제1 화상 촬상 스텝(S0702)에서 촬상된 제1 화상의 화상 정보를 유지 한다. 이 처리는, 유지부에 의해 실행된다(제1 화상 정보 유지 스텝 S0703). 다음으로, 제2 화상을, 비교적 셔터 스피드를 빠르게 하여 촬상하도록 제어한다. 이 처리는, 제2 제어 수단에 의해 실행된다(제2 제어 스텝 S0704). 다음으로, 상기 제2 제어 스텝(S0704)에서 제어된 촬상 조건에 의해 촬상을 행한다. 이 처리는, 촬상부에 의해 실행된다(제2 화상 촬상 스텝 S0705). 다음으로, 상기 제2 화상 촬상 스텝(S0705)에서 촬상된 제2 화상의 화상 정보를 유지한다. 이 처리는, 유지부에 의해 실행된다(제2 화상 정보 유지 스텝 S0706). 또한, 상기 제1 제어 스텝(S0701)부터 상기 제1 화상 정보 유지 스텝(S0703)까지와, 상기 제2 제어 스텝(S0704)부터 상기 제2 화상 정보 유지 스텝(S0706)까지의 순번은 반대이어도 된다. 즉, 제1 화상의 촬상과 제2 화상의 촬상의 순번은 불문한다. 다음으로, 제1 화상의 제1 휘도 정보를 취득한다. 이 처리는, 제1 휘도 정보 취득 수단에 의해 실행된다(제1 휘도 정보 취득 스텝 S0707). 다음으로, 제2 화상의 제2 휘도 정보를 취득한다. 이 처리는, 제2 휘도 정보 취득 수단에 의해 실행된다(제2 휘도 정보 취득 스텝 S0708). 마지막으로, 상기 제2 휘도 정보 취득 스텝(S0708)에서 취득된 제2 휘도 정보를, 상기 제1 휘도 정보 취득 스텝(S0707)에서 취득된 제1 휘도 정보에 의해 보정한다. 이 처리는, 제2 휘도 정보 보정 수단에 의해 실행된다(제2 휘도 정보 보정 스텝 S0709).

(실시 형태 1 : 효과)

본 실시 형태에 따른 촬상 장치에서는, 서로 다른 촬상 조건에 의해 촬상된 복수의 화상을 이용하여 손떨림이 경감된 화상을 얻을 수 있다. 특히, 적정 노출 인 제1 화상과, 노출 부족이지만 손떨림이 경감된 제2 화상을 이용함으로써, 제2 화상의 휘도 정보를 제1 화상의 휘도 정보를 이용하여 보정하는 것만에 의해 손떨림이 경감된 화상을 얻을 수 있다.

<실시 형태 2>

(실시 형태 2 : 개요)

본 실시 형태는, 사이즈가 작은 프리뷰 화상을 이용하여 합성을 행함으로써, 처리 속도나 기억 용량에 제한이 있는 카메라 부착 휴대 전화의 카메라 등에도 적용 가능한 촬상 장치에 관한 것이다.

(실시 형태 2 : 구성)

본 실시 형태에 따른 촬상 장치의 기능 블록을 도 8에 예시한다. 촬상 장치(0800)는 「촬상부」(0801)와, 「제어부」(0802)와, 「유지부」(0803)와, 「합성부」(0804)와, 「프리뷰 표시부」(0810)를 갖고 있다. 또한, 상기 촬상부(0801)는 「프리뷰 출력 수단」(0811)을 갖는다. 또한, 상기 제어부(0802)는 「제1 제어 수단」(0805)과, 「제2 제어 수단」(0806)을 갖는다. 또한, 상기 합성부(0804)는 「제1 휘도 정보 취득 수단」(0807)과, 「제2 휘도 정보 취득 수단」(0808)과, 「제2 휘도 정보 보정 수단」(0809)을 갖는다. 즉, 도 2에 예시한 촬상 장치의 구성에, 「프리뷰 표시부」(0810)와, 「프리뷰 출력 수단」(0811)을 가한 구성으로 되어 있다.

「프리뷰 표시부」(0810)는, 파인더로서 이용하는 기능을 갖는다. 「파인더로서 이용한다」란, 유저가 촬상 장치에 의해 피사체를 촬상할 때에 카메라를 피사 체로 향하게 하여 시인하기 위해 이용하는 것이다. 따라서, 「파인더」는 디지털 카메라 등의 파인더뿐만 아니라, 예를 들면 촬상 장치가 카메라 부착 휴대 전화인 경우, 피사체를 촬상할 때에는 카메라가 포착하고 있는 피사체가 휴대 전화의 액정 화면 등에 표시되지만, 이와 같은 경우에서의 액정 화면 등도 가리킨다. 프리뷰 표시부는, 도 17에서는 모니터(1708)가 해당한다.

「프리뷰 출력 수단」(0811)은, 소정의 시간 간격으로 프리뷰를 위해 프리뷰 표시부(0810)에 대해 프리뷰 화상을 출력하는 기능을 갖는다. 「소정의 시간 간격」이란, 촬상 장치의 규격에도 의존하지만, 예를 들면 카메라 부착 휴대 전화이면 30∼60밀리 초 정도의 간격이다. 「프리뷰」란, 유저가 촬상 장치에 의해 피사체를 촬상할 때에 카메라를 피사체로 향하게 하여 시인하는 것이다. 또한, 「프리뷰 화상」이란, 그 때에 표시되는 화상이다. 예를 들면, 촬상 장치가 카메라 부착 휴대 전화인 경우, 피사체를 촬상하기 위해 카메라를 피사체로 향하게 하였을 때에 액정 화면 등에 표시되는 화상이다. 통상, 목적 화상보다도 사이즈가 작은 화상이다. 또한, 프리뷰 화상은 목적 화상과 마찬가지로, 예를 들면 도 17에서의 렌즈(1701)를 통하여 피사체로부터의 광을 CCD(1702)에서 수광하여 전기 신호로 변환하고, 전기 신호를 A/D 변환기(1703)에 의해 디지털 신호로 변환하여 얻어지는 화상이다. 또한, 프리뷰 출력 수단은, 얻어진 화상을 화상 출력 유닛(1707)을 통하여 상기 프리뷰 표시부(0810)에 해당하는 모니터(1708)에 출력한다. 또한, 프리뷰 출력 수단은, 이와 같은 처리를 CPU(1704)에 실행시키기 위한 프로그램을 포함하고 있어도 된다.

또한, 상기 제1 제어 수단(0805)에 의해 제어되어 촬상되는 제1 화상은, 상기 프리뷰 화상인 것을 특징으로 한다. 프리뷰 화상은 목적 화상보다도 사이즈가 작기 때문에, 합성을 행하기 위해 촬상 장치 내에 유지하는 화상의 화상 정보가 적어도 된다. 특히, 카메라 부착 휴대 전화 등과 같이 메모리 용량에 제한이 있는 촬상 장치이라도, 손떨림이 경감된 화상을 얻는 것이 가능하게 된다. 또한, 프리뷰 화상과 제2 화상의 촬상의 순번은 불문한다.

(실시 형태 2 : 처리의 흐름)

도 9는, 본 실시 형태에 따른 촬상 장치에서의 처리의 흐름을 도시하는 플로우도를 예시한다. 촬상 장치는, 예를 들면 유저에 의해 셔터가 눌러지거나 하여 피사체를 촬상할 때마다, 도 9와 같은 처리를 행한다. 최초로, 프리뷰 화상을, 적정 노출의 화상으로 되도록 제어한다. 이 처리는, 제1 제어 수단에 의해 실행된다(프리뷰 제1 제어 스텝 S0901). 다음으로, 상기 프리뷰 제1 제어 스텝(S0901)에서 제어된 촬상 조건에 의해 프리뷰 화상의 촬상을 행한다. 이 처리는, 프리뷰 출력 수단에 의해 실행된다(프리뷰 화상 촬상 스텝 S0902). 다음으로, 상기 프리뷰 화상 촬상 스텝(S0902)에서 촬상된 프리뷰 화상의 화상 정보를 유지한다. 이 처리는, 유지부에 의해 실행된다(프리뷰 화상 정보 유지 스텝 S0903). 다음으로, 제2 화상을, 비교적 셔터 스피드를 빠르게 하여 촬상하도록 제어한다. 이 처리는, 제2 제어 수단에 의해 실행된다(제2 제어 스텝 S0904). 다음으로, 상기 제2 제어 스텝(S0904)에서 제어된 촬상 조건에 의해 촬상을 행한다. 이 처리는, 촬상부에 의해 실행된다(제2 화상 촬상 스텝 S0905). 다음으로, 상기 제2 화상 촬상 스 텝(S0905)에서 촬상된 제2 화상의 화상 정보를 유지한다. 이 처리는, 유지부에 의해 실행된다(제2 화상 정보 유지 스텝 S0906). 또한, 상기 프리뷰 제1 제어 스텝(S0901)부터 상기 프리뷰 화상 정보 유지 스텝(S0903)까지와, 상기 제2 제어 스텝(S0904)부터 상기 제2 화상 정보 유지 스텝(S0906)까지의 순번은 반대이어도 된다. 즉, 프리뷰 화상의 촬상과 제2 화상의 촬상의 순번은 불문한다. 다음으로, 제1 휘도 정보로서 프리뷰 화상의 휘도 정보를 취득한다. 이 처리는, 제1 휘도 정보 취득 수단에 의해 실행된다(프리뷰 화상 휘도 정보 취득 스텝 S0907). 다음으로, 제2 화상의 제2 휘도 정보를 취득한다. 이 처리는, 제2 휘도 정보 취득 수단에 의해 실행된다(제2 휘도 정보 취득 스텝 S0908). 마지막으로, 상기 제2 휘도 정보 취득 스텝(S0908)에서 취득된 제2 휘도 정보를, 상기 프리뷰 화상 휘도 정보 취득 스텝(S0907)에서 취득된 프리뷰 화상의 휘도 정보에 의해 보정한다. 이 처리는, 제2 휘도 정보 보정 수단에 의해 실행된다(프리뷰 화상 휘도 정보 의존 제2 휘도 정보 보정 스텝 S0909). 또한, 본 실시 형태에 따른 촬상 장치는, 촬상 장치의 촬상 기능 사용 시에는 항상, 상기 프리뷰 제1 제어 스텝(S0901)부터 상기 프리뷰 화상 정보 유지 스텝(S0903)을 실행하고, 또한 상기 프리뷰 화상 정보 유지 스텝(S0903)에서 유지하는 프리뷰 화상의 화상 정보에 기초하여, 프리뷰 표시부에 프리뷰 화상을 출력하여 표시하는 처리를 실행한다.

(실시 형태 2 : 효과)

본 실시 형태에 따른 촬상 장치에서는, 제1 화상으로서 사이즈가 작은 프리뷰 화상을 이용할 수 있으므로, 예를 들면 카메라 부착 휴대 전화 등과 같이 처리 능력이나 메모리 용량에 제한이 있는 촬상 장치이라도, 손떨림이 경감된 화상을 얻는 것이 가능하다.

<실시 형태 3>

(실시 형태 3 : 개요)

본 실시 형태는, 제2 화상을 촬상하는 제어로서, 셔터 스피드를 손떨림 화상으로 되기 어려운 셔터 스피드로 제어하는 것이 가능하기 때문에, 제2 화상의 휘도 정보를 보정하는 것만에 의해 손떨림이 경감된 화상을 얻는 것이 가능한 촬상 장치에 관한 것이다.

(실시 형태 3 : 구성)

본 실시 형태에 따른 촬상 장치의 기능 블록을 도 10에 예시한다. 본 실시 형태에 따른 촬상 장치의 구성은, 실시 형태 1에서 설명한 도 2 또는 실시 형태 2에 따른 촬상 장치의 구성에 「손떨림 방지 제어기」(1012)를 가한 구성으로 된다. 도 10에서는, 실시 형태 2에서 설명한 촬상 장치의 구성에 상기 손떨림 방지 제어기(1012)를 가한 구성을 예시하고 있다. 촬상 장치(1000)는 「촬상부」(1001)와, 「제어부」(1002)와, 「유지부」(1003)와, 「합성부」(1004)와, 「프리뷰 표시부」(1010)를 갖는다. 또한, 상기 촬상부(1001)는 「프리뷰 출력 수단」(1011)을 갖는다. 또한, 상기 제어부(1002)는 「제1 제어 수단」(1005)과, 「제2 제어 수단」(1006)을 갖는다. 또한, 상기 합성부(1004)는 「제1 휘도 정보 취득 수단」(1007)과, 「제2 휘도 정보 취득 수단」(1008)과, 「제2 휘도 정보 보정 수단」(1009)을 갖는다. 또한, 상기 제2 제어 수단(1006)은 「손떨림 방지 제어기 」(1012)를 갖는다.

「손떨림 방지 제어기」(1012)는, 제2 화상을 촬상하는 제어로서, 셔터 스피드를 손떨림 화상으로 되기 어려운 셔터 스피드로 제어하는 기능을 갖는다. 「손떨림 화상으로 되기 어려운 셔터 스피드」란, 일반적으로는 16밀리 초 정도 이하의 셔터 스피드이다. 단, 이 값으로 한정하는 것은 아니다. 손떨림 방지 제어기에서의 구체적인 처리를 예시하는 플로우도를 도 11에 도시한다. 통상의 촬상 장치에서는 주변의 밝기 등으로부터 적정 노출로 되는 노광 시간을 결정하여 촬상하지만, 이 노광 시간을 To로 한다. 또한, 손떨림 화상으로 되기 어려운 셔터 스피드를 Tx로 한다. 최초로, 주변의 밝기 등으로부터 적정 노광 시간 To를 검출한다(스텝 S1101). 다음으로, 스텝 S1101에서 검출한 적정 노광 시간 To가 Tx보다도 긴 시간일지 판단한다(스텝 S1102). 스텝 S1102에서의 판단이 To 쪽이 긴 시간이다라고 하는 판단이었던 경우에는, 제2 화상의 노광 시간을 Tx로 결정한다(스텝 S1103). 스텝 S1102에서의 판단이 To가 Tx 이하의 시간이다라고 하는 판단이었던 경우에는, 제2 화상의 노광 시간을 To로 결정한다(스텝 S1104). 또한, 손떨림 방지 제어기의 처리에 대해 더 구체적으로는, 예를 들면 렌즈(1701)를 통하여 CCD(1702)에 닿는 광량을 측정함으로써 자동적으로 적정 노광 시간 To가 결정되어 일시 기억 메모리(1705) 등의 소정의 기억 영역에 저장된다. 또한, 미리 손떨림 화상으로 되기 어려운 셔터 스피드인 Tx의 값이 일시 기억 메모리(1705)나 기억 장치(1706)의 소정의 기억 영역에 저장되어 있다. 이 To와 Tx의 값이 저장되어 있는 소정의 기억 영역으로부터 판독 비교한 결과가 일시 기억 메모리(1705) 등의 소정의 기억 영역 에 저장된다. 저장된 비교 결과를 판독하고, 비교 결과가 To>Tx를 나타내는 정보이면, 제2 화상의 노광 시간의 값을 저장하고 있는 소정의 기억 영역에 Tx의 값을 기입하고, 비교 결과가 To<=Tx를 나타내는 정보이면, 제2 화상의 노광 시간의 값을 저장하고 있는 소정의 기억 영역에 To의 값을 기입한다. 이에 의해, 제2 화상의 노광 시간이 손떨림 화상으로 되기 어려운 셔터 스피드로 제어된 것으로 된다. 또한, 손떨림 방지 제어기는, 이와 같은 처리를 CPU(1704)에 실행시키기 위한 프로그램을 포함하고 있어도 된다.

(실시 형태 3 : 처리의 흐름)

본 실시 형태에 따른 촬상 장치에서의 처리의 흐름은, 실시 형태 1에서 설명한 도 7 또는 실시 형태 2에 따른 촬상 장치의 처리의 흐름과 마찬가지이다. 단, 제2 제어 스텝에서 제2 화상을 촬상하는 제어로서, 셔터 스피드를 손떨림 화상으로 되기 어려운 셔터 스피드로 제어하는 것을 특징으로 한다.

(실시 형태 3 : 효과)

본 실시 형태에 따른 촬상 장치에서는, 셔터 스피드를 손떨림 화상으로 되기 어려운 셔터 스피드로 제어하여 제2 화상을 촬상하는 것이 가능하기 때문에, 제2 화상의 휘도 정보를 보정하는 것만에 의해 손떨림이 없는 화상을 얻을 수 있다.

<실시 형태 4>

(실시 형태 4 : 개요)

본 실시 형태는, 화소 가산에 의해 제1 화상을 촬상함으로써 제1 화상 정보의 데이터량을 적게 하는 것이 가능한 촬상 장치에 관한 것이다.

(실시 형태 4 : 구성)

본 실시 형태에 따른 촬상 장치의 기능 블록을 도 12에 예시한다. 본 실시 형태에 따른 촬상 장치의 구성은, 실시 형태 1에서 설명한 도 2 또는 실시 형태 2에 따른 촬상 장치 또는 실시 형태 3에 따른 촬상 장치의 구성에 「화소 가산 촬상 제어기」(1213)를 가한 구성으로 된다. 도 12에서는, 실시 형태 3에서 설명한 촬상 장치의 구성에 상기 화소 가산 촬상 제어기(1213)를 가한 구성을 예시하고 있다. 촬상 장치(1200)는 「촬상부」(1201)와, 「제어부」(1202)와, 「유지부」(1203)와, 「합성부」(1204)와, 「프리뷰 표시부」(1210)를 갖는다. 또한, 상기 촬상부(1201)는 「프리뷰 출력 수단」(1211)을 갖는다. 또한, 상기 제어부(1202)는 「제1 제어 수단」(1205)과, 「제2 제어 수단」(1206)을 갖는다. 또한, 상기 합성부(1204)는 「제1 휘도 정보 취득 수단」(1207)과, 「제2 휘도 정보 취득 수단」(1208)과, 「제2 휘도 정보 보정 수단」(1209)을 갖는다. 또한, 상기 제1 제어 수단(1205)은 「화소 가산 촬상 제어기」(1213)를 갖는다. 또한, 상기 제2 제어 수단(1206)은 「손떨림 방지 제어기」(1212)를 갖는다.

「화소 가산 촬상 제어기」(1213)는, 화소 가산에 의해 제1 화상을 촬상하도록 제어하는 기능을 갖는다. 화소 가산이란, 예를 들면 도 13에 도시한 바와 같이 4개의 화소를 1 화소로 변환하는 방법이며, 변환할 때에는 4개의 화소의 화소값을 서로 더한 값을 1 화소의 화소값으로 한다. 예를 들면, 400×400 화소의 화상에서 화소 가산을 행하면 200×200 화소의 화상으로 된다. 이 화소 가산의 메리트는, 원래의 화상은 밝기가 부족한 화상이라도 4개의 화소의 화소값을 서로 더하여 1 화 소의 화소값으로 하기 때문에, 화소 가산에 의해 생성된 화상은 밝기가 확보된 화상으로 된다. 즉, 원래의 화상은 셔터 시간이 짧아 노출 부족의 화상이라도 된다. 또한, 예를 들면 고화소화 CCD의 경우, CCD 전체의 크기가 커짐에 따라서 하나 하나의 화소의 크기는 작아져 가기 때문에 하나 하나의 화소에 닿는 광은 적어져 간다. 즉, 감도가 낮아져 간다. 또한, 이를 보정하기 위해 신호를 증폭하면 노이즈도 커지게 되지만, 화소 가산에 의하면, 화상의 사이즈는 작아지지만 신호를 증폭하지 않고 밝기를 확보할 수 있다.

(실시 형태 4 : 처리의 흐름)

본 실시 형태에 따른 촬상 장치에서의 처리의 흐름은, 실시 형태 1에서 설명한 도 7 또는 실시 형태 2 또는 실시 형태 3에 따른 촬상 장치의 처리의 흐름과 마찬가지이다. 단, 제1 제어 스텝 또는 프리뷰 제1 제어 스텝에서 화소 가산에 의해 제1 화상을 촬상하도록 제어하는 것을 특징으로 한다.

(실시 형태 4 : 효과)

본 실시 형태에 따른 촬상 장치에서는, 화소 가산에 의해 제1 화상을 촬상하는 것이 가능하기 때문에, 제1 화상의 데이터량이 적어져, 제1 화상 정보를 유지하기 위한 메모리 용량이 적어도 된다.

<실시 형태 5>

(실시 형태 5 : 개요)

본 실시 형태는, 복수 화상간의 움직임 벡터를 검출하는 것이 가능한 촬상 장치에 관한 것이다. 이에 의해, 복수 화상간에 위치 어긋남이 있는 경우에, 위치 어긋남을 검출하여 합성을 행하는 것이 가능하다.

(실시 형태 5 : 구성)

본 실시 형태에 따른 촬상 장치의 기능 블록을 도 14에 예시한다. 본 실시 형태에 따른 촬상 장치의 구성은, 실시 형태 1에서 설명한 도 2, 실시 형태 2에 따른 촬상 장치, 실시 형태 3에 따른 촬상 장치 또는 실시 형태 4에 따른 촬상 장치의 구성에 「벡터 검출 수단」(1414)과, 「벡터 이용 합성 수단」(1415)을 가한 구성으로 된다. 도 14에서는, 실시 형태 4에서 설명한 촬상 장치의 구성에 상기 벡터 검출 수단(1414)과, 상기 벡터 이용 합성 수단(1415)을 가한 구성을 예시하고 있다. 촬상 장치(1400)는 「촬상부」(1401)와, 「제어부」(1402)와, 「유지부」(1403)와, 「합성부」(1404)와, 「프리뷰 표시부」(1410)를 갖는다. 또한, 상기 촬상부(1401)는 「프리뷰 출력 수단」(1411)을 갖는다. 또한, 상기 제어부(1402)는 「제1 제어 수단」(1405)과, 「제2 제어 수단」(1406)을 갖는다. 또한, 상기 합성부(1404)는 「제1 휘도 정보 취득 수단」(1407)과, 「제2 휘도 정보 취득 수단」(1408)과, 「제2 휘도 정보 보정 수단」(1409)과, 「벡터 검출 수단」(1414)과, 「벡터 이용 합성 수단」(1415)을 갖는다. 또한, 상기 제1 제어 수단(1405)은 「화소 가산 촬상 제어기」(1413)를 갖는다. 또한, 상기 제2 제어 수단(1406)은 「손떨림 방지 제어기」(1412)를 갖는다.

「벡터 검출 수단」(1414)은, 상기 복수 화상간의 움직임 벡터를 검출하는 기능을 갖는다. 「복수 화상간의 움직임 벡터를 검출한다」란, 복수 화상이 촬상되는 간격이 넓으면 그 동안에 손떨림 등에 의해 화상끼리의 위치가 어긋나기 때문 에, 그 위치 어긋남의 방향과 양(움직임 벡터)을 검출한다고 하는 것이다. 검출한 움직임 벡터는, 벡터 이용 합성 수단(1415)에서 복수 화상에 의해 합성을 행할 때에 화상끼리의 위치를 맞추기 위해 이용된다. 움직임 벡터를 검출하는 방법의 일례로서, 예를 들면 블록 매칭 등의 기술을 이용하면 된다. 블록 매칭은 일반적으로 잘 알려져 있는 화상 매칭 처리 기술이지만, 도 15를 이용하여 그 구조를 간단히 설명한다. 블록 매칭은, 연속하는 2개의 정지 화상에서의 부분 화상의 위치 변화를 구하는 방법 중 하나이다. 예를 들면, (a)의 화상 정보 1의 화상에서의 사선으로 나타내는 격자 형상 영역(1501) 내의 피사체 화상이, (b)의 화상 정보 2의 화상에서 어느 위치로 이동하고 있는지를 판단하는 경우를 예시한다. 우선 도 15의 (b)의 화상 정보 2의 화상 내로부터, 상기 격자 형상 영역(1501)과 동일한 위치의 블록을 중심으로 하여 주위 소정개의 블록군으로 구성되는 탐색 범위(1502)를 결정한다. 그리고 탐색 범위 내로부터 화소값이나 그 분포 정보 등을 이용하여, 도 15의 (a)의 격자 형상 영역(1501) 내의 피사체 화상과 가장 근사하고 있는 블록(1503)을 검출한다. 그리고 그 이동량을 수평, 수직 성분으로 하여, 격자 형상 영역(1501)에서의 움직임 벡터(1501n)가 검출된다고 하는 방식이다. 또한, 움직임을 검출하는 격자 형상 영역(1501)을 결정하는 방법으로서, 엣지 추출을 행하여, 윤곽이 뚜렷한 화상을 보다 많이 포함하는 블록을 격자 형상 영역(1501)으로서 결정하여도 된다. 또한, 상기 복수 화상의 크기가 서로 다른 경우에는, 큰 화상을 작은 화상에 맞추어 축소하고 나서 블록 매칭 등에 의해 움직임 벡터를 검출하면 된다.

「벡터 이용 합성 수단」(1415)은, 상기 벡터 검출 수단(1414)에 의해 검출된 움직임 벡터를 이용하여 상기 합성을 하는 기능을 갖는다. 즉, 상기 벡터 검출 수단에 의해 검출된 움직임 벡터는 수식 2에 포함되는 위치 어긋남의 움직임량(Mx, My)을 나타내므로, 복수 화상간의 위치 어긋남도 고려하여 합성을 행할 수 있다.

(실시 형태 5 : 처리의 흐름)

도 16은, 본 실시 형태에 따른 촬상 장치에서의 처리의 흐름을 도시하는 플로우도를 예시한다. 촬상 장치는, 예를 들면 유저에 의해 셔터가 눌러지거나 하여 피사체를 촬상할 때마다, 도 16과 같은 처리를 행한다. 최초로, 화소 가산에 의해 제1 화상을 촬상하도록 제어한다. 이 처리는, 화소 가산 촬상 제어기에 의해 실행된다(화소 가산 제1 제어 스텝 S1601). 다음으로, 상기 화소 가산 제1 제어 스텝(S1601)에서 제어된 촬상 조건에 의해 제1 화상으로서 프리뷰 화상의 촬상을 행한다. 이 처리는, 프리뷰 출력 수단에 의해 실행된다(화소 가산 제어 프리뷰 화상 촬상 스텝 S1602). 다음으로, 상기 화소 가산 프리뷰 화상 촬상 스텝(S1602)에서 촬상된 프리뷰 화상의 화상 정보를 유지한다. 이 처리는, 유지부에 의해 실행된다(화소 가산 제어 프리뷰 화상 정보 유지 스텝 S1603). 다음으로, 제2 화상을 촬상하는 제어로서, 셔터 스피드를 손떨림 화상으로 되기 어려운 셔터 스피드로 제어한다. 이 처리는, 손떨림 방지 제어기에 의해 실행된다(손떨림 방지 제2 제어 스텝 S1604). 다음으로, 상기 손떨림 방지 제2 제어 스텝(S1604)에서 제어된 촬상 조건에 의해 촬상을 행한다. 이 처리는, 촬상부에 의해 실행된다(손떨림 방지 제어 제2 화상 촬상 스텝 S1605). 다음으로, 상기 손떨림 방지 제어 제2 화상 촬상 스텝(S1605)에서 촬상된 제2 화상의 화상 정보를 유지한다. 이 처리는, 유지부에 의해 실행된다(손떨림 방지 제어 제2 화상 정보 유지 스텝 S1606). 또한, 상기 화소 가산 제1 제어 스텝(S1601)부터 상기 화소 가산 제어 프리뷰 화상 정보 유지 스텝(S1603)까지와, 상기 손떨림 방지 제2 제어 스텝(S1604)부터 상기 손떨림 방지 제어 제2 화상 정보 유지 스텝(S1606)까지의 순번은 반대이어도 된다. 즉, 프리뷰 화상의 촬상과 제2 화상의 촬상의 순번은 불문한다. 다음으로, 제1 휘도 정보로서 프리뷰 화상의 휘도 정보를 취득한다. 이 처리는, 제1 휘도 정보 취득 수단에 의해 실행된다(프리뷰 화상 휘도 정보 취득 스텝 S1607). 다음으로, 제2 화상의 제2 휘도 정보를 취득한다. 이 처리는, 제2 휘도 정보 취득 수단에 의해 실행된다(제2 휘도 정보 취득 스텝 S1608). 다음으로, 제1 화상과 제2 화상의 움직임 벡터를 검출한다. 이 처리는, 벡터 검출 수단에 의해 실행된다. 또한, 이 처리는, 상기 프리뷰 화상 휘도 정보 취득 스텝(S1607) 또는 제2 휘도 정보 취득 스텝(S1608)보다도 먼저 실행되어도 된다(벡터 검출 스텝 S1609). 마지막으로, 상기 제2 휘도 정보 취득 스텝(S1608)에서 취득된 제2 휘도 정보를, 상기 벡터 검출 스텝(S1609)에서 검출된 움직임 벡터를 이용하여, 상기 프리뷰 화상 휘도 정보 취득 스텝(S1607)에서 취득된 프리뷰 화상의 휘도 정보에 의해 보정한다. 이 처리는, 벡터 이용 합성 수단에 의해 실행된다(벡터 이용 합성 스텝 S1610). 또한, 본 실시 형태에 따른 촬상 장치는, 촬상 장치의 촬상 기능 사용 시에는 항상, 상기 화소 가산 프리뷰 제1 제어 스텝(S1601)부터 상기 화소 가산 제어 프리뷰 화상 정보 유지 스텝(S1603)을 실행하고, 또한 상기 화소 가산 제어 프리뷰 화상 정보 유지 스 텝(S1603)에서 유지하는 프리뷰 화상의 화상 정보에 기초하여, 프리뷰 표시부에 프리뷰 화상을 출력하여 표시하는 처리를 실행한다.

(실시 형태 5 : 효과)

본 실시 형태에 따른 촬상 장치에서는, 복수 화상간의 움직임 벡터를 검출하는 것이 가능하므로, 복수 화상간에 위치 어긋남이 있는 경우라도 위치 어긋남을 검출하여 합성을 행하는 것이 가능하다.

도 1은 실시 형태 1에 따른 촬상 장치의 기능 블록도.

도 2는 실시 형태 1에 따른 촬상 장치의 기능 블록도.

도 3은 제1 제어 수단과 제2 제어 수단에 의해 제어되는 노광 시간을 나타내는 도면.

도 4는 합성부에서 제1 화상과 제2 화상을 이용하여 합성을 행하는 경우의 개략을 도시하는 도면.

도 5는 제2 휘도 정보 보정 수단에서의 보정 방법의 구체예.

도 6은 실시 형태 1에 따른 촬상 장치의 처리의 흐름을 도시하는 플로우도.

도 7은 실시 형태 1에 따른 촬상 장치의 처리의 흐름을 도시하는 플로우도.

도 8은 실시 형태 2에 따른 촬상 장치의 기능 블록도.

도 9는 실시 형태 2에 따른 촬상 장치의 처리의 흐름을 도시하는 플로우도.

도 10은 실시 형태 3에 따른 촬상 장치의 기능 블록도.

도 11은 손떨림 방지 제어기에서의 구체적인 처리를 예시하는 플로우도.

도 12는 실시 형태 4에 따른 촬상 장치의 기능 블록도.

도 13은 화소 가산을 설명하는 도면.

도 14는 실시 형태 5에 따른 촬상 장치의 기능 블록도.

도 15는 블록 매칭을 설명하는 도면.

도 16은 실시 형태 5에 따른 촬상 장치의 처리의 흐름을 도시하는 플로우도.

도 17은 촬상 장치의 구체적인 구성을 예시하는 도면.

<부호의 설명>

0100 : 촬상 장치

0101 : 촬상부

0102 : 제어부

0103 : 유지부

0104 : 합성부

0205 : 제1 제어 수단

0206 : 제2 제어 수단

0207 : 제1 휘도 정보 취득 수단

0208 : 제2 휘도 정보 취득 수단

0209 : 제2 휘도 정보 보정 수단

Claims

촬상부와,

촬상부에서의 촬상 조건을 제어하는 제어부와,

제어부에 의해 서로 다른 촬상 조건으로 제어되어 단시간 내에 촬상된 복수 화상의 화상 정보를 유지하는 유지부와,

상기 복수의 화상의 화상 정보를 부분적으로 이용하여 하나의 화상의 화상 정보를 합성하는 합성부

를 갖는 촬상 장치.
제1항에 있어서,

상기 제어부는,

촬상하는 복수 화상 중 하나의 화상인 제1 화상을, 적정 노출의 화상으로 되도록 제어하는 제1 제어 수단과,

촬상하는 복수 화상 중 다른 하나의 화상인 제2 화상을, 비교적 셔터 스피드를 빠르게 하여 촬상하도록 제어하는 제2 제어 수단

을 갖고,

상기 합성부는,

상기 제1 화상의 제1 휘도 정보를 취득하는 제1 휘도 정보 취득 수단과,

상기 제2 화상의 제2 휘도 정보를 취득하는 제2 휘도 정보 취득 수단과,

상기 제2 휘도 정보를, 상기 제1 휘도 정보에 의해 보정하는 제2 휘도 정보 보정 수단

을 갖는 촬상 장치.
제2항에 있어서,

파인더로서 이용하기 위한 프리뷰 표시부를 갖고,

촬상부는, 소정의 시간 간격으로 프리뷰를 위해 프리뷰 표시부에 대해 프리뷰 화상을 출력하는 프리뷰 출력 수단을 갖고,

상기 제1 제어 수단에 의해 제어되어 촬상되는 제1 화상은, 상기 프리뷰 화상인 촬상 장치.
제2항 또는 제3항에 있어서,

제2 제어 수단은, 제2 화상을 촬상하는 제어로서, 셔터 스피드를 손떨림 화상으로 되기 어려운 셔터 스피드로 제어하는 손떨림 방지 제어기를 갖는 촬상 장치.
제2항 내지 제4항 중 어느 한 항에 있어서,

제1 제어 수단은, 화소 가산에 의해 제1 화상을 촬상하도록 제어하는 화소 가산 촬상 제어기를 갖는 촬상 장치.
제2항 내지 제5항 중 어느 한 항에 있어서,

제1 제어 수단과, 제2 제어 수단은, 제1 화상 정보가 제2 화상 정보보다도 데이터량이 적어지도록 제어하는 촬상 장치.
제1항 내지 제6항 중 어느 한 항에 있어서,

상기 합성부는,

상기 복수 화상간의 움직임 벡터를 검출하는 벡터 검출 수단과,

상기 벡터 검출 수단에 의해 검출된 움직임 벡터를 이용하여 상기 합성을 행하는 벡터 이용 합성 수단

을 갖는 촬상 장치.
촬상 스텝과,

촬상 스텝에서의 촬상 조건을 제어하는 제어 스텝과,

제어 스텝에 의해 서로 다른 촬상 조건으로 제어되어 단시간 내에 촬상된 복수 화상의 화상 정보를 유지하는 유지 스텝과,

상기 복수의 화상의 화상 정보를 부분적으로 이용하여 하나의 화상의 화상 정보를 합성하는 합성 스텝

을 갖는 촬상 방법.
제8항에 있어서,

상기 제어 스텝은,

촬상하는 복수 화상 중 하나의 화상인 제1 화상을, 적정 노출의 화상으로 되도록 제어하는 제1 제어 스텝과,

촬상하는 복수 화상 중 다른 하나의 화상인 제2 화상을, 비교적 셔터 스피드를 빠르게 하여 촬상하도록 제어하는 제2 제어 스텝

을 갖고,

상기 합성 스텝은,

상기 제1 화상의 제1 휘도 정보를 취득하는 제1 휘도 정보 취득 스텝과,

상기 제2 화상의 제2 휘도 정보를 취득하는 제2 휘도 정보 취득 스텝과,

상기 제2 휘도 정보를, 상기 제1 휘도 정보에 의해 보정하는 제2 휘도 정보 보정 스텝

을 갖는 촬상 방법.
제9항에 있어서,

파인더로서 이용하기 위한 프리뷰 표시 스텝을 갖고,

촬상 스텝은, 소정의 시간 간격으로 프리뷰 표시 스텝에서의 프리뷰를 위해 프리뷰 화상을 출력하는 프리뷰 출력 스텝을 갖고,

상기 제1 제어 스텝에 의해 제어되어 촬상되는 제1 화상은, 상기 프리뷰 화상인 촬상 방법.