JP4989524B2 - 電子カメラ - Google Patents

Description

この発明は、複数の被写界像を合成して不要な動体が排除された合成画像を作成する、電子カメラに関する。

この発明はまた、固定パターンノイズが除去された動画像を作成する、電子カメラに関する。

不要な動体が排除された合成画像を作成するカメラの一例が、特許文献１に開示されている。特許文献１によれば、風景を背景とした人物は、所定の時間間隔で３回連続して撮影される。画像合成にあたっては、撮影された３フレームのうち２フレーム以上で一致する部分が抽出される。これによって、被写界にたまたま通りがかりの第三者が入ったとしても、動きのある第三者の像は除去され、利用者と所望の風景のみが撮影された合成画像が得られる。

また、固定パターンノイズが除去された動画像を作成する電子カメラの一例が、特許文献２に開示されている。特許文献２によれば、撮像信号に固定的に現れるノイズに乱数信号が加算される。これによって攪乱されたノイズは、隣接画素相関やフレーム相関を利用して除去される。
特開２００５−１２６６０号公報 特開２００４−２８９２４１号公報

しかし、特許文献１では撮影の時間間隔が固定されるため、動きのある第三者の移動速度によっては第三者の像に起因するノイズが合成画像に現れるおそれがある。また、特許文献２では、隣接画素相関またはフレーム相関を利用する前に固定パターンノイズを攪乱する必要があるため、回路構成が複雑化するおそれがある。

それゆえに、この発明の主たる目的は、動体が排除された合成画像の品質の改善することができる、電子カメラを提供することである。

この発明の他の目的は、固定パターンノイズが除去された動画像を簡便に作成することができる、電子カメラを提供することである。

この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、被写界の光学像が照射される撮像面を有し、被写界像を周期的に生成する撮像手段(16)、撮像手段によって指定周期毎に生成された複数の被写界像を合成する合成手段(36)、光軸に直交する方向における撮像面の動きを合成手段によって注目される複数の被写界像の各々に対応して検出する検出手段(S23, S27, S65)、および合成手段による画像合成位置を検出手段によって検出された動きを
参照して調整する調整手段(S75)を備え、合成手段は、複数の被写界像に共通する複数の画素を選択し、該複数の画素のうち既定番目の大きさの画素値を有する画素を出力することを特徴とする。

撮像手段は、被写界の光学像が照射される撮像面を有し、被写界像を周期的に生成する。合成手段は、撮像手段によって指定周期毎に生成された複数の被写界像を合成する。また、指定周期の長さを変更指示に応答して変更する変更手段を備え、指定周期の長さは、変更指示に応答して変更手段によって変更される。光軸に直交する方向における撮像面の動きは、合成手段によって注目される複数の被写界像の各々に対応して、検出手段によって検出される。調整手段は、合成手段による画像合成位置を検出手段によって検出された動きを参照して調整する。

変更指示に応答して指定周期を変更することで、動体の動きが遅いほど指定周期を延長することができ、これによって合成画像から動体を確実に排除することができる。また、光軸に直交する方向における撮像面の振れを考慮して画像合成位置を調整することで、指定周期の延長に起因する撮像面の振れが画像合成に与える影響を軽減することができる。この結果、動体が排除された合成画像の品質の改善が図られる。

好ましくは、合成手段は、複数の被写界像の各々から指定エリアに属する部分被写界像を抽出する抽出手段(96)、および抽出手段によって抽出された複数の部分被写界像を合成する部分被写界像合成手段(100~112)を含み、調整手段は撮像面の動きが補償されるように指定エリアの位置を調整する。

さらに好ましくは、画素出力手段はメディアンフィルタまたはランクフィルタを含む。

好ましくは、撮像手段によって生成された被写界像に基づく動画像を出力する出力手段(40, 42)、および合成手段によって注目される複数の被写界像が生成された後に合成手段を起動する起動手段(S67)がさらに備えられる。

この発明に従う撮像制御プログラムは、被写界の光学像が照射される撮像面を有し、被写界像を周期的に生成する撮像手段(16)、および撮像手段によって指定周期毎に生成された複数の被写界像を合成する合成手段(36)を備える電子カメラ(10)のプロセッサ(28)に、指定周期の長さを変更指示に応答して変更する変更ステップ(S35)、光軸に直交する方向における撮像面の動きを合成手段によって注目される複数の被写界像の各々に対応して検出する検出ステップ(S23, S27, S65)、および合成手段による画像合成位置を検出ステップによって検出された動きを参照して調整する調整ステップ(S75)を実行させるための、撮像制御プログラムである。

この発明に従う撮像制御方法は、被写界の光学像が照射される撮像面を有し、被写界像を周期的に生成する撮像手段(16)、および撮像手段によって指定周期毎に生成された複数の被写界像を合成する合成手段(36)を備える電子カメラ(10)によって実行される撮像制御方法であって、指定周期の長さを変更指示に応答して変更する変更ステップ(S35)、光軸に直交する方向における撮像面の動きを合成手段によって注目される複数の被写界像の各々に対応して検出する検出ステップ(S23, S27, S65)、および合成手段による画像合成位置を検出ステップによって検出された動きを参照して調整する調整ステップ(S75)を備える。

他の発明に従う電子カメラ(10)は、被写界の光学像が照射される撮像面を有し、被写界像を指定周期で生成する撮像手段(16)、撮像手段によって生成された複数の被写界像の中からＮ個（Ｎ：２以上の整数）の被写界像を選択する選択手段(S13)、選択手段の選択態様を指定周期で変更する変更手段(S15)、選択手段によって選択されたＮ個の被写界像を合成する合成手段(36)、合成手段によって作成された被写界像に基づく動画像を出力する出力手段(40, 42)、および合成手段による画像合成位置を光軸に直交する方向における撮像面の動きを参照して調整する調整手段(S27, S29)を備える。

撮像手段は、被写界の光学像が照射される撮像面を有し、被写界像を指定周期で生成する。選択手段は、撮像手段によって生成された複数の被写界像の中からＮ個（Ｎ：２以上の整数）の被写界像を選択する。選択手段の選択態様は、変更手段によって指定周期で変更される。合成手段は、選択手段によって選択されたＮ個の被写界像を合成する。合成手段によって作成された被写界像に基づく動画像は、出力手段によって出力される。調整手段は、合成手段による画像合成位置を光軸に直交する方向における撮像面の動きを参照して調整する。

このように、撮像手段は指定周期で被写界像を生成し、選択手段はＮ個の被写界像の選択態様を指定周期で変更する。動画像を形成する被写界像は、こうして選択されたＮ個の被写界像の合成によって得られる。ここで、Ｎ個の被写界像の合成位置は、光軸に直交する方向における撮像面の動きを参照して調整される。このため、撮像面に手振れが生じると、固定パターンノイズの相対位置がＮ個の被写界像の間で相違することとなる。この結果、固定パターンノイズを画像合成の際に（つまり簡便に）除去することができる。

好ましくは、合成手段は、Ｎ個の被写界像の各々から指定エリアに属する部分被写界像を抽出する抽出手段(96)、および抽出手段によって抽出されたＮ個の部分被写界像を合成する部分被写界像合成手段(100~112)を含み、調整手段は撮像面の動きが補償されるように指定エリアの位置を調整する。

さらに好ましくは、部分被写界像合成手段は、Ｎ個の部分被写界像に共通する複数の画素を選択する画素選択手段(102~110)、および画素選択手段によって選択された複数の画素に基づいて１つの画素を出力する画素出力手段(112)を含む。より好ましくは、画素出力手段は複数の画素のうち既定番目の大きさの画素値を有する画素を出力する。

この発明によれば、変更指示に応答して指定周期を変更することで、動体の動きが遅いほど指定周期を延長することができ、これによって合成画像から動体を確実に排除することができる。また、光軸に直交する方向における撮像面の振れを考慮して画像合成位置を調整することで、指定周期の延長に起因する撮像面の振れが画像合成に与える影響を軽減することができる。この結果、動体が排除された合成画像の品質の改善が図られる。

また、他の発明によれば、撮像手段は指定周期で被写界像を生成し、選択手段はＮ個の被写界像の選択態様を指定周期で変更する。動画像を形成する被写界像は、こうして選択されたＮ個の被写界像の合成によって得られる。ここで、Ｎ個の被写界像の合成位置は、光軸に直交する方向における撮像面の動きを参照して調整される。このため、撮像面に手振れが生じると、固定パターンノイズの相対位置がＮ個の被写界像の間で相違することとなる。この結果、固定パターンノイズを画像合成の際に（つまり簡便に）除去することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、光学レンズ１２および絞りユニット１４を含む。被写界の光学像は、これらの部材を通してＣＭＯＳ型のイメージセンサ１６の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。したがって、各画素では、Ｒ（Red），Ｇ（Green）およびＢ（Blue）のいずれか１つの色情報を有する電荷が光電変換によって生成される。

電源が投入されると、ＣＰＵ２８は、スルー画像処理を実行するべくドライバ１８を起動する。ドライバ１８は、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが６０ｆｐｓのフレームレートで出力される。

前処理回路２０は、イメージセンサ１６からの生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御，メディアンフィルタなどの処理を施す。これによって生成された生画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４の生画像エリア３４ａ（図２参照）に書き込まれる。

メディアンフィルタとは、対象画素およびその周辺に存在する同色画素のレベルの中央値を検出し、検出した中央値を対象画素のレベルとする処理である。また、前処理回路２０のメディアンフィルタは、平面方向の周辺画素に注目する。

したがって、対象画素が図３（Ａ）に示すマトリクスの中央のＲ画素であるときは、同じ図３（Ａ）に斜線で示す９画素のレベルの中央値が対象画素のレベルとされる。また、対象画素が図３（Ｂ）に示すマトリクスの中央のＧ画素であるときは、同じ図３（Ｂ）に斜線で示す１３画素のレベルの中央値が対象画素のレベルとされる。さらに、対象画素が図３（Ｃ）に示すマトリクスの中央のＢ画素であるときは、同じ図３（Ｃ）に斜線で示す９画素のレベルの中央値が対象画素のレベルとされる。

図２に示す生画像エリア３４ａは、６つのバンクによって形成される。ＣＰＵ２８は、垂直同期信号Ｖｓｙｎｃが発生する毎に、書き込み先のバンクを循環的に変更する。書き込み先のバンクは、バンク１→バンク２→バンク３→バンク４→バンク５→バンク６→バンク１→…の順で指定される。前処理回路２０から出力された生画像データは、こうして指定されたバンクに書き込まれる。

前処理回路２０は、上述の処理に加えて、簡易Ｙ生成処理および簡易ＲＧＢ生成処理を実行する。生画像データは、簡易Ｙ変換処理によってＹデータに変換され、簡易ＲＧＢ変換処理によってＲＧＢデータ（各画素がＲ，ＧおよびＢの全ての色情報を有するデータ）に変換される。簡易Ｙ変換処理によって生成されたＹデータは動き検出回路２２およびＡＦ評価回路２６に与えられ、簡易ＲＧＢ変換処理によって生成されたＲＧＢデータはＡＥ／ＡＷＢ評価回路２４に与えられる。

図５を参照して、撮像面には９つの動き検出エリアＭＤ１〜ＭＤ９と１つの抽出エリアＥＸとが割り当てられる。動き検出エリアＭＤ１〜ＭＤ３は撮像面の上段に水平方向に並び、動き検出エリアＭＤ４〜ＭＤ６は撮像面の中断に水平方向に並び、動き検出エリアＭＤ７〜ＭＤ９は撮像面の下段に水平方向に並ぶ。

動き検出回路２２は、動き検出エリアＭＤ１〜ＭＤ９の各々における被写界の動きを表す部分動きベクトルを、前処理回路２０から与えられたＹデータに基づいて１／６０秒毎に検出する。動き検出回路２２はさらに、検出された部分動きベクトルを合成して全体動きベクトルを作成する。全体動きベクトルは、１／６０秒毎に動き検出回路２２から出力される。

ＣＰＵ２８は、光軸に直交する方向における撮像面の動きが手振れおよびパン／チルト動作のいずれに起因するかを動き検出回路２２から出力された全体動きベクトルに基づいて判別し、撮像面の動きが手振れに起因するときに全体動きベクトルに沿って抽出エリアＥＸを移動させる。抽出エリアＥＸの位置は、手振れに起因する撮像面の動きが補償（相殺）されるように変更される。

ＣＰＵ２８はその後、現時点の抽出エリアＥＸの位置をフィルタ回路３６に設けられたレジスタＲＧＳＴ１に設定する。図６に示すように、レジスタＲＧＳＴ１は生画像エリア３４ａ上のバンク１〜６にそれぞれ対応する６つのカラムを有する。抽出エリアＥＸの位置は、この６つのカラムのうち現時点の書き込み先のバンクに対応するカラムに設定される。

ＣＰＵ２８は、生画像エリア３４ａに５フレームの生画像データが確保された後、垂直同期信号Ｖｓｙｎｃが発生する毎に読み出し開始バンクを循環的に変更する。読み出し開始バンクもまた、バンク１→バンク２→バンク３→バンク４→バンク５→バンク６→バンク１→…の順で指定される。

フィルタ回路３６は、読み出し開始バンクに対応するカラムから始まる５つのカラムをレジスタＲＧＳＴ１から特定し、特定された５つのカラムから５つの位置をそれぞれ検出し、そして検出された５つの位置に従う５つの抽出エリアＥＸを生画像エリア３４ａ上の５つのバンク（読み出し開始バンクから始まる５つのバンク）にそれぞれ割り当てる。

フィルタ回路３６はさらに、この５つの抽出エリアにそれぞれ属する５フレームの部分生画像データをメモリ制御回路３２を通して並列的に読み出し、抽出エリアＥＸの左上座標を基準として共通する位置に存在する５画素に注目した時間軸方向のメディアンフィルタを実行する。読み出し処理は指定の画素ブロックずつ実行され、かつ５フレームの部分生画像データの読み出しは１／６０秒以内に完了する。

図４に示す５フレームの部分生画像データにそれぞれ属する５つの画素ブロックＭＢ１〜ＭＢ５を読み出し、このうちの５つの画素Ｐ１〜Ｐ５に注目した場合、この５画素のレベルの中央値が画素Ｐ３のレベルとされる。こうして、ノイズが除去された１フレームの部分生画像データが１／６０秒毎に生成される。生成された部分生画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４のフィルタ画像エリア３４ｂ（図２参照）に書き込まれる。

したがって、固定パターンノイズＮＳが図８（Ａ）〜図８（Ｅ）に示す要領で発生し、かつ抽出エリアＥＸが同じ図８（Ａ）〜図８（Ｅ）に示す要領で移動した場合、図８（Ｆ）に示すように固定パターンノイズＮＳが除去された部分生画像データがフィルタ画像エリア３４ｂ内に得られる。

後処理回路３８は、フィルタ画像エリア３４ｂに格納された部分生画像データをメモリ制御回路３２を通して１／６０秒毎に読み出し、読み出された部分生画像データに色分離，白バランス調整，ＹＵＶ変換，縮小ズームなどの処理を施す。この結果、ＹＵＶ形式に対応する低解像度の画像データが１／６０秒毎に作成される。作成された画像データは、動画出力端Ｍ＿ＯＵＴから出力され、メモリ制御回路３２を通してＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｃ（図２参照）に書き込まれる。

ＬＣＤドライバ４０は、ＹＵＶ画像エリア３４ｃに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ４２を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

ＡＥ／ＡＷＢ評価回路２４は、前処理回路２０から出力されたＲＧＢデータの各々を１／６０秒毎に積分する。ＣＰＵ２８は、ＡＥ／ＡＷＢ評価回路２４から出力されたこれらの積分値に基づいて適正ＥＶ値と適正白バランス調整ゲインとを算出するべく、スルー画像用ＡＥ／ＡＷＢ処理（簡易的なＡＥ／ＡＷＢ処理）を実行する。算出された適正ＥＶ値を定義する絞り量および露光時間は絞りユニット１４およびドライバ１８にそれぞれ設定され、算出された適正白バランス調整ゲインは後処理回路３８に設定される。この結果、ＬＣＤモニタ４２から出力される動画像の明るさおよび白バランスが適度に調整される。

キー入力装置３０上のシャッタボタン３０ｓが半押しされると、ＡＥ／ＡＷＢ評価回路２４から出力された積分値に基づいて最適ＥＶ値および最適白バランス調整ゲインを算出するべく、厳格な記録用ＡＥ／ＡＷＢ処理が実行される。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、絞りユニット１４およびドライバ１８にそれぞれ設定される。

記録用ＡＥ／ＡＷＢ処理が完了すると、ＡＦ評価回路２６の出力に基づくＡＦ処理が実行される。ＡＦ評価回路２６は、前処理回路２０から出力されたＹデータの高周波成分を１／６０秒毎に積分する。ＣＰＵ２８は、ＡＦ評価回路２６から出力された積分値を参照して、いわゆる山登り処理によって合焦点を探索する。フォーカスレンズ１２は、発見された合焦点に配置される。

シャッタボタン３０ｓが全押しされると、現時点の静止画撮像モードが通常モードおよび特殊モードのいずれであるかが判別される。ＣＰＵ２８は、判別結果が通常モードを示すとき通常記録処理を実行し、判別結果が特殊モードを示すとき合成記録処理を実行する。

通常記録処理に関連して、ＣＰＵ２８は、１フレームの画像データの抽出を後処理回路３８に命令し、抽出された画像データの記録をＩ／Ｆ４４に命令する。後処理回路３８は、シャッタボタン３０ｓが全押しされた時点の１フレームの画像データ（形式：ＹＵＶ，解像度：高）を抽出し、抽出された画像データを静止画出力端Ｓ＿ＯＵＴから出力する。出力された画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４の静止画像エリア３４ｄに書き込まれる。Ｉ／Ｆ４４は、静止画像エリア３４ｄに格納された画像データをメモリ制御回路３２を通して読み出し、読み出された画像データをファイル形式で記録媒体４６に記録する。

合成記録処理に関連して、ＣＰＵ２８は、キー入力装置３０上でのインターバル変更操作によって指定された撮像インターバルをおいて５回の静止画取り込み処理を実行する。撮像インターバルが２秒に設定されれば静止画取り込み処理は２秒毎に実行され、撮像インターバルが３秒に設定されれば静止画取り込み処理は３秒毎に実行される。この５回の静止画取り込み処理は、スルー画像処理と並列して実行される。また、５回の静止画取り込み処理によって、合計５フレームの生画像データがワークエリア３４ｅ（図２参照）に退避される。ワークエリア３４ｅは５つのバンクを有し、書き込み先のバンクは静止画取り込み処理が実行される毎に変更される。このため、５フレームの生画像データはこの５つのバンクに順に格納される。

ＣＰＵ２８はまた、静止画取り込み処理が行われた時点の抽出エリアＥＸの位置を特定し、特定された位置を図７に示すレジスタＲＧＳＴ２に設定する。レジスタＲＧＳＴ２はバンク１〜５にそれぞれ対応する５つのカラムを有し、特定された抽出エリアＥＸの位置はこの５つのカラムに順に設定される。

レジスタＲＧＳＴ２への設定処理が完了すると、スルー画像処理が停止される。ＣＰＵ２８はその後、読み出し先をワークエリア３４ｅとし、参照レジスタをレジスタＲＧＳＴ２とし、そしてバンク１を読み出し開始バンクとするよう、フィルタ回路３６の設定を変更する。ＣＰＵ２８はまた、後処理回路３８のズーム倍率を“１．０”に設定する。

フィルタ回路３６は、読み出し開始バンクに対応するカラムから始まる５つのカラムをレジスタＲＧＳＴ２から特定し、特定された５つのカラムにそれぞれ設定された５つの位置を検出し、そして検出された５つの位置に従う５つの抽出エリアＥＸをワークエリア３４ｅ上の５つのバンク（読み出し開始バンクから始まる５つのバンク）に割り当てる。

フィルタ回路３６はさらに、この５つの抽出エリアにそれぞれ属する５フレームの部分生画像データをメモリ制御回路３２を通して並列的に読み出し、上述した時間軸方向のメディアンフィルタを実行する。メディアンフィルタ処理によってノイズが除去された１フレームの部分生画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４のフィルタ画像エリア３４ｂ（図２参照）に書き込まれる。

ワークエリア３４ｅに退避された５フレームの生画像データが図９（Ａ）〜図９（Ｅ）に示すように不要な動体ＭＯをノイズとして含む場合、フィルタ回路３６による時間軸方向のメディアンフィルタ処理によって、図９（Ｆ）に示すように動体ＭＯが排除された被写界を表す部分画像データが得られる。

後処理回路３８は、フィルタ画像エリア３４ｂに格納された部分生画像データをメモリ制御回路３２を通して読み出し、読み出された部分生画像データに色分離，白バランス調整，ＹＵＶ変換の一連の処理を施す。この結果、ＹＵＶ形式に対応する高解像度の画像データが１／６０秒毎に作成される。作成された画像データは、動画出力端Ｍ＿ＯＵＴから出力され、メモリ制御回路３２を通してＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｃ（図２参照）に書き込まれる。

画像データがＹＵＶ画像エリアに格納されると、記録命令がＩ／Ｆ４４に与えられる。Ｉ／Ｆ４４は、ＹＵＶ画像エリア３４ｃに格納された画像データをメモリ制御回路３２を通して読み出し、読み出された画像データをファイル形式で記録媒体４６に記録する。記録処理が完了すると、後処理回路３８のズーム倍率が元に戻され、スルー画像処理が再開される。

前処理回路２０は、図１０に示すように構成される。撮像装置１６から出力された生画像データは、ディジタルクランプ回路５０によってディジタルクランプ処理を施され、さらに画素欠陥補正回路５２によって画素欠陥補正処理を施される。画素欠陥が補正された生画像データはゲイン制御回路５４によって増幅され、増幅された生画像データはメディアンフィルタ５６に与えられる。メディアンフィルタ５６は、図３（Ａ）〜図３（Ｃ）に示す平面方向の周辺画素に注目し、生画像データからノイズを除去する。

Ｙ生成回路６２およびＲＧＢ生成回路６４はそれぞれ、メディアンフィルタ５６から出力された生画像データに基づいて、ＹデータおよびＲＧＢデータを簡易的に生成する。メディアンフィルタ５６から出力された生画像データはまた、ＳＲＡＭ６０に一時的に格納され、コントローラ５８によって発行される書き込み要求とともにメモリ制御回路３２に向けて出力される。書き込み要求は、ＣＰＵ２８によって書き込み先として指定されたバンクへの書き込みを要求するものである。出力された生画像データは、メモリ制御回路３２によって生画像エリア３４ａの指定バンクに書き込まれる。

動き検出回路２２は、図１１に示すように構成される。Ｙデータは、フレームメモリ６６および分配器６８に与えられる。フレームメモリ６６は１フレームに相当する容量を各々が有する２つのバンクによって形成され、与えられたＹデータはこの２つのバンクに交互に書き込まれる。

分配器６８は、動き検出エリアＭＤ１，ＭＤ４およびＭＤ７に属するＹデータを分配器７０に与え、動き検出エリアＭＤ２，ＭＤ５およびＭＤ８に属するＹデータを分配器７２に与え、そして動き検出エリアＭＤ３，ＭＤ６およびＭＤ９に属するＹデータを分配器７４に与える。

分配器７０は、動き検出エリアＭＤ１に属するＹデータを部分動きベクトル検出回路７６に与え、動き検出エリアＭＤ４に属するＹデータを部分動きベクトル検出回路８２に与え、そして動き検出エリアＭＤ７に属するＹデータを部分動きベクトル検出回路８８に与える。分配器７２は、動き検出エリアＭＤ２に属するＹデータを部分動きベクトル検出回路７８に与え、動き検出エリアＭＤ５に属するＹデータを部分動きベクトル検出回路８４に与え、そして動き検出エリアＭＤ８に属するＹデータを部分動きベクトル検出回路９０に与える。分配器７４は、動き検出エリアＭＤ３に属するＹデータを部分動きベクトル検出回路８０に与え、動き検出エリアＭＤ６に属するＹデータを部分動きベクトル検出回路８６に与え、そして動き検出エリアＭＤ９に属するＹデータを部分動きベクトル検出回路９２に与える。

部分動きベクトル検出回路７６〜９２の各々は、分配器７０，７２または７４から与えられたＹデータをフレームメモリ６６に格納された前フレームのＹデータと比較して、注目する動き検出エリアにおける被写界の動きを表す部分動きベクトルを検出する。この結果、動き検出エリアＭＤ１〜ＭＤ９にそれぞれ対応する９つの部分動きベクトルが得られる。合成動きベクトル生成回路９４は、部分動きベクトル検出回路７６〜９２でそれぞれ検出された９つの部分動きベクトルを合成し、撮像面全体にわたる被写界の動きを表す全体動きベクトル生成する。

フィルタ回路３６は、図１２に示すように構成される。コントローラ９６は、スルー画像処理を実行するとき、生画像エリア３４ａを読み出し先とし、かつレジスタＲＧＳＴ１を参照レジスタとする。これに対して、ワークエリア３４ｅに退避された５フレームの生画像データを合成するとき、コントローラ９６は、ワークエリア３４ｅを読み出し先とし、かつレジスタＲＧＳＴ２を参照レジスタとする。

コントローラ９６はさらに、ＣＰＵ２８によって指定された読み出し開始バンクから始まる５バンクにそれぞれ割り当てられた５つの抽出エリアＥＸに属する５フレームの部分生画像データを並列的に読み出すべく、読み出し要求をメモリ制御回路３２に向けて繰り返し発行する。各フレームの部分生画像データは指定の画素ブロックずつ読み出され、読み出された部分生画像データは、ＳＲＡＭ９８を経てセレクタ１００に与えられる。

セレクタ１００は、１フレーム目の部分生画像データをＳＲＡＭ１０２に書き込み、２フレーム目の部分生画像データをＳＲＡＭ１０４に書き込み、３フレーム目の部分生画像データをＳＲＡＭ１０６に書き込み、４フレーム目の部分生画像データをＳＲＡＭ１０８に書き込み、そして５フレーム目の部分生画像データをＳＲＡＭ１１０に書き込む。

メディアンフィルタ１１２は、抽出エリアＥＸの左上座標を基準として共通する５画素の画素データをＳＲＡＭ１０２〜１１０から読み出し、読み出された５画素の中から中央値を有する１画素を選択する。こうして選択された画素によって形成された部分生画像データは、ＳＲＡＭ１１６に一時的に格納され、コントローラ１１４によって発行される書き込み要求とともにメモリ制御回路３２に向けて出力される。出力された部分生画像データは、メモリ制御回路３２によってＳＤＲＡＭ３４のフィルタ画像エリア３４ｂに書き込まれる。

後処理回路３８は、図１３に示すように構成される。コントローラ１１８は、ＳＤＲＡＭ３４のフィルタ画像エリア３４ｂに格納された生画像データを読み出すべく、読み出し要求をメモリ制御回路３２に向けて繰り返し発行する。これに応答して読み出された生画像データは、ＳＲＡＭ１２０を経て色分離回路１２２に与えられる。色分離回路１２２は、与えられた生画像データに基づいて各画素がＲ，ＧおよびＢの全ての色情報を有するＲＧＢデータを生成する。

生成されたＲＧＢデータは、白バランス調整回路１２４によって白バランス調整処理を施された後、ＹＵＶ変換回路１２６によってＹＵＶ形式の画像データに変換される。変換された画像データは、ズーム回路１２８を経てＳＲＡＭ１３４に書き込まれる。コントローラ１３２は、ＳＲＡＭ１３４に蓄積された画像データを書き込み要求とともにメモリ制御回路３２に出力する。出力された画像データは、メモリ制御回路３２によってＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｃに書き込まれる。なお、ズーム回路１２８のズーム倍率は、ワークエリア３４ｅに退避された５フレームの生画像データを合成するとき“１．０”に設定される。

通常モードの下でのシャッタボタン３０ｓが全押しされると、その時点でＹＵＶ変換回路１２６から出力された１フレームの画像データが静止画抽出回路１３０によって抽出される。抽出された画像データは、ＳＲＡＭ１３８に一時的に格納され、コントローラ１３６によって発行される書き込み要求とともにメモリ制御回路３２に向けて出力される。出力された画像データは、メモリ制御回路３２によってＳＤＲＡＭ３４の静止画像エリア３４ｄに書き込まれる。

ＣＰＵ２８は、図１４に示すバンク制御タスク，図１５に示す手振れ補正タスク，図１６に示す周期設定タスク，図１７〜図１９に示す撮像タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４８に記憶される。

図１４を参照して、ステップＳ１では、フィルタ回路３６に設けられたコントローラ９６の設定を初期化する。これによって、生画像エリア３４ａがアクセス先とされ、レジスタＲＧＳＴ１が参照レジスタとされる。ステップＳ３では、バンクを識別するための変数ＷおよびＲを“１”に設定する。垂直同期信号Ｖｓｙｎｃが発生するとステップＳ５でＹＥＳと判断し、ステップＳ７でバンクＷを書き込み先のバンクとして前処理回路２０のコントローラ５８に設定する。設定が完了すると、ステップＳ９で変数Ｗをインクリメントする。ただし、変数Ｗは“１”〜“５”の間で循環し、“５”の次に“１”に更新される。

ステップＳ１１ではバンク制御タスクが起動してから５フレーム期間が経過したか否かを判別し、ＮＯであればそのままステップＳ５に戻る一方、ＹＥＳであればステップＳ１３〜Ｓ１５の処理を経てステップＳ５に戻る。ステップＳ１３ではバンクＲを読出開始バンクとしてフィルタ回路３６のコントローラ９６に設定し、ステップＳ１５では変数Ｒをインクリメントする。変数Ｒもまた“１”〜“５”の間で循環し、“５”の次に“１”に更新される。

図１５を参照して、ステップＳ２１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、ＹＥＳであればステップＳ２３で動き検出回路２２から全体動きベクトルを取り込む。ステップＳ２５では現時点の撮像面の動きがパン／チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別し、ＹＥＳであればそのままステップＳ２９に進む一方、ＮＯであれば現時点の撮像面の動きは手振れに起因するものとみなし、ステップＳ２７の処理を経てステップＳ２９に進む。

ステップＳ２７では、ステップＳ２３で取り込まれた全体動きベクトルに沿って抽出エリアＥＸを移動させる。ステップＳ２９では現時点の抽出エリアの位置をレジスタＲＧＳＴ１のバンクＷに対応するカラムに設定する。ステップＳ２９の処理が完了すると、ステップＳ２１に戻る。

図１６を参照して、ステップＳ３１では、特殊モードの下で参照される撮像インターバルを初期値に設定する。インターバル変更操作が行われるとステップＳ３３でＹＥＳと判断し、ステップＳ３５で撮像インターバルを所望の値に変更する。

図１７を参照して、ステップＳ４１では、スルー画像処理を開始し、併せてバンク制御タスクおよび手振れ補正タスクを起動する。この結果、スルー画像がＬＣＤモニタ４２から出力される。ステップＳ４３ではシャッタボタン３０ｓが半押しされたか否かを判別し、判別結果がＮＯである限りステップＳ４５のスルー画像用ＡＥ／ＡＷＢ処理を繰り返す。この結果、スルー画像の明るさおよび白バランスが適度に調整される。シャッタボタン３０ｓが半押しされると、ステップＳ４７で記録用ＡＥ／ＡＷＢ処理を実行し、ステップＳ４９でＡＦ処理を実行する。記録用ＡＥ／ＡＷＢ処理によってスルー画像の明るさおよび白バランスが最適値に調整され、ＡＦ処理によってフォーカスレンズ１２が合焦点に配置される。

ステップＳ５１ではシャッタボタン３０ｓが全押しされたか否かを判別し、ステップＳ５３ではシャッタボタン３０ｓの操作が解除されたか否かを判別する。ステップＳ５１でＹＥＳであれば、ステップＳ５５で現時点の静止画撮像モードを判別する。現時点の静止画撮像モードが通常モードであれば、ステップＳ５５でＹＥＳと判断し、ステップＳ５７で通常記録処理を実行する。一方、現時点の静止画撮像モードが特殊モードであれば、ステップＳ５５でＮＯと判断し、ステップＳ５９で合成記録処理を実行する。ステップＳ５７またはＳ５９の処理が完了すると、ステップＳ４３に戻る。また、ステップＳ５３でＹＥＳと判断されたときは、そのままステップＳ４３に戻る。

ステップＳ５９の合成記録処理は、図１８〜図１９に示すサブルーチンに従って実行される。ステップＳ６１では、バンクを識別するための変数Ｎを“１”に設定する。次に、ステップＳ６３で静止画取り込み処理を実行し、最新フレームの生画像データをワークエリア３４ｅのバンクＮに退避させる。ステップＳ６５では、レジスタＲＧＳＴ２のバンクＮに対応するカラムに現時点の抽出エリアＥＸの位置を設定する。ステップＳ６７では、変数Ｎが“５”に達したか否かを判別する。ここでＮＯであればステップＳ６９に進み、撮像インターバルの設定に基づく静止画取り込みタイミングの到来を待つ。静止画取り込みタイミングが到来すると、ステップＳ７１で変数Ｎをインクリメントし、その後にステップＳ６３に戻る。

変数Ｎが“５”に達すると、５フレームの生画像データがワークエリア３４ｅのバンク１〜５に確保されたとみなし、ステップＳ６７からステップＳ７３に進む。ステップＳ７３では、スルー画像処理を停止し、併せてバンク制御タスクおよび手振れ補正タスクも停止する。ステップＳ７５ではフィルタ回路３６に設けられたコントローラ９６の設定を変更する。これによって、ワークエリア３４ｅが読み出し先とされ、レジスタＲＧＳＴ２が参照レジスタとされ、そしてバンク１が読出開始バンクとされる。ステップＳ７７では後処理回路３８に設けられたズーム回路１２８のズーム倍率を“１．０”に設定する。この結果、ワークエリア３４ｅに格納された５フレームの生画像データに基づく１フレームの画像データがＹＵＶ画像エリア３４ｃ内に得られる。

このような画像合成処理が完了すると、ステップＳ７９でＹＥＳと判断し、ステップＳ８１で記録処理を実行する。作成された画像データは、ファイル形式で記録媒体４６に記録される。記録処理が完了すると、ステップＳ８３で後処理回路３８の設定つまりズーム倍率を元に戻す。ステップＳ８５では、スルー画像処理を再開し、併せてバンク制御タスクおよび手振れ補正タスクを再起動する。ステップＳ８５の処理が完了すると、上階層のルーチンに復帰する。

以上の説明から分かるように、イメージセンサ１２は、被写界の光学像が照射される撮像面を有し、被写界像を指定周期（＝１／６０秒）で生成する。ＣＰＵ２８は、イメージセンサ１２によって生成された複数の被写界像の中からＮフレーム（Ｎ＝５）の被写界像を選択し(S13)、かつＮフレームの被写界像の選択態様を指定周期で変更する(S15)。フィルタ回路３６は、こうして選択されたＮフレームの被写界像を合成する。合成された被写界像に基づく動画像は、ＬＣＤモニタ４２から出力される。ＣＰＵ２８は、フィルタ回路３６による画像合成位置を光軸に直交する方向における撮像面の動きを参照して調整する(S27, S29)。

このように、イメージセンサ１２は指定周期で被写界像を生成し、ＣＰＵ２８はＮフレームの被写界像の選択態様を指定周期で変更する。動画像を形成する各フレームの被写界像は、こうして選択されたＮフレームの被写界像の合成によって得られる。ここで、Ｎフレームの被写界像の合成位置は、光軸に直交する方向における撮像面の動きを参照して調整される。このため、撮像面に手振れが生じると、固定パターンノイズの相対位置がＮフレームの被写界像の間で相違することとなる。この結果、固定パターンノイズを画像合成の際に（つまり簡便に）除去することができる。

この実施例を別の視点で眺めると、イメージセンサ１２は、被写界の光学像が照射される撮像面を有し、被写界像を周期的に生成する。フィルタ回路３６は、特殊モードの下でのシャッタボタン３０ｓが全押しされたとき、指定周期（指定の撮像インターバル）でイメージセンサ１２によって生成された複数の被写界像を合成する。指定周期の長さは、変インターバル更操作に応答してＣＰＵ２８によって変更される(S35)。光軸に直交する方向における撮像面の動きは、フィルタ回路３６によって注目される複数の被写界像の各々に対応して、ＣＰＵ２８によって検出される(S23, S27, S65)。フィルタ回路３６による画像合成位置は、検出された動きを参照して調整される(S75)。

インターバル変更操作に応答して指定周期の長さを変更することで、動体の動きが遅いほど指定周期を延長することができ、これによって合成画像から動体を確実に排除することができる。また、光軸に直交する方向における撮像面の振れを考慮して画像合成位置を調整することで、指定周期の延長に起因する撮像面の振れが画像合成に与える影響を軽減することができる。この結果、動体が排除された合成画像の品質の改善が図られる。

なお、この実施例では、生画像データに対して時間軸方向のメディアンフィルタ処理を施すようにしているが、ＹＵＶ形式の画像データに時間軸方向のメディアンフィルタ処理を施すようにしてもよい。

また、この実施例では、生画像データに含まれるノイズを除去するためにメディアンフィルタ５６および１１２を前処理回路２０およびフィルタ回路３６にそれぞれ設けるようにしているが、メディアンフィルタ５６および１１２の一方または両方をランクフィルタに置き換えるようにしてもよい。

この発明の一実施例の構成を示すブロック図である。 図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 （Ａ）はＲデータに対するメディアンフィルタ処理の一例を示す図解図であり、（Ｂ）はＧデータに対するメディアンフィルタ処理の一例を示す図解図であり、（Ｃ）はＢデータに対するメディアンフィルタ処理の一例を示す図解図である。 図１実施例に適用されるフィルタ回路の動作の一部を示す図解図である。 撮像面における動き検出エリアおよび抽出エリアの割り当て状態の一例を示す図解図である。 図１に示すフィルタ回路に適用されるレジスタの構成の一例を示す図解図である。 図１に示すフィルタ回路に適用される他のレジスタの構成の一例を示す図解図である。 （Ａ）は撮影画像の一例を示す図解図であり、（Ｂ）は撮影画像の他の一例を示す図解図であり、（Ｃ）は撮影画像のその他の一例を示す図解図であり、（Ｄ）は撮影画像のさらにその他の一例を示す図解図であり、（Ｅ）は撮影画像の他の一例を示す図解図であり、そして（Ｆ）は合成画像の一例を示す図解図である。 （Ａ）は撮影画像の一例を示す図解図であり、（Ｂ）は撮影画像の他の一例を示す図解図であり、（Ｃ）は撮影画像のその他の一例を示す図解図であり、（Ｄ）は撮影画像のさらにその他の一例を示す図解図であり、（Ｅ）は撮影画像の他の一例を示す図解図であり、そして（Ｆ）は合成画像の一例を示す図解図である。 図１実施例に適用される前処理回路の構成の一例を示すブロック図である。 図１実施例に適用される動き検出回路の構成の一例を示すブロック図である。 図１実施例に適用されるフィルタ回路の構成の一例を示すブロック図である。 図１実施例に適用される後処理回路の構成の一例を示すブロック図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１６ …イメージセンサ
２０ …前処理回路
２２ …動き検出回路
２８ …ＣＰＵ
３６ …フィルタ回路
３８ …後処理回路
４４ …Ｉ／Ｆ
４６ …記録媒体

Claims (12)

1. 被写界の光学像が照射される撮像面を有し、被写界像を周期的に生成する撮像手段、
   前記撮像手段によって指定周期毎に生成された複数の被写界像を合成する合成手段、
   光軸に直交する方向における前記撮像面の動きを前記合成手段によって注目される複数の被写界像の各々に対応して検出する検出手段、および
   前記合成手段による画像合成位置を前記検出手段によって検出された動きを参照して調整する調整手段を備え、
   前記合成手段は、前記複数の被写界像に共通する複数の画素を選択し、該複数の画素のうち既定番目の大きさの画素値を有する画素を出力する、電子カメラ。
2. 前記合成手段は、前記複数の被写界像の各々から指定エリアに属する部分被写界像を抽出する抽出手段、および前記抽出手段によって抽出された複数の部分被写界像を合成する部分被写界像合成手段を含み、
   前記複数の画素は、前記部分被写界像に含まれる画素である請求項１記載の電子カメラ。
3. 前記指定周期の長さを変更指示に応答して変更する変更手段を含む請求項１または２記載の電子カメラ。
4. 前記合成手段はメディアンフィルタまたはランクフィルタを含む、請求項１乃至３記載の電子カメラ。
5. 前記調整手段は前記撮像面の動きが補償されるように前記指定エリアの位置を調整する、請求項１乃至４記載の電子カメラ。
6. 前記撮像手段によって生成された被写界像に基づく動画像を出力する出力手段、および
   前記合成手段によって注目される複数の被写界像が生成された後に前記合成手段を起動する起動手段をさらに備える、請求項１乃至５のいずれかに記載の電子カメラ。
7. 被写界の光学像が照射される撮像面を有し、被写界像を周期的に生成する撮像手段、および前記撮像手段によって指定周期毎に生成された複数の被写界像を合成する合成手段を備える電子カメラのプロセッサに、
   光軸に直交する方向における前記撮像面の動きを前記合成手段によって注目される複数の被写界像の各々に対応して検出する検出ステップ、
   前記合成手段による画像合成位置を前記検出ステップによって検出された動きを参照して調整する調整ステップ、
   前記複数の被写界像に共通する複数の画素を選択する選択ステップ、および
   前記複数の画素のうち既定番目の大きさの画素値を有する画素を出力する出力ステップ、を実行させるための、撮像制御プログラム。
8. 被写界の光学像が照射される撮像面を有し、被写界像を周期的に生成する撮像手段、および前記撮像手段によって指定周期毎に生成された複数の被写界像を合成する合成手段を備える電子カメラによって実行される撮像制御方法であって、
   光軸に直交する方向における前記撮像面の動きを前記合成手段によって注目される複数の被写界像の各々に対応して検出する検出ステップ、
   前記合成手段による画像合成位置を前記検出ステップによって検出された動きを参照して調整する調整ステップ、
   前記複数の被写界像に共通する複数の画素を選択する選択ステップ、および
   前記複数の画素のうち既定番目の大きさの画素値を有する画素を出力する出力ステップ、を備える、撮像制御方法。
9. 被写界の光学像が照射される撮像面を有し、被写界像を指定周期で生成する撮像手段、
   前記撮像手段によって生成された複数の被写界像の中からＮ個（Ｎ：２以上の整数）の被写界像を選択する選択手段、
   前記選択手段によって選択されたＮ個の被写界像を合成する合成手段、
   前記合成手段によって作成された被写界像に基づく動画像を出力する出力手段、および
   前記合成手段による画像合成位置を光軸に直交する方向における前記撮像面の動きを参照して調整する調整手段を備え、
   前記合成手段は、前記Ｎ個の被写界像に共通する複数の画素を選択し、該複数の画素のうち既定番目の大きさの画素値を有する画素を出力する、電子カメラ。
10. 前記合成手段は、前記Ｎ個の被写界像の各々から指定エリアに属する部分被写界像を抽出する抽出手段、および前記抽出手段によって抽出されたＮ個の部分被写界像を合成する部分被写界像合成手段を含み、
    前記調整手段は前記撮像面の動きが補償されるように前記指定エリアの位置を調整する、請求項９記載の電子カメラ。
11. 前記部分被写界像合成手段は、前記Ｎ個の部分被写界像に共通する複数の画素を選択する画素選択手段、および前記画素選択手段によって選択された複数の画素に基づいて１つの画素を出力する画素出力手段を含む、請求項１０記載の電子カメラ。
12. 前記選択手段の選択態様を前記指定周期で変更する変更手段を含む、請求項１１記載の電子カメラ。

Images