JP6518503B2 - 撮像装置、及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置、及び撮像装置の制御方法に関する。

撮像装置は、一般的に、光に基づいて画像を撮像する撮像素子と、撮像素子に光を結像させるレンズなどの光学系と、光学系を透過した光が撮像素子に入射する時間を制御するシャッタと、撮像素子により撮像した画像を表示する表示装置と、を備える。撮像装置は、撮像素子により撮像した画像を表示装置に逐次表示するスルー画表示を行うことにより、ユーザに被写体を確認させることができる。

特開２００９−２６０５１０号公報

上記のような撮像装置は、撮像動作を実行する場合、スルー画の撮像を停止し、シャッタを動作させて静止画を撮像する。撮像装置は、露光が完了した場合、シャッタを開き、スルー画の撮像を再開する。撮像装置は、露光完了後のシャッタが開ききっていないタイミングでは、スルー画を撮像することができずにスルー画の表示を暗転させる。この為、ユーザが被写体を見失う可能性があり、利便性を損なう可能性があるという課題がある。

本発明は、より利便性の高い撮像装置、及び撮像装置の制御方法を提供することを目的とする。

一実施形態に係る撮像装置は、撮像用画素が配列された撮像面を備える撮像素子と、前記撮像面に被写体像を結像させる撮像レンズと、前記撮像レンズと前記撮像面との間に設けられ、静止画を取得する際に前記撮像レンズを通り前記撮像面に入射する光の光量を調整するシャッタユニットと、前記シャッタユニットを駆動させて前記撮像素子により前記静止画を撮像し、前記シャッタユニットが開放状態である場合に前記撮像素子により第１のスルー画を撮像し、前記シャッタユニットが半遮光状態である場合に前記撮像レンズを通った光の一部が前記シャッタユニットによって遮光されて形成された被遮光領域を含む第２のスルー画を前記撮像素子により撮像する撮像制御部と、前記第２のスルー画の前記被遮光領域に前記静止画の一部である被合成画像を重畳させて合成スルー画を生成する画像加工部と、前記第１のスルー画と前記合成スルー画とを用いて表示装置にスルー画表示を行わせる表示制御部と、を具備する。

より利便性の高い撮像装置、及び撮像装置の制御方法を提供することができる。

図１は、一実施形態に係る撮像装置の制御系の例について説明する為の図である。 図２は、一実施形態に係る撮像装置の外観の例について説明する為の図である。 図３は、一実施形態に係る撮像装置のシャッタユニット近傍の構成の例について説明する為の図である。 図４は、一実施形態に係る撮像装置の動作の例について説明する為の図である。 図５は、一実施形態に係る撮像装置の動作の例について説明する為の図である。 図６は、一実施形態に係る撮像装置の表示例について説明する為の図である。 図７は、一実施形態に係る撮像装置の表示例について説明する為の図である。 図８は、一実施形態に係る撮像装置の動作の例について説明する為の図である。 図９は、一実施形態に係る撮像装置の動作の例について説明する為の図である。

以下、図を参照しながら、一実施形態に係る撮像装置、及び撮像装置の制御方法について詳細に説明する。

図１及び図２に示すように、撮像装置１は、レンズ１０、シャッタユニット１１、撮像素子１２、信号処理部１３、画像処理部１４、操作部１５、表示部１６、メモリＩ／Ｆ１７、加速度センサ１８、及び主制御部１９を備える。

レンズ１０は、透過した光を撮像素子１２に結像させる。レンズ１０は、複数のレンズが組み合わされた撮像レンズと、絞り機構と、撮像レンズ及び絞り機構の動作を制御するレンズ制御部と、フォーカスリングと、ズームリングと、を備える。

撮像レンズは、被写体からの光線を、撮像素子１２の撮像面上に結像させる。撮像レンズは、合焦用のレンズ（フォーカスレンズ）と、焦点距離を変更する為のレンズ（バリエータレンズ及びコンペンセータレンズ）と、リレーレンズと、を備える。撮像レンズは、レンズ制御部の制御またはフォーカスリングの操作に基づいてフォーカスレンズを撮像レンズの光軸方向に移動させることによって被写体像を撮像素子１２の撮像面上に結像させる。また、撮像レンズは、レンズ制御部の制御またはズームリングの操作に基づいてバリエータレンズ及びコンペンセータレンズを撮像レンズの光軸方向に移動させることによって焦点距離を変更する。

絞り機構は、開閉自在に構成され、撮像レンズを介して撮像素子１２に入射する光線の量をレンズ制御部の制御に基づいて調整する。

レンズ制御部は、主制御部１９と通信可能に構成される。レンズ制御部は、主制御部１９からの入力、フォーカスリングの操作、及びズームリングの操作に従って、フォーカスレンズの駆動、バリエータレンズ及びコンペンセータレンズの駆動、及び絞り機構の駆動をそれぞれ制御する。また、レンズ制御部は、バリエータレンズ及びコンペンセータレンズの位置を検出することにより撮像レンズの焦点距離を検出することができる。レンズ制御部は、検出した撮像レンズの焦点距離を主制御部１９に入力する。

シャッタユニット１１は、レンズ１０を透過して撮像素子１２に入射する光の光量を調整する機構である。シャッタユニット１１は、例えばフォーカルプレーンシャッタである。シャッタユニット１１は、図３に示すようにレンズ１０と撮像素子１２との間に設けられ、レンズ１０を透過した光を撮像素子１２の撮像面に入射させる開放状態と、レンズ１０を透過した光から撮像素子１２の撮像面を遮光する遮光状態と、を作る。シャッタユニット１１は、先幕２１と、後幕２２と、先幕２１及び後幕２２を駆動するシャッタ駆動装置２３を備える。シャッタ駆動装置２３は、主制御部１９から入力されたシャッタ速度に基づく速度及びタイミングで先幕２１及び後幕２２を動作させてレンズ１０を透過した光が撮像素子１２の撮像面に入射する露光時間を調整することにより、撮像素子１２に入射する光の光量を調整する。

シャッタユニット１１は、撮像装置１が静止画を記録する撮像動作を実行可能な状態である撮像待機状態では、先幕２１及び後幕２２が完全に開いた状態である開放状態を維持する。先幕２１は、シャッタユニット１１の下部に設けられ、後幕２２は、シャッタユニット１１の上部に設けられている。シャッタユニット１１は、撮像動作を実行する場合、初めに先幕２１を下から上に閉じる動作を開始する。先幕２１を閉じる動作を開始してから先幕２１が完全に閉まるまでの間、シャッタユニット１１は、撮像素子１２の一部が先幕２１により遮光された半遮光状態を作る。先幕２１が完全に閉じると、シャッタユニット１１は、先幕２１を上から下に開く動作を開始すると共に、後幕２２を上から下に閉じる動作を開始する。この場合、上から下に開く先幕２１と上から下に閉じる後幕２２との間に形成されるスリットを通った光が撮像素子１２に入射する。先幕２１が完全に開き、且つ後幕２２が完全に閉まると、シャッタユニット１１は、後幕２２を下から上に開く動作を開始する。後幕２２を開く動作を開始してから後幕２２が完全に開くまでの間、シャッタユニット１１は、撮像素子１２の一部が後幕２２により遮光された半遮光状態を作る。後幕２２が完全に開くと、先幕２１及び後幕２２が再び開放状態になり、撮像装置１が撮像待機状態になる。シャッタユニット１１は、例えば先幕２１及び後幕２２の開閉状態を検出するセンサを備える。シャッタユニット１１は、このセンサによって先幕２１及び後幕２２の開閉状態を検出することにより、シャッタユニット１１が開放状態であるか半遮光状態であるかを検出することができる。シャッタユニット１１は、例えばフォトカプラなどの光センサ、または磁気センサなどを先幕２１及び後幕２２の開閉状態を検出するセンサとして備える。

撮像素子１２は、レンズ１０の後部、即ち撮像装置１の筐体の内部側に設けられる。撮像素子１２は、光を光電変換し電荷を蓄える撮像用画素が複数配列されて構成された撮像面を備える。各撮像用画素の光が入射する面には、カラーフィルタが設けられている。撮像素子１２は、例えば、Charge Coupled Devices（ＣＣＤ）イメージセンサ、Complementary Metal Oxide Semiconductor（ＣＭＯＳ）イメージセンサ、または他の撮像素子により構成される。撮像素子１２は、レンズ１０を介して集光されて撮像面に結像された被写体像を光量に応じた電気信号に変換することにより、画像信号を生成する。さらに、撮像素子１２には、撮像面上に複数のＡＦエリアが構成されている。ＡＦエリアには、複数の撮像用画素と、複数の第１の合焦用画素と、複数の第２の合焦用画素とが配列されている。第１の合焦用画素と、第２の合焦用画素とは、入射領域が異なる位置で制限されている。第１の合焦用画素及び第２の合焦用画素は、撮像用画素と同様に入射した光を光電変換し電荷を蓄える。撮像素子１２の撮像面は、例えば複数の撮像用画素が二次元状に配列されて構成される。なお、二次元状と記載しているが、これは必ずしも、深さ方向に感度を持つ撮像素子やランダム画素配置の撮像素子を除いた概念ではなく、すくなくとも平面上に並んだ画素を有するものであれば、これらを含むものである。また、近年、収差対策に撮像面を湾曲させた湾曲型のセンサも発表されているが、これも二次元的な配列部分は含まれているので、広義には二次元と言えるものとして記載した。

信号処理部１３は、撮像素子１２によって撮像された画像信号を主制御部１９の制御に基づいて読み出す。信号処理部１３は、読み出した画像信号に対して主制御部１９の制御に基づいて種々の信号処理を施す。信号処理部１３は、信号処理を施した画像信号をディジタル信号の画像データに変換し、主制御部１９に入力する。

画像データは、静止画と、スルー画と、を含む。静止画は、上記の撮像動作によって撮像素子１２により撮像された画像データを示す。また、スルー画は、撮像動作が行われていない場合に撮像素子１２により連続的に撮像された画像データを示す。例えば、信号処理部１３は、撮像素子１２により撮像されたスルー画を主制御部１９の制御に基づく周期で読み出すことにより、連続したスルー画を取得することができる。

スルー画は、第１のスルー画と第２のスルー画とを含む。信号処理部１３は、シャッタユニット１１が開放状態である場合、レンズ１０を透過した光がシャッタユニット１１によって遮られていない第１のスルー画を取得する。また、信号処理部１３は、シャッタユニット１１が半遮光状態である場合、レンズ１０を透過した光の一部がシャッタユニット１１の後幕２２によって遮られた被遮光領域を含む第２のスルー画を取得する。

画像処理部１４は、主制御部１９の制御に基づいて画像データに対して色補正、ガンマ(γ)補正、コントラスト補正、白黒・カラーモード処理、及びスルー画処理などの各種の画像処理を行う。また、画像処理部１４は、主制御部１９の制御に基づいて画像データをＪｐｅｇ方式で圧縮してＪｐｅｇ方式の画像データであるＪｐｅｇデータに変換する。画像処理部１４は、Ｊｐｅｇデータを主制御部１９に入力する。

操作部１５は、ユーザが撮像装置１の各種の操作を行うための複数の操作部材を備える。操作部材は、例えば、レリーズボタン１５ａ、電源ボタン１５ｂ、録画ボタン１５ｃ、十字ボタン１５ｄ、ＯＫボタン１５ｅ、再生ボタン１５ｆ、削除ボタン１５ｇ、メニューボタン１５ｈ、第１の操作ダイアル１５ｉ、第２の操作ダイアル１５ｊ、及び他の種々のボタン等を含む。

レリーズボタン１５ａは、ユーザが撮像装置１に対して静止画を撮像する為の撮像動作及び撮像補助制御を指示するための操作部材である。操作部１５は、レリーズボタン１５ａが半押しされた場合に自動露出（ＡＥ）処理及び自動合焦（ＡＦ）処理などの撮像補助制御の指示を主制御部１９に対して与える。また、操作部１５は、レリーズボタン１５ａが全押しされた場合に静止画を撮像する撮像動作の指示を主制御部１９に対して与える。

電源ボタン１５ｂは、ユーザが撮像装置１に対して電源のオン又はオフを指示するための操作部材である。

録画ボタン１５ｃは、ユーザが撮像装置１に対して動画の撮影の開始及び終了を指示するための操作部材である。

十字ボタン１５ｄは、ユーザが撮像装置１に対して上下左右の選択動作を指示するための操作部材である。例えば、操作部１５は、ユーザによる十字ボタン１５ｄの操作に応じてメニュー内での上下左右の選択動作の指示を主制御部１９に対して与える。また、例えば、操作部１５は、ユーザによる十字ボタン１５ｄの操作に応じて撮像面上の自動合焦を行う領域（ＡＦエリア）の移動の指示を主制御部１９に対して与える。

ＯＫボタン１５Ｅは、ユーザが撮像装置１に対して決定動作を指示するための操作部材である。ＯＫボタン１５Ｅは、例えば十字ボタン１５ｄの中央に配置される。

再生ボタン１５ｆは、ユーザが撮像装置１に対して再生動作を指示するための操作部材である。操作部１５は、ユーザにより再生ボタン１５ｆが操作された場合に記録媒体に記録されている静止画及び動画を再生する指示を主制御部１９に対して与える。

削除ボタン１５ｇは、ユーザが撮像装置１に対して消去動作を指示するための操作部材である。操作部１５は、ユーザにより削除ボタン１５ｇが操作された場合に記録媒体に記録されている静止画及び動画を消去する指示を主制御部１９に対して与える。

メニューボタン１５ｈは、ユーザが撮像装置１に対してメニュー画面の表示を指示するための操作部材である。

第１の操作ダイアル１５ｉ及び第２の操作ダイアル１５ｊは、それぞれユーザが撮像装置１に対して露出制御を指示するための操作部材である。例えば、操作部１５は、ユーザにより第１の操作ダイアル１５ｉまたは第２の操作ダイアル１５ｊが操作された場合に絞り値、シャッタ速度、ＩＳＯ、または露出値などの露出制御に用いられるパラメータを変更する指示を主制御部１９に対して与える。

また、操作部１５は、表示部１６の表示装置と一体に形成されたタッチセンサを備える構成であってもよい。タッチセンサは、例えば抵抗膜式タッチセンサ、または静電容量式タッチセンサである。操作部１５は、上記の操作部材による動作をタッチセンサに対する入力によって実行する構成であってもよい。

表示部１６は、主制御部１９から入力された画像データに基づいて画面を表示する。表示部１６は、表示装置と、画像データに基づいて画面を表示装置に表示させる駆動回路と、を備える。表示部１６は、例えば表示パネル３１表示パネル３１、及び電子ビューファインダー（ＥＶＦ）３２を表示装置として備える。また、表示部１６は、ＥＶＦ３２をユーザが覗いているか否かを検出するアイセンサ３３を備える。表示パネル３１は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、または他の画面を表示する為の装置により構成される。ＥＶＦ３２は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどの表示装置と、接眼光学系と、を備える。

表示部１６は、アイセンサ３３によりユーザがＥＶＦ３２を覗いていることが検出された場合、表示パネル３１の表示をオフにし、ＥＶＦ３２により表示を行わせる。また、表示部１６は、アイセンサ３３によりユーザがＥＶＦ３２を覗いていることが検出されなかった場合、ＥＶＦ３２の表示をオフにし、表示パネル３１により表示を行わせる。

メモリＩ／Ｆ１７は、複数の接触端子を備える記録媒体Ｍを挿入可能なカードスロットと、記録媒体Ｍがカードスロットに挿入された場合に記録媒体Ｍの接触端子と電気的に接続される接触端子と、を備える。記録媒体Ｍは、例えばメモリカードである。メモリＩ／Ｆ１７は、メモリＩ／Ｆ１７は、記録媒体Ｍと主制御部１９との間でのデータの入出力を中継する。

加速度センサ１８は、撮像装置１の筐体の加速度の変化を検出することにより、撮像装置１の筐体の傾きを検出する。また、加速度センサ１８は、撮像装置１の筐体の加速度の変化を検出することにより、撮像装置１のレンズ１０及び筐体が左右に振られるパン（パンニング）が行われているか否か検出する。即ち、加速度センサ１８は、ユーザがパンニングで被写体を追っていることを検出する。

主制御部１９は、撮像装置１の各部の動作を制御する。主制御部１９は、例えばＣＰＵとメモリとを備える。主制御部１９は、例えばＣＰＵがメモリに記憶されているプログラムを読み出して実行することによって種々の機能を実現する。例えば、主制御部１９は、操作判定部４１、撮像制御部４２、記録制御部４３、及び表示制御部４４として機能する。

操作判定部４１は、操作部１５により入力された操作の判定を行う。即ち、操作判定部４１は、操作部１５によりどのような操作が指示されたかを認識する。

撮像制御部４２は、撮像動作を指示する操作が入力された場合、各部を制御して撮像動作を実行する。例えば、撮像制御部４２は、撮像動作を指示する操作が入力された場合、レンズ１０に制御信号を入力して絞り機構を駆動させ、シャッタユニット１１に制御信号を入力して先幕２１及び後幕２２を駆動させることによって、静止画を撮像する撮像動作を実行する。

また、撮像制御部４２は、撮像動作を実行する前に撮像補助制御を実行する。撮像補助制御は、例えば、ＡＦ処理及びＡＥ処理などの処理である。撮像制御部４２は、撮像素子１２により撮像されたスルー画に基づいて撮像補助制御を行う。撮像制御部４２は、撮像補助制御の結果を用いて撮像動作を行う。なお、撮像動作中に撮像素子１２によるスルー画の撮像ができない為、撮像制御部４２は、撮像動作中に撮像補助制御を停止させる。

また、撮像制御部４２は、撮影動作を連続して実行することができる。例えば、撮像制御部４２は、撮像動作を連続して実行する指示する操作が入力された場合、レンズ１０に制御信号を入力して絞り機構を駆動させつつ、シャッタユニット１１を連続して動作させることによって、静止画を連続して撮像する連写撮像動作を実行する。例えば、撮像制御部４２は、操作部１５の操作に基づいて、連写撮像動作を行うモード（連写モード）と連写撮像動作を行わないモードとを切り替える。

また、撮像制御部４２は、撮像素子１２によるスルー画の撮像を制御する。例えば、撮像制御部４２は、撮像素子１２により撮像されたスルー画を予め設定された周期で読み出すように信号処理部１３を制御する。撮像制御部４２は、シャッタユニット１１が開放状態であるタイミングで第１のスルー画を取得するように信号処理部を制御する。また、撮像制御部４２は、シャッタユニット１１が半遮光状態であるタイミングで第２のスルー画を取得するように信号処理部を制御する。

撮像制御部４２は、例えば、ＡＦ制御部５１、露出制御部５２、画角制御部５３、ホワイトバランス（ＷＢ）制御部５４、シーン判定部５５、及びフレーム間ノイズリダクション（ＮＲ）処理部５６を備える。

ＡＦ制御部５１は、ＡＦ処理を制御する。例えば、ＡＦ制御部５１は、撮像素子１２から出力される画像データに基づいてレンズ１０のフォーカスレンズを駆動する為の制御信号を生成し、生成した制御信号をレンズ制御部に入力する。具体的には、ＡＦ制御部５１は、撮像素子１２の撮像面上の任意のＡＦエリアで得られた画像データに基づいてコントラストＡＦ処理、位相差ＡＦ処理、または他のＡＦ処理を行うことによりレンズ１０のフォーカスレンズを駆動する為の制御信号を生成する。例えば、ＡＦ制御部５１は、レリーズボタン１５ａが半押しされた場合にＡＦを一度行うシングルオートフォーカスモード（ＡＦ−Ｓ）、レリーズボタン１５ａが半押しされている間継続してＡＦを行うコンティニュアスオートフォーカスモード（ＡＦ−Ｃ）、または他のオートフォーカスモードを備える。

コントラストＡＦ処理を行う場合、ＡＦ制御部５１は、撮像素子１２から出力される画像データに基づいて撮像素子１２の撮像面上の任意のＡＦエリアに結像された被写体像のコントラスト（明暗差）を算出するとともにフォーカスレンズを移動させる為の制御信号をレンズ１０のレンズ制御部に入力する。ＡＦ制御部５１は、明暗差が最大になる位置でフォーカスレンズの移動を停止させるようにレンズ１０のレンズ制御部を制御する。

位相差ＡＦ処理を行う場合、ＡＦ制御部５１は、撮像素子１２の撮像面上の任意のＡＦエリアに配置された複数の第１の合焦用画素により検出された画像データと、複数の第２の合焦用画素により検出された画像データと、で同じ被写体像の位置を比較して像間隔を検出する。ＡＦ制御部５１は、検出した像間隔に基づいて、現在のフォーカスレンズの位置と合焦位置とのズレ量を算出する。ＡＦ制御部５１は、算出したズレ量に基づいて制御信号を生成し、生成した制御信号をレンズ１０のレンズ制御部に入力することにより、フォーカスレンズを合焦位置に移動させるようにレンズ１０のレンズ制御部を制御する。

露出制御部５２は、露出条件を制御する。例えば、露出制御部５２は、撮影時のレンズ１０の絞り機構の開口量（絞り値）、シャッタユニット１１の開放時間（シャッタ速度）、及び撮像素子１２の感度（ＩＳＯ感度）等の露出条件を制御する。例えば、露出制御部５２は、操作部１５の操作に基づいて絞り値、シャッタ速度、及びＩＳＯ感度等の露出条件を設定する。

また、露出制御部５２は、撮像素子１２から出力される画像データに基づいて露出制御のための演算処理を行なう。露出制御部５２は、例えば、撮像素子１２から出力される画像データに基づいて被写体輝度を算出する。露出制御部５２は、操作部１５の操作によって露出値を設定し、被写体輝度が設定された露出値になるように、撮影時の絞り値、シャッタ速度、及びＩＳＯ感度等の露出条件を設定するＡＥ処理を行う。例えば、露出制御部５２は、撮像素子１２から出力される画像データのうちの一部の領域（ＡＥエリア）に基づいて被写体輝度を算出し、ＡＥ処理を行う。また、例えば、露出制御部５２は、複数のＡＥエリア毎に被写体輝度を算出し、複数の被写体輝度を統合してＡＥ処理を行う構成であってもよい。

画角制御部５３は、レンズ１０のレンズ制御部からの入力に基づいて、撮像レンズの焦点距離を認識し、認識した焦点距離に応じた制御を行う。また、画角制御部５３は、操作部１５の操作に基づいてレンズ１０の撮像レンズの焦点距離を変更する為の制御信号を生成し、生成した制御信号をレンズ１０のレンズ制御部に入力する。

ＷＢ制御部５４は、撮像素子１２から出力される画像データに基づいてホワイトバランスを制御するための演算処理を行う。ＷＢ制御部５４は、演算処理の結果を用いて撮像素子１２のＲＧＢの各画素のゲインを制御する。

シーン判定部５５は、撮像素子１２から出力される画像データに基づいてシーンを判定する。シーンは、例えば風景、人物、スポーツ、夜景などである。例えば、シーン判定部５５は、判定したシーンを示す情報を露出制御部５２に入力することによって、シーンに対応した露出制御を露出制御部５２に行わせることができる。

フレーム間ＮＲ処理部５６は、撮像素子１２から出力される複数フレームの画像データを用いて既知のアルゴリズムを使用して画像データのノイズを低減させるノイズリダクションを行う。例えば、フレーム間ＮＲ処理部５６は、前のフレームの画像データと、今回のフレームの画像データとで対応する座標の画素値の差が予め設定された値以下になるように複数フレーム間に亘って平滑化を行う。

記録制御部４３は、静止画及び動画を一時的に記録する中間バッファを備える。記録制御部４３は、撮像動作によって取得した静止画、及び動画等を中間バッファに逐次記録する。記録制御部４３は、中間バッファに記録されている静止画及び動画等をファイル化し、メモリＩ／Ｆ１７に装着されている記録媒体Ｍに書き込む。静止画ファイルは、静止画の画像データに所定のヘッダが付与されたファイルである。ヘッダには、例えば、露出条件を示すデータ等がタグデータとして記録される。

表示制御部４４は、表示部１６による表示処理を制御する。例えば、表示制御部４４は、表示部１６に画像データを入力することにより表示部１６の表示装置に表示させる画面を制御する。例えば、表示制御部４４は、撮像動作によって撮像素子１２により生成された静止画を表示部１６に入力することにより、表示部１６に静止画の表示を行わせる。また、表示制御部４４は、撮像制御部４２により読み出したスルー画を表示部１６に入力することにより、表示部１６にスルー画表示を行わせる。

さらに、表示制御部４４は、各種の設定情報及び撮像装置１の状態などに基づいて種々のアイコン及び文字などの表示を含むオンスクリーンディスプレイ（ＯＳＤ）表示を表示部１６に表示させるためのＯＳＤデータを生成する。例えば、表示制御部４４は、撮像装置１の撮影モード、各種の設定情報、バッテリー残量、撮影可能枚数及び撮影可能時間、並びにＡＦエリアなどを表示部１６の表示装置に表示させるためのＯＳＤデータを生成する。表示制御部４４は、ＯＳＤデータに基づくＯＳＤ表示を重畳させた画像データを表示部１６に入力する。

図４及び図５は、上からスルー画の撮像、撮像動作、シャッタユニット１１の先幕２１の動作、シャッタユニット１１の後幕２２の動作、及びスルー画の表示のタイミングを示すタイミングチャートである。図４は、撮像装置１の状態が特定条件に該当しない通常時の例を示す。図５は、撮像装置１の状態が特定条件に該当する特定条件時の例を示す。

例えば、表示制御部４４は、撮像装置１の状態が特定条件に該当しない通常時に第１のスルー画を用いてスルー画表示を行うように表示部１６を制御する。図４に示されるように、表示制御部４４は、撮像制御部４２の制御によって取得された第１のスルー画を逐次表示部１６に入力し、表示部１６にスルー画表示を行わせる。この場合、撮像動作中に撮像素子１２によるスルー画の撮像ができない為、表示制御部４４は、撮像動作中の表示部１６によるスルー画の表示を停止させる。表示制御部４４は、撮像動作後シャッタユニット１１の後幕２２が完全に開いてシャッタユニット１１が開放された場合、第１のスルー画７４を表示部１６に入力し、表示部１６にスルー画表示を再開させる。なお、表示制御部４４は、撮像動作完了後、撮像動作によって取得した静止画を所定時間表示部１６に表示させる確認表示を行ってもよい。

また、例えば、表示制御部４４は、図５に示されるように、撮像装置１の状態が特定条件に該当する特定条件時に合成スルー画、及び静止画を用いてスルー画表示を行うように表示部１６を制御する。例えば、表示制御部４４は、撮像動作が完了してからシャッタユニット１１の後幕２２が開ききるまでの間に合成スルー画を表示部１６に入力し、表示部１６にスルー画表示を行わせる。表示制御部４４は、シャッタユニット１１の後幕２２が完全に開いてシャッタユニット１１が開放された場合、第１のスルー画を表示部１６に入力し、表示部１６にスルー画表示を行わせる。なお、表示制御部４４は、撮像動作の完了直後に撮像動作によって取得された静止画をスルー画として表示部１６に入力し、表示部１６にスルー画表示を行わせてもよい。例えば、表示制御部４４は、撮像動作によって撮像した静止画を１フレームまたは複数フレーム分のスルー画として表示部１６に表示させる。

特定条件は、より早くユーザにスルー画を確認させる必要がある場面を示す。例えば、特定条件は、連写モード時、ＥＶＦ３２をユーザが覗いている、パンニングで被写体を追っている、オートフォーカスのモードがＡＦ−Ｃである、シャッタ速度が予め設定されたシャッタ速度よりも速い、及びレンズ１０の撮像レンズの焦点距離が予め設定された焦点距離よりも長いなどの条件を含む。表示制御部４４は、撮像制御部４２の設定状況、アイセンサ３３の出力、及び加速度センサ１８の出力などに基づいて撮像装置１の状態を認識し、認識した撮像装置１の状態が上記のような特定条件のいずれかに該当する場合、特定条件時であると判断する。

表示制御部４４は、例えば、被遮光領域判定部６１、及び画像加工部６３を備える。

被遮光領域判定部６１は、撮像素子１２によりスルー画が撮像された際のシャッタユニット１１の動作の状態に応じてスルー画が第１のスルー画であるか第２のスルー画であるかを判定する。例えば、被遮光領域判定部６１は、撮像素子１２によりスルー画が撮像された際にシャッタユニット１１の後幕２２が開く動作の途中である場合、スルー画が第２のスルー画であると判定する。

さらに、被遮光領域判定部６１は、第２のスルー画の中の被遮光領域を特定する。例えば、被遮光領域判定部６１は、第２のスルー画が撮像された際のシャッタユニット１１の後幕２２の位置に基づいて第２のスルー画の中の被遮光領域を特定する。また、例えば、被遮光領域判定部６１は、第２のスルー画の中の予め設定された値より暗い領域を被遮光領域として特定する。

画像加工部６３は、第２のスルー画の中の被遮光領域に他の画像データを合成する。例えば、画像加工部６３は、撮像素子１２により撮像された第２のスルー画と直近の静止画とを合成することが可能か否か判定する。

例えば、画像加工部６３は、直近の静止画と、被遮光領域を除いた第２のスルー画との類似度を算出し、算出した類似度が予め設定された値以上である場合、第２のスルー画と直近の静止画とを合成することが可能であると判定する。

また、例えば、画像加工部６３は、直近の静止画と、被遮光領域を除いた第２のスルー画とで共通した被写体像をパターンマッチングなどによって抽出し、共通した被写体像が存在する場合に第２のスルー画と直近の静止画とを合成することが可能であると判定する。

画像加工部６３は、第２のスルー画と直近の静止画とを合成することが可能であると判定した場合、第２のスルー画の中の被遮光領域に直近の静止画を合成し、合成スルー画を生成する。

図６の左上の画像は、静止画７１の例を示す。図６の右上の画像は、被遮光領域７２を含む第２のスルー画７３の例を示す。図６の下の画像は、静止画７１と第２のスルー画７３とが合成された合成スルー画７６の例を示す。画像加工部６３は、図６に示すように、静止画７１上の第２のスルー画７３の被遮光領域７２と同じ領域の画像を被合成画像７５として抽出する。画像加工部６３は、抽出した被合成画像７５を第２のスルー画７３の被遮光領域７２に重畳することにより、第２のスルー画７３と直近の静止画７１とが合成された合成スルー画７６を生成する。なお、ここでは、スルー画を再開する時のタイミングを強調するために、後幕の閉から開までの過程を強調した作図としたが、もちろん、先幕が開いた状態から閉じた状態になる過程でも、だんだん見えなくなるという同様の現象が起こりうる。図５、図６では、先幕開から閉の傾きを立ててあるが、これはもっと緩やかな勾配になりうる。このような状態で半開き現象が見えるように表示制御すれば追従性がよくなる点は、本実施例で記載した内容とほとんど同じなので、説明の煩雑さを避けてあえて詳細な図示、説明をしていない。

また、例えば、画像加工部６３は、第２のスルー画の中の被遮光領域に他の画像データを補正した上で合成し、合成スルー画を生成する。図７の左上の画像は、静止画７１の例を示す。図７の左下の画像は、被遮光領域７２を含む第２のスルー画７３の例を示す。図７の右上の画像は、補正された被合成画像７５の例を示す。図７の右下の画像は、静止画７１と第２のスルー画７３とが合成された合成スルー画７８の例を示す。例えば、画像加工部６３は、図７に示すように、直近の静止画７１と、被遮光領域７２を除いた第２のスルー画７３とで共通した被写体像７７を抽出し、それぞれの画像から抽出した被写体像７７の横軸方向（長手方向）における位置の差分を算出する。

画像加工部６３は、算出した差分を用いて静止画７１の中の被合成画像７５を補正する。具体的には、画像加工部６３は、算出した差分をキャンセルするように被合成画像７５の位置を補正する。即ち、画像加工部６３は、算出した差分だけ被合成画像７５を横軸方向にシフトさせる。画像加工部６３は、補正された被合成画像７５を第２のスルー画７３の被遮光領域７２に重畳することにより、補正された被合成画像７５と第２のスルー画７３とが合成された合成スルー画７８を生成する。画像加工部６３は、被合成画像７５の補正を行うか否かを操作部１５による操作入力に基づいて設定する。画像加工部６３は、この設定に基づいて被合成画像７５の補正を行うか否かを判定する。

例えば、表示制御部４４は、撮像動作の完了直後に撮像動作によって取得された静止画７１をスルー画として表示部１６に入力し、表示部１６にスルー画表示を行わせる。例えば、表示制御部４４は、撮像動作によって撮像した静止画７１を１フレームまたは複数フレーム分のスルー画として表示部１６に表示させる。さらに、表示制御部４４は、撮像動作が完了してからシャッタユニット１１の後幕２２が開ききるまでの間に合成スルー画７６または合成スルー画７８を表示部１６に入力し、表示部１６にスルー画表示を行わせる。表示制御部４４は、シャッタユニット１１の後幕２２が完全に開いてシャッタユニット１１が開放された場合、第１のスルー画を表示部１６に入力し、表示部１６にスルー画表示を行わせる。

なお、画像加工部６３は、被合成画像７５に対してボカシ補正、モノクロ化などの画像処理を施した上で第２のスルー画７３と合成することにより合成スルー画７６または合成スルー画７８を生成する構成であってもよい。

次に図８乃至図９を用いて一実施形態に係る撮像装置１の動作について詳細に説明する。

撮像装置１が撮像待機状態である場合、主制御部１９は、撮像素子１２により第１のスルー画を撮像する（ステップＳ１１）。主制御部１９は、表示部１６に第１のスルー画を入力することにより、表示部１６の表示装置に第１のスルー画を表示させる（ステップＳ１２）。

主制御部１９は、操作部１５のレリーズボタン１５ａが半押しされた否か判断する（ステップＳ１３）。即ち、主制御部１９は、ＡＥ処理及びＡＦ処理などの撮像補助制御を指示する操作が操作部１５により入力されたか否か判断する。操作部１５のレリーズボタン１５ａが半押しされたと判断した場合（ステップＳ１３、ＹＥＳ）、主制御部１９は、ＡＥ処理及びＡＦ処理などの撮像補助制御を実行する（ステップＳ１４）。

主制御部１９は、操作部１５のレリーズボタン１５ａが全押しされた否か判断する（ステップＳ１５）。即ち、主制御部１９は、撮像動作を指示する操作が操作部１５により入力されたか否か判断する。操作部１５のレリーズボタン１５ａが全半押しされたと判断した場合（ステップＳ１５、ＹＥＳ）、主制御部１９は、スルー画表示を停止させ、撮像動作を実行する（ステップＳ１６）。この場合、主制御部１９は、シャッタユニット１１を動作させ、撮像素子１２により静止画７１を撮像し、静止画７１をファイル化して記録媒体Ｍに記録する。

主制御部１９は、撮像装置１の状態が上記のような特定条件に該当するか否か判断する（ステップＳ１７）。主制御部１９は、撮像装置１の状態が特定条件に該当しないと判断した場合（ステップＳ１７、ＮＯ）、撮像動作後に後幕２２が完全に開くことによりシャッタユニット１１が開放されたか否か判断する（ステップＳ１８）。即ち、主制御部１９は、撮像動作後にシャッタユニット１１が開放状態になったか否か判断する。主制御部１９は、シャッタユニット１１が開放されるまでステップＳ１８の処理を実行する。

主制御部１９は、ステップＳ１８でシャッタユニット１１が開放されたと判断した場合（ステップＳ１８、ＹＥＳ）、処理を終了するか否か判断する（ステップＳ１９）。即ち、主制御部１９は、例えば、操作部１５の電源ボタン１５ｂなどが操作され、処理を終了する指示が操作部１５により入力されたか否か判断する。処理を終了すると判断した場合（ステップＳ１９、ＹＥＳ）、主制御部１９は、電源をＯＦＦし処理を終了する。また、処理を終了しないと判断した場合（ステップＳ１９、ＮＯ）、主制御部１９は、ステップＳ１１の処理に戻る。

また、主制御部１９は、ステップＳ１３で操作部１５のレリーズボタン１５ａが半押しされていないと判断した場合（ステップＳ１３、ＮＯ）、またはステップＳ１５で操作部１５のレリーズボタン１５ａが全半押しされていないと判断した場合（ステップＳ１５、ＮＯ）、ステップＳ１９の処理に移る。

上記したように、主制御部１９は、撮像装置１の状態が特定条件に該当しない場合、撮像動作後にシャッタユニット１１が開放されるまでの間、第１のスルー画の表示を停止させる。

主制御部１９は、ステップＳ１７で撮像装置１の状態が特定条件に該当すると判断した場合（ステップＳ１７、ＹＥＳ）、ステップＳ１６の撮像動作によって取得した静止画７１を所定フレーム分のスルー画として表示部１６に入力し、表示部１６によりスルー画表示させる。（ステップＳ２１）。

主制御部１９は、撮像動作後にシャッタユニット１１が開放されたか否か判断する（ステップＳ２２）。撮像動作後にシャッタユニット１１が開放されたと判断した場合（ステップＳ２２、ＹＥＳ）、主制御部１９は、ステップＳ１９の処理に移る。

撮像動作後にシャッタユニット１１が開放されていないと判断した場合（ステップＳ２２、ＮＯ）、主制御部１９は、第２のスルー画７３を撮像素子１２により撮像する（ステップＳ２３）。

主制御部１９は、直近の撮像動作で取得した静止画７１と、ステップＳ２３の処理で取得した第２のスルー画７３とを比較する（ステップＳ２４）。比較の結果に基づいて、主制御部１９は、撮像素子１２により撮像された第２のスルー画７３と直近の静止画７１とを合成することが可能か否か判定する（ステップＳ２５）。

第２のスルー画７３と直近の静止画７１とを合成することが不可能であると判定した場合（ステップＳ２５、ＮＯ）、主制御部１９は、第２のスルー画７３を表示部１６に入力し、表示部１６によりスルー画表示させ（ステップＳ２６）、ステップＳ２２の処理に戻る。

第２のスルー画７３と直近の静止画７１とを合成することが可能であると判定した場合（ステップＳ２５、ＹＥＳ）、主制御部１９は、静止画７１の中の被合成画像７５の補正を行うか否か判定する（ステップＳ２７）。

被合成画像７５の補正を行わないと判定した場合（ステップＳ２７、ＮＯ）、主制御部１９は、被合成画像７５を第２のスルー画７３の被遮光領域７２に重畳することにより第２のスルー画７３と直近の静止画７１とが合成された合成スルー画７６を生成する（ステップＳ２８）。主制御部１９は、ステップＳ２８で生成された合成スルー画７６を表示部１６に入力し、表示部１６によりスルー画表示させ（ステップＳ２９）、ステップＳ２２の処理に戻る。

被合成画像７５の補正を行うと判定した場合（ステップＳ２７、ＹＥＳ）、主制御部１９は、第２のスルー画７３と直近の静止画７１とで共通した被写体像７７の横軸方向における位置の差分を算出する（ステップＳ３０）。主制御部１９は、ステップＳ２８で算出した差分に基づいて被合成画像７５を補正する（ステップＳ３１）。主制御部１９は、補正された被合成画像７５を第２のスルー画７３の被遮光領域に重畳することにより補正された被合成画像７５と第２のスルー画７３とが合成された合成スルー画７８を生成する（ステップＳ３２）。主制御部１９は、ステップＳ３２で生成された合成スルー画７８を表示部１６に入力し、表示部１６によりスルー画表示させ（ステップＳ３３）、ステップＳ２２の処理に戻る。

主制御部１９は、撮像動作後にシャッタユニット１１が開放されるまでの間、ステップＳ２３乃至ステップＳ３３の処理を実行する。

上記のステップＳ２８乃至ステップＳ２９の処理によると、主制御部１９の表示制御部４４は、撮像動作が完了してからシャッタユニット１１が開放されるまでの間に合成スルー画７６を表示部１６により表示させる。表示制御部４４は、シャッタユニット１１が開放されてから第１のスルー画を表示部１６により表示させる。

これにより、撮像装置１の状態が特定条件に該当する場合、撮像装置１は、撮像動作が完了してからシャッタユニット１１が開放されるまでの間、静止画７１及び合成スルー画７６を用いてスルー画表示を行わせることができる。即ち、撮像装置１は、撮像動作完了後のシャッタユニット１１が開ききっていないタイミングでスルー画の表示が停止されることを防ぐことができる為、ユーザが被写体を見失う可能性を下げることができる。この結果、より利便性の高い撮像装置、及び撮像装置の制御方法を提供することができる。

またさらに、上記のステップＳ３０乃至ステップＳ３３の処理によると、主制御部１９の表示制御部４４は、撮像装置１は、静止画７１の被合成画像７５を第２のスルー画７３と直近の静止画７１とで共通した被写体像７７の横軸方向における位置の差分に基づいて補正し、被合成画像７５を第２のスルー画７３の被遮光領域に重畳して合成スルー画７８を生成する。撮像装置１は、撮像動作が完了してからシャッタユニット１１が開放されるまでの間に合成スルー画７８を表示部１６により表示させてスルー画表示を行わせることにより、スルー画表示の絵崩れを防止することができる。

なお、上記の実施形態では、撮像装置１がレンズ１０を備える構成について説明したが、この構成に限定されない。撮像装置１は、レンズ１０を装着可能なマウントをレンズ１０の代わりに備える構成であってもよい。

なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…撮像装置、１０…レンズ、１１…シャッタユニット、１２…撮像素子、１３…信号処理部、１４…画像処理部、１５…操作部、１６…表示部、１７…メモリＩ／Ｆ、１８…加速度センサ、１９…主制御部、２１…先幕、２２…後幕、２３…シャッタ駆動装置、３１…表示パネル、３２…電子ビューファインダー、３３…アイセンサ、４１…操作判定部、４２…撮像制御部、４３…記録制御部、４４…表示制御部、５１…ＡＦ制御部、５２…露出制御部、５３…画角制御部、５４…ホワイトバランス制御部、５５…シーン判定部、５６…フレーム間ノイズリダクション処理部、６１…被遮光領域判定部、６３…画像加工部。

Claims (14)

1. 撮像用画素が配列された撮像面を備える撮像素子と、
   前記撮像面に被写体像を結像させる撮像レンズと、
   前記撮像レンズと前記撮像面との間に設けられ、静止画を取得する際に前記撮像レンズを通り前記撮像面に入射する光の光量を調整するシャッタユニットと、
   前記シャッタユニットを駆動させて前記撮像素子により前記静止画を撮像し、前記シャッタユニットが開放状態である場合に前記撮像素子により第１のスルー画を撮像し、前記シャッタユニットが半遮光状態である場合に前記撮像レンズを通った光の一部が前記シャッタユニットによって遮光されて形成された被遮光領域を含む第２のスルー画を前記撮像素子により撮像する撮像制御部と、
   前記第２のスルー画の前記被遮光領域に前記静止画の一部である被合成画像を重畳させて合成スルー画を生成する画像加工部と、
   前記第１のスルー画と前記合成スルー画とを用いて表示装置にスルー画表示を行わせる表示制御部と、
   を具備する撮像装置。
2. 前記被合成画像は、前記第２のスルー画における被遮光領域に相当する領域の前記静止画上の画像である請求項１に記載の撮像装置。
3. 前記画像加工部は、前記第２のスルー画と前記静止画とで共通した被写体像の位置の差分を算出し、算出した差分に基づいて前記被合成画像の位置を補正し、補正された前記被合成画像を前記第２のスルー画の被遮光領域に重畳して前記合成スルー画を生成する請求項２に記載の撮像装置。
4. 前記表示制御部は、静止画の撮像が完了してから前記シャッタユニットが開放状態になるまでの間に前記合成スルー画を用いて前記表示装置にスルー画表示を行わせる請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記表示制御部は、静止画の撮像が完了してから前記シャッタユニットが開放状態になるまでの間に前記静止画と、前記合成スルー画と、を用いて前記表示装置にスルー画表示を行わせる請求項４に記載の撮像装置。
6. 前記表示制御部は、静止画の撮像が完了した直後に予め設定されたフレーム数だけ前記静止画をスルー画として前記表示装置に表示させる請求項５に記載の撮像装置。
7. 前記表示制御部は、前記撮像装置の状態を認識し、認識した状態が予め設定された特定条件に該当する場合に前記合成スルー画によるスルー画表示を行わせ、認識した状態が予め設定された特定条件に該当しない場合に前記合成スルー画によるスルー画表示を行わせない請求項４に記載の撮像装置。
8. 前記表示制御部は、連続して静止画を撮像する連写モードが設定されている場合、前記特定条件に該当すると判断する請求項７に記載の撮像装置。
9. 前記表示制御部は、オートフォーカスのモードがコンティニュアスオートフォーカスモードに設定されている場合、前記特定条件に該当すると判断する請求項７に記載の撮像装置。
10. 前記表示制御部は、予め設定されたシャッタ速度よりも速いシャッタ速度が設定されている場合、前記特定条件に該当すると判断する請求項７に記載の撮像装置。
11. 前記撮像レンズは、焦点距離を可変可能なレンズであり、
    前記表示制御部は、前記撮像レンズの焦点距離が予め設定された焦点距離よりも長い場合、前記特定条件に該当すると判断する請求項７に記載の撮像装置。
12. 前記表示制御部の制御に基づいて画面を表示する電子ビューファインダーと、
    前記電子ビューファインダーの近傍に物体が存在するか否かを検出するアイセンサと、
    をさらに具備し、
    前記表示制御部は、前記アイセンサにより前記電子ビューファインダーの近傍に物体が存在することを検出した場合、前記特定条件に該当すると判断する請求項７に記載の撮像装置。
13. 加速度の変化を検出してパンニングを検出する加速度センサをさらに具備し、
    前記表示制御部は、前記加速度センサによりパンニングが行われていることを検出した場合、前記特定条件に該当すると判断する請求項７に記載の撮像装置。
14. 撮像用画素が配列された撮像面を備える撮像素子と、前記撮像面に被写体像を結像させる撮像レンズと、前記撮像レンズと前記撮像面との間に設けられ、前記撮像レンズを通り前記撮像面に入射する光の光量を調整するシャッタユニットと、を具備する撮像装置の制御方法であって、
    前記シャッタユニットを駆動させて前記撮像素子により静止画を撮像し、
    前記シャッタユニットが開放状態である場合に前記撮像素子により第１のスルー画を撮像し、
    前記シャッタユニットが半遮光状態である場合に前記撮像レンズを通った光の一部が前記シャッタユニットによって遮光されて形成された被遮光領域を含む第２のスルー画を前記撮像素子により撮像し、
    前記第２のスルー画の前記被遮光領域に前記静止画の一部である被合成画像を重畳させて合成スルー画を生成し、
    前記第１のスルー画と前記合成スルー画とを用いて表示装置にスルー画表示を行わせる制御方法。