以下、図を参照しながら、一実施形態に係る撮像装置、及び撮像装置の制御方法について詳細に説明する。
図1は、一実施形態に係る撮像装置1の制御系の例について説明する為の図である。図2は、一実施形態に係る撮像装置1の外観の例について説明する為の図である。図3は、一実施形態に係る撮像装置1のシャッタユニット近傍の構成の例について説明する為の図である。
図1及び図2に示すように、撮像装置1は、レンズ10、シャッタユニット11、撮像素子12、信号処理部13、画像処理部14、操作部15、表示部16、メモリI/F17、加速度センサ18、及び主制御部19を備える。
レンズ10は、透過した光を撮像素子12に結像させる。レンズ10は、複数のレンズが組み合わされた撮像レンズと、絞り機構と、撮像レンズ及び絞り機構の動作を制御するレンズ制御部と、フォーカスリングと、ズームリングと、を備える。
撮像レンズは、被写体からの光線を、撮像素子12の撮像面上に結像させる。撮像レンズは、合焦用のレンズ(フォーカスレンズ)と、焦点距離を変更する為のレンズ(バリエータレンズ及びコンペンセータレンズ)と、リレーレンズと、を備える。撮像レンズは、レンズ制御部の制御またはフォーカスリングの操作に基づいてフォーカスレンズを撮像レンズの光軸方向に移動させることによって被写体像を撮像素子12の撮像面上に結像させる。また、撮像レンズは、レンズ制御部の制御またはズームリングの操作に基づいてバリエータレンズ及びコンペンセータレンズを撮像レンズの光軸方向に移動させることによって焦点距離を変更する。
絞り機構は、開閉自在に構成され、撮像レンズを介して撮像素子12に入射する光線の量をレンズ制御部の制御に基づいて調整する。
レンズ制御部は、主制御部19と通信可能に構成される。レンズ制御部は、主制御部19からの入力、フォーカスリングの操作、及びズームリングの操作に従って、フォーカスレンズの駆動、バリエータレンズ及びコンペンセータレンズの駆動、及び絞り機構の駆動をそれぞれ制御する。また、レンズ制御部は、バリエータレンズ及びコンペンセータレンズの位置を検出することにより撮像レンズの焦点距離を検出することができる。レンズ制御部は、検出した撮像レンズの焦点距離を主制御部19に入力する。
シャッタユニット11は、レンズ10を透過して撮像素子12に入射する光の光量を調整する機構である。シャッタユニット11は、例えばフォーカルプレーンシャッタである。シャッタユニット11は、図3に示すようにレンズ10と撮像素子12との間に設けられ、レンズ10を透過した光を撮像素子12の撮像面に入射させる開放状態と、レンズ10を透過した光から撮像素子12の撮像面を遮光する遮光状態と、を作る。シャッタユニット11は、先幕21と、後幕22と、先幕21及び後幕22を駆動するシャッタ駆動装置23を備える。シャッタ駆動装置23は、主制御部19から入力されたシャッタ速度に基づく速度及びタイミングで先幕21及び後幕22を動作させてレンズ10を透過した光が撮像素子12の撮像面に入射する露光時間を調整することにより、撮像素子12に入射する光の光量を調整する。
シャッタユニット11は、撮像装置1が静止画を記録する撮像動作を実行可能な状態である撮像待機状態では、先幕21及び後幕22が完全に開いた状態である開放状態を維持する。先幕21は、シャッタユニット11の下部に設けられ、後幕22は、シャッタユニット11の上部に設けられている。シャッタユニット11は、撮像動作を実行する場合、初めに先幕21を下から上に閉じる動作を開始する。先幕21を閉じる動作を開始してから先幕21が完全に閉まった遮光状態になるまでの間、シャッタユニット11は、撮像素子12の一部が先幕21により遮光された半遮光状態を作る。先幕21が完全に閉じて遮光状態になると、シャッタユニット11は、先幕21を上から下に開く動作を開始すると共に、後幕22を上から下に閉じる動作を開始する。この場合、上から下に開く先幕21と上から下に閉じる後幕22との間に形成されるスリット(開口部)を通った光が撮像素子12に入射する。先幕21が完全に開き、且つ後幕22が完全に閉まると、シャッタユニット11は、後幕22を下から上に開く動作を開始する。後幕22を開く動作を開始してから後幕22が完全に開くまでの間、シャッタユニット11は、撮像素子12の一部が後幕22により遮光された半遮光状態を作る。後幕22が完全に開くと、先幕21及び後幕22が再び開放状態になり、撮像装置1が撮像待機状態になる。
シャッタユニット11は、例えば先幕21及び後幕22の開閉状態(先幕21及び後幕22の位置)を検出するセンサを備える。シャッタユニット11は、このセンサによって先幕21及び後幕22の開閉状態を検出することにより、シャッタユニット11が開放状態であるか半遮光状態であるかを検出することができる。シャッタユニット11は、例えばフォトカプラなどの光センサ、または磁気センサなどを先幕21及び後幕22の開閉状態を検出するセンサとして備える。また、シャッタユニット11は、例えば先幕21及び後幕22のそれぞれが動作を開始してからの経過時間に応じて先幕21及び後幕22の開閉状態を認識する構成であってもよい。
撮像素子12は、レンズ10の後部、即ち撮像装置1の筐体の内部側に設けられる。撮像素子12は、光を光電変換し電荷を蓄える撮像用画素が複数配列されて構成された撮像面を備える。各撮像用画素の光が入射する面には、カラーフィルタが設けられている。撮像素子12は、例えば、Complementary Metal Oxide Semiconductor(CMOS)イメージセンサ、または他の撮像素子により構成される。撮像素子12は、レンズ10を介して集光されて撮像面に結像された被写体像を光量に応じた電気信号に変換することにより、画像信号を生成する。なお、撮像素子12の撮像面を構成する複数の画素は、平面状に配列されていてもよいし、曲面状に配列されていてもよい。
シャッタユニット11の先幕21と後幕22とにより形成される開口部は、静止画の撮像動作時に撮像面の短手方向に沿って移動する。この為、撮像素子12の撮像面の長手方向に配列された複数の画素から構成される画素群毎(ライン毎)に画像信号の生成が完了する。開口部が撮像面の短手方向の上端から下端まで移動することによって、撮像面を構成する複数の画素群によって画像信号が生成される。
信号処理部13は、撮像素子12によって生成された画像信号を主制御部19の制御に基づいて読み出す。例えば、信号処理部13は、主制御部19から入力される同期信号に応じて撮像素子12から画像信号を読み出す。より具体的には、信号処理部13は、撮像素子12の撮像面を構成する複数の画素からライン毎、即ち撮像面の長手方向に配列された画素群毎に画像信号を読み出す。
信号処理部13は、読み出した画像信号に対して信号処理を施す。例えば、信号処理部13は、読み出したアナログの画像信号をディジタルの画像信号(画像データ)に変換する信号処理を行う。また、信号処理部13は、読み出したアナログの画像信号を主制御部19により設定された増幅率で増幅するゲイン調整を行った上で画像データに変換してもよい。
信号処理部13は、ディジタルの画像信号を書き込むバッファメモリを有する。信号処理部13は、信号処理を施したディジタルの画像信号をバッファメモリに書き込む。より具体的には、信号処理部13は、撮像素子12の撮像面を構成する複数のライン毎に画像信号を読み出し、ディジタルの画像信号に変換し、バッファメモリに書き込む。
画像処理部14は、主制御部19の制御に基づいて信号処理部13により信号処理が施された画像信号(ディジタルの画像信号)に対して画像処理を施す。画像処理は、例えば、色補正、ガンマ(γ)補正、コントラスト補正、白黒・カラーモード処理、リサイズ処理などである。また、画像処理は、画像データを所定のフォーマットに変換する処理を含む。所定のフォーマットは、例えば、Jpeg方式、PNG方式などがある。
画像処理部14は、主制御部19の制御に基づいて画像処理を行い、画像データを記録可能な画像データ(静止画)に変換する。また、画像処理部14は、主制御部19の制御に基づいて画像処理を行い、画像データをスルー画表示が可能な画像データ(スルー画)を変換する。静止画は、上記の撮像動作によってシャッタユニット11を駆動しつつ撮像素子12により生成された画像信号に基づいて生成された画像データである。スルー画は、撮像動作が行われていない場合に撮像素子12から周期的に読み出された画像信号に基づく画像データである。例えば、画像処理部14は、バッファメモリに書き込まれた画像データに対して画像処理を施すことによって静止画またはスルー画を生成する。より具体的には、画像処理部14は、バッファメモリ上の所定の領域に書き込まれた画像データに対して画像処理を施すことによって静止画またはスルー画を生成する。なお、画像処理部14による静止画を生成する為の画像処理を静止画用画像処理と称し、スルー画を生成する為の画像処理をスルー画用画像処理と称する。
操作部15は、ユーザが撮像装置1の各種の操作を行うための複数の操作部材を備える。操作部材は、例えば、タッチセンサ15t、レリーズボタン、十字ボタン、電源ボタン、及び他の種々のボタン等を含む。タッチセンサ15tは、例えば、抵抗膜式タッチセンサ、または静電容量式タッチセンサ等である。即ち、タッチセンサ15tは、ある領域内において指定された位置を示す情報を取得する指定位置取得部である。タッチセンサ15tは、後述する表示部16の表示パネル31と一体に設けられ、表示パネル31上のタッチされた位置を示す信号(タッチ位置信号)を検出し、検出したタッチ位置信号を主制御部19に入力する。
レリーズボタンは、ユーザが撮像装置1に対して画像を取得する為の種々の処理を指示するための操作部材である。操作部15は、レリーズボタンが半押しされた場合に自動露出(AE)処理及び自動合焦(AF)処理などの実行の指示を主制御部19に対して与える。また、操作部15は、レリーズボタンが全押しされた場合に撮像部により画像を取得する撮像動作の指示を主制御部19に対して与える。
十字ボタンは、ユーザが撮像装置1に対して上下左右の選択動作を指示するための操作部材である。例えば、操作部15は、ユーザによる十字ボタンの操作に応じて種々のメニュー内での上下左右の選択動作の指示を主制御部19に対して与える。
電源ボタンは、ユーザが撮像装置1の電源のONOFFを切り替える為の操作部材である。
表示部16は、主制御部19から入力された画像を出力する画像出力部である。表示部16は、主制御部19から入力された画像データに基づいて画面を表示する。表示部16は、表示装置と、画像データに基づいて画面を表示装置に表示させる駆動回路と、を備える。表示部16は、例えば表示パネル31、及び電子ビューファインダー(EVF)32を表示装置として備える。また、表示部16は、EVF32をユーザが覗いているか否かを検出するアイセンサ33を備える。表示パネル31は、例えば液晶ディスプレイ、有機ELディスプレイ、または他の画面を表示する為の装置により構成される。EVF32は、例えば、液晶ディスプレイまたは有機ELディスプレイなどの表示装置と、接眼光学系と、を備える。
表示部16は、アイセンサ33によりユーザがEVF32を覗いていることが検出された場合、表示パネル31の表示をオフにし、EVF32により表示を行わせる。また、表示部16は、アイセンサ33によりユーザがEVF32を覗いていることが検出されなかった場合、EVF32の表示をオフにし、表示パネル31により表示を行わせる。なお、表示部16は、主制御部19から入力された画像を外部の機器に出力する出力部などとして構成されていてもよい。
メモリI/F17は、複数の接触端子を備える記録媒体Mを挿入可能なカードスロットと、記録媒体Mがカードスロットに挿入された場合に記録媒体Mの接触端子と電気的に接続される接触端子と、を備える。記録媒体Mは、例えばメモリカードである。メモリI/F17は、記録媒体Mと主制御部19との間でのデータの入出力を中継する。
加速度センサ18は、撮像装置1の筐体の加速度の変化を検出することにより、撮像装置1の筐体の傾きを検出する。また、加速度センサ18は、撮像装置1の筐体の加速度の変化を検出することにより、撮像装置1のレンズ10及び筐体が左右に振られるパン(パンニング)が行われているか否か検出する。即ち、加速度センサ18は、ユーザがパンニングで被写体を追っていることを検出する。
主制御部19は、撮像装置1の各部の動作を制御する。主制御部19は、例えばCPUとメモリとを備える。主制御部19は、例えばCPUがメモリに記憶されているプログラムを読み出して実行することによって種々の機能を実現する。例えば、主制御部19は、操作判定部41、撮像制御部42、記録制御部43、スルー画処理部44、スルー画制御部45、及び表示制御部46として機能する。
操作判定部41は、操作部15により入力された操作の判定を行う。即ち、操作判定部41は、操作部15によりどのような操作が指示されたかを認識する。
撮像制御部42は、撮像動作を指示する操作が入力された場合、各部を制御して撮像動作を実行する。例えば、撮像制御部42は、撮像動作を指示する操作が入力された場合、レンズ10に制御信号を入力して絞り機構を駆動させ、シャッタユニット11に制御信号を入力して先幕21及び後幕22を駆動させることによって、静止画を撮像する撮像動作を実行する。
また、撮像制御部42は、撮像動作を実行する前に撮像補助制御を実行する。撮像補助制御は、例えば、AF処理及びAE処理などの処理である。撮像制御部42は、撮像素子12により撮像されたスルー画に基づいて撮像補助制御を行う。撮像制御部42は、撮像補助制御の結果を用いて撮像動作を行う。なお、撮像動作中に撮像素子12によるスルー画の撮像ができない為、撮像制御部42は、撮像動作中に撮像補助制御を停止させる。
また、撮像制御部42は、撮影動作を連続して実行することができる。例えば、撮像制御部42は、撮像動作を連続して実行する指示する操作が入力された場合、レンズ10に制御信号を入力して絞り機構を駆動させつつ、シャッタユニット11を連続して動作させることによって、静止画を連続して撮像する連写撮像動作を実行する。例えば、撮像制御部42は、操作部15の操作に基づいて、連写撮像動作を行うモード(連写モード)と連写撮像動作を行わないモードとを切り替える。
記録制御部43は、静止画及び動画を一時的に記録する中間バッファを備える。記録制御部43は、撮像動作によって取得した静止画、及び動画等を中間バッファに逐次記録する。記録制御部43は、中間バッファに記録されている静止画及び動画等をファイル化し、メモリI/F17に装着されている記録媒体Mに書き込む。静止画ファイルは、静止画の画像データに所定のヘッダが付与されたファイルである。ヘッダには、例えば、露出条件を示すデータ等がタグデータとして記録される。
スルー画処理部44は、撮像素子12、信号処理部13、及び画像処理部14によってスルー画を生成する。スルー画処理部44は、生成したスルー画を表示部16により出力する。例えば、スルー画処理部44は、撮像素子12により生成された画像信号を信号処理部13により周期的に読み出し、読み出された画像信号に対して画像処理部14によりスルー画用画像処理を施すことにより、スルー画を生成する。
例えば、スルー画処理部44は、撮像素子12から信号処理部13により第1のフレームレートで画像信号を読み出し、画像処理部14によりスルー画用画像処理を施してスルー画(第1のスルー画)を取得し、表示部16に出力する第1のスルー画処理を行う。また、例えば、スルー画処理部44は、撮像素子12から信号処理部13により第1のフレームレートより高い第2のフレームレートで画像信号を読み出し、画像処理部14によりスルー画用画像処理を施してスルー画(第2のスルー画)を取得し、表示部16に出力する第2のスルー画処理を行う。スルー画処理部44は、第1のスルー画処理と第2のスルー画処理とをスルー画制御部45の制御に基づいて切り替える。
第2のフレームレートは、第1のフレームレートの整数倍である。より具体的には、第1のフレームレートは、60フレーム毎秒(60fps)であり、第2のフレームレートは、120フレーム毎秒(120fps)である。
さらに、スルー画処理部44は、第1のスルー画処理を行う場合に撮像素子12から信号処理部13により読み出した画像信号を第1のゲインで調整して画像データに変換する。また、スルー画処理部44は、第2のスルー画処理を行う場合に撮像素子12から信号処理部13により読み出した画像信号を第1のゲインよりも利得の高い第2のゲインで調整して画像データに変換する。例えば、第2のゲインは、第1のフレームレートから第2のフレームレートにすることにより生じる露出の低下を打ち消す値で設定される。これにより、スルー画処理部44は、第1のスルー画よりも撮像素子12の露光時間の短い第2のスルー画の露出の不足を補う。
スルー画制御部45は、シャッタユニット11の開口部の状態に応じてスルー画処理部44により実行するスルー画処理を第1のスルー画処理と第2のスルー画処理とで切り替える。また、例えば、スルー画制御部45は、撮像装置1の状態が特定の条件(特定条件)に該当するか否かを判定し、撮像装置1の状態が特定条件に該当する場合に、シャッタユニット11の開口部の状態に応じてスルー画処理部44により実行するスルー画処理を第1のスルー画処理と第2のスルー画処理とで切り替えてもよい。
特定条件は、より早くユーザにスルー画を確認させる必要がある場面を示す。例えば、特定条件は、連写中である、被写体を追尾中である、フレーム間で所定以上移動する被写体が写っている、EVF32をユーザが覗いている、オートフォーカスのモードがAF−Cである、シャッタ速度が予め設定されたシャッタ速度よりも速い、及びレンズ10の撮像レンズの焦点距離が予め設定された焦点距離よりも長いなどである。スルー画制御部45は、撮像装置1の状態が上記の特定条件に該当するか否かを判定し、判定結果に基づいてスルー画処理部44により実行するスルー画処理を第1のスルー画処理と第2のスルー画処理とで切り替える。
スルー画制御部45は、撮像装置1の状態が特定条件に該当する場合、シャッタユニット11が開放状態であるか半遮光状態であるかを撮像装置1の状態として判定する。スルー画制御部45は、シャッタユニット11が開放状態であると判定した場合に第1のスルー画処理を実行するようにスルー画処理部44を制御する。また、スルー画制御部45は、シャッタユニット11が半遮光状態である場合に第2のスルー画処理を実行するようにスルー画処理部44を制御する。
表示制御部46は、表示部16による表示処理を制御する。例えば、表示制御部46は、表示部16に画像データを入力することにより表示部16の表示装置に表示させる画面を制御する。例えば、表示制御部46は、撮像動作によって取得した静止画を表示部16に表示させる。また、表示制御部46は、スルー画処理部44により生成されたスルー画を表示部16に表示させることにより、表示部16にスルー画表示を行わせる。
さらに、表示制御部46は、各種の設定情報及び撮像装置1の状態などに基づいて種々のアイコン及び文字などの表示を含むオンスクリーンディスプレイ(OSD)表示を表示部16に表示させるためのOSDデータを生成する。例えば、表示制御部46は、撮像装置1の撮影モード、各種の設定情報、バッテリー残量、撮影可能枚数及び撮影可能時間、並びにAFエリアなどを表示部16の表示装置に表示させるためのOSDデータを生成する。表示制御部46は、OSDデータに基づくOSD表示を重畳させた画面を表示部16に入力する。
(第1の実施形態)
次に図4乃至図6を用いて第1の実施形態に係る撮像装置1の動作について詳細に説明する。図4及び図5は、撮像装置1の動作例について説明する為のフローチャートである。図6は、撮像装置1の動作例について説明する為のタイミングチャートである。
撮像装置1が撮像待機状態である場合、主制御部19は、スルー画処理部44によって第1のスルー画処理を行う。これによって、スルー画処理部44は、撮像素子12から第1のフレームレートで画像信号を読み出して第1のスルー画を撮像する(ステップS11)。スルー画処理部44は、表示部16に第1のスルー画を入力することにより、表示部16の表示装置に第1のフレームレートで第1のスルー画を表示させる(ステップS12)。図6の例によると、スルー画処理部44は、タイミングt0からt1において第1のスルー画処理を実行する。
主制御部19は、操作部15のレリーズボタンが半押しされた否か判断する(ステップS13)。即ち、主制御部19は、AE処理及びAF処理などの撮像補助制御を指示する操作が操作部15により入力されたか否か判断する。操作部15のレリーズボタンが半押しされたと判断した場合(ステップS13、YES)、主制御部19は、AE処理及びAF処理などの撮像補助制御を実行する(ステップS14)。
主制御部19は、操作部15のレリーズボタンが全押しされた否か判断する(ステップS15)。即ち、主制御部19は、撮像動作を指示する操作が操作部15により入力されたか否か判断する。操作部15のレリーズボタンが全半押しされたと判断した場合(ステップS15、YES)、主制御部19は、第1のスルー画処理を停止させ、静止画を撮像する撮像動作を実行する(ステップS16)。この場合、主制御部19は、シャッタユニット11を動作させ、撮像素子12により静止画を撮像し、静止画をファイル化して記録媒体Mに記録する。
主制御部19のスルー画制御部45は、撮像装置1の状態が上記のような特定条件に該当するか否か判断する(ステップS17)。主制御部19は、撮像装置1の状態が特定条件に該当しないと判断した場合、撮像動作後に後幕22が完全に開いてからスルー画処理部44による第1のスルー画処理を再開させる。主制御部19は、処理を終了するか否か判断する(ステップS18)。即ち、主制御部19は、例えば、操作部15の電源ボタンなどが操作され、処理を終了する指示が操作部15により入力されたか否か判断する。処理を終了すると判断した場合(ステップS18、YES)、主制御部19は、電源をOFFし処理を終了する。また、処理を終了しないと判断した場合(ステップS18、NO)、主制御部19は、ステップS11の処理に戻る。
また、主制御部19は、ステップS13で操作部15のレリーズボタンが半押しされていないと判断した場合(ステップS13、NO)、またはステップS15で操作部15のレリーズボタンが全半押しされていないと判断した場合(ステップS15、NO)、ステップS18の処理に移る。
上記したように、主制御部19は、撮像装置1の状態が特定条件に該当しない場合、撮像動作後にシャッタユニット11が開放状態になるまでの間、スルー画処理部44による第1のスルー画処理を停止させる。
図6の例によると、タイミングt2において撮像動作を指示する操作が入力されている。主制御部19は、図6のタイミングt2からt3においてシャッタユニット11の先幕21を閉じ、タイミングt3から撮像素子12による露光を開始する。主制御部19は、シャッタ速度に応じたタイミングt4からシャッタユニット11の後幕22を閉じる動作を開始する。また、主制御部19は、撮像素子12の撮像面の露光が完了したラインから画像信号の読み出しを開始する。主制御部19は、タイミングt5においてシャッタユニット11の後幕22を完全に閉じると、タイミングt6までの間に画像信号の読み出しが完了していないラインから画像信号の読み出しを行う。主制御部19は、タイミングt7から、シャッタユニット11の後幕22を開く動作を開始する。また、シャッタユニット11の後幕22は、タイミングt9において完全に開き、シャッタユニット11が開放状態になる。
なお、シャッタユニット11の後幕22が閉じ始めてから完全に閉じるまでの時間、即ちタイミングt4とタイミングt5との間の時間は、シャッタユニット11の仕様によって定まる。また、シャッタユニット11が完全に閉じてから開く動作を開始するまでの間の時間、即ちタイミングt6とタイミングt7との間の時間は、シャッタユニット11の仕様によって定まる。またさらに、シャッタユニット11の後幕22が開き始めてから完全に開くまでの時間、即ちタイミングt7とタイミングt9との間の時間は、シャッタユニット11の仕様によって定まる。
主制御部19は、ステップS17で撮像装置1の状態が特定条件に該当すると判断した場合(ステップS17、YES)、撮像動作後にシャッタユニット11が開放されたか否か判断する(ステップS21)。撮像動作後にシャッタユニット11が開放されたと判断した場合(ステップS21、YES)、主制御部19は、ステップS18の処理に移る。
撮像動作後にシャッタユニット11が開放されていないと判断した場合(ステップS21、NO)、主制御部19のスルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になったか否か判定する(ステップS22)。スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になっていないと判定した場合、即ち、シャッタユニット11が既に半遮光状態である、またはシャッタユニット11が遮光状態のままである場合(ステップS22、NO)、ステップS24の処理に移行する。スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になったと判定した場合、スルー画処理部44による第2のスルー画処理において画像信号を撮り込むタイミングを認識する(ステップS23)。即ち、スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になってからスルー画処理部44による第2のスルー画処理を開始するタイミングと、スルー画処理部44による第2のスルー画処理における画像信号の取り込みタイミングを認識する。
まず、スルー画制御部45は、静止画の撮像時にレリーズ指示が入力されたタイミングとシャッタ速度とに基づいて、シャッタユニット11が遮光状態から半遮光状態になる第1のタイミングと、シャッタユニット11が半遮光状態から開放状態になる第2のタイミングと、を算出する。
スルー画制御部45は、シャッタユニット11が半遮光状態から開放状態になった第2のタイミングで第2のスルー画処理から第1のスルー画処理に切り替える。この為に、スルー画制御部45は、第2のタイミングで第2のスルー画処理から第1のスルー画処理に切り替えることが可能であり、且つスルー画用の画像信号の読み出しと表示部16によるスルー画の出力との同期がとれる第1のタイミング以降の最初のタイミングを第2のスルー画処理を開始するタイミング(第3のタイミング)として認識する。即ち、スルー画制御部45は、第2のタイミングで第2のフレームレート(120fps)から第1のフレームレート(60fps)に変更が可能な同期信号が第1のタイミング以降で最初にONになるタイミングを第2のスルー画処理を開始する第3のタイミングとして認識する。スルー画制御部45は、第1のタイミングから第3のタイミングまでの間をスルー画処理を行わないタイミング調整期間とする。スルー画制御部45は、第3のタイミングから第2のスルー画処理を行うようにスルー画処理部44を制御する。さらに、スルー画制御部45は、第2のスルー画処理を開始したタイミングから第2のフレームレートに応じた間隔毎に画像信号を取り込むようにスルー画処理部を制御する。
図6の例によると、シャッタユニット11が遮光状態から半遮光状態になるタイミングt7が第1のタイミングであり、シャッタユニット11が半遮光状態から開放状態になるタイミングt9が第2のタイミングである。また、第2のスルー画処理を開始するタイミングt8が第3のタイミングである。上記のように、第3のタイミングであるタイミングt3は、タイミングt7と、タイミングt9と、第2のフレームレートと、が定まれば算出が可能である。
なお、スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になってから第3のタイミングを算出する構成でなくてもよい。スルー画制御部45は、レリーズ指示が入力されてからであればいつ第3のタイミングを算出する構成であってもよい。また、画像信号の取り込みタイミングを示す同期信号は、スルー画制御部45、スルー画処理部44のいずれが生成するものであってもよい。画像信号の取り込みタイミングを示す同期信号は、スルー画処理部44の制御に基づいて信号処理部13が生成するものであってもよい。
スルー画制御部45は、画像信号の読み出しを実行するタイミングになったか否か判定する(ステップS24)。スルー画制御部45は、画像信号の読み出しを実行するタイミングになっていないと判定した場合(ステップS24、NO)、ステップS21に移行する。スルー画制御部45は、画像信号の読み出しを実行するタイミングになったと判定した場合(ステップS24、YES)、第2のスルー画処理における露出制御を実行するようにスルー画処理部44を制御する(ステップS25)。例えば、露出制御は、撮像素子12から読み出した第2のスルー画用の画像信号に対するゲイン調整の為の増幅率の制御である。
スルー画制御部45は、第2のスルー画用の画像信号を取り込むようにスルー画処理部44を制御する(ステップS26)。スルー画処理部44は、信号処理部13によって撮像素子12から読み出した画像信号をディジタルの画像信号に変換し、バッファメモリに書き込む。
スルー画制御部45は、第2のスルー画用の画像信号に対して画像処理を施すようにスルー画処理部44を制御する(ステップS27)。スルー画処理部44は、信号処理部13により信号処理が施されたディジタルの画像信号に対して画像処理部14によって画像処理を施す。例えば、スルー画処理部44は、バッファメモリに書き込まれたディジタルの画像信号に対して画像処理部14によってスルー画用画像処理を施すことにより、第2のスルー画を取得する。
スルー画制御部45は、取得した第2のスルー画を表示部16により出力するようにスルー画処理部44を制御し(ステップS28)、ステップS21に戻る。スルー画処理部44は、画像処理部14によるスルー画用画像処理によって生成された第2のスルー画を表示部16により表示する。スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になってから開放状態になるまでの間にステップS24乃至ステップS28の処理を第2のフレームレートで繰り返し行う。これにより、スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になってから開放状態になるまでの間に第2のスルー画処理を実行することができる。
上記したように、第1の実施形態に係る撮像装置1は、第1のフレームレートで第1のスルー画を取得して第1のスルー画を出力する第1のスルー画処理と、第1のフレームレートより高い第2のフレームレートで第2のスルー画を取得して第2のスルー画を出力する第2のスルー画処理と、のいずれかを実行可能に構成されている。さらに、撮像装置1は、シャッタユニット11の状態に応じてスルー画処理を第1のスルー画処理と第2のスルー画処理とで切り替える。例えば、撮像装置1は、撮像動作後のシャッタユニット11が開ききっていない半遮光状態で第2のスルー画処理を行い、シャッタユニット11が開ききった開放状態で第1のスルー画処理を行うことにより、撮像動作の実行時後のスルー画の表示が行われない像消失期間を短くすることができる。つまり、前記スルー画制御部は、前記シャッタユニットが開放状態であるか半遮光状態であるかを前記シャッタユニットの状態として判定し、前記シャッタユニットが開放状態である場合と半遮光状態である場合とでスルー画処理を変更して実行するように前記スルー画処理部を制御している。しかしこの半遮光状態は、必ずしも、字義通りに撮像面の半分が遮光されたものである必要はない。半遮光状態は、撮像面の一部が遮光された状態でも、撮像面の大部分が遮光された状態であってもよい。即ち、撮像面上の遮光されていない領域によって撮像素子により有効な情報としての画像を得ることができる状態であれば、得た画像を積極的に利用することが重要である為、以上のようなケースを一括して半遮光状態と称している。また、上記の開放状態、遮光状態、及び半遮光状態は、それぞれシャッタユニットの開口の度合として言い換えてもよい。ただし、シャッタユニットの開口の度合いは、時間によって変化する。したがって、繰り返し行われる撮像素子の読み出しのタイミングとの関係を考慮しなければならない。
また、上記のように第1のフレームレートは、60フレーム毎秒(60fps)であり、第2のフレームレートは、120フレーム毎秒(120fps)である。即ち、第2のフレームレートは、第1のフレームレートの整数倍である。この場合、第1のフレームレートにおける同期信号のパルス、即ち画像信号の取り込みタイミングは、第2のフレームレートにける画像信号の取り込みタイミングに含まれる。この為、撮像装置1は、第1のスルー画処理と第2のスルー画処理とをスムーズに切り替えることができる。もちろん、整数倍も各フレームレートの具体的数値もこれに限られるものではない。第2のフレームレートは、第1のフレームレートより、短い周期で切り替わる方が、多くの情報が得られるので、本願の主旨にふさわしいということである。
(第2の実施形態)
次に図7及び図8を用いて第2の実施形態に係る撮像装置1の動作の他の例について説明する。図7は、撮像装置1の動作の他の例について説明する為のフローチャートである。図8は、撮像装置1の動作の他の例について説明する為のタイミングチャートである。なお、第2の実施形態は、シャッタユニット11が遮光状態から半遮光状態になった第1のタイミングから、第2のスルー画処理を開始する第3のタイミングまでの間に第3のスルー画処理が実行される点が第1の実施形態と異なる。なお、撮像装置1の構成、及び図4の説明は、第1の実施形態と同様である為、説明を省略する。
図7に示すように、主制御部19は、図4のステップS17で撮像装置1の状態が特定条件に該当すると判断した場合(ステップS17、YES)、撮像動作後にシャッタユニット11が開放されたか否か判断する(ステップS31)。撮像動作後にシャッタユニット11が開放されたと判断した場合(ステップS31、YES)、主制御部19は、図4のステップS18の処理に移る。
撮像動作後にシャッタユニット11が開放されていないと判断した場合(ステップS31、NO)、主制御部19のスルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になったか否か判定する(ステップS32)。スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になっていないと判定した場合、即ち、シャッタユニット11が既に半遮光状態である、またはシャッタユニット11が遮光状態のままである場合(ステップS32、NO)、ステップS35の処理に移行する。スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になったと判定した場合、スルー画処理部44による第2のスルー画処理において画像信号を撮り込むタイミングを認識する(ステップS33)。即ち、スルー画制御部45は、第1の実施形態と同様に第1のタイミングと、第2のタイミングと、第3のタイミングと、を算出する。
スルー画制御部45は、図8に示されるように、第1のタイミングから第3のタイミングまでの間、第3のスルー画処理を行うようにスルー画処理部44を制御する(ステップS34)。第3のスルー画処理は、第2のフレームレートより高い第3のフレームレートでスルー画出力を行うスルー画処理である。即ち、スルー画処理部44は、第3のスルー画処理を実行する場合、第3のフレームレートで信号処理部13により撮像素子12から画像信号を取り込み、取り込んだ画像信号にスルー画用画像処理を施して第3のスルー画を生成し、生成した第3のスルー画を表示部16により出力する。さらに、スルー画制御部45は、第3のタイミングになった場合にスルー画処理部44により実行するスルー画処理を第3のスルー画処理から第2のスルー画処理に切り替える。
なお、第3のスルー画処理における第3のフレームレートは、例えば第2のフレームレートの整数倍である。より具体的には、第3のフレームレートは、240フレーム毎秒(240fps)である。
なお、スルー画処理部44は、第3のスルー画処理を行う場合に撮像素子12から信号処理部13により読み出した画像信号を第1のゲイン及び第2のゲインよりも利得の高い第3のゲインで調整して画像データに変換する。例えば、第3のゲインは、第1のフレームレートから第3のフレームレートにすることにより生じる露出の低下を打ち消す値で設定される。これにより、スルー画処理部44は、第1のスルー画及び第2のスルー画よりも撮像素子12の露光時間の短い第3のスルー画の露出の不足を補う。
スルー画制御部45は、画像信号の読み出しを実行するタイミングになったか否か判定する(ステップS35)。スルー画制御部45は、画像信号の読み出しを実行するタイミングになっていないと判定した場合(ステップS35、NO)、ステップS31に移行する。スルー画制御部45は、画像信号の読み出しを実行するタイミングになったと判定した場合(ステップS35、YES)、第2のスルー画処理における露出制御を実行するようにスルー画処理部44を制御する(ステップS36)。例えば、露出制御は、撮像素子12から読み出した第2のスルー画用の画像信号に対するゲイン調整の為の増幅率の制御である。
スルー画制御部45は、第2のスルー画用の画像信号を取り込むようにスルー画処理部44を制御する(ステップS37)。スルー画処理部44は、信号処理部13によって撮像素子12から読み出した画像信号をディジタルの画像信号に変換し、バッファメモリに書き込む。
スルー画制御部45は、第2のスルー画用の画像信号に対して画像処理を施すようにスルー画処理部44を制御する(ステップS38)。スルー画処理部44は、信号処理部13により信号処理が施されたディジタルの画像信号に対して画像処理部14によって画像処理を施す。例えば、スルー画処理部44は、バッファメモリに書き込まれたディジタルの画像信号に対して画像処理部14によってスルー画用画像処理を施すことにより、第2のスルー画を取得する。
スルー画制御部45は、取得した第2のスルー画を表示部16により出力するようにスルー画処理部44を制御し(ステップS39)、ステップS31に戻る。スルー画処理部44は、画像処理部14によるスルー画用画像処理によって生成された第2のスルー画を表示部16により表示する。スルー画制御部45は、第1のタイミングから第3のタイミングまでの間に第3のスルー画処理を行うようにスルー画処理部44を制御し、第3のタイミングから第2のタイミングまでの間にステップS35乃至ステップS39の処理を第2のフレームレートで繰り返し行う。これにより、スルー画制御部45は、シャッタユニット11が遮光状態から半遮光状態になってすぐに第3のスルー画処理実行し、且つ第3のタイミングからシャッタユニット11が開放状態になるまでの間に第2のスルー画処理を実行することができる。
上記したように、第1の実施形態に係る撮像装置1は、第1のフレームレートで第1のスルー画を取得して第1のスルー画を出力する第1のスルー画処理と、第1のフレームレートより高い第2のフレームレートで第2のスルー画を取得して第2のスルー画を出力する第2のスルー画処理と、第2のフレームレートより高い第3のフレームレートで第3のスルー画を取得して第3のスルー画を出力する第3のスルー画処理と、のいずれかを実行可能に構成されている。さらに、撮像装置1は、シャッタユニットの状態に応じてスルー画処理を第1のスルー画処理と第2のスルー画処理と第3のスルー画処理とで切り替える。例えば、撮像装置1は、撮像動作後のシャッタユニット11が開き始めた第1のタイミングから第2のスルー画処理の実行が可能になる第3のタイミングまでの間に第3のスルー画処理を行い、第23のタイミングからシャッタユニット11が開放状態になる第2のタイミングまでの間に第2のスルー画処理を行うことにより、撮像動作の実行時後のスルー画の表示が行われない像消失期間をさらに短くすることができる。
また、上記のように第1のフレームレートは、60フレーム毎秒(60fps)であり、第2のフレームレートは、120フレーム毎秒(120fps)であり、第3のフレームレートは、240フレーム毎秒(240fps)である。即ち、第3のフレームレートは第2のフレームレートの整数倍であり、第2のフレームレートは第1のフレームレートの整数倍である。この場合、第1のフレームレートにおける同期信号のパルス、即ち画像信号の取り込みタイミングは、第2のフレームレートにける画像信号の取り込みタイミングに含まれる。また、第2のフレームレートにおける同期信号のパルス、即ち画像信号の取り込みタイミングは、第3のフレームレートにける画像信号の取り込みタイミングに含まれる。この為、撮像装置1は、第1のスルー画処理と第2のスルー画処理と第3のスルー画処理とをスムーズに切り替えることができる。
なお、上記した第1の実施形態及び第2の実施形態では、撮像装置1は、撮像装置1の状態が特定条件に該当する場合に、シャッタユニット11の状態に応じてスルー画処理部44により実行するスルー画処理を第1のスルー画処理と第2のスルー画処理とで切り替える構成であると説明したがこの構成に限定されない。撮像装置1は、撮像装置1の状態が連写中である、被写体を追尾中である、フレーム間で所定以上移動する被写体が写っている、EVF32をユーザが覗いている、オートフォーカスのモードがAF−Cである、シャッタ速度が予め設定されたシャッタ速度よりも速い、及びレンズ10の撮像レンズの焦点距離が予め設定された焦点距離よりも長いなどのシャッタユニット11の状態に因らずスルー画処理部44により実行するスルー画処理を第1のスルー画処理と第2のスルー画処理とで切り替える構成であってもよい。
(第3の実施形態)
上記した実施形態では、撮像装置1は、信号処理部13により取り込んだディジタルの画像信号の全体に対して画像処理部14により画像処理を行うものと説明したが、この構成に限定されない。撮像装置1は、信号処理部13により取り込んだディジタルの画像信号のうちのシャッタユニット11により遮光された領域(被遮光領域)を除いた範囲に対して画像処理を施す構成であってもよい。なお、第3の実施形態に関わる撮像装置1の構成は、第1の実施形態と同様である為、説明を省略する。
撮像装置1のスルー画処理部44は、第1の実施形態と同様に、静止画の撮像動作の実行後にシャッタユニット11が開放状態になるまでの間にスルー画処理(第4のスルー画処理)を行う。例えば、スルー画処理部44は、シャッタユニット11が遮光状態から半遮光状態になった場合に第4のスルー画処理を開始する。スルー画制御部45は、シャッタユニット11が半遮光状態から開放状態になった場合にスルー画処理を第4のスルー画処理から第1のスルー画処理に切り替える。
図9及び図10を用いて第3の実施形態に係る撮像装置1における第4のスルー画処理の例について説明する。図9は、撮像装置1における第4のスルー画処理のタイミングについて説明する為の説明図である。図10は、撮像装置1において画像処理を行う範囲について説明する為の説明図である。
図9に示されるように、スルー画処理部44は、シャッタユニット11が遮光状態から半遮光状態になったタイミングt11で、スルー画(第4のスルー画)を取得する為の露光を撮像素子12により開始する。スルー画処理部44は、タイミングt11から所定時間経過後であるタイミングt12で、撮像素子12による露光を終了する。露光を終了するタイミングt12は、第4のスルー画処理におけるフレームレート(第4のフレームレート)によって定まる。なお、第4のフレームレートは、第1乃至第3のフレームレートのいずれかと同じ値であってもよいし、異なる値であってもよい。
スルー画処理部44は、露光を終了すると、信号処理部13による撮像素子12からの画像信号の取り込みを開始する。即ち、スルー画処理部44は、露光を終了したタイミングt12から画像信号の取り込みを開始する。信号処理部13は、撮像素子12から画像信号を読み出し、読み出した画像信号をバッファメモリに書き込む。より具体的には、信号処理部13は、撮像素子12の撮像面を構成する複数のライン毎に画像信号を読み出し、ディジタルの画像信号に変換し、バッファメモリに逐次書き込む。例えば、信号処理部13は、図10に示されるようにシャッタユニット11が半遮光状態である場合に被遮光領域72が含まれる画像信号71を撮像素子12から読み出してバッファメモリに書き込む。
またさらに、スルー画処理部44は、信号処理部13による撮像素子12からの画像信号71の取り込みを開始してから所定時間経過後であるタイミングt13で画像処理部14による画像処理(スルー画用画像処理)を開始する。スルー画処理部44は、信号処理部13による撮像素子12からの画像信号71の取り込みを開始してから所定時間経過後であるタイミングt13で画像処理部14による画像処理(スルー画用画像処理)を開始する。より具体的には、画像処理部14は、バッファメモリからライン毎に画像信号71を読み出して信号処理を施し、第4のスルー画73を生成する。なお、画像処理部14は、上記したようにバッファメモリ上の所定の領域に書き込まれた画像信号71に対してスルー画用画像処理を施し第4のスルー画73を生成する。画像信号71が書き込まれていないバッファメモリ上の領域に対してスルー画用画像処理を行った場合、画像処理部14は、ブランク74を含む第4のスルー画73を生成する。即ち、被遮光領域72を除く画像信号71に対してスルー画用画像処理を施す為には、スルー画用画像処理が被遮光領域72を除く範囲の画像信号71の取り込みを追い越さないようにスルー画用画像処理を開始するタイミングt13が設定されなければならない。
スルー画用画像処理を開始するタイミングt13は、シャッタユニット11の開口の度合に応じて定まる。スルー画制御部45は、信号処理部13により撮像素子12から読み出した複数ライン分の画像信号71のうち、シャッタユニット11によって遮光された被遮光領域72を除く範囲の画像信号71がバッファメモリに書き込まれるタイミングを認識する。例えば、スルー画制御部45は、例えば撮像動作からの経過時間に応じてシャッタユニット11の先幕21及び後幕22の位置を認識する。スルー画制御部45は、認識したシャッタユニット11の先幕21及び後幕22の位置に応じて、撮像素子12の撮像面上においてシャッタユニット11により遮光された領域を認識する。これにより、スルー画制御部45は、撮像面上のシャッタユニット11により遮光されていない領域によって生成された画像信号71の取り込みが完了するタイミングを算出する。
さらに、スルー画制御部45は、スルー画用画像処理に要する処理時間を算出する。例えば、スルー画制御部45は、撮像面上のシャッタユニット11により遮光されていない領域によって生成された画像信号71に対するスルー画用画像処理に要する処理時間を算出する。
スルー画制御部45は、スルー画用画像処理に要する処理時間と、撮像面上のシャッタユニット11により遮光されていない領域によって生成された画像信号71の取り込みが完了するタイミングと、に基づいて、スルー画用画像処理を開始するタイミングt13を算出する。例えば、スルー画制御部45は、被遮光領域72を除く範囲の画像信号71がバッファメモリに書き込まれる前にスルー画用画像処理が実行されないようにタイミングt13を調整する。即ち、スルー画制御部45は、バッファメモリに書き込まれた画像信号71に対するスルー画用画像処理が被遮光領域72を除く範囲の画像信号71の取り込みを追い越さないようにタイミングt13を設定する。スルー画制御部45は、算出したタイミングt13からスルー画用画像処理を開始するようにスルー画処理部44を制御する。
さらに、スルー画処理部44は、スルー画用画像処理が施されて生成された第4のスルー画73を表示部16に表示する。スルー画処理部44は、スルー画用画像処理が開始されてから所定時間経過後であるタイミングt14で第4のスルー画73の表示部16への表示を開始する。なお、スルー画処理部44は、第4のスルー画73をライン毎に、即ちスルー画用画像処理が完了したラインから順次表示部16に入力する。
上記したように、撮像装置1は、被遮光領域72を除いた画像信号の取り込みが完了するタイミングを算出し、被遮光領域72を除いた画像信号に対するスルー画用画像処理に要する時間を算出し、スルー画用画像処理が被遮光領域72を除いた画像信号の取り込みを追い越さないタイミングでスルー画用画像処理を開始する。これにより、全てのラインにおいて画像信号の取り込みタイミングをスルー画用画像処理が追い越さないようにスルー画用画像処理を開始する場合に比べて、より早いタイミングでスルー画用画像処理を開始することができる。この結果、撮像装置1は、撮像動作の実行時後のスルー画の表示が行われない像消失期間を短くすることができる。
なお、上記した実施形態では、スルー画処理部44は、バッファメモリ上の所定の領域に書き込まれた画像信号71に対して画像処理部14によってスルー画用画像処理を施して第4のスルー画73を生成する構成であると説明したが、この構成に限定されない。スルー画処理部44は、被遮光領域72を除く画像信号71に対してのみ画像処理部14によってスルー画用画像処理を施す構成であってもよい。この為に、スルー画処理部44は、静止画の撮像動作からの経過時間に応じてシャッタユニット11の先幕21、及び後幕22の位置を認識することにより、バッファメモリ上の被遮光領域72を除く画像信号71が書き込まれた領域を認識する。スルー画処理部44は、バッファメモリ上の認識した領域に書き込まれている画像信号71に対して画像処理部14によってスルー画用画像処理を施す。このような構成によると、スルー画用画像処理に要する時間を短縮することができる。この結果、撮像装置1は、撮像動作の実行時後のスルー画の表示が行われない像消失期間を短くすることができる。
なお、上記の実施形態では、撮像装置1がレンズ10を備える構成について説明したが、この構成に限定されない。撮像装置1は、レンズ10を装着可能なマウントをレンズ10の代わりに備える構成であってもよい。
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。