JP7028189B2 - 制御装置、制御方法、並びにプログラム - Google Patents

Description

本技術は制御装置、制御方法、並びにプログラムに関し、例えば、撮像時に撮像が行われていることを体感できる仕組みを制御する制御装置、制御方法、並びにプログラムに関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラが普及している。デジタルスチルカメラは静止画像を撮像するものであり、デジタルビデオカメラは動画像を撮像するものであるが、動画像を撮像可能なデジタルスチルカメラや静止画像を撮像可能なデジタルビデオカメラも存在する。なお、以降では、デジタルスチルカメラとデジタルビデオカメラとを特に区別しない場合には、単に「デジタルカメラ」と記載する場合がある。

上記に示したようなデジタルカメラは、例えば、ＬＣＤ（Liquid Crystal Display）等で構成された表示部を備え、当該表示部に撮像された画像を表示可能に構成されている場合が少なくない。また、近年では、上記に示したデジタルカメラの中には、撮像された画像中から人間の顔の領域を検出し、検出された領域に対して色味の調整を行う等のような、撮像された画像に対して画像処理を施すものもある。

特開２０１３－０５５５８９号公報

また、近年のデジタルカメラの中には、撮像素子中の画素数を増やすことで、より高精細な画像（解像度の高い画像）を撮像可能としたものもある。その一方で、画像の高精細化に伴い当該画像のデータ量も増大する傾向にある。そのため、例えば、撮像された画像をユーザが確認するために表示部に表示させる処理や、撮像された画像を解析し当該画像に対して画像処理を施して出力する処理等のように、撮像された画像の出力に係る処理時間も増大する場合がある。

処理時間が増大すると、表示部に画像が表示されない時間、所謂ブラックアウトと称される状態が発生する可能性がある。また処理時間中に、所謂スルー画像と称される画像を表示し続ける装置もある。この場合、スルー画像は、処理時間中は更新されず、フリーズしたような表示状態となり、ユーザによっては、何らかのエラーが発生したのかと戸惑ってしまう可能性がある。このような戸惑いをユーザが感じないようにするために、あえて黒画像を表示し、ブラックアウトのような状況を作り出す装置もある。

しかしながら、表示部に画面が表示されない時間（ブラックアウト）が発生したり、またはフリーズしたようなスルー画像が表示されたりすると、その間に被写体を見失うといった不都合が発生する可能性があった。このようなことから、ブラックアウトが発生する時間（フリーズしたようなスルー画像が表示される時間）が短縮されることが望まれていた。

一方で、撮像者（ユーザ）によっては、このブラックアウトの発生で、撮像のタイミングや露光時間を把握していることがあった。よって、撮像者によっては、ブラックアウトがないことで、撮像のタイミングや露光時間を把握できず、使い勝手が悪いと感じてしまう可能性がある。

ユーザに撮像のタイミングや露光時間を把握でき、撮像が行われていることを体感させる仕組みを提供することが望まれている。

本技術は、このような状況に鑑みてなされたものであり、ユーザに撮像が行われていることを体感させることができるようにするものである。

本技術の一側面の第１の制御装置は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備え、前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークは、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示される。
本技術の一側面の第２の制御装置は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備え、前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークは、オートフォーカスの枠の近傍に表示される。
本技術の一側面の第３の制御装置は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備え、前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークは、前記表示部の所定の一辺から向かい合う辺に、移動する線である。
本技術の一側面の第４の制御装置は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備え、前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークは、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示され、他のモードのときには、前記表示部内の所定の位置に表示される。

本技術の一側面の第１の制御方法は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置の制御方法において、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークを、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示するステップを含む。
本技術の一側面の第２の制御方法は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置の制御方法において、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークを、オートフォーカスの枠の近傍に表示するステップを含む。
本技術の一側面の第３の制御方法は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置の制御方法において、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークを、前記表示部の所定の一辺から向かい合う辺に、移動する線として表示するステップを含む。
本技術の一側面の第４の制御方法は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置の制御方法において、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークを、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示し、他のモードのときには、前記表示部内の所定の位置に表示するステップを含む。

本技術の一側面の第１のプログラムは、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置を制御するコンピュータに、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークを、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示するステップを含む処理を実行させる。
本技術の一側面の第２のプログラムは、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置を制御するコンピュータに、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークを、オートフォーカスの枠の近傍に表示するステップを含む処理を実行させる。
本技術の一側面の第３のプログラムは、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置を制御するコンピュータに、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークを、前記表示部の所定の一辺から向かい合う辺に、移動する線として表示するステップを含む処理を実行させる。
本技術の一側面の第４のプログラムは、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置を制御するコンピュータに、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、前記マークを、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示し、他のモードのときには、前記表示部内の所定の位置に表示するステップを含む処理を実行させる。

本技術の一側面の第１の制御装置、制御方法、並びにプログラムにおいては、複数の画素のそれぞれから出力される画素信号に基づくデータが処理され、処理されたデータに基づく画像が、スルー画像として表示部に表示される。データを記録する指示に応じて、表示部に表示されるスルー画像とともに、記録処理を示すマークが表示され、マークは、露光時間が所定の時間よりも短い場合、露光時間よりも長い時間、表示される。
本技術の一側面の第２の制御装置、制御方法、並びにプログラムにおいては、複数の画素のそれぞれから出力される画素信号に基づくデータが処理され、処理されたデータに基づく画像が、スルー画像として表示部に表示される。データを記録する指示に応じて、表示部に表示されるスルー画像とともに、記録処理を示すマークが表示され、マークは、オートフォーカスの枠の近傍に表示される。
本技術の一側面の第３の制御装置、制御方法、並びにプログラムにおいては、複数の画素のそれぞれから出力される画素信号に基づくデータが処理され、処理されたデータに基づく画像が、スルー画像として表示部に表示される。データを記録する指示に応じて、表示部に表示されるスルー画像とともに、記録処理を示すマークが表示され、マークは、表示部の所定の一辺から向かい合う辺に、移動する線である。
本技術の一側面の第４の制御装置、制御方法、並びにプログラムにおいては、複数の画素のそれぞれから出力される画素信号に基づくデータが処理され、処理されたデータに基づく画像が、スルー画像として表示部に表示される。データを記録する指示に応じて、表示部に表示されるスルー画像とともに、記録処理を示すマークが表示され、マークは、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示され、他のモードのときには、表示部内の所定の位置に表示される。

なお、制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術の一側面によれば、ユーザに撮像が行われていることを体感させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

比較例に係る撮像装置の概略的な構成の一例について説明するための図である。 比較例に係る撮像装置の処理の流れについて説明するための図である。 比較例に係る撮像装置の処理の流れについて説明するための図である。 本技術の一側面の撮像装置の概要について説明するための説明図である。 撮像装置の一例の構成を示す図である。 撮像装置の処理の流れの一例について説明するためのタイムチャートである。 撮像装置の処理の流れの一例について説明するためのタイムチャートである。 フィードバック表示の一例を示す図である。 表示時間の設定処理について説明するためのフローチャートである。 フィードバック表示のタイミングについて説明するための図である。 フィードバック表示のタイミングについて説明するための図である。 フィードバック表示のタイミングについて説明するための図である。 フィードバック表示のタイミングについて説明するための図である。 露光開始時の処理について説明するためのフローチャートである。 フィードバック表示の一例を示す図である。 露光終了時の処理について説明するためのフローチャートである。 タイマーの計時終了時の処理について説明するためのフローチャートである。 表示位置の設定の処理について説明するためのフローチャートである。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の組み合わせについて説明するための図である。 スマートフォンに適用した場合について説明するための図である。 スマートフォンに適用した場合について説明するための図である。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

＜比較例＞
本開示の実施の形態に係る撮像装置についての説明にあたり、本実施の形態に係る撮像装置の比較例として、図１乃至３を参照して、従来の撮像装置について説明する。まず、図１を参照して、比較例に係る撮像装置の概要について説明する。図１は、比較例に係る撮像装置の概略的な構成の一例について説明するための説明図である。なお、図１に示す例を、以降では比較例１と呼ぶ場合がある。

図１において、参照符号１００ａは、比較例１に係る撮像装置に設けられたイメージセンサを模式的に示している。イメージセンサ１００ａは、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。イメージセンサ１００ａは、複数の画素が行列（アレイ）状に配置された画素アレイ部１１１を含んで構成される。なお、一般的には、画素アレイ部１１１以外の回路も含むが、図１に示す例では、説明をわかりやすくするために、当該画素アレイ部１１１以外の回路の図示を省略している。

また、参照符号２００ａは、画素アレイ部１１１の各画素からの画素信号に基づき供給される画像信号に対して、所謂画像処理を施す画像処理ＬＳＩ（Large Scale Integration）を模式的に示している。画像処理としては、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、及びＹＣ変換等が挙げられる。

画像処理部２１０は、画像処理ＬＳＩ２００ａにより実現される画像処理機能を模式的に示している。なお、画像処理ＬＳＩ２００ａは、画像処理以外の他の機能を実行するための構成を含んでもよいが、図１に示す例では、説明をわかりやすくするために、画像処理部２１０以外の構成の図示を省略している。

また、参照符号ｎ０は、イメージセンサ１００ａと画像処理ＬＳＩ２００ａとの間の信号の流れ（ストリーム）を模式的に示している。即ち、図１に示した比較例１に係る撮像装置では、イメージセンサ１００ａは、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで、被写体の撮像画像を示す画像信号を生成する。そして、イメージセンサ１００ａは、生成した画像信号をストリームｎ０として、画像処理ＬＳＩ２００ａの画像処理部２１０に出力する。

画像処理ＬＳＩ２００ａは、ストリームｎ０として、イメージセンサ１００ａから出力された画像信号を取得し、取得した画像信号に対して画像処理を施し、画像処理後の画像信号を、例えば表示部（不図示）にプレビュー画像（所謂、スルー画、またはモニター画とも呼ばれる）として表示させる。これにより、ユーザは、撮像された画像を、表示部を介して確認することが可能となる。

次に、図２を参照して、図１に示した撮像装置において、イメージセンサ１００ａにより被写体の画像が露光（撮像）され、露光された画像を示す画像信号が画像処理ＬＳＩ２００ａに読み出されるまでの処理の流れの一例について説明する。図２は、比較例に係る撮像装置の処理の流れについて説明するための説明図であり、機械式の先膜及び後膜を用いた所謂フォーカルプレーンシャッターを適用した場合の概略的なタイムチャートの一例を示している。なお、図２に示す例を、以降では比較例２と呼ぶ場合がある。

図２において、横軸は時間を示しており、縦軸は画素アレイ部１１１の行方向を示している。また、参照符号ｄ９１０及びｄ９１１は、画素アレイ部１１１の各画素の露光期間を模式的に示している。なお、参照符号ｄ９１０で示された露光期間は、参照符号ｄ９１１で示された露光期間以前に撮像された画像の露光期間を示しているものとする。

ここで、被写体の画像が撮像される際の一連の処理の流れについて、露光期間ｄ９１１に着目して説明する。まず、参照符号ｄ９０１に示されたタイミングで、全画素に蓄積された画素信号がリセットされる。全画素のリセットが完了すると、参照符号ｄ９２１に示すように、各画素への光の入射を遮蔽している先膜が行方向に移動することで、先膜により遮蔽されていた光が各画素に入射し、露光が開始される。

その後、参照符号ｄ９３１に示すように、後膜が先行する先膜を追うように行方向に沿って移動することで、当該後膜が各画素への光の入射を遮蔽し、露光が終了する。即ち、各画素について、参照符号ｄ９２１とｄ９３１とで示された期間Ｔ９３が、当該画素における露光時間に相当し、図２に示す例では、行単位で、各画素の露光開始及び終了のタイミングが異なる。

また、図２における参照符号ｄ９４１は、各画素からの画素信号の読み出しに係る処理を模式的に示している。即ち、図２に示した比較例２では、一連の画素について露光が完了した後に、各画素から画素信号が行単位で逐次読み出される。参照符号Ｔ９５は、一連の画素からの画素信号の読み出しに係る処理の期間を示している。

即ち、図２に示す比較例２の場合には、一連の画素について露光が完了し、かつ、当該一連の画素から画素信号が読み出された後に、撮像された画像が生成されることとなる。換言すると、図２に示す比較例２の場合には、全画素のリセットが行われてから、一連の画素からの画像信号の読み出しが完了するまでの期間Ｔ９１ａ中は、露光期間ｄ９１１で撮像された画像を出力することが困難である。

なお、期間Ｔ９１ａ中に、露光期間ｄ９１０で撮像された画像を表示させることも可能である。しかしながら、以前に撮像された画像を、例えば、当該画像をモニタリング画像として表示させる場合には、実際にユーザが見ている被写体よりも以前の被写体の画像を出力することとなる。リアルタイム性に乏しい。

次に、図３を参照して、図１に示した撮像装置における、イメージセンサ１００ａにより被写体の画像が露光（撮像）され、露光された画像を示す画像信号が画像処理ＬＳＩ２００ａに読み出されるまでの処理の流れの他の一例について説明する。図２は、比較例に係る撮像装置の処理の流れについて説明するための説明図であり、機械式の先膜及び後膜を用いずに、電子的に各画素の露光期間を制御する場合の概略的なタイムチャートの一例を示している。なお、図３に示す例を、以降では比較例３と呼ぶ場合がある。

図３において、横軸は時間を示しており、縦軸は画素アレイ部１１１の行方向を示している。また、参照符号ｄ９１０及びｄ９１１は、図２と同様に、画素アレイ部１１１の各画素の露光期間を模式的に示している。参照符号ｄ９１０で示された露光期間は、参照符号ｄ９１１で示された露光時間以前に撮像された画像の露光時間を示しているものとする。

図３に示す比較例３では、各画素に蓄積された画素信号のリセットと、当該画素の露光開始とが同期している。即ち、参照符号ｄ９０１に示すように、各画素のリセットが行単位で逐次実行され、各画素のリセットが完了すると、速やかに当該画素の露光が開始される。また、各画素の露光終了と、当該画素からの画素信号の読み出しとが同期している。即ち、参照符号ｄ９４１に示すように、各画素の露光が終了すると、速やかに当該画素からの画素信号の読み出しが開始される。

このような構成により、図３に示す比較例３では、全画素の露光の完了を待たずに、各画素からの画素信号の読み出しを開始することが可能となる。そのため、図３に示す比較例３では、図２に示す比較例２に比べて、露光が開始されてから一連の画素からの画素信号の読み出しが完了するまでの期間Ｔ９１ｂを短縮することが可能な場合がある。

一方で、図３に示す比較例３では、各画素間の走査速度が、参照符号ｄ９４１で示された各画素からの画像信号の読み出しに係る速度に依存する。そのため、例えば、図１に示す、ストリームｎ０の伝送速度が制限されている場合には、撮像される画像の解像度が大きいほど、走査スピードが遅くなり、例えば、フォーカルプレーン歪みが発生する場合がある。なお、ストリームｎ０の伝送速度が制限される場合の一例としては、イメージセンサ１００ａと画像処理ＬＳＩ２００ａとの間のバスの帯域が制限されている場合が挙げられる。

また、上記に示した比較例２及び比較例３のいずれにおいても、撮像された画像に対して画像処理を施す場合には、一連の画素からの画素信号の読み出しが完了し、当該画素信号に基づく画像を解析した後、当該解析結果に基づき画像処理を施すこととなる。

そのため、比較例２及び比較例３においては、撮像される画像の解像度が高くなるほど、露光から画素信号の読み出しに係る処理と、画素信号に基づく画像の解析に係る処理との処理時間が増大し、結果として、画像の出力に要する時間が増大することとなる。

画像の出力に要する時間（処理時間）が増大すると、表示部に画像が表示されない時間、所謂ブラックアウトと称される状態が発生する可能性がある。また処理時間中に、所謂スルー画像と称される画像を表示し続ける装置もある。この場合、スルー画像は、処理時間中は更新されず、フリーズしたような表示状態となる。ユーザによっては、何らかのエラーが発生したのかと戸惑ってしまう可能性がある。このような戸惑いをユーザが感じないようにするために、あえて黒画像を表示し、ブラックアウトのような状況を作り出す装置もある。

しかしながら、表示部に画面が表示されない時間（ブラックアウト）が発生したり、またはフリーズしたようなスルー画像が表示されたりすると、その間に被写体を見失うといった不都合が発生する可能性があった。このようなことから、ブラックアウトが発生する時間（フリーズしたようなスルー画像が表示される時間）が短縮されることが望まれていた。

そこで、本実施の形態に係る撮像装置は、撮像された画像をユーザが確認するために表示部に表示させる処理や、撮像された画像を解析し当該画像に対して画像処理を施して出力する処理等の、撮像された画像の出力に係る処理時間をより短縮する。

＜本技術を適用した撮像装置の構成＞
次に、図４を参照して、本実施の形態に係る撮像装置の概要について説明する。図４は、本開示の実施形態に係る撮像装置の概要について説明するための説明図である。なお、図４は、本実施の形態に係る撮像装置の概略的な構成について、イメージセンサ１００と画像処理ＬＳＩ２００とに着目して示しており、その他の構成については図示を省略している。

図４に示すように、本実施の形態におけるイメージセンサ１００は、フレームメモリ１９０を含む点で、図１に示した比較例１に係るイメージセンサ１００ａと異なる。参照符号ｎ１及びｎ２は、イメージセンサ１００と画像処理ＬＳＩ２００との間の信号の流れ（ストリーム）を模式的に示している。

また、本実施の形態に係る撮像装置は、図３に基づき説明した比較例３と同様に、機械式の先膜及び後膜を用いずに、電子的に各画素の露光期間を制御する。そのため、本実施の形態に係る撮像装置は、全画素の露光完了を待たずに、露光が完了した画素から画素信号を逐次読み出し可能に構成されている。

具体的には、図４に示す本実施の形態に係る撮像装置では、イメージセンサ１００は、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで、被写体の撮像画像を示す画像信号を生成する。このとき、イメージセンサ１００は、画素アレイ部１１１を構成する複数の画素のうち、少なくとも一部の画素からの画素信号に基づく画像信号を、ストリームｎ１として画像処理ＬＳＩ２００に出力する。

また、イメージセンサ１００は、画素アレイ部１１１を構成する複数の画素それぞれからの画素信号をフレームメモリ１９０に一時的に記憶する。そして、イメージセンサ１００は、フレームメモリ１９０に記憶された各画素の画素信号を逐次読み出し、読み出された画素信号に基づく画像信号を、ストリームｎ２として画像処理ＬＳＩ２００に出力する。

このような構成により、イメージセンサ１００は、例えば、一部の画素からの画素信号に基づく低解像度の画像（即ち、間引き画像）をストリームｎ１とし、全画素からの画素信号に基づく高解像度の画像をストリームｎ２として、画像処理ＬＳＩ２００に出力することが可能となる。

なお、イメージセンサ１００は、全画素からの画素信号をフレームメモリ１９０に一時的に保持させることが可能なため、ストリームｎ１とストリームｎ２とを、必ずしも同じタイミングで並列に画像処理ＬＳＩ２００に出力する必要はない。即ち、イメージセンサ１００は、ストリームｎ１の出力後にストリームｎ２を出力することも可能である。もちろん、イメージセンサ１００は、ストリームｎ１とストリームｎ２とを並列に画像処理ＬＳＩ２００に出力してもよいことは言うまでもない。

そのため、例えば、画像処理ＬＳＩ２００は、イメージセンサ１００からストリームｎ１として先行して出力される画像信号（低解像度の画像）をプレビュー画像として表示部に表示させ、ストリームｎ２として出力される画像信号（高解像度の画像）を画像データとして記録媒体に記録することも可能である。

このような構成により、本実施の形態に係る撮像装置は、イメージセンサ１００と画像処理ＬＳＩ２００との間の伝送速度が制限されている場合においても、前述した各比較例に比べて、露光の完了からプレビュー画像を表示するまでの時間（換言すると、画像の撮像後における画面が表示されない時間）を短縮することが可能となる。

画像の撮像後における画面が表示されない時間は、ブラックアウトなどと称されることがあるが、本実施の形態によれば、このブラックアウトの時間を短縮、もしくは０にすることが可能である。

上記したように、表示部に表示されるプレビュー画像用には、低解像度の画像の画像信号（ストリームｎ１）が用いられる。低解像度の画像の画像信号は、データサイズが小さいため、転送に係る時間や処理に係る時間を短縮することができる。

よって、プレビュー画像を、所定の間隔（プレビュー画像の更新レート）で、表示部に表示し続けることが可能となり、ブラックアウトが発生することを防ぐことが可能となる。

一方で、記録用の画像信号には、高解像度の画像信号（ストリームｎ２）が用いられる。高解像度の画像信号は、データサイズが大きいため、転送に係る時間や処理に係る時間は、ストリームｎ１より長くなってしまう。

仮に、ストリームｎ２をプレビュー画像に用いた場合、転送に係る時間や処理に係る時間が、プレビュー画像の更新レートよりも長くなり、プレビュー画像が更新されない状況が発生する可能性がある。このような状況は、プレビュー画像がフリーズしたような状態、またはブラックアウトが発生した状態となり、ユーザに不安感を与えてしまう可能性がある。

しかしながら、本技術によれば、上記したように、データサイズの小さいストリームｎ１を用いてプレビュー画像を表示部に表示させるため、プレビュー画像がフリーズしたり、ブラックアウトが発生したりするようなことを防ぐことが可能となる。

また表示部に画面が表示されない時間（ブラックアウト）が発生したり、表示されている画像がフリーズしたりすると、その間に被写体を見失うといった不都合が発生する可能性があったが、本実施の形態に係わる撮像装置によれば、ブラックアウトが発生する時間を短縮（０）することが可能なため、被写体を見失うといった不都合が発生する可能性を低減することが可能となる。

また、他の一例として、画像処理ＬＳＩ２００は、イメージセンサ１００からストリームｎ１として先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、ストリームｎ２として出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。

即ち、画像処理ＬＳＩ２００は、ストリームｎ１として出力される画像信号の解析と、ストリームｎ２として出力される画像信号の取得とを並行して実行することが可能となる。また、ストリームｎ１として低解像度の画像の画像信号を取得するため、全画素の画像信号を解析する場合に比べて、解析の対象となる画像信号の取得に係る時間と、当該解析自体に係る時間との双方を短縮することも可能となる。

そのため、本実施の形態に係る撮像装置は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。

また、前述した構成により、画像処理ＬＳＩ２００は、ストリームｎ１及びｎ２を時分割で取得することが可能なため、当該ストリームｎ１及びｎ２として、同じフレームで撮像された画像の画像信号を使用することが可能となる。そのため、本実施の形態に係る撮像装置は、異なるフレームで撮像された画像信号の解析結果に基づき画像処理を施す場合に比べて、画像処理の精度を向上させることが可能となる。

また、他の一例として、画像処理ＬＳＩ２００は、ストリームｎ１として低解像度の画像の画像信号をイメージセンサ１００から逐次取得し、取得した当該画像に基づき動画像を生成してもよい。また、このとき、画像処理ＬＳＩ２００は、所望のフレーム（例えば、ユーザから指定されたフレーム）に対応する高解像度の画像の画像信号をストリームｎ２として取得し、取得した画像信号に基づき静止画像を生成してもよい。

このような構成により、本実施の形態に係る撮像装置は、動画像と静止画像との双方を同時に撮像し、かつ、静止画像として動画像よりも解像度の高い画像を記録することが可能となる。また、このとき、イメージセンサ１００からは、所望のフレームについてのみ高解像度の画像の画像信号が出力される。そのため、本実施の形態に係る撮像装置は、イメージセンサ１００と画像処理ＬＳＩ２００との間で伝送される画像信号の容量を最小限に抑えることが可能となり、ひいては、各画像の出力に要する時間を短縮することが可能となる。

図５を参照して、本実施の形態に係る撮像装置の構成の一例についてさらに説明する。図５は、本実施の形態に係る撮像装置の構成の一例を示したブロック図であり、前述したイメージセンサ１００と画像処理ＬＳＩ２００とを同一筐体内に設けた場合の一例を示している。図５に示される撮像装置３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

図５に示されるように撮像装置３００は、レンズ部３１１、ＣＭＯＳセンサ３１２、操作部３１４、制御部３１５、画像処理部３１６、表示部３１７、コーデック処理部３１８、及び記録部３１９を有する。

レンズ部３１１は、レンズや絞り等の光学系素子よりなる。レンズ部３１１は、制御部３１５に制御されて、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、ＣＭＯＳセンサ３１２に供給する。

ＣＭＯＳセンサ３１２は、被写体を撮像するイメージセンサであり、制御部３１５に制御されて、入射光を光電変換し、各画素の画素値をＡ／Ｄ変換することにより、被写体の撮像画像のデータ（撮像画像）を得る。ＣＭＯＳセンサ３１２は、制御部３１５に制御されて、その撮像により得られた撮像画像データを画像処理部３１６に供給する。

操作部３１４は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部３１５に供給する。

制御部３１５は、操作部３１４により入力されたユーザの操作入力に対応する信号に基づいて、レンズ部３１１、ＣＭＯＳセンサ３１２、画像処理部３１６、表示部３１７、コーデック処理部３１８、及び記録部３１９の駆動を制御し、各部に撮像に関する処理を行わせる。

画像処理部３１６は、ＣＭＯＳセンサ３１２から供給された画像信号に対して、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、及びＹＣ変換等の各種画像処理を施す。この画像処理の内容は任意であり、上述した以外の処理が行われてもよい。画像処理部３１６は、画像処理を施した画像信号を表示部３１７及びコーデック処理部３１８に供給する。

表示部３１７は、例えば、液晶ディスプレイ等として構成され、画像処理部３１６からの画像信号に基づいて、被写体の画像を表示する。

コーデック処理部３１８は、画像処理部３１６からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部３１９に供給する。

記録部３１９は、コーデック処理部３１８からの画像データを記録する。記録部３１９に記録された画像データは、必要に応じて画像処理部３１６に読み出されることで、表示部３１７に供給され、対応する画像が表示される。

撮像装置３００のＣＭＯＳセンサ３１２は、図４を参照して上述したイメージセンサ１００に該当する。また撮像装置３００の画像処理部３１６は、図４を参照して上述した画像処理部２１０に該当する。また、図４を参照して上述した画像処理部２１０（画像処理ＬＳＩ２００）に、撮像装置３００のコーデック処理部３１８や制御部３１５などが含まれていても良い。

ＣＭＯＳセンサ３１２は、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を選択する選択部（スイッチ）を有する。即ち、ＣＭＯＳセンサ３１２は、このＡＤＣの数に応じて、より多様な画素信号を出力することができる。したがって撮像装置３００は、その多様な画素信号を用いて、より多様な処理を実現することができる。

また、ＣＭＯＳセンサ３１２は、フレームメモリ１９０を備え、全画素からの画素信号をフレームメモリ１９０に一時的に保持させることで、低解像度の画像と高解像度の画像とを、互いに異なるストリームｎ１及びｎ２として出力することができる。

また、画像処理部３１６は、図４を参照して上述した画像処理ＬＳＩ２００の画像処理部２１０に相当する。そのため、画像処理部３１６は、例えば、ＣＭＯＳセンサ３１２から先行して出力される画像信号（低解像度の画像）をプレビュー画像として表示部に表示させ、次いで出力される画像信号（高解像度の画像）を画像データとして記録することが可能となる。

即ち、撮像装置３００は、ＣＭＯＳセンサ３１２と画像処理部３１６との間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間をより短縮することが可能となる。

また、他の一例として、画像処理部３１６は、ＣＭＯＳセンサ３１２から先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、次いで出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。即ち、撮像装置３００は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。

また、前述した構成により、画像処理部３１６は、高解像度の画像に対する画像処理に対して、先行して出力される当該画像と同じフレームに対応する低解像度の画像の解析結果を利用することが可能となる。そのため、撮像装置３００は、異なるフレームで撮像された画像の解析結果に基づき画像処理を施す場合に比べて、画像処理の精度を向上させることが可能となる。

＜撮像装置の動作＞
次に、本実施の形態に係る撮像装置の動作について説明する。本実施の形態に係わる撮像装置の処理の流れの一例について、図４に示す概略的な構成の一例とあわせて、図６を参照して説明する。図６は、撮像装置の処理の流れの一例について説明するための概略的なタイムチャートである。

図６は、各画素での露光処理を示す画素制御と、フレームメモリ１９０への画素信号の入出力に係る処理を示すメモリ制御と、イメージセンサ１００から画像処理ＬＳＩ２００への画素信号の伝送に係る処理を示す出力制御との関係を示している。図６において、横軸は時間を示している。また、画素制御、メモリ制御、及び出力制御として示したタイムチャートの縦軸は、対象となる画素信号の出力元である画素の行方向の位置を示している。

参照符号Ｔ１１及びＴ１２は、本実施の形態に係るイメージセンサ１００における垂直同期信号の一例をフレームレートで示している。例えば、Ｔ１１は、約３０［ｆｐｓ］であり、Ｔ１２は、約１２０［ｆｐｓ］である。なお、図６に示すように、期間Ｔ１１は、１連の画素が露光を完了するために要する期間を示しており、期間Ｔ１２は、一連の画素を走査するために要する走査期間に相当する。

また、参照符号ｄ１１０～ｄ１１４は、画素アレイ部１１１の各画素の露光期間を模式的に示している。即ち、露光期間ｄ１１０～ｄ１１４のそれぞれは、画素アレイ部１１１の各画素における露光を、行単位で時系列に沿って開始タイミングをずらしながら実行する処理の流れを、時系列に沿って模式的に示している。また、参照符号Ｔ１３は、各画素の露光時間を示している。

参照符号ｄ２１０～ｄ２１３は、露光期間ｄ１１０～ｄ１１３のそれぞれにおいて、イメージセンサ１００が、各画素から出力された画素信号をフレームメモリ１９０に書き込む処理（一時的に保持させる処理）の流れを示している。なお、以降では、参照符号ｄ２１０～ｄ２１３で示された、フレームメモリ１９０への画素信号の書き込み処理を、単に「書き込み処理」と記載する場合がある。

また、参照符号ｄ３１０～ｄ３１３は、イメージセンサ１００が、画素アレイ部１１１を構成する複数の画素のうち、少なくとも一部の画素からの画素信号を、図４に示すストリームｎ１として、画像処理ＬＳＩ２００に出力する処理の流れを示している。なお、以降では、参照符号ｄ３１０～ｄ３１３で示された、イメージセンサ１００から画像処理ＬＳＩ２００への画像信号の出力処理を、「第１の出力処理」と呼ぶ場合がある。

また、参照符号ｄ２２１～ｄ２２３は、イメージセンサ１００が、フレームメモリ１９０に書き込まれた（一時的に保持された）画素信号を読み出す処理の流れを示している。なお、以降では、参照符号ｄ２２１～ｄ２２３で示された、イメージセンサ１００からの画像信号の読み出しに係る処理を、単に「読み出し処理」と呼ぶ場合がある。

また、参照符号ｄ３２１～ｄ３２３は、イメージセンサ１００が、フレームメモリ１９０から読み出した画素信号を、図４に示すストリームｎ２として、画像処理ＬＳＩ２００に出力する処理の流れを示している。なお、以降では、参照符号ｄ３２１～ｄ３２３で示された、フレームメモリ１９０から読み出された画素信号が、イメージセンサ１００から画像処理ＬＳＩ２００へ出力される処理を、「第２の出力処理」と呼ぶ場合がある。

図６に示すように、書き込み処理ｄ２１１及び第１の出力処理ｄ３１１は、露光期間ｄ１１１の終了と同期して実行される。即ち、画素アレイ部１１１の各画素で露光が終了すると（即ち、露光期間ｄ１１１が完了すると）、イメージセンサ１００は、書き込み処理ｄ２１１に示す処理タイミングで、各画素から出力される画素信号をフレームメモリ１９０に逐次書き込む。

また、一部の画素からの画素信号については、イメージセンサ１００は、フレームメモリ１９０に向けて出力される画素信号を分波させて、一方の画素信号を第１の出力処理ｄ３１０に示す処理タイミングで画像処理ＬＳＩ２００に直接出力する。また、分波された他方の画素信号については、イメージセンサ１００は、当該画素信号をフレームメモリ１９０に書き込む。

このことは、ｄ１１０、ｄ１１２～ｄ１１４で示した他の露光期間完了後に、各画素から出力される画素信号についても同様である。

また、イメージセンサ１００は、第１の出力処理ｄ３１１の完了後に、書き込み処理ｄ２１１においてフレームメモリ１９０に書き込まれた画素信号（例えば、全画素からの画素信号）を、読み出し処理ｄ２２１が示す処理タイミングで逐次読み出す。そして、イメージセンサ１００は、フレームメモリ１９０から読み出した画素信号を、第２の出力処理ｄ３２１に示す処理タイミングで、画像処理ＬＳＩ２００に出力する。

このことは、ｄ２１２及びｄ２１３で示した他の書き込み処理により、フレームメモリ１９０に書き込まれた画素信号（即ち、露光期間ｄ１１２及びｄ１１３の完了後に出力された画素信号）についても同様である。

以上のような構成に基づき、イメージセンサ１００は、一部の画素からの画素信号に基づく画像信号（低解像度の画像）と、全画素からの画素信号に基づく画像信号（高解像度の画像）とを、第１の出力処理ｄ３１１及び第２の出力処理ｄ３２１として時分割で画像処理ＬＳＩ２００に出力する。

そのため、画像処理ＬＳＩ２００は、例えば、第１の出力処理ｄ３１１に基づき先行して出力される画像信号（低解像度の画像）をプレビュー画像として表示部に表示させ、次いで第２の出力処理ｄ３２１に基づき出力される画像信号（高解像度の画像）を画像データとして記録することが可能となる。

即ち、本実施の形態に係る撮像装置は、イメージセンサ１００と画像処理ＬＳＩ２００との間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間をより短縮することが可能となる。

また、画像処理ＬＳＩ２００は、第１の出力処理ｄ３１１に基づき先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、次いで第２の出力処理ｄ３２１に基づき出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。即ち、本実施の形態に係る撮像装置は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。

なお、上記に示す例では、露光期間ｄ１１０～ｄ１１３それぞれで取得された画素信号に基づき、第１の出力処理ｄ３１０～ｄ３２３を実行する例について説明したが、一部の露光期間で取得された画素信号については第１の出力処理を実行しなくてもよい。

例えば、図６に示す例の場合には、第１の出力処理ｄ３１１を実行しなくてもよい。この場合には、露光期間ｄ１１１で撮像された画素信号については、第２の出力処理ｄ３２１に基づき高解像度の画像信号のみが画像処理ＬＳＩ２００に出力されることとなる。

同様に、一部の露光期間で取得された画素信号については第２の出力処理を実行しなくてもよい。例えば、図６に示す例では、露光期間ｄ１１０で撮像された画素信号については、第１の出力処理ｄ３１０に基づき低解像度の画像信号のみが画像処理ＬＳＩ２００に出力されることとなる。

また、第１の出力処理に基づき低解像度の画像のみを画像処理ＬＳＩ２００に出力する場合には、イメージセンサ１００は、書き込み処理、即ち、フレームメモリ１９０への画素信号の書き込みに係る処理を必ずしも実行しなくてもよい。

さらに、図７を参照し、露光とスルー画像の表示のタイミングについて説明を加える。時刻ｔ１から時刻ｔ２の露光時間により、画像Ｐ１が撮像される。この画像Ｐ１は、スルー画像（ライブビュー）用に撮像された画像であり、ユーザの指示により撮像された画像ではないとする。

ライブビュー画像は、表示部に表示される画像であり、所定の間隔で撮像され、処理され、表示される画像である。

時刻ｔ２において、露光が終了した時点で、イメージセンサ１００の画素アレイ部１１１から、画像処理部２１０に画素信号に基づく画像信号が出力される。この場合、ライブビュー用の画像のため、低解像度の画像で良く、画素アレイ部１１１から低解像度の画像の画像信号（ストリームｎ１）が、画像処理部２１０に供給される。

時刻ｔ２からイメージセンサ１００から出力された画像信号が、画像処理部２１０で処理され、時刻ｔ３から表示部に、処理された画像信号に基づく画像が表示される。図７では、イメージセンサ１００から出力される画像信号（ストリームｎ１）を、ＬＶ（ライブビュー）と表記し、表示部に表示される画像をＬＶ’と表記する。

この場合、時刻ｔ２からイメージセンサ１００から出力された画像信号ＬＶ１は、画像処理部２１０で処理されることで、時刻ｔ３から時刻ｔ６まで、表示部で、画像ＬＶ１’として表示される。

同じく、時刻ｔ４から時刻ｔ５の露光時間で撮像された画像Ｐ２の画像信号ＬＶ２は、露光終了時刻ｔ５からイメージセンサ１００から、画像処理部２１０に出力される。この場合、画像Ｐ２はライブビュー用の画像撮像であるため、フレームメモリ１９０に蓄積されずに、直接的に、イメージセンサ１００から画像処理部２１０に出力される。

時刻ｔ５からイメージセンサ１００から出力された画像信号ＬＶ２は、画像処理部２１０で処理されることで、時刻ｔ６から時刻ｔ９まで、表示部で、画像ＬＶ２’として表示される。

時刻Ｂ１において、ユーザから撮像の指示、例えば、シャッターボタンが押下される等の所定の操作がされた場合、撮像が行われる。ユーザからの指示により時刻ｔ７から時刻ｔ８の露光時間で撮像された画像Ｐ３の画像信号は、ライブビュー用と、記録用とに分けられて処理される。

すなわち、時刻ｔ７において、ライブビュー用の画像信号ＬＶ３は、イメージセンサ１００から画像処理部２１０に直接的に、ストリームｎ１として出力される。一方で、記録用の画像信号ＣＡＰ１は、時刻ｔ７において、イメージセンサ１００内の画素アレイ部１１１からフレームメモリ１９０に蓄積される。

フレームメモリ１９０に蓄積された画像信号ＣＡＰ１は、時刻ｔ７よりも後の時点で、例えば、図６を参照して説明したようなタイミングで、ストリームｎ２として、画像処理部２１０に出力される。

時刻ｔ８からイメージセンサ１００から出力された画像信号ＬＶ３は、画像処理部２１０で処理されることで、時刻ｔ９から時刻ｔ１２まで、表示部で、画像ＬＶ３’として表示される。

このように、記録用の画像が撮像されたとき（キャプチャが行われたとき）に、ライブビュー用の画像信号ＬＶとキャプチャ用の画像信号ＣＡＰをそれぞれ画素アレイ部１１１から出力し、処理するようにしたことで、ライブビュー用の画像が途切れることなく、表示し続けることが可能となる。

すなわち、図７に示したように、ライブビュー用の画像ＬＶ１’、画像ＬＶ２’、画像ＬＶ３’は、途切れることなく表示されるため、ブラックアウトが発生することなく、ユーザにライブビュー画像を提示し続けることが可能となる。

キャプチャが行われた後、ライブビュー画像の更新のタイミングになると、撮像が行われ、ライブビュー画像用の画像信号が取得される。時刻ｔ１０から時刻ｔ１１の露光時間で撮像された画像Ｐ４の画像信号ＬＶ４は、露光終了時刻ｔ１１からイメージセンサ１００から、画像処理部２１０に直接的に出力される。

時刻ｔ１２からイメージセンサ１００から出力された画像信号ＬＶ４は、画像処理部２１０で処理されることで、時刻ｔ１２から時刻ｔ１５まで、表示部で、画像ＬＶ４’として表示される。

さらに、ユーザからの撮像の指示がなく、ライブビュー画像の更新のタイミングになった場合、撮像が行われ、ライブビュー画像用の画像信号が取得される。またユーザからの撮像の指示があった場合、その指示に基づく撮像が行われる。

このように、ライブビュー画像の更新が行われることで、また、ユーザからの指示により撮像が行われときでも、ライブビュー画像用の画像信号と記録用の画像信号を分波して処理することで、ライブビュー画像を途切れることなく表示させ続けることが可能となる。

表示部に画面が表示されない時間（ブラックアウト）が発生すると、その間に被写体を見失うといった不都合が発生する可能性があったが、本実施の形態に係わる撮像装置によれば、ブラックアウトが発生する時間を短縮（０）にすることが可能なため、被写体を見失うといった不都合が発生する可能性を低減することが可能となる。

なお、図７では、位相差画素からの信号を処理するタイミングなどについては記載していないが、位相差画素を設け、その位相差画素からの信号が取得され、処理されるように構成することもできる。位相差画素は、例えば、画素アレイ部１１１内に設けられ、例えば、２個の位相差画素が１組とされ、その２個の位相差画素から得られる画像から位相差を検出することで、位相差情報を生成するための画素である。そして、その位相差情報を用いて、被写体に対するピント合わせが行われる。

例えば、位相差画素からの画素信号も、画素アレイ部１１１から読み出され、画像処理部２１０に供給され、位相差情報が生成される。例えば、画素アレイ部１１１から、画像信号ＬＶ１が読み出される前のタイミングで、位相差画素からの画素信号が読み出され、画像処理部２１０で処理され、位相差情報が生成される。

＜撮像時のフィードバックについて＞
ところで、上記したように、ブラックアウトが発生しない撮像の場合、ユーザは、撮像のタイミングや露光時間を把握できない（体感できない）可能性がある。従来、例えば、機械的なシャッターを用いて撮像されている場合や、画像信号の転送に時間が係る場合など、ブラックアウトが発生していたが、撮像者（ユーザ）によっては、このブラックアウトの発生で、指示した撮像が実行されたタイミングや露光時間を把握していることがあった。

ユーザによっては、ブラックアウトが発生することで、自己が指示した撮像が実行されていることを体感するユーザもいる。

よって、撮像者によっては、ブラックアウトがないことで、指示した撮像が実行されたタイミングや露光時間を把握できず、使い勝手が悪いと感じてしまう可能性がある。

そこで、指示した撮像が実行されたタイミングや露光時間を把握できるように、以下に説明するような処理が行われるようにしても良い。

例えば、図５に示した撮像装置３００のように、表示部３１７を有し、その表示部３１７にライブビュー画像が表示される撮像装置の場合、ユーザは、撮像時に表示部３１７に表示されているライブビュー画像を見ながら撮像を行う。

この表示部３１７に、例えば、図８に示したようなマーク４０１が表示される。図８に示したマーク４０１は、表示部３１７の四隅に、それぞれ四角形状で表示されるマークである。

このマーク４０１は、一例として、ユーザが撮像を指示したときの撮像における露光時間の間、表示部３１７に表示される。例えば、図７を再度参照するに、時刻ｔ７から時刻ｔ８において、ユーザからの指示による撮像が行われるが、この時刻ｔ７から時刻ｔ８の間に、マーク４０１が表示部３１７に表示される。

このように、ユーザの指示による撮像が行われるときに、マーク４０１を表示することで、撮像者は、撮像時（露光時）に、マーク４０１を視認することができ、マーク４０１を視認することで、指示した撮像が実行されたタイミングや露光時間を把握することができる。

このようなマーク４０１の表示形態、表示のタイミングなどについて、以下に説明を加える。なお、以下の説明においては、マーク４０１の表示は、フィードバック表示と適宜記載し、撮像が行われていることをユーザに体感させるための表示であるとして説明を続ける。

なお、以下の説明において、フィードバック表示が行われるのは、ユーザが撮影を指示したときに行われ、例えば、その撮影の露光時間に応じた時間で表示されるため、単に“露光時間”と記述したときは、ユーザにより指示された撮影が行われた時の露光時間であり、ライブビュー画像を表示するための所定の周期で行われている撮影における露光時間ではないとする。同様に、以下の説明において、撮像とは、ユーザが指示したときに行われる撮像とし、撮像のタイミングとは、ユーザが指示した撮像が行われるタイミングであるとする。

＜露光時間による表示時間の設定＞
図９のフローチャートを参照し、露光時間によりフィードバックの表示時間を設定する場合について説明する。なお、以下の説明において、フィードバックに関する処理を行うのは、画像処理部２１０（図４）であるとして説明を続けるが、画像処理ＬＳＩ２００内に、フィードバックに関する処理を行う機能を、画像処理部２１０と別個に設けても良い。

ステップＳ１０１において、画像処理部２１０は、露光時間は、４０msec以下であるか否かが判定される。露光時間の間、マーク４０１を表示するとした場合、露光時間が短い場合、マーク４０１を表示したとしても、ユーザが視認できない可能性がある。ここでは、４０msec以下の時間であると、ユーザはマーク４０１を視認できないとして説明を続けるが、４０msecは一例であり、他の時間であっても良い。

ステップＳ１０１において、露光時間≦４０msecの関係が満たされると判定された場合、ステップＳ１０２に処理は進められる。ステップＳ１０２において、フィードバックの表示時間は、４０msecに設定される。

ステップＳ１０２に処理が進められた場合、露光時間が４０msec以下であるため、仮に、露光時間の間、マーク４０１を表示した場合、４０msec以下の時間だけしか表示されず、ユーザはマーク４０１を視認できない可能性がある。そこで、露光時間は４０msec以下であるが、マーク４０１（フィードバック）を表示する時間は、４０msecとし、露光時間と同じまたは長い時間、表示されるように設定される。

ステップＳ１０２に処理が進められた場合、画像処理部２１０は、ストリームｎ１で画素アレイ部１１１から供給される画像信号に基づく画像上に、マーク４０１を重畳する処理を実行し、その重畳する時間を、４０msecとする。例えば、画像処理部２１０は、タイマーを備え、マーク４０１の重畳を開始した時間から計時を開始し、その計時している時間が、４０msecになった時点で、マーク４０１の重畳を停止する。

一方、ステップＳ１０１において、露光時間≦４０msecの関係が満たされないと判定された場合、ステップＳ１０３に処理は進められる。ステップＳ１０３において、フィードバックの表示時間は、露光時間と同等の時間に設定される。なおここでは、露光時間と同等の時間に設定されるとして説明を続けるが、露光時間よりも長い時間が設定されるようにしても良い。

ステップＳ１０３に処理が進められた場合、露光時間が４０msecより大きいため、露光時間の間、マーク４０１が表示されるように設定される。この場合、画像処理部２１０は、ストリームｎ１で画素アレイ部１１１から供給される画像信号に基づく画像上に、マーク４０１を重畳する処理を実行し、その重畳する時間を、露光時間とする。

ステップＳ１０３においても、ステップＳ１０２と同じく、例えば、画像処理部２１０は、タイマーを備え、マーク４０１の重畳を開始した時間から計時を開始し、その計時している時間が、露光時間と同一の時間になった時点で、マーク４０１の重畳を停止するようにしても良い。

このように、露光時間に応じて、マーク４０１の表示時間（フィードバックの表示時間）が制御される。

ここで、図９に示した処理が実行されることで、表示されるフィードバック表示について、図１０、図１１を参照して説明を加える。図１０、図１１は、露光、スルー画像の表示、およびフィードバック表示のタイミングについて説明するための図である。まず、図１０を参照し、ステップＳ１０３において、フィードバック表示時間＝露光時間に設定された場合について説明を加える。

時刻Ｂ１において、ユーザにより撮像が指示されると、その指示に対応した撮像が、時刻ｔ７から時刻ｔ８において行われる。すなわち、時刻ｔ７において、露光が開始され、時刻ｔ８において、露光が終了される。この時刻ｔ７から時刻t８までの時間が露光時間であり、この露光時間が、４０msec以下であるか否かが判定される。

判定の結果、露光時間は、４０msec以下ではないと判定された場合、ステップＳ１０３において、フィードバック表示時間＝露光時間に設定される。この場合、図１０に示したように、フィードバック表示は、時刻t７から時刻ｔ８まで、すなわち、露光時間と同等の時間だけ行われる。

図１０では、時刻ｔ７において露光が開始され、同タイミングで、フィードバック表示が行われる例を示したが、フィードバック表示は、同タイミングでなくても良い。例えば、フィードバック表示は、時刻t７より少し後の時点から開始されるようにしても良い。

次に図１１を参照し、ステップＳ１０２において、フィードバック表示時間＝４０msecに設定された場合について説明を加える。

時刻Ｂ１’において、ユーザにより撮像が指示されると、その指示に対応した撮像が、時刻ｔ７’から時刻ｔ８’において行われる。すなわち、時刻ｔ７’において、露光が開始され、時刻ｔ８’において、露光が終了される。この時刻ｔ７’から時刻t８’までの時間が露光時間であり、この露光時間が、４０msec以下であるか否かが判定される。

判定の結果、露光時間は、４０msec以下であると判定された場合、ステップＳ１０２において、フィードバック表示時間＝４０msecに設定される。この場合、図１１に示したように、フィードバック表示は、時刻t７’から時刻ｔ８”まで行われる。図１１に示した例では、時刻ｔ８”は、露光終了時刻である時刻ｔ８’よりも後の時刻であり、時刻ｔ７’から時刻ｔ８”は、４０msecである。

この場合、時刻ｔ７’において、露光とフィードバック表示が開始されるが、時刻ｔ８’において露光が終了され、その後、露光開始時刻ｔ７’から４０msec経過した時刻ｔ８”において、フィードバック表示が終了される。

この場合も、図１０に示した場合と同じく、時刻ｔ７’において露光が開始され、同タイミングで、フィードバック表示が行われる例を示したが、フィードバック表示は、同タイミングでなくても良い。例えば、フィードバック表示は、時刻t７’より少し後の時点から開始されるようにしても良い。

このような制御が行われることで、上記したように、露光時間に係わらず、ユーザは、マーク４０１（フィードバック）を視認することができ、撮像が実行されているタイミングや、露光時間を把握することができる。

例えば、長時間露光の場合、マーク４０１が露光中、継続して表示部３１７に表示されるため、撮像者は、撮像が開始されたタイミング、撮像が継続されている期間（露光中）、撮像が終了したタイミングを、マーク４０１を視認することで把握することができる。

なお、長時間露光の場合、表示部３１７に表示されているライブビュー画像は、フリーズ画（露光開始前に撮像されていた画のまま、例えば、図１０においては、画像ＬＶ２’）となる。また、フリーズ画が表示されるような状況が発生した場合、フリーズ画を表示しない代わりに、黒画像を挿入し、ブラックアウトの状態をあえて作り出す場合もある。また、フリーズ画が表示されるような状況のとき、表示部に、「現在露光中です」といったメッセージが表示される場合もある。

このような黒画像の表示やメッセージの表示は、例えば露光時間が所定の時間以上、例えば、１秒以上に設定された場合に行われる。

このようなフリーズ画（黒画像）が表示されるような状況のときに、仮にマーク４０１が表示されないと、撮像者は撮像が正常に行われているのか否かを把握できず、エラーが発生してフリーズ画（黒画像）が表示されていると誤った判断をしてしまう可能性がある。しかしながら、本技術によれば、撮像していることをユーザにフィードバックする表示がなされるため、撮像者が誤った判断をしてしまうようなことを防ぐことが可能となる。

例えば、連続撮像（連写）のような撮像が行われている場合、連写中の１回の撮像に係る露光時間は、短くなり、例えば、４０msec以下になることもある。連写中であり、連写中の１回の撮像に係る露光時間が４０msec以下になるような場合、露光時間よりもフィードバックが表示される時間が長くなるため、撮像回数よりも、フィードバック（マーク４０１）が表示される回数が少なくなる場合がある。

例えば、図１２に示すように、連続撮影で、５枚の画像が撮像される場合を例に挙げて説明する。時刻ｔ３１から時刻ｔ３２の露光時間で、画像Ｐ１１が撮像され、時刻ｔ３４から時刻ｔ３５の露光時間で、画像Ｐ１２が撮像され、時刻ｔ３７から時刻ｔ３８の露光時間で、画像Ｐ１３が撮像され、時刻ｔ４０から時刻ｔ４１の露光時間で、画像Ｐ１４が撮像され、時刻ｔ４３から時刻ｔ４４の露光時間で、画像Ｐ１５が撮像される。

これらの画像Ｐ１１乃至Ｐ１５の各画像が、撮像されたときの露光時間は、全て４０msec以下であったとする。この場合、１回のフィードバック表示時間は、４０msecに設定されるため、図１２に示したように、例えば、３回のフィードバック表示が行われる。

例えば、図１２に示したように、画像Ｐ１１の撮像が開始された時刻ｔ３１から、フィードバック表示ＦＢ３１の表示も開始され、４０msec表示される。同様に、画像Ｐ１３の撮像が開始された時刻ｔ３７から、フィードバック表示ＦＢ３２の表示も開始され、４０msec表示される。同様に、画像Ｐ１５の撮像が開始された時刻ｔ４３から、フィードバック表示ＦＢ３３の表示も開始され、４０msec表示される。

このように、３回のフィードバック表示が行われる。すなわちこの場合、５枚の連続撮影に対して、３回のフィードバック表示が行われる。

なおここでは、フィードバック表示が行われる最低表示時間（４０msec）が設定されている場合を例に挙げて説明したが、フィードバック表示が行われない最低非表示時間も設定されているようにしても良い。例えば、図１２において、時刻ｔ５１から時刻ｔ３７の間は、フィードバック表示が行われないが、この時間は、予めフィードバック表示が非表示の時間として設定されている時間を満たすような時間とされているようにしても良い。

最低表示時間と最低非表示時間を設けるようにし、フィードバック表示の視認性が確保されるように構成することも可能である。

このように、撮像回数よりもフィードバック表示の回数が少なくなるようなことがあっても良い。

また連写の場合、例えば、マーク４０１は、点滅するような表示となる場合もある。例えば、図１３に示すように、連続撮影で、５枚の画像が撮像される場合を例に挙げて説明する。時刻ｔ５１から時刻ｔ５２の露光時間で、画像Ｐ２１が撮像され、時刻ｔ５４から時刻ｔ５５の露光時間で、画像Ｐ２２が撮像され、時刻ｔ５７から時刻ｔ５８の露光時間で、画像Ｐ２３が撮像され、時刻ｔ６０から時刻ｔ６１の露光時間で、画像Ｐ２４が撮像され、時刻ｔ６３から時刻ｔ６４の露光時間で、画像Ｐ２５が撮像される。

これらの画像Ｐ２１乃至Ｐ２５の各画像が、撮像されたときの露光時間は、全て４０msecより大きい時間であったとする。この場合、フィードバック表示時間は、露光時間に設定されるため、図１３に示したように、各撮像に対応し、５回のフィードバック表示が行われる。

例えば、図１３に示したように、画像Ｐ２１の撮像が開始された時刻ｔ５１から、フィードバック表示ＦＢ５１の表示も開始され、時刻ｔ５２まで表示される。同様に画像Ｐ２２の撮像が開始された時刻ｔ５４から、フィードバック表示ＦＢ５２の表示も開始され、時刻ｔ５５まで表示される。

同様のフィードバック表示が繰り返されることで、画像Ｐ２５の撮像が開始された時刻ｔ６３から、フィードバック表示ＦＢ５５の表示も開始され、時刻ｔ６４まで表示される。

このように、５回のフィードバック表示が行われる。すなわちこの場合、５枚の連続撮影に対して、５回のフィードバック表示が行われる。よって、マーク４０１は、点滅しているような表示となる。

マーク４０１が点滅することで、撮像者は、連写が行われていることを体感することができる。よって、上記した場合と同じく、連写などの場合にも、本技術によれば、撮像が実行されているタイミングや、露光時間を把握することができる。

このようにフィードバック表示が点滅しているような表示となるような場合、同一のマークが、同一の位置に表示されるようにしても良い。また同一のマークであるが、その表示される位置が移動されて表示される（点滅する毎に、表示位置がずらされる）ようにしても良い。さらに、点滅する毎に、異なるマークがされるようにしても良い。このように、連写のときには、フィードバック表示の表示が変化するようにし、連写であることをよりユーザに認識させることができる表示としても良い。

なお、連写の場合、連写の開始と終了のときのみフィードバック表示が行われるようにしても良い。上記したように、連写の場合、マーク４０１が点滅しているような表示がなされる。そのような表示は、撮像者によっては目障りになるような可能性がある。

そこで、例えば、連写のモードに設定されているときには、撮像ボタンが操作されたときに、所定の時間、例えば４０msec以上の時間、マーク４０１が表示され、操作ボタンの操作が終了したとき、または撮像可能枚数に達したとき（達する前）に、所定の時間、例えば４０msec以上の時間、マーク４０１が表示されるようにしても良い。

または、連写の開始から終了まで、フィードバック表示が表示し続けられるようにしても良い。

このように、モードによりフィードバックの表示時間や、表示回数などが制御されるようにしても良い。

＜露光開始時、終了時の処理＞
次に、露光開始時と終了時の処理について、説明を加える。まず図１４のフローチャートを参照し、露光開始時の処理について説明する。

ステップＳ２０１において、フィードバック表示中であるか否かが判定される。ステップＳ２０１において、フィードバック表示中であると判定された場合、ステップＳ２０２に処理が進められ、表示中であるフィードバック表示（例えば、図８に示したマーク４０１）が消去される。

そして、ステップＳ２０３において、タイマーがリセット（０に設定）される。このタイマーは、上記したように、フィードバック表示を行う時間を計時するためのタイマーである。

一方、ステップＳ２０１において、フィードバック表示中ではないと判定された場合、または、ステップＳ２０３における処理が終了された場合、ステップＳ２０４に処理は進められる。

ステップＳ２０４において、フォーカスモード（Focus Mode）は、ＡＦ－Ｃであるか否かが判定される。フォーカスモードには、例えば、ＡＦ－ＣとＡＦ－Ｓがある。ＡＦ－Ｃは、コンティニュアスオートフォーカスと称されるモードであり、シャッターボタンが半押しされている間、ピント合わせが続けられるモードである。

ＡＦ－Ｓは、シングルオートフォーカスと称されるモードであり、シャッターボタンが半押しされ、一度ピントが合わせられると、半押しされている間、ピントが固定されるモードである。

ステップＳ２０４において、フォーカスモード＝ＡＦ－Ｃであると判定された場合、ステップＳ２０５に処理が進められる。ステップＳ２０５において、合焦が成功したか否か（ピントが合ったか否か）が判定される。ステップＳ２０４において、合焦が成功したと判定された場合、ステップＳ２０６に処理が進められる。

ステップＳ２０６において、合焦位置を表示中であるか否かが判定される。ステップＳ２０６において、合焦位置を表示中であると判定された場合、ステップＳ２０７に処理が進められる。ステップＳ２０７において、ＡＦ枠に追従した位置にフィードバック表示がされる。ＡＦ枠は、オートフォーカスのフォーカスがあたっている被写体（ピントが合っている被写体）部分に表示される枠である。

ＡＦ枠に追従した位置にフィードバック表示がされた場合の画面例を図１５に示す。図１５に示した画面例において、表示部３１７の中央部分に表示されているカギ括弧（『』）の形状が、ＡＦ枠５０１である。そのＡＦ枠５０１を囲むように四角形状でマーク４０２（フィードバック表示）がされている。図１５に示したように、ＡＦ枠５０１の近傍に、マーク４０２を表示することで、フィードバック表示が行われるようにしても良い。

また、図１５では、表示部３１７の中央部分にＡＦ枠５０１が表示されている例を示したが、このＡＦ枠５０１は、ＡＦ－Ｃモードである場合、移動する可能性があり、ＡＦ枠５０１の移動に合わせて、マーク４０２の表示位置も移動する。すなわち、ＡＦ枠５０１に追従した位置に、マーク４０２は表示される。

このようにフォーカスモードがＡＦ－Ｃモードである場合に、ＡＦ枠５０１に追従してマーク４０２を表示するのは、ＡＦ－Ｃモードである場合、撮像者の視線は、動く被写体に集中していると考えられるからである。ＡＦ－Ｃモードの場合、動く被写体が被写体とされ、その動く被写体にＡＦ枠５０１が表示される。よって、そのような撮像者が注視している領域にフィードバック表示が行われるように、ＡＦ枠５０１の近傍に、マーク４０２が表示される。

このような表示がなされるように、ステップＳ２０４において、フォーカスモードがＡＦ－Ｃモードであるか否かが判定される。

また、ＡＦ－Ｃモードであっても、合焦に失敗している場合、撮像者が目的とする被写体が撮像されていない可能性が高い。そのようなときにフィードバック表示が行われないように制御される。

このような表示の制御がなされるように、ステップＳ２０５において、合焦は成功しているか否かが判定される。

また、ＡＦ－Ｃモードであり、合焦が成功している状態であっても、合焦位置が表示されていない場合、換言すれば、ＡＦ枠５０１が表示されていない場合、マーク４０２だけが表示されることになる。このような場合、撮像者は、急に、マーク４０２だけが表示されたことを視認することになり、撮像者に違和感を与えてしまう可能性がある。そのようなときにフィードバック表示が行われないように制御される。

このような表示の制御がなされるように、ステップＳ２０６において、合焦位置は表示されているか否かが判定される。

そして、上記したように、ＡＦ－Ｃモードであり、合焦が成功し、合焦位置が表示されているときには、ＡＦ枠５０１に追従した位置にフィードバック表示が行われる。

一方で、ステップＳ２０４において、フォーカスモードは、ＡＦ－Ｃモードではないと判定された場合、ステップＳ２０５において、合焦は成功していないと判定された場合、または、ステップＳ２０６において、合焦位置は表示されていないと判定された場合、ステップＳ２０８に処理は進められる。

ステップＳ２０８において、固定位置にフィードバック表示を行うと設定される。固定位置にフィードバック表示が行われる場合、例えば、図８に示したように、表示部３１７（画面）の四隅にマーク４０１が表示されることでフィードバック表示が行われる。図８に示したフィードバック表示例は、画面の四隅にマーク４０１が表示され、このマーク４０１は、ＡＦ枠５０１（図１５）には追従せずに、画面内で表示位置が固定されている例である。

このように、フィードバック表示は、オートフォーカスのモードにより、表示方式が変更されるようにすることができる。換言すれば、フィードバック表示は、複数の表示方法があり、オートフォーカスのモードにより、複数の表示方法から、最適な表示方法が選択され、その選択された表示方法で表示がなされるようにすることができる。

また、複数の表示方法から、最適な表示方法が選択されるように構成した場合、選択するための条件は、オートフォーカスのモードの他に、連写であるか、長時間露光であるかなどの複数の条件が加味されて選択されるようにすることができる。

なお、複数の表示方法として、ここでは、図８に示した画面の四隅にマーク４０１を表示させる方法と、図１５に示したＡＦ枠５０１に追従してマーク４０２を表示させる方法を例示したが、他の表示方法については、後述する。

図１４に示した例では、撮像者が注視している領域があると判定されるときには、その注視している領域にフィードバック表示が行われ、そのような注視している領域が特定されないときには、撮像者の邪魔にならないような領域にフィードバック表示が行われる。

図１４のフローチャートの処理に説明を戻し、ステップＳ２０７またはステップＳ２０８において、フィードバック表示の方式が設定され、その設定に基づいたフィードバック表示が開始されると、ステップＳ２０９に処理が進められる。

ステップＳ２０９において、タイマーの計時が開始される。タイマーは、上記したように、露光時間が短い場合などに、フィードバック表示の視認性を確保するために、一定時間、フィードバック表示が継続されるようにするために設けられている。例えば、上記した例では、４０msecを計時するタイマーとされる。

露光開始時には、図１４に示したような処理が実行されることで、フィードバック表示が開始される。そして、露光終了時には、図１６に示すようなフローチャートに基づく処理が行われる。

ステップＳ２５１において、タイマーがカウント中であるか否かが判定される。ステップＳ２５１において、タイマーがカウント中であると判定された場合、露光終了時の処理は終了される。即ちこの場合、タイマーがカウント中であるため、フィードバック表示は、露光が終了したとしても、継続される。

一方、ステップＳ２５１において、タイマーはカウント中ではないと判定された場合、ステップＳ２５２に処理は進められる。ステップＳ２５２において、フィードバック表示は消去される。

このように、露光終了時に、タイマーによる計時が継続されているときには、そのままフィードバック表示も継続され、タイマーによる計時が終了されているときには、その時点で行われていたフィードバック表示は、消去される。

このように、フィードバック表示がタイマーにより計時される時間により制御される場合、図１７に示すフローチャートの処理も実行される。図１７に示したフローチャートは、タイマーの計時終了時の処理について説明するためのフローチャートである。

ステップＳ３０１において、露光中であるか否かが判定される。タイマーによる計時が終了した時点で、露光中であると判定された場合、タイマーの計時終了時の処理は終了される。この場合、タイマーの計時は終了したが、露光が継続されているため、フィードバック表示も継続される。

一方、ステップＳ３０１において、露光中ではないと判定された場合、ステップＳ３０２に処理は進められる。ステップＳ３０２において、フィードバック表示は消去される。

このように、タイマーによる計時が終了されたときに、露光が継続されているときには、そのままフィードバック表示も継続され、露光が終了されているときには、その時点で行われていたフィードバック表示は、消去される。

図９に示したフローチャートを参照して説明したように、露光時間に応じて、フィードバック表示の時間が設定される場合、具体的には、露光時間が４０msec以下のときには、フィードバック表示が４０msec継続されるとして設定される場合、タイマーにより４０msec計時され、４０msec経過した時点で、フィードバック表示が消去される。この場合、図１７に示したタイマーの計時終了時の処理が実行されることで、フィードバック表示が消去される。

また図９に示したフローチャートを参照して説明したように、露光時間に応じて、フィードバック表示の時間が設定される場合、具体的には、露光時間が４０msecより大きいときには、フィードバック表示が露光時間中継続されるとして設定される場合、露光時間が終了した時点で、フィードバック表示が消去される。この場合、図１６に示した露光終了時の処理が実行されることで、フィードバック表示が消去される。

＜フィードバックの表示位置の設定処理＞
図１８に示したフローチャートを参照し、フィードバックの表示位置の設定に係わる処理について説明する。図１４に示した露光開始時の処理に係わるフローチャートを参照して説明したように、フィードバック表示は、ＡＦ枠５０１（図１５）に追従して行われるか、ＡＦ枠５０１に追従せずに固定の位置で行われる。このような追従した表示または固定した表示のどちらで表示するかは、図１４を参照して説明したように設定することもできるが、図１８に示したフローチャートに基づき設定されるようにすることもできる。

ステップＳ４０１において、フィードバック表示位置は、固定に設定される。即ちこの場合、デフォルトとして、フィードバック表示位置は、固定とされている。

ステップＳ４０２において、フォーカスモードは、ＡＦ－Ｃであるか否かが判定され、ステップＳ４０３において、合焦は成功しているか否かが判定され、ステップＳ４０４において、合焦位置を表示しているか否かが判定される。このステップＳ４０２乃至Ｓ４０４の処理は、図１４に示したフローチャートにおけるステップＳ２０４乃至Ｓ２０６の処理と、基本的に同一の処理であるため、ここではその説明は省略する。

フォーカスモードがＡＦ－Ｃであり、合焦が成功しており、合焦位置が表示中である場合、ステップＳ４０５において、フィードバック表示位置は、ＡＦ枠に追従すると設定される。すなわち、この場合、図１４を参照して説明したように、撮像者が注視している領域があると判定される場合には、その領域にフィードバック表示が行われるように設定される。

図１８に示したフローチャートの処理によると、フィードバック表示位置は、デフォルトとしては固定であるが、撮像者が注視している領域があると判定される場合には、その領域にフィードバック表示が行われる。

このように、フィードバック表示位置が設定されるようにしても良い。

なお、上記したように、フィードバック表示の位置や、その表示内容は、所定の条件により変更される例を示したが、上記した条件以外により、フィードバック表示の位置や、その表示内容が変更されるようにしても良い。

また、上記したような条件を設けず、フィードバック表示は、常に同じフィードバック表示が行われるようにすることも可能である。

＜フィードバック表示の他の例＞
上述した実施の形態の説明においては、フィードバック表示について、図８と図１５を参照して説明した。さらに他のフィードバック表示について説明する。

図１９は、フィードバック表示の他の表示例を示す図である。図１９に示したフィードバック表示は、画面の上辺と下辺に線状のマーク４０３が表示されている。

このように、画面の上下に、それぞれ線上のマーク４０３を表示することで、フィードバック表示を行うと、画面の中央部分は、撮像されている画像を表示した状態を維持できるため、撮像者がマーク４０３を邪魔に感じるような表示となるようなことを防ぐことができる。

一方で、マーク４０３が表示されることで、上述した実施の形態と同じく、撮像のタイミングや露光時間を撮像者に把握させることができ、撮像が行われていることを体感させることが可能となる。

線状のマーク４０３の線の太さは、撮像者の邪魔にならず、かつフィードバックが確実に行われる太さに設定される。また、上辺に表示されるマーク４０３の太さと、下辺に表示されるマーク４０３の太さは、同一の太さであっても良いし、一方が他方より太く表示されるようにしても良い。

また、図１９に示したフィードバック表示では、画面の上辺と下辺に線状のマーク４０３が表示される例を示したが、画面の左辺と右辺に線状のマーク４０３が表示されるようにしても良い。

画面の上辺と下辺に線状のマーク４０３が表示される場合と、画面の左辺と右辺に線状のマーク４０３は、撮像装置の向きに応じて切り替えられるようにしても良い。例えば、画面が横長の場合（撮像装置が横持ちされている場合）、画面の上辺と下辺に線状のマーク４０３が表示され、画面が縦長の場合（撮像装置が縦持ちされている場合）、画面の左辺と右辺に線状のマーク４０３が表示されるといったように、撮像装置の向きにより、フィードバック表示が切り替えられるようにしても良い。

図２０は、フィードバック表示の他の表示例を示す図である。図２０に示したフィードバック表示は、画面の上辺、下辺、左辺、右辺に線状のマーク４０４が表示され、四角形状のマーク４０４を形成している。換言すれば、画面（表示部３１７）の表示枠と同一形状（四角形状）であり、画面の枠に沿った位置に、所定の太さの線（画面の枠に沿った形状）で描画されるマーク４０４が表示されている。

このように、画面の枠に沿った位置にマーク４０４を表示することで、画面の中央部分は、撮像されている画像を表示した状態を維持できるため、撮像者がマーク４０４を邪魔に感じるような表示となるようなことを防ぐことができる。

一方で、マーク４０４が表示されることで、上述した実施の形態と同じく、撮像のタイミングや露光時間を撮像者に把握させることができ、撮像が行われていることを体感させることが可能となる。

マーク４０４の線の太さは、撮像者の邪魔にならず、かつフィードバックが確実に行われる太さに設定される。また、各辺に表示されるマーク４０４の太さは、同一の太さであっても良いし、異なる太さであっても良い。例えば、左右にそれぞれ表示される線は同一の太さであり、上下にそれぞれ表示される線は同一の太さであるが、左右に表示されている線の太さと上下に表示されている線の太さは異なるようにしても良い。

図２０に示したマーク４０４は、画面内の側壁に表示されるが、図２１に示すように、画面内の中央付近に表示されるようにしても良い。図２１は、フィードバック表示の他の表示例を示す図である。図２１に示したフィードバック表示は、画面内に、四角形状のマーク４０５が表示されている。

このように、画面内にマーク４０５を表示することで、フィードバック表示を行うと、マーク４０５以外の画面内においては、撮像されている画像を表示した状態を維持できるため、撮像者がマーク４０５を邪魔に感じるような表示となるようなことを防ぐことができる。しかしながら、仮にマーク４０５の線を太くすると、撮像者が、マーク４０５を邪魔に感じる可能性があるため、マーク４０５の線の太さは、例えば、マーク４０４（図２０）の線の太さよりも細く表示される。

このように、フィードバック表示として表示されるマークの線の太さは、表示される位置により異なるようにしても良い。また、表示される位置により異なるようにした場合、画面の中央部分に近い位置の場合には細く、画面の中央部分から離れた位置の場合、太く表示されるようにすることができる。

一方で、マーク４０５が表示されることで、上述した実施の形態と同じく、撮像のタイミングや露光時間を撮像者に把握させることができ、撮像が行われていることを体感させることが可能となる。

図２１に示したマーク４０５は、四角形状であるが、図２２に示したように、円形状のマーク４０６であっても良い。

図２１や図２２に示したように、画面の中央部分にフィードバック表示を行う場合、そのフィードバック表示の形状（マークの形状）は、図２１に示した四角形状であっても良いし、図２２に示した円形状であっても良い。また、図示はしないが、四角形状や円形状以外の形状、例えば、多角形などであっても良い。

また、図２３に示したように、同一形状のマーク４０７が複数表示されるようにしても良い。図２３に示したマーク４０７は、中心を同じくする大きさの異なる３個の四角形状の図形が表示されている。なお、上記した場合と同じく、図形としては、四角形状以外に円形状や、多角形状などであっても良い。

このように、同一形状の複数の図形がフィードバック表示として表示されるようにしても良い。

また、図２３に示したマーク４０７は、中心を同じくする大きさの異なる３個の四角形状の図形が同時に表示される例を示したが、異なるタイミングで表示されるようにしても良い。換言すれば、フィードバック表示は、静止画像のように表示されるだけでなく、動画像のように表示されるようにすることも可能である。

例えば、図２３に示した四角形状のマーク４０７を一例として説明するに、時刻ｔ１のときにマーク４０７－１が表示され、時刻ｔ２のときに、マーク４０７－１が消去される一方で、マーク４０７－２が表示され、時刻ｔ３のときに、マーク４０７－２が消去される一方で、マーク４０７－３が表示される。

このように、画面の中心から、徐々に外側にマーク４０７が移動するような表示がなされても良い。または、画面の端から、徐々に中央にマーク４０７が移動するような表示であっても良い。

また、時刻ｔ１のときにマーク４０７－１が表示され、時刻ｔ２のときに、マーク４０７－２がさらに表示され、時刻ｔ３のときに、マーク４０７－３がさらに表示されるようにしても良い。

図２４は、フィードバック表示のさらに他の表示について説明するための図である。図２４に示したフィードバック表示は、画面の中央部分に、横棒がマーク４０８として表示されている。図２４に示したように、線状のマーク４０８を画面内に表示しても良い。また、線の方向は、画面の横方向であっても良いし、縦方向であっても良い。

また、図２４に示した位置に、静止画像のように表示されても良いし、図２５に示すように動画像のように表示されても良い。動画像のようにマーク４０８が表示される場合、例えば、横方向の線状のマーク４０８’が、画面の上側から、下側方向に時間経過とともに、徐々に移動しながら表示されるようにしても良い。または、横方向の線状のマーク４０８（不図示）が、画面の下側から、上側方向に時間経過とともに、徐々に移動しながら表示されるようにしても良い。

また、線状のマーク４０８’が、例えば、画面の上側から下側まで移動するときの移動時間は、露光時間と同等の時間、または上記した例では、４０msecとすることができる。なお、マーク４０８のように、所定の図形が移動するフィードバック表示の場合の移動時間は、露光時間に係わらず一定の時間（固定された時間）であっても良い。

図２６は、フィードバック表示のさらに他の表示について説明するための図である。図２６に示したフィードバック表示は、画面の下部部分に、インジケータがマーク４０９として表示されている。例えば、連写の場合、インジケータがマーク４０９として表示されるようにすることができる。

インジケータの長さは、連写時の最大枚数を表す長さ（バッファの残り容量を表す長さ）とし、例えば、図２６に示した例では、撮像枚数が増えるにともない、ゲージが図中下方向から上方向に移動する表示がされ、上端に達したときに最大撮像枚数が撮像されたことを示す。また、インジケータの下部には、残り撮影枚数を表す数値も表示されている。ユーザは、マーク４０９（数値）を視認することで、連写が行われていることや、残り枚数を直感的に認識することができる。

なお数値は、撮像枚数、または撮像可能な残り枚数を表す数字とし、フィードバック表示として、インジケータの下部ではなく、画面の所定の位置に表示するようにしても良い。また、数値のみが、フィードバック表示として表示されるようにしても良いし、インジケータのみが、フィードバック表示として表示されるようにしても良い。

また、図２７に示すようなフィードバック表示が行われるようにしても良い。図２７の左図に示したように、露光中には、ＡＦ枠５０１と略同じ大きさの枠４１０が表示される。そして、露光終了後に、図２７の右図に示すように、ＡＦ枠５０１よりも少し大きい枠４１０’に、表示が切り替えられる。

すなわちこの場合、露光中に枠４１０が表示され、露光完了後に、その枠４１０が少し広げられた枠４１０’へと切り替わるフィードバック表示が行われる。この枠４１０から枠４１０’へ表示が切り替えられるとき、アニメーション表示とされても良い。

なお、図２７では、ＡＦ枠５０１が表示され、そのＡＦ枠５０１に該当する大きさで枠４１０が表示される例を示したが、枠４１０は、ＡＦ枠５０１に係わらず、一定の大きさや所定の位置に表示されるようにしても良い。

また、図示はしないが、表示されていた枠４１０がフェードアウトするようなアニメーション表示がされるようにしても良い。

このような表示が行われることで、残像を表現するような表示を行うことができ、露光時間が短い場合の視認性を高めた表示を行ったり、表現の効果を高めるような表示を行ったりすることができる。

ＡＦ枠５０１に追従してフィードバック表示がされる場合、例えば、図１５を参照して説明したが、図１５では、１つのＡＦ枠５０１が表示されている場合を例に挙げて説明した。複数の被写体に焦点が合わされ、複数のＡＦ枠５０１が表示される場合もある。

複数のＡＦ枠５０１が表示される場合、複数のＡＦ枠５０１に、枠４０２（図１５）がそれぞれ表示されるようにしても良いし、図２８に示すように、複数のＡＦ枠５０１を囲むような枠が表示されるようにしても良い。

図２８に示したフィードバック表示は、ＡＦ枠５０１－１とＡＦ枠５０１－２が表示され、そのＡＦ枠５０１－１とＡＦ枠５０１－２を囲む四角形で、枠４１１が表示されている。このように、複数のＡＦ枠５０１が表示される場合には、それらを囲む枠４１１が表示されることで、フィードバック表示が行われるようにしても良い。

また、図２７を参照して説明したように、枠４１１は、露光時に表示され、露光終了後、少し拡大されて表示されるようにしても良い。

上記した実施の形態においては、枠、例えば、枠４１１（図２８）などは、実線で表示される例を示したが、破線、一点鎖線など、実線以外の線種で表示されるようにしても良い。

上記したようなマークがフィードバック表示として画面に表示される。また、上記したようなマーク以外のマーク、例えば、シャッターの先幕や後膜をイメージさせるような動画像がフィードバック表示として表示されるようにしても良い。

また、上記したマークが、所定の条件で選択的に選択され、表示されるようにしても良い。例えば、風景を撮像している場合や、ポートレイトを撮像している場合などには、被写体の視認性を優先し、例えば、図８に示したマーク４０１、図１９に示したマーク４０３、図２０に示したマーク４０４など、画面の中央部分にマークが表示されないフィードバック表示が選択される。

また、例えば、動体を撮像している場合などは、フィードバック表示の認知性を優先し、例えば、図１５に示したマーク４０２のように、ＡＦ５０１に追従するような表示や、図２１に示したマーク４０５や図２２に示したマーク４０６などのように、画面の中央部分にマークが表示されるフィードバック表示が選択される。

なお、図２１や図２２に示したマーク４０５（マーク４０６）は、ＡＦ枠５０１に追従して表示されるようにすることも可能である。

また、ユーザが好みのフィードバック表示を選択、設定できるように構成することも可能である。

上記した実施の形態においては、マークの色（フィードバック表示の色）については記載していないが、マークの色は、図に示したような黒であっても良いし、黒以外の色であっても良い。また透明色であっても良い。フィードバック表示を透明色で行うようにした場合、スルー画像が透けて見えるため、被写体を視認しやすい状態で、フィードバック表示を行うことができる。

またフィードバック表示の色は、固定（例えば黒色）とされていても良いし、可変とされていても良い。可変とした場合、例えば撮像されている画像の色により、マークの色が設定されるようにしても良い。例えば、撮像されている画像の輝度が高い場合、マークは黒で表示され、撮像されている画像の輝度が低い場合、マークは白で表示されるようにしても良い。

また、上記した実施の形態においては、画面が横長の場合（撮像装置が横持ちされている場合）を例に挙げて説明したが、画面が縦長の場合（撮像装置が縦持ちされている場合）であっても、本技術を適用することはできる。

また、撮像装置が横持ちにされている場合と縦持ちにされている場合とで、フィードバック表示の仕方が異なるようにしても良いし、同一にしても良い。

例えば、図２５に示した線形上のマーク４０８が動画像のように表示される場合、横持ちの場合には、上下方向（例えば、下から上方向）に、マーク４０８が移動するような表示がなされる。撮像装置が縦持ちされた場合、縦持ちされた状態の画面で、上下方向にマーク４０８が移動するよう表示がなされる。

この場合、マーク４０８が上下方向に移動するという点では、撮像装置が横持ちにされている場合と縦持ちにされている場合とで、フィードバック表示の仕方は同一である。またこの場合、縦持ちのときの上下方向は、横持ちのときの左右方向に該当するため、仮に、横持ちのときを基準に考えた場合、異なる方向にマーク４０８が移動することになるため、この点ではフィードバック表示の仕方は異なる。

または、縦持ちされた状態の画面で、左右方向にマーク４０８が移動するよう表示がなされるようにしても良い。

この場合、マーク４０８が左右方向に移動するという点では、撮像装置が横持ちにされている場合と縦持ちにされている場合とで、フィードバック表示の仕方は異なる。またこの場合、縦持ちのときの左右方向は、横持ちのときの左右方向に該当するため、仮に、横持ちのときを基準に考えた場合、同一方向にマーク４０８が移動することになるため、この点ではフィードバック表示の仕方は同一である。

上記したフィードバック表示（マーク４０１乃至４０９）は、単独で用いることができるとともに、組み合わせて用いることも可能である。例えば、図８に示したフィードバック表示（マーク４０１）だけを行うようにしても良い、図８に示したフィードバック表示（マーク４０１）と図１５に示したフィードバック表示（マーク４０２）が、所定の条件により切り分けられて用いられるようにしても良い。

すなわち、複数のフィードバック表示を用意しておき、選択的に用いられるようにすることも可能である。また、複数のフィードバック表示が同時に行われる、例えば、マーク４０１とマーク４０５が同時に表示されるフィードバック表示とすることも可能である。

なお、上記したフィードバック表示が行われるととともに、シャッター音を擬似的に出すようにしても良い。

なお、上記したマークの他のフィードバック表示として、ブラックアウト時の表示を擬似的に作り出しても良い。例えば、マークを撮像されている画面に重畳する場合と同じく、撮像されている画面に、黒色の画面を重畳することで、擬似的なブラックアウトを発生させるようにしても良い。

このようにした場合、従来からあるブラックアウトに慣れ親しんできたユーザに対して、擬似的なブラックアウトを提示することが可能となる。

上記したフィードバック表示においては、画面の一部にマークを表示する例を挙げて説明したが、画面全体で、フィードバック表示が行われるようにしても良い。例えば、フィードバック表示として、画面全体の明度や彩度を上げる、または下げるようにしても良い。換言すれば、画面全体を明るくしたり、暗くしたり、モノクロ表示にしたり、色を反転させたりすることで、フィードバック表示が行われ、ユーザに撮像が行われていることを体感させる表示が行われるようにしても良い。

上記したフィードバック表示は、ライブビュー画像上に表示される場合を例に挙げて説明したが、表示部内で、ライブビュー画像が表示されない領域に、フィードバック表示がされたり、またはフィードバック表示専用の表示部を設け、その表示部にフィードバック表示がされたりする構成とすることも可能である。

上記したフィードバック表示として表示されるマーク、擬似的なシャッター音、擬似的なブラックアウトなどは、ユーザにより好みの設定がなされ、その設定に基づいてフィードバック表示が行われるようにすることも可能である。またユーザによりされた設定により、上記した複数のフィードバック表示が組み合わされたり、切り替えられたりするように構成することも可能である。

ここで、複数のフィードバック表示が切り替えられる一例を説明する。ここでは、擬似的なブラックアウト（以下、黒画像と記述する）と、上記したフィードバック表示のうち、図８に示したマーク４０１が切り替えられる場合を例に挙げて説明する。また、１枚だけ撮影する場合を単写と記述し、複数枚連続して撮影する場合を連写と記述する。

例えば、連写のときの１枚目が撮影されるときのフィードバック表示と、２枚目以降が撮影されるときのフィードバック表示（設定によっては、１枚目からのフィードバック表示）を、それぞれ設定できるように構成されている場合を例に挙げて、図２９を参照して説明する。

ユーザは、フィードバック表示として、黒画像が表示される設定（ＯＮ）と、黒画像が表示されない設定（ＯＦＦ）、マーク４０１が表示される設定（ＯＮ）、およびマーク４０１が表示されない設定（ＯＦＦ）を組み合わせて設定できる。

図２９を参照するに、ユーザが、黒画像を表示する設定をＯＮにし、マーク４０１を表示する設定をＯＮに設定した場合、単写のときと連写のときの１枚目の画像が撮影されるときには、黒画像がフィードバック表示として表示される。また、連写のときの２枚目以降の画像が撮影されるときには、マーク４０１が、フィードバック表示として表示される。

また、図２９を参照するに、ユーザが、黒画像を表示する設定をＯＮにし、マーク４０１を表示する設定をＯＦＦに設定した場合、単写のときと連写のときの１枚目の画像が撮影されるときには、黒画像がフィードバック表示として表示される。また、連写のときの２枚目以降の画像が撮影されるときには、フィードバック表示はされない。

また、図２９を参照するに、ユーザが、黒画像を表示する設定をＯＦＦにし、マーク４０１を表示する設定をＯＮに設定した場合、単写のときと連写のときの１枚目の画像が撮影されるときには、マーク４０１がフィードバック表示として表示される。また、連写のときの２枚目以降の画像が撮影されるときには、１枚目の撮影時と同じく、引き続き、マーク４０１が、フィードバック表示として表示される。

また図２９を参照するに、ユーザが、黒画像を表示する設定をＯＦＦにし、マーク４０１を表示する設定をＯＦＦに設定した場合、フィードバック表示は行われない。

このように、ユーザは、フィードバック表示を選択して、設定することができる。また、ここで一例としてあげたように、連写のときに、１枚目の撮影時のフィードバック表示と、２枚目以降の撮影時のフィードバック表示を異なるフィードバック表示とすることができる。

また、１枚目の撮影時のフィードバック表示を、黒画像、すなわち擬似的なブラックアウトとすることで、従来の撮影体験を継承した、撮影の体感をユーザに与えることが可能となる。

また、１枚目の撮影時のフィードバック表示を、黒画像とすることで、１枚目が撮影されていること（１枚目の撮影タイミング）を、ユーザに、より明確に体感させることが可能となる。

なおここでは、マーク４０１が表示される場合を例に挙げて説明をしたが、ユーザが、所望とするマークが選択されるように構成することは、もちろん可能である。例えば、複数のフィードバック表示のうちの１つのフィードバック表示が選択できる選択画面をユーザに提示し、その選択画面から、ユーザは、所望のフィードバック表示を選択できるようにしても良い。

上記したフィードバック表示は、アプリケーションとして提供することもできる。また、そのアプリケーションとしては、携帯端末、例えば、スマートフォンのアプリケーションとすることができる。ここで、スマートフォンのアプリケーションとして、上述したフィードバック表示を行う場合について、説明を加える。

図３０は、スマートフォンにおいて、カメラアプリケーションを起動したときの画面例を示す図である。スマートフォンの表示部６０１には、撮像されている被写体を表示する画像表示部６０２が設けられている。図３０では、表示部６０１の大きさと同等の大きさが、画像表示部６０２とされており、図３０には示していないが、撮像されている被写体が、表示部６０１の全体に映し出されている。また表示部６０１は、タッチパネルを備える構成とされている。

表示部６０１には、例えば、撮像時に設定されている条件（例えば、フラッシュの使用禁止、許可などの条件）を表す撮像設定アイコン６０３が表示されている。また、前回撮影時のサムネイル画像６０４、シャッターボタン６０５、動画録画開始ボタン６０６、撮影モード設定時に操作される撮影モード設定アイコン６０７なども表示されている。

このような画面がスマートフォンの表示部６０１に表示されているときに、ユーザがシャッターボタン６０５または物理的なシャッターボタン（不図示）を操作した場合、撮影が行われる。またこれらのシャッターボタン以外に、表示部６０１内（タッチパネル）をタッチすることで、撮影が行われるようにしても良い。また、その設定は、ユーザにより設定されるようにすることもできる。さらに、タッチしている間（画面の長押し）は、連写モードとされ、連続して撮影が行われるようにしても良い。

また、図３１に示すように、撮影が行われたときには、そのことを示すフィードバック表示が行われる。図３１に示した例では、図８に示したフィードバック表示が行われる場合を例に挙げている。なお、図８に示したフィードバック表示は、画面の四隅に表示されるとしたが、図３１に示したように、四隅以外のところに表示されるようにしても良いし、図８を参照して説明したように、画面の四隅に表示されるようにしても良い。このような表示位置の設定は、ユーザが所望の位置に設定できるようにしても良い。

なお、図８以外に示したフィードバック表示が行われてももちろん良いし、上記したように、ユーザが選択できたり、複数のフィードバック表示が切り替えられて行われるようにしたりすることも可能である。また、上記したように、画面が長押しされることで、連写が行われているときには、上記した連写モードのときのフィードバック表示が行われる。

このように、スマートフォンなどの携帯端末装置においても、本技術を適用することができる。

このように、本技術によれば、ブラックアウトが発生しないことで、被写体の追従を高めることが可能となる。またブラックアウトが発生しなくても、シャッターのタイミングや露光時間をユーザにフィードバックすることが可能となる。このようなことが可能となることで、撮影の機会を大幅に広げることが可能となる。

また、ブラックアウトが発生しない撮影をユーザに提供することが可能となり、かつシャッター操作に対するフィードバックを的確に提供することが可能となる。従来の撮影体験を継承しつつ、先進性のある使用感をユーザに提供することができ、撮影の体感をさらに高めることも可能となる。

なお、上記した本技術が適用される装置としては、例えば、図５に示した撮像装置３００のような構成を有する装置であっても良いし、他の構成を有する装置であっても良い。例えば、表示部３１７（図５）がディスプレイであり、そのディスプレイはタッチパネルで構成されているような装置に対しても本技術を適用できる。

また、操作部３１４（図５）が、撮像装置３００を構成する他の部分（撮像を行う撮像部）と別体で構成されているような装置に対しても本技術を適用できる。例えば、撮像部を操作部で遠隔操作できるように構成されている装置に対しても本技術を適応することができる。

また、そのような遠隔操作が行える装置に対して本技術を適用した場合、操作部において、上記したフィードバック表示が行われる。操作部に表示部を設け、その表示部において上記したフィードバック表示やライブビュー画像の表示が行われるようにすることができる。

また、遠隔操作が行える装置においては、操作部と撮像部との間で、通信が行わる時間や、その通信に係わる処理が行われる時間など、遠隔操作を行わない装置では必要がない時間も、係る可能性がある。すなわち、遠隔操作が行える装置においては、タイムラグが発生する可能性があるため、従来通り、ブラックアウトのままでの表示が行われるようにしても良い。

さらに本技術は、１台の撮像部を有する装置に対してのみ適用が限定されるわけではなく、複数台の撮像部を有する装置に対しても適用できる。例えば、複数台の撮像部を、１台の操作部で操作するような装置に対しても、本技術を適用できる。また、ここで記載した操作部として、スマートフォンやタブレット端末などの携帯端末を用いることもできる。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
を備え、
前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する
制御装置。
（２）
前記マークは、前記表示部の四隅に表示される
前記（１）に記載の制御装置。
（３）
前記マークは、オートフォーカスの枠の近傍に表示される
前記（１）または（２）に記載の制御装置。
（４）
前記マークは、前記表示部の上下にそれぞれ線状で表示される
前記（１）乃至（３）のいずれかに記載の制御装置。
（５）
前記マークは、前記表示部の枠に沿った形状で表示される
前記（１）乃至（４）のいずれかに記載の制御装置。
（６）
前記マークは、前記表示部の中央を中心とする所定の形状で表示される
前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
前記マークは、前記表示部の中央を中心とする所定の形状の図形で複数表示される
前記（１）乃至（６）のいずれかに記載の制御装置。
（８）
前記マークは、静止画像である
前記（１）乃至（７）のいずれかに記載の制御装置。
（９）
前記マークは、動画像である
前記（１）乃至（８）のいずれかに記載の制御装置。
（１０）
前記マークは、前記表示部の所定の一辺から向かい合う辺に、移動する線である
前記（１）乃至（９）のいずれかに記載の制御装置。
（１１）
前記マークは、撮影可能枚数を表すインジケータである
前記（１）乃至（１０）のいずれかに記載の制御装置。
（１２）
前記マークは、露光時間と略同一の時間、表示される
前記（１）乃至（１１）のいずれかに記載の制御装置。
（１３）
前記マークは、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示される
前記（１）乃至（１２）のいずれかに記載の制御装置。
（１４）
前記マークは、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示され、他のモードのときには、前記表示部内の所定の位置に表示される
前記（１）乃至（１３）のいずれかに記載の制御装置。
（１５）
前記マークは、複数枚を連続的に撮像する連写モードの場合、連写が開始された時点と終了された時点に表示される
前記（１）乃至（１４）のいずれかに記載の制御装置。
（１６）
前記処理部は、前記複数の画素それぞれから出力される画素信号に基づく、第１のデータ密度で伝送された第１のデータと、前記第１のデータ密度とは異なる第２のデータ密度で伝送された第２のデータをそれぞれ処理し、
前記第１のデータに基づく画像を前記スルー画像として前記表示部に表示させる
前記（１）乃至（１５）のいずれかに記載の制御装置。
（１７）
前記処理部は、前記データを記録することが指示されたとき、一旦記憶部に記憶された前記第２のデータを、記録媒体に記録する
前記（１６）に記載の制御装置。
（１８）
前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
を備える制御装置の制御方法において、
前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する
ステップを含む制御方法。
（１９）
複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
を備える制御装置を制御するコンピュータに、
前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する
ステップを含む処理を実行させるためのプログラム。

１００ イメージセンサ， １１１ 画素アレイ部， １９０ フレームメモリ， ２００ 画像処理ＬＳＩ， ２１０ 画像処理部， ３１２ ＣＭＯＳセンサ， ３１６ 画像処理部， ３１７ 表示部， ４０１乃至４０９ マーク， ５０１ ＡＦ枠

Claims (14)

1. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
   前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
   を備え、
   前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
   前記マークは、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示される
   制御装置。
2. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
   前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
   を備え、
   前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
   前記マークは、オートフォーカスの枠の近傍に表示される
   制御装置。
3. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
   前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
   を備え、
   前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
   前記マークは、前記表示部の所定の一辺から向かい合う辺に、移動する線である
   制御装置。
4. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
   前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
   を備え、
   前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
   前記マークは、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示され、他のモードのときには、前記表示部内の所定の位置に表示される
   制御装置。
5. 前記処理部は、前記複数の画素それぞれから出力される画素信号に基づく、第１のデータ密度で伝送された第１のデータと、前記第１のデータ密度とは異なる第２のデータ密度で伝送された第２のデータをそれぞれ処理し、
   前記第１のデータに基づく画像を前記スルー画像として前記表示部に表示させる
   請求項１乃至４のいずれかに記載の制御装置。
6. 前記処理部は、前記データを記録することが指示されたとき、一旦記憶部に記憶された前記第２のデータを、記録媒体に記録する
   請求項５に記載の制御装置。
7. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
   前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
   を備える制御装置の制御方法において、
   前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
   前記マークを、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示する
   ステップを含む制御方法。
8. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
   前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
   を備える制御装置の制御方法において、
   前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
   前記マークを、オートフォーカスの枠の近傍に表示する
   ステップを含む制御方法。
9. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
   前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
   を備える制御装置の制御方法において、
   前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
   前記マークを、前記表示部の所定の一辺から向かい合う辺に、移動する線として表示する
   ステップを含む制御方法。
10. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
    前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
    を備える制御装置の制御方法において、
    前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
    前記マークを、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示し、他のモードのときには、前記表示部内の所定の位置に表示する
    ステップを含む制御方法。
11. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
    前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
    を備える制御装置を制御するコンピュータに、
    前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
    前記マークを、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示する
    ステップを含む処理を実行させるためのプログラム。
12. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
    前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
    を備える制御装置を制御するコンピュータに、
    前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
    前記マークを、オートフォーカスの枠の近傍に表示する
    ステップを含む処理を実行させるためのプログラム。
13. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
    前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
    を備える制御装置を制御するコンピュータに、
    前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
    前記マークを、前記表示部の所定の一辺から向かい合う辺に、移動する線として表示する
    ステップを含む処理を実行させるためのプログラム。
14. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
    前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
    を備える制御装置を制御するコンピュータに、
    前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示し、
    前記マークを、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示し、他のモードのときには、前記表示部内の所定の位置に表示する
    ステップを含む処理を実行させるためのプログラム。

Images