JP6663193B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関し、特には光線空間情報（ライトフィールドデータとも呼ばれる）を生成可能な撮像装置およびその制御方法に関する。

近年、撮像素子の像面における区分領域に入射する光について、入射方向ごとの強度を記録可能な撮像装置が提案され、ライトフィールドカメラなどと呼ばれている。そして、ライトフィールドカメラが記録するデータ（ライトフィールドデータまたは光線空間情報）から、合焦する被写体距離、撮影視点、被写界深度などを撮影時と異ならせた画像（以下、まとめてリフォーカス画像という）を再構成することができる。また、ライトフィールドデータからリフォーカス画像を生成する処理を再構成処理またはリフォーカス処理と呼ぶ。

そして、特許文献１では、ライトフィールドカメラにおける撮影支援機能として、リフォーカス処理によって合焦させることが可能な距離範囲（リフォーカス可能範囲）に含まれる被写体を示す情報をライブビュー画像に重畳表示することが開示されている。これによりユーザは、合焦させたい複数の被写体がリフォーカス可能範囲に含まれることを確認した上で撮影を開始することができる。また、合焦させたい複数の被写体がリフォーカス可能範囲に含まれるように、必要に応じて撮影条件を変更することもできる。

米国特許出願公開第2013/0222633号明細書（FIG. 9B, 9C）

特許文献１に開示される支援機能は、静止画撮影のスタンバイ時におけるライブビュー表示や、記録済みデータの再生時の表示を対象としたもので、動画記録中の表示制御に関しては何も開示されていない。一方、特許文献１に開示される支援機能を、動画記録中の表示にそのまま適用すると、重畳表示される情報や、表示画像の輝度や色の変化により、記録されている動画の視認性が低下する場合がある。

本発明はこのような従来技術の課題に鑑みてなされたものであり、ライトフィールドデータの取得が可能な撮像装置およびその制御方法において、状況に応じて適切な撮影支援機能の提供を実現することを目的とする。

上述の目的は、ライトフィールドデータを取得可能な撮像手段と、撮像手段で撮影された動画像を表示装置に逐次表示する制御手段とを有し、制御手段は、現在の撮影条件で取得されるライトフィールドデータに関する情報を表す補助表示を、動画像に重畳させて表示装置に表示し、動画記録中においては、動画記録中でない場合よりも、補助表示を目立たない形態とするように補助表示の方法を制御する、ことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、ライトフィールドデータの取得が可能な撮像装置およびその制御方法において、状況に応じて適切な撮影支援機能を提供できるようになる。

実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態におけるリフォーカス可能範囲を説明するための図 実施形態に係るデジタルカメラの撮影モードにおける状態遷移図 実施形態に係るデジタルカメラの撮影モードにおける動作を示すフローチャート 実施形態で想定する撮影状態を模式的に示す図 実施形態における「ライブ表示中」状態の補助表示例を模式的に示す図 実施形態における「動画記録中」状態の補助表示例を模式的に示す図 実施形態の変形例に係るデジタルカメラの撮影モードにおける動作を示すフローチャート

以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。図１は本発明の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。なお、本発明は視差画像の取得もしくは生成が可能な任意の電子機器において実施することができる。

撮像部１０１は撮像光学系１０２、ライトフィールドセンサ１０３、光学系制御部１０４で構成される。撮像光学系１０２は、レンズ群やシャッター、絞り等で構成され、被写体の光学像をライトフィールドセンサ１０３に結像する。撮像光学系１０２は交換可能であってもよい。

ライトフィールドセンサ１０３は、瞳分割機能を有する撮像素子である。本実施形態のライトフィールドセンサ１０３は複数のマイクロレンズが２次元配列されたマイクロレンズアレイを有し、個々のマイクロレンズに対して複数の光電変換素子または光電変換領域を対応付けて配置することで、瞳分割機能を実現するものとする。しかし、多眼カメラを用いる方法など、視差画像を取得可能な他の任意の公知技術を用いることができる。

同じマイクロレンズに対応付けられた複数の光電変換素子のそれぞれからは、撮像光学系１０２の射出瞳のうち、互いに重複しない部分瞳に対応した出力、つまり異なる方向から入射した光の強度に応じた出力を得ることができる。以下では、このような出力群をライトフィールドデータと呼ぶ。また、同じマイクロレンズに対応付けられた複数の光電変換素子の出力を合計すれば、射出瞳全体に対応する出力が得られる。ライトフィールドセンサ１０３で得られたライトフィールドデータは、メモリ１０８へ格納される。

光学系制御部１０４は、システム制御部１０６から指示されるフォーカス位置や、絞り値といった制御情報に基づいて、レンズ群や絞りの駆動を制御する。
バス１０５は、ブロック間でデータや制御信号を通信できるように各ブロックを接続する。

システム制御部１０６はプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）を有し、不揮発性メモリ１０９に記録されたプログラムを実行することで、後述する本実施形態の各処理をはじめとしたデジタルカメラ１００の機能を実現する。なお、システム制御部１０６の動作の少なくとも一部はＡＳＩＣなどのハードウェアにより実現されてもよい。

メモリ制御部１０７は、各ブロックからの要求に基づきメモリ１０８に対するデータの読み書きを行う。システム制御部１０６や各ブロックは、動作中の一時データなどをメモリ１０８に格納することができる。

メモリ１０８は、撮像部１０１から得られたライトフィールドデータなどの各種データを記録する。メモリ１０８は、所定枚数のライトフィールドデータや、静止画像データ、所定時間の動画像データを格納することが可能な記憶容量を有する。

不揮発性メモリ１０９は、例えばＥＥＰＲＯＭ等の、電気的に消去・記録可能なメモリである。不揮発性メモリ１０９には、システム制御部１０６などが用いる定数、設定値、プログラム、ＧＵＩデータなどが格納されている。
範囲算出部１１０は、システム制御部１０６が出力する撮像光学系１０２の制御情報を用いて、被写体空間におけるリフォーカス可能範囲を算出する。

ここで、リフォーカス可能範囲と撮像光学系１０２の制御情報との関係に関して図２を用いて説明する。図２は、被写体２０１、撮像光学系１０２、およびライトフィールドセンサ１０３の位置関係とリフォーカス可能範囲の関係を示している。

リフォーカス処理は、ライトフィールドデータから、仮想像面に結像される画像を生成（再構成）する処理である。そして、ライトフィールドセンサ１０３の構成に応じて定まる、仮想像面を設定可能な光軸上の位置の範囲に対応する被写体距離の範囲がリフォーカス可能範囲である。リフォーカス可能範囲は、ライトフィールドデータを用いて調整可能な合焦距離（画像中の合焦領域に対応する被写体距離）の範囲とも言える。

リフォーカス可能範囲は、撮影時における、撮像光学系１０２（フォーカスレンズ）と像面位置（ライトフィールドセンサ１０３）との距離に応じて変化する。図２（ａ）と（ｂ）は、撮影時における被写体２０１と、撮像光学系１０２（フォーカスレンズ）と、ライトフィールドセンサ１０３との位置関係ならびに、撮影によって得られたライトフィールドデータのリフォーカス可能範囲Ｒ１，Ｒ２を模式的に示している。

図２（ｂ）は、図２（ａ）よりも被写体２０１が近い場合を示している。なお、図２は撮像光学系１０２の位置を基準として被写体２０１およびライトフィールドセンサ１０３の位置を記載しているため、ライトフィールドセンサ１０３の位置が変化しているように見えるかもしれない。しかし、実際にはライトフィールドセンサ１０３の位置は変化しておらず、撮像光学系１０２（フォーカスレンズ）の位置が変化している。

図２（ａ）および（ｂ）に示すように、撮像光学系１０２の合焦距離（被写体２０１の距離）が小さくなると、撮像光学系１０２とライトフィールドセンサ１０３との距離が大きくなる。この結果、仮想像面の設定可能範囲Ｒに対応するリフォーカス可能範囲は逆に、撮像光学系１０２の合焦距離（被写体２０１の距離）が小さくなると小さくなり、Ｒ１＞Ｒ２となる。

仮想像面の設定可能範囲や撮像光学系１０２の光学特性は事前に知ることができるため、特性撮影時の合焦距離が分かれば、リフォーカス可能範囲を求めることができる。例えば、予め離散的な複数の合焦距離についてリフォーカス可能範囲を求めておき、合焦距離によって参照可能なテーブルとして範囲算出部１１０が保持しておいてもよい。なお、撮像光学系１０２が交換可能であったり、焦点距離が可変であったりする場合には、変化しうるパラメータに応じてテーブルを複数用意しておくこともできる。なお、合焦距離からリフォーカス可能範囲を求める式を用意しておき、計算によってリフォーカス可能範囲を算出してもよい。

範囲算出部１１０は、撮影時の合焦距離に関する情報として、システム制御部１０６が撮像光学系１０２の合焦距離を制御するために出力する情報（被写体の距離情報または合焦距離情報）を取得する。そして、範囲算出部１１０は、上述したテーブルなどを用い、現在の撮影条件で得られるライトフィールドデータのリフォーカス可能範囲情報を取得し、メモリ１０８へ格納する。

画像処理部１１１は、撮像部１０１やメモリ制御部１０７から供給されるライトフィールドデータや画像データに対して、画素補間や縮小といったリサイズ処理、色変換処理、ホワイトバランス調整処理、符号化処理など、予め定められた画像処理を行う。

画像処理部１１１はまた、リフォーカス部１１２を備える。リフォーカス部１１２は、ライトフィールドデータにリフォーカス処理を適用し、リフォーカス可能範囲に対応する仮想像面の設定可能範囲内の任意の位置に設定した仮想像面における画像（リフォーカス画像）のデータを生成する。画像処理部１１１は、リフォーカス部１１２で生成した画像データを、メモリ制御部１０７を介して、メモリ１０８に格納する。

また、画像処理部１１１は、ライトフィールドデータから、オートフォーカス機能に用いる評価値を算出したり、自動露光制御に用いる輝度情報を算出したり、例えば顔のような被写体領域を検出したりしてもよい。システム制御部１０６は、これらの情報に基づいて焦点検出領域を設定したり、合焦距離を決定したり、露出条件（絞り値、シャッタースピード、撮影感度）を決定したりする。そして、システム制御部１０６は、撮像部１０１に対して、決定した合焦距離や露出条件を実現するための制御情報を出力する。

操作部１１３は、ユーザがデジタルカメラ１００に指示を入力するための入力デバイス群である。操作部１１３に含まれる代表的な入力デバイスには、電源スイッチ、レリーズボタン、動画記録ボタン、メニューボタン、方向キー、動作モード選択ダイヤル、タッチパネルなどが含まれるが、これらに限定されない。

表示部１１４は、例えばＬＣＤなどの表示装置を有し、画像処理部１１１もしくはメモリ制御部１０７から供給される画像データや、デジタルカメラ１００の各種情報、メニュー画面などのＧＵＩなどを表示する。

記録媒体Ｉ／Ｆ１１５はメモリカードやハードディスク等の記録媒体１１６にアクセスするためのインターフェースである。
記録媒体１１６は、撮影されたライトフィールドデータや、静止画像データ、動画像データを記録するための媒体であり、半導体メモリや磁気ディスク等から構成される。記録媒体１１６の少なくとも一部は例えばメモリカードのような着脱可能な形態であってよい。

なお、図１に示し、また説明したデジタルカメラ１００の構成例は単なる一例であり、図１に示していない構成要素が含まれたり、図１に示した構成要素の一部が存在しなかったりしてもよい。また、図１に別個に記載した構成要素が１つの構成要素にまとめられたり、１つの構成要素の機能として説明した機能が複数の構成要素によって実現されたりしてもよい。

図３は、本実施形態のデジタルカメラ１００の、撮影モードにおける状態遷移図である。撮影モードは、静止画や動画の撮影を行うための動作モードである。デジタルカメラ１００は他にも再生モードや設定モードなど複数の動作モードを有し、操作部１１３に含まれる動作モード選択ダイヤルなどによって選択された動作モードで動作する。

「ライブ表示中」ＳＴＡＴＥ３０１は、撮影モードの初期状態であり、いわゆる撮影スタンバイ状態に相当する。デジタルカメラ１００は、「ライブ表示中」ＳＴＡＴＥ３０１にある場合、動画撮影を実行し、撮影した動画を表示部１１４に逐次表示することでライブビュー機能を実現する。なお、ライブビュー表示する動画については、ライトフィールドデータから各フレームを生成してもよいが、同じマイクロレンズに対応付けられた複数の光電変換部の出力を加算してフレームを生成してもよい。また、後述する、ライトフィールドデータに関する補助表示機能は、少なくともこの状態において実施する。

「ライブ表示中」ＳＴＡＴＥ３０１において、例えば動画記録ボタンが押下されるなど、動画記録の開始指示が入力されると、デジタルカメラ１００は「動画記録中」ＳＴＡＴＥ３０２へ遷移し、動画記録動作を開始する。

「動画記録中」ＳＴＡＴＥ３０２でデジタルカメラ１００は、撮像部１０１から所定のフレームレートで得られるライトフィールドデータから構成される動画像データを記録媒体１１６へ記録する。また、デジタルカメラ１００は「ライブ表示中」ＳＴＡＴＥ３０１と同様に表示用の動画像データを生成し、表示部１１４に表示する。
動画記録ボタンが再度押下されるなど、動画記録の終了指示が入力されると、デジタルカメラ１００は再び「ライブ表示中」ＳＴＡＴＥ３０１へ遷移する。

なお、本実施形態においてデジタルカメラ１００は、撮影モードにおいて、静止画撮影の開始指示や、撮影モードの終了指示（他の動作モードへの移行指示）の入力が常時可能である。デジタルカメラ１００は、静止画撮影の開始指示が入力されれば静止画撮影処理を行い、ライトフィールドデータを記録媒体１１６に記録して、指示が入力された際の状態に復帰する。また、撮影モードの終了指示が入力されれば、デジタルカメラ１００は次の動作モードへの以降処理を実行する。

次に、図４のフローチャートを用い、デジタルカメラ１００の撮影モードにおける動作についてさらに説明する。例えばこの動作は、デジタルカメラ１００の起動直後や他の動作モードから撮影モードに変更された際に実行される。
Ｓ４０１においてシステム制御部１０６は、例えば不揮発性メモリ１０９に記憶されている状態情報を「ライブ表示中」に更新する。これは、図３における開始状態ＳＴＡＲＴから「ライブ表示中」ＳＴＡＴＥ３０１への初期遷移時の処理に相当する。

Ｓ４０２においてシステム制御部１０６は、操作部１１３から動画記録の開始指示が入力されたか否かを判定し、入力されたと判定される場合はＳ４０３へ、入力されていないと判定された場合はＳ４０４へ、処理を移行する。

Ｓ４０３においてシステム制御部１０６は、状態情報を「動画記録中」に更新する。これは、図３における「ライブ表示中」ＳＴＡＴＥ３０１から「動画記録中」ＳＴＡＴＥ３０２への遷移処理に該当する。

Ｓ４０４においてシステム制御部１０６は、ライトフィールドセンサ１０３から１フレーム分のライトフィールドデータを読み出す。メモリ制御部１０７は、読み出されたライトフィールドデータをメモリ１０８へ格納する。

Ｓ４０５においてシステム制御部１０６は、画像処理部１１１を用いてライトフィールドデータから表示用画像データを生成する。表示用画像データは、記録中の動画を確認するためのライブビュー表示に用いる動画像データである。したがって、同じマイクロレンズに対応付けられた複数の光電変換領域の出力を加算して、現在の像面位置における画像を生成すればよい。もちろん、撮影時の像面における画像をリフォーカス処理によって生成することで、表示用画像データを生成してもよい。なお、一般に表示部１１４の解像度（表示解像度）は記録用画像の解像度（記録解像度）よりも低い。そのため、表示解像度に応じた縮小処理を画像処理部１１１で適用して表示用画像データを生成する。画像処理部１１１が生成した表示用画像データは、メモリ制御部１０７がメモリ１０８に格納する。

また、画像処理部１１１は、生成した表示用画像データ（あるいは縮小前の画像データ）に基づいて、オートフォーカスや自動露出制御などに用いるための評価値などを算出し、システム制御部１０６に供給する。なお、オートフォーカスは公知の方法のいずれかを用いることが可能であり、画像処理部１１１は用いる方法に応じた評価値を算出する。例えば、コントラスト検出方式でオートフォーカスを行う場合、画像処理部１１１は焦点検出領域におけるコントラスト評価値を算出する。また、像面位相差検出方式でオートフォーカスを行う場合、ライトフィールドデータから得られる視差画像データを用いてデフォーカス量とデフォーカス方向を算出する。自動露出制御に関しても同様に公知の方法のいずれかを用いることが可能であり、画像処理部１１１は例えば被写体領域（顔領域など）の平均輝度、画面を複数に分割した領域ごとの平均輝度、画面全体の輝度ヒストグラムなどを評価値として算出できる。

システム制御部１０６は、画像処理部１１１で算出された評価値などに基づいて、露出条件やフォーカスレンズ位置などを決定し、撮像光学系１０２の制御情報を生成する。生成した制御情報はこの時点では光学系制御部１０４に出力せず、メモリ制御部１０７によってメモリ１０８へ格納する。

Ｓ４０６においてシステム制御部１０６は、範囲算出部１１０を用いてリフォーカス可能範囲を取得する。上述したように範囲算出部１１０は、メモリ１０８に格納された制御情報、特には撮像光学系の合焦距離に関する情報（例えばフォーカスレンズ位置に関する情報）を用いて、リフォーカス可能範囲を取得する。また、撮像光学系１０２が交換可能であれば、範囲算出部１１０は例えば起動時に撮像光学系１０２から取得されてメモリ１０８に格納された撮像光学系１０２の固有情報を取得する。リフォーカス可能範囲は、メモリ制御部１０７がメモリ１０８へ格納する。

なお、リフォーカス可能範囲は、被写体空間における、デジタルカメラ１００からの、光軸方向における距離範囲を特定可能であれば、どのような表現がなされてもよい。例えば距離範囲の至近側と遠位側の距離を数値［ｍ］で表したものであってもよいし、距離範囲を予め対応づけられたコードで表したものであってもよい。

Ｓ４０７においてシステム制御部１０６は、不揮発性メモリ１０９に格納されている状態情報が「動画記録中」か否か判定し、状態情報が「動画記録中」であると判定された場合はＳ４０８に、「動画記録中」でないと判定された場合はＳ４１６に処理を進める。

Ｓ４０８でシステム制御部１０６は「動画記録中」状態における表示制御を行う。具体的には、システム制御部１０６はメモリ１０８に格納されている表示用画像データ（Ｓ４０５で生成）を表示部１１４に表示する。後述するように、本実施形態では「動画記録中」状態における補助表示は行わないか、「動画記録中」状態でない場合における補助表示よりもライブビュー画像の視認性を妨げないようにする。「動画記録中」状態におけるライブビュー表示は、記録されている画像の画質や画角の確認のために用いられるため、本実施形態では、補助表示の視認性よりもライブビュー画像の視認性を優先している。あるいは、補助表示によってライトフィールドデータの情報を提供することよりも、ライブビュー画像の視認性を低下させないことを優先している。具体的な表示例については後述する。

本実施形態においてシステム制御部１０６は、現在の撮像条件において得られるライトフィールドデータに関する情報をユーザに提供するための補助表示を、ライブビュー画像とともに表示部１１４に表示可能である。補助表示は、提供する情報を任意の文字、マーク、グラフィックスなどによって表すものであってよい。なお、本実施形態では、現在の撮像条件において得られるライトフィールドデータのリフォーカス可能範囲に関する情報を、補助表示を用いて提示するものとする。しかしながら、補助表示を用いて提示する、ライトフィールドデータに関する情報はリフォーカス可能範囲に関する情報に限らず、得られるライトフィールドデータに関する他の情報や、ライトフィールドデータに影響を与える任意の情報であってよい。非限定的な例には、被写体距離、現在の合焦距離、マイクロレンズを共有する複数の光電変換領域の読み出しモード（加算の有無、加算する光電変換領域の数など）、撮像光学系１０２やライトフィールドセンサ（撮像素子）１０３の固有情報などが含まれてよい。

Ｓ４０９においてシステム制御部１０６は、Ｓ４０４で取得した１フレーム分のライトフィールドデータを、記録媒体Ｉ／Ｆ１１５を通じて記録媒体１１６へ記録する。なお、新たに記録を行う場合、システム制御部１０６は予め定められたフォーマットを有するファイルの生成処理を行い、生成したファイルに１フレーム目のライトフィールドデータを記録し、後続するフレームのデータは、同じファイルに追加記録する。なお、ライトフィールドデータだけでなく、表示用画像データも記録するように構成してもよい。また、表示用画像データを記録する場合には、フレーム間予測符号化を適用してもよい。ライトフィールドデータについても、データ量を削減するための符号化処理を適用することができる。

Ｓ４１０においてシステム制御部１０６は、操作部１１３を通じて動画記録の終了指示が入力されたか否かを判定し、終了指示が入力されたと判定された場合はＳ４１１へ、終了指示が入力されていないと判定された場合はＳ４１２へ、それぞれ処理を進める。

Ｓ４１１においてシステム制御部１０６は、不揮発性メモリ１０９に格納されている状態情報を「ライブ表示中」に変更する。これは、図３における「動画記録中」ＳＴＡＴＥ３０２から「ライブ表示中」ＳＴＡＴＥ３０１への遷移処理に該当する。

Ｓ４１２においてシステム制御部１０６は、操作部１１３を通じて静止画の撮影指示が入力されたか否かを判定する。撮影指示は例えばレリーズボタンの押下であってよい。システム制御部１０６は、撮影指示が入力されたと判定される場合はＳ４１３へ、撮影指示が入力されていないと判定される場合はＳ４１４へ、それぞれ処理を進める。なお、静止画撮影に関する指示が、撮影準備処理の開始指示（例えばレリーズボタンの半押し）と、撮影処理の開始指示（例えばレリーズボタンの全押し）とに分かれている場合、Ｓ４１２では撮影処理の開始指示の入力について判定してよい。

Ｓ４１３においてシステム制御部１０６は、静止画撮影処理を行う。動画記録中における静止画撮影処理は、システム制御部１０６は動画記録を一時的に中断し、動画記録中でない場合と同様の処理を実行してもよいし、動画のフレーム画像から静止画を生成してもよい。あるいは、他の構成であってもよい。静止画撮影に係る処理は、公知の任意の方法を用いて行うことができるため、詳細については説明を省略する。また、静止画の撮影指示の前の撮影準備指示を検出し、静止画撮影用のオートフォーカス処理や自動露出制御を行い、撮影指示の検出時に静止画撮影処理を開始してもよい。システム制御部１０６は、撮影によって得られた静止画ファイルを記録媒体１１６に記録する。

Ｓ４１４でシステム制御部１０６は、Ｓ４０５で生成した制御情報をメモリ１０８から読み出して光学系制御部１０４へ出力する。光学系制御部１０４は、制御情報に基づいて、次のフレームの撮影のために、撮像光学系１０２が有するフォーカスレンズの位置や絞りの開口径を制御する。

Ｓ４１５においてシステム制御部１０６は、操作部１１３を通じて撮影モードの終了指示（他の動作モードへの移行指示）が入力されているか否かを判定する。システム制御部１０６は、終了指示が入力されていると判定される場合は、撮影モード処理を終了する。 これは図３における「動画記録中」ＳＴＡＴＥ３０２や「ライブ表示中」ＳＴＡＴＥ３０１から終了状態ＥＮＤへの遷移処理に該当する。また、終了指示が入力されていると判定されない場合、システム制御部１０６は処理をＳ４０２に戻し、次のフレームに対する処理を実行する。

Ｓ４１６においてシステム制御部１０６は、「ライブ表示中」状態における表示制御を行う。具体的には、システム制御部１０６はメモリ１０８に格納されている表示用画像データ（Ｓ４０５で生成）を、リフォーカス可能範囲に関する補助表示とともに表示部１１４に表示する。「ライブ表示中」状態におけるライブビュー表示は、撮影スタンバイ状態において例えば画角や合焦させる被写体などを決定するために用いられる。そのため、本実施形態では、ライブビュー画像の視認性が補助表示によって低下することよりも、補助表示によってリフォーカス可能範囲の情報を提供することを優先している。具体的な表示例については後述する。

●（補助表示の具体例）
次に、図５〜図７を用いて、本実施形態におけるライブビュー表示制御の具体例について説明する。
ここでは、図５（ａ）、（ｂ）に示すような、デジタルカメラ１００からの距離が異なる被写体５０１〜５０３が存在するシーンにおいて、被写体５０１にピントを合わせて撮影して得られるライトフィールドデータを想定する。また、図５（ｂ）に示すように、被写体５０３はリフォーカス可能範囲に含まれるが、被写体５０２はリフォーカス可能範囲外にあるものとする。

図５（ｃ）は、撮影時の像面５０５で得られた画像データ（合焦距離を変更していない画像データ）を模式的に示している。この画像データは、撮像光学系１０２の光軸上における、ライトフィールドセンサ１０３の位置に仮想像面を設定して得られるリフォーカス（再構成）画像データとも言える。

「ライブ表示中」状態のように、ライブビュー画像にリフォーカス可能範囲の補助表示を行う場合、少なくともリフォーカス可能範囲において合焦する領域を検出する必要がある。この検出を実現する方法に特に制限はないが、本実施形態では仮想像面の位置を変更して複数のリフォーカス画像を生成し、個々のリフォーカス画像における合焦領域の論理和で表される領域を求める。なお、リフォーカス画像は、仮想像面の設定可能範囲の両端を含む、複数の仮想像面（仮想像面群５０４）について生成する。また、個々のリフォーカス画像で検出された合焦領域について顔検出のような被写体検出処理を行い、検出結果をリフォーカス画像に関連付けてもよい。検出結果は例えば被写体が検出されたかどうか、検出されていれば被写体領域の位置や大きさなどであってよい。なお、検出された顔領域を手がかりにして手足や胴などをさらに検出して検出結果としてもよい。

なお、リフォーカス可能範囲内の被写体は、リフォーカス画像を生成する仮想像面の設定間隔（サンプリング間隔）Ｎ（図５（ｂ））が小さいほど精度良く検出できる。しかし、リフォーカス画像の生成数が多くなると処理時間や消費電力の増加を招くため、予め適当なサンプリング間隔を定めておくことができる。なお、仮想像面位置に対応する合焦距離を算出して、生成したリフォーカス画像に関連付けてもよい。

リフォーカス画像における合焦領域は、例えばコントラスト検出方式で用いる評価値を画像処理部１１１で算出し、評価値の大きさが閾値以上の画素から構成される領域として検出することができる。例えば、図５（ｄ）に示すような、被写体５０３が合焦するような仮想像面５０６について生成されたリフォーカス画像データでは、図５（ｅ）にグレーで示す合焦領域５０７が検出される。

異なる仮想像面位置について生成したリフォーカス画像の各々についてこのようにして検出された合焦領域を論理加算することにより、ライブビュー表示される画像について、リフォーカス可能範囲に対応する画像領域を求める。なお、個々のリフォーカス画像において検出された合焦領域についての合焦距離の情報を保持しながら、リフォーカス可能領域に対応する画像領域を求めてもよい。

また、合焦領域の検出を、画素単位ではなく、画像を水平および垂直方向に分割した分割領域単位で行ってもよい。この場合、分割領域ごとの代表評価値に基づいて合焦領域を検出することができる。代表評価値はピーク値、最頻度値、平均値（単純平均、頻度による重み付け平均）など、予め定めておくことができる。

ここで説明した処理は、Ｓ４１６における「ライブ表示中」状態の表示制御処理の一部としてシステム制御部１０６が画像処理部１１１とメモリ１０８を主に用いて実施することができる。そして、システム制御部１０６は、リフォーカス可能範囲内の被写体に対応する画像領域の情報を用いて補助表示を実行する。補助表示は、表示部１１４において、ライブビュー画像とリフォーカス可能範囲との関係を確認できるものであれば、どのような形式であってもよい。

ここでは一例として、
（領域Ａ）撮影時の撮像光学系１０２の合焦距離に対応する合焦領域（すなわち、ライブビュー画像において合焦している領域）
（領域Ｂ）リフォーカス可能範囲に含まれ、撮影時の撮像光学系１０２の合焦距離とは異なる合焦距離に対応する領域
の代表位置（例えば重心位置）に補助表示を重畳するものとする。表示例を図６（ａ）に示す。

図６（ａ）は、領域Ａおよび領域Ｂのうち、検出された被写体領域の代表位置に枠状の補助表示６０１を重畳した例を示している。ここでは、現在合焦している領域については実線の枠、リフォーカスによって合焦させることのできる領域については点線の枠として、両者を識別できるように枠の形態を異ならせている。なお、これは一例であり、枠の色、太さ、輪郭の形状、表示方法（点滅、非点滅など）の１つ以上を異ならせてもよい。

図６（ｂ）は、図６（ａ）の補助表示に、被写体距離の情報６０１１を付加した例を示している。上述の通り、合焦領域の検出時にリフォーカス画像を生成するために設定した仮想像面に対応する被写体距離の情報が利用できる場合には、被写体距離の情報を補助表示に含めてもよい。なお、補助表示を行う位置（画像座標）は合焦領域との対応が認識可能であれば重心位置に限らず、他の位置であってもよい。

図６（ｃ）は、ライブビュー画像６０２に重畳しない補助表示６０３の一例を示している。例えばライブビュー画像６０２を縮小し、補助表示６０３の表示領域を生成することでこのような補助表示６０３が実現できる。あるいは、ライブビュー画像６０２のアスペクト比が表示部１１４のアスペクト比と異なる場合のように、ライブビュー画像６０２を縮小しなくても補助表示６０３の表示領域が存在する場合は、ライブビュー画像６０２の縮小は不要である。補助表示６０３は、上述した仮想像面群５０４について生成したリフォーカス画像のそれぞれで検出された合焦領域の画素数を、被写体距離ごとのヒストグラム形式で表したものである。

補助表示６０３において、縦軸は被写体距離を、横軸は頻度を示している。また、指標６０３１は撮影時における合焦距離（被写体５０１の距離）を示している。頻度は合焦領域の大きさの目安として利用できる。また、頻度が示される被写体距離の範囲は仮想像面の設定可能範囲に対応しているため、リフォーカス可能範囲を縦軸から読み取ることができる。なお、被写体検出を行っている場合には、検出された被写体の合焦距離を示す指標をヒストグラム中に示すように構成してもよい。

図６（ｄ）は、リフォーカス可能範囲に対応する画像領域に対して画像処理部１１１でエッジ抽出を行い、いわゆるピーキングと同様にエッジ強調表示を行う補助表示６０４の例を示している。この例では、リフォーカス可能範囲に対応する画像領域を視覚的に把握することが容易である。
なお、図６（ａ）〜（ｄ）に示した例は組み合わせて実施することも可能である。またこれらは例示であって、他の形態の補助表示も可能である。

一方、Ｓ４０８における「動画記録中」状態の表示制御は、
（１）リフォーカス可能範囲に関する補助表示を行わない（図７（ａ））
（２）リフォーカス可能範囲に関する補助表示を行う場合には、ライブビュー画像の視認性に考慮し、「ライブ表示中」状態よりも目立たない（視認性を低下させない）ようにする（図７（ｂ））
のいずれかとする。

（２）の場合には、ライブビュー画像に重畳表示される補助表示の形態（太さ、色、不透明度、個数、形状、輝度の１つ以上）を「ライブ表示中」の補助表示と異ならせることで、ライブビュー画像の視認性が補助表示によって低下することを抑制することができる。図７（ｂ）では、図６（ａ）の補助表示よりも枠の色を薄くするとともに、不透明度を下げた例を示している。これ以外にも、枠の個数を削減したり、枠を細くしたり小さくしたりすることもできる。

図６（ｃ）のような、ライブビュー画像に重畳しない（ライブビュー画像とは別の表示領域に）補助表示を行ってもよい。ただし、ライブビュー画像の縮小は必要最小限にとどめるようにする。例えば表示部１１４や、デジタルカメラ１００に接続された外部表示装置のアスペクト比が撮影画像のアスペクト比が異なる場合に生じる、ライブビュー画像が表示されない領域に補助表示を行うように構成してもよい。この場合、ライブビュー画像は縮小されないので、その視認性は補助表示の有無に影響されない。
また、エッジ強調の程度を「ライブ表示中」状態よりも低減させて、図６（ｄ）のような補助表示を行うこともできる。

以上説明したように、本実施形態によれば、ライトフィールドデータの記録が可能な撮像装置においてライブビュー表示を行う場合に、動画記録中か否かに応じて補助表示の方法を異ならせるようにした。特には、動画記録中の場合にはそうでない場合よりもライブビュー画像の視認性を補助表示の視認性よりも優先させた補助表示を行うか、補助表示を行わないようにした。そのため、動画記録中には実際に記録されている画像の確認を妨げず、撮影スタンバイ状態には撮影条件の決定に有用な情報を提供することが可能になり、ユーザの使い勝手を向上させることができる。

●（変形例）
上述の実施形態において、デジタルカメラ１００が、動画記録中に静止画撮影が可能である場合を考える。この場合、動画記録中でない場合にリフォーカス可能範囲に関する補助表示を行い、動画記録中には補助表示は行わない構成とすると、希望するリフォーカス可能範囲を有するライトフィールドデータ（静止画）を得ることが困難になる。そのため、動画記録中に静止画撮影の指示が入力された場合に補助表示を行うように構成することができる。

本変形例において、撮影モードにおける動作以外は実施形態と同じであってよいため、デジタルカメラ１００の構成に関する説明は省略する。
図８は、本変形例に係るデジタルカメラの撮影モードにおける動作を示すフローチャートである。なお、図８において、図４と同様の処理を行う工程に関しては図４と同じ参照数字を付して重複する説明を省略し、本実施形態に固有の処理を行う工程に関して説明する。

Ｓ４０７においてシステム制御部１０６は、不揮発性メモリ１０９に格納されている状態情報が「動画記録中」か否か判定し、状態情報が「動画記録中」であると判定された場合はＳ８０１に、「動画記録中」でないと判定された場合はＳ４１６に処理を進める。

Ｓ８０１においてシステム制御部１０６は、操作部１１３を通じて静止画の撮影指示が入力されたか否かを判定し、撮影指示が入力されたと判定される場合はＳ８０２へ、撮影指示が入力されていないと判定される場合はＳ４０８へ、処理を進める。なお、静止画撮影に関する指示が、撮影準備処理の開始指示（例えばレリーズボタンの半押し）と、撮影処理の開始指示（例えばレリーズボタンの全押し）とに分かれている場合、Ｓ８０１では撮影準備処理の開始指示の入力について判定してよい。この場合、Ｓ４１２では撮影処理の開始指示の入力について判定する。

Ｓ８０２においてシステム制御部１０６は、補助表示を含む、静止画撮影を支援するための表示制御を行う。基本的には「動画表示中」状態でない場合にＳ４１６で行う表示制御と同様であってよいが、例えば、リフォーカス可能範囲に関する補助表示をより簡便にするなど、異なる表示制御を実行してもよい。例えば、リフォーカス可能範囲を数値範囲で示し、ライブビュー画像中の被写体や領域との関係についての表示は行わないといったことが考えられるが、これに限定されない。

本実施形態によれば、動画記録中、レリーズボタンの半押しなど、静止画撮影に関する指示が入力されている期間は、入力されていない期間よりも、ライブビュー画像の視認性に関する優先度を低下させてリフォーカス可能範囲に関する補助表示を行う。そのため、実施形態の効果に加え、動画記録中に行う静止画撮影に関して、撮影で得られるライトフィールドデータに関する情報をユーザに提供することができ、ユーザが希望するリフォーカス可能範囲を有する静止画撮影の支援が可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２…撮像光学系、１０３…ライトフィールドセンサ、１０４…光学系制御部、１０６…システム制御部、１０８…メモリ、１１０…範囲算出部、１１１…画像処理部、１１２…リフォーカス部、１１３…操作部、１１４…表示部

Claims (11)

1. ライトフィールドデータを取得可能な撮像手段と、
   前記撮像手段で撮影された動画像を表示装置に逐次表示する制御手段とを有し、
   前記制御手段は、
   現在の撮影条件で取得されるライトフィールドデータに関する情報を表す補助表示を、前記動画像に重畳させて前記表示装置に表示し、
   動画記録中においては、動画記録中でない場合よりも、前記補助表示を目立たない形態とするように前記補助表示の方法を制御する、
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記動画記録中に静止画撮影に関する指示が入力されている期間は前記補助表示を行い、前記指示が入力されていない期間は前記補助表示を行わないことを特徴とする請求項１に記載の撮像装置。
3. ライトフィールドデータを取得可能な撮像手段と、
   前記撮像手段で撮影された動画像を表示装置に逐次表示する制御手段とを有し、
   前記制御手段は、
   現在の撮影条件で取得されるライトフィールドデータに関する情報を表す補助表示を、前記動画像に重畳させて前記表示装置に表示し、
   動画記録中においては、動画記録中でない場合よりも、前記補助表示を目立たない形態とするように前記補助表示の方法を制御し、
   前記動画記録中に静止画撮影に関する指示が入力されている期間は前記補助表示を行い、前記指示が入力されていない期間は前記補助表示を行わない、
   ことを特徴とする撮像装置。
4. 前記ライトフィールドデータに関する情報が、前記ライトフィールドデータを用いて調整可能な合焦距離の範囲に関する情報を含むことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記動画記録中における前記補助表示の太さ、色、不透明度、個数、形状、輝度の１つ以上を、前記動画記録中でない場合における前記補助表示と異ならせることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記補助表示が、前記動画像の領域のうち、前記ライトフィールドデータを用いて調整可能な合焦距離の範囲に含まれる領域を示すことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記補助表示が、前記動画像の領域のうち、現在合焦している領域と、前記ライトフィールドデータを用いて合焦させることのできる領域とを識別できるような形態を有することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記補助表示が、前記動画像の領域のうち、前記ライトフィールドデータを用いて調整可能な合焦距離の範囲に含まれる被写体の距離を示すことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. ライトフィールドデータを取得可能な撮像手段を有する撮像装置の制御方法であって、
   前記撮像装置の制御手段が、前記撮像手段で撮影された動画像を表示装置に逐次表示する制御工程を有し、
   前記制御工程では、
   現在の撮影条件で取得されるライトフィールドデータに関する情報を表す補助表示を、前記動画像に重畳させて前記表示装置に表示し、
   動画記録中においては、動画記録中でない場合よりも、前記補助表示を目立たない形態とするように前記補助表示の方法を制御する、
   ことを特徴とする撮像装置の制御方法。
10. ライトフィールドデータを取得可能な撮像手段を有する撮像装置の制御方法であって、
    前記撮像装置の制御手段が、前記撮像手段で撮影された動画像を表示装置に逐次表示する制御工程を有し、
    前記制御工程では、
    現在の撮影条件で取得されるライトフィールドデータに関する情報を表す補助表示を、前記動画像に重畳させて前記表示装置に表示し、
    動画記録中においては、動画記録中でない場合よりも、前記補助表示を目立たない形態とするように前記補助表示の方法を制御し、
    前記動画記録中に静止画撮影に関する指示が入力されている期間は前記補助表示を行い、前記指示が入力されていない期間は前記補助表示を行わない、
    ことを特徴とする撮像装置の制御方法。
11. 撮像装置が有するコンピュータを、請求項１から８のいずれか１項に記載の撮像装置が有する制御手段として機能させるためのプログラム。