JP2011193066A

JP2011193066A - 撮像装置

Info

Publication number: JP2011193066A
Application number: JP2010055254A
Authority: JP
Inventors: Toshiki Kuma; 俊毅隈
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2010-03-12
Filing date: 2010-03-12
Publication date: 2011-09-29
Also published as: US20110221924A1

Abstract

【課題】シーン判定の利便性を向上させる。
【解決手段】表示画面の点３２０をタッチすると、点３２０を基準とする判定領域が設定されて判定領域枠３２１が表示されると共に該判定領域内の画像データに基づいてシーン判定処理が成され、シーン判定結果が表示される。そのシーン判定結果がユーザ所望のものと相違する場合、ユーザは、点３２０と異なる点３２０ａを指定することができる。点３２０ａが指定されると、点３２０ａを基準とする判定領域が再設定されて判定領域枠３２１ａが表示されると共に該判定領域内の画像データに基づいて２回目のシーン判定処理が成され、２回目のシーン判定結果が表示される。その後、判定領域枠３２１ａ内の位置をタッチすると、２回目のシーン判定結果に応じた撮影条件にて静止画像撮影が成される。
【選択図】図８

Description

本発明は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に関する。

デジタルカメラ等の撮像装置で撮影を行う際、特定の撮影シーンでは撮影シーンに応じた最適な撮影条件（シャッタスピード、絞り値、ＩＳＯ感度等）が存在する。しかし、一般に、撮影条件のマニュアル設定は複雑である。これを考慮し、撮像装置には、撮影シーンを自動的に判定し、撮影条件を自動的に最適化する自動シーン判定機能が搭載されていることが多い。この機能では、撮影範囲内に存在する被写体の種類を判別したり被写体の明るさを検出したりすることで撮影シーンを判定し、判定シーンに基づいて複数の登録撮影モードの中から最適な撮影モードを選択する。そして、選択した撮影モードに従った撮影条件にて撮影を行うことで撮影条件の最適化を図る。

尚、下記特許文献１の方法では、特徴量抽出や顔検出結果に基づき、実際に採用される可能性のある撮影モード（撮像モード）の候補を撮像モード記憶部から複数個抽出して表示し、表示した複数の候補の中から実際に採用する撮影モードをユーザに選択させる。

特開２００９−７１６６６号公報

しかしながら、上述したような自動シーン判定では、自動判定されたシーン及びそれに伴って自動選択された撮影モードがユーザの意図したものと異なる、といった事態が生じうる。このような場合、ユーザは、所望するシーン判定結果が得られるまで自動シーン判定を繰り返し実行させる必要があり、結果としてユーザの利便性を損なうことがある。

図１６を参照して、この問題を更に説明する。撮像装置の略正面に位置する黄色の葉をつけた木及び撮像装置の右側に位置する赤色の葉をつけた木を撮影範囲内に収めた状態で、ユーザは、紅葉モードで静止画像の撮影を行いたいと考えているものとする。また、撮像装置に設けられたシャッタボタンを半押しすることで自動シーン判定が実行されるものとし、その半押しの解除後に再度シャッタボタンを半押しすると自動シーン判定が再実行されるものとする。

まず、ユーザは、上記の２種類の木を撮影範囲内に収める。そうすると、画像９０１が表示画面に表示される。画像９０１を取り囲むドット領域（ドットで満たされた領域）は、表示部の筐体を表している（画像９０２〜９０４についても同様）。この状態で、ユーザが半押し操作を成す。この半押し操作をトリガとして成された自動シーン判定の結果、撮影シーンが風景シーンであると判断されると、「風景」の文字が重畳された画像９０２が表示されるようになる。ユーザは、風景モードでの撮影を希望していないので、撮影方向や撮影画角を変化させながら半押し解除及び再度の半押し操作を繰り返す。画像９０３は２回目の半押し操作後に表示される画像であり、画像９０４は３回目の半押し操作後に表示される画像である。３回目の半押し操作後に（即ち、３回目の自動シーン判定後に）ようやく紅葉シーンと判定されたため、その後、ユーザは、静止画像の撮影を行うべくシャッタボタンの全押し操作を成す。

図１６の具体例では、画像９０２が表示されたとき、ユーザは何故風景シーンと判定されたのかが分からない。従って、その後、ユーザは、紅葉シーンと判定されるまで、何の手がかりもなしに半押し及び解除の繰り返しによる試行錯誤を強いられる。自動シーン判定による判定シーン（風景シーン）とユーザの意図するシーン（紅葉シーン）との相違の発生は避けがたいが、ユーザの意図するシーンと異なるシーンが判定された上に、その判定の成された理由が全く分からないと、ユーザは不快感を覚える。よって、自動シーン判定の根拠等を示してやることは、快適な操作感を提供する技術として有益である。

尚、特許文献１の方法を用いれば、多数存在する候補の数をある程度絞り込むことはできるのものの、絞り込んだ候補の中の１つを選択する操作をユーザに強いることになり、特に候補の数が多くなると選択操作が煩雑となるし、ユーザに選択を迷わせる結果を導いてユーザに不快感を覚えさせる。また、特に、様々な被写体が撮影範囲内に存在する複雑な撮影シーンにおいては、ユーザの注目する被写体が撮像装置にとって不明確であるため、表示された撮影モード候補の中にユーザの所望する撮影モードが存在しないことも十分に起こりうる。

そこで本発明は、シーン判定に関して便利な機能を持つ撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮影画像を表示する表示部と、前記撮影画像の画像データに基づいて前記撮影画像の撮影シーンを判定するシーン判定部と、前記シーン判定部の判定結果とともに、前記撮影画像の全体画像領域の一部である、前記シーン判定部の判定結果の元となった特定画像領域の位置を前記表示部に表示させる表示制御部と、を備えたことを特徴とする。

これにより、シーン判定結果と同時に、その結果が得られた理由をユーザに直感的に知らしめることが可能となる。

具体的には例えば、当該撮像装置は、前記撮影画像上の指定位置の入力を受け付ける指定受付部を更に備え、前記シーン判定部は、前記指定位置に基づいて前記特定画像領域を設定し、前記特定画像領域の画像データに基づいて前記撮影画像の撮影シーンを判定する。

また例えば、前記指定位置としての第１指定位置に基づいて前記特定画像領域が設定され、前記特定画像領域の画像データに基づき前記撮影画像の撮影シーンが判定された後、前記第１指定位置と異なる第２指定位置が前記指定受付部に入力された場合、前記シーン判定部は、前記第２指定位置に基づいて前記特定画像領域を再設定し、再設定された特定画像領域の画像データに基づき前記撮影画像の撮影シーンを再判定する。

これにより、ユーザの希望する判定結果が提供されやすくなる。

また例えば、前記シーン判定部は、前記撮影画像の全体画像領域の画像データに基づき前記撮影画像の全体の撮影シーンを全体判定シーンとして判定する全体判定部と、前記撮影画像の全体画像領域を複数の分割画像領域に分割し、前記分割画像領域ごとに、当該分割画像領域の画像データから画像特徴量を抽出する特徴量抽出部と、前記全体判定シーンに対応付けられた画像特徴量と各分割画像領域の画像特徴量とを対比することにより、前記複数の分割画像領域の中から前記特定画像領域を選択して設定する特定画像領域設定部と、を備え、前記表示制御部は、前記全体判定シーンを前記シーン判定部の判定結果として前記表示部に表示させるとともに、前記特定画像領域に設定された分割画像領域の位置を前記表示部に表示させる。

そして例えば、前記撮影画像上の指定位置の入力を受け付ける指定受付部を更に備え、前記全体判定シーンの前記表示部への表示の後、前記指定位置の入力が成された場合、前記シーン判定部は、前記指定位置に基づいて前記特定画像領域を再設定し、再設定された特定画像領域の画像データに基づき前記撮影画像の撮影シーンを再判定する。

本発明によれば、シーン判定に関して便利な機能を持つ撮像装置を提供することが可能である。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の概略全体ブロック図である。図１に示される撮像部の内部構成図である。図１の撮像装置に内包される部位のブロック図である。入力画像に判定領域が設定される様子を示した図である。風景モードにて得られた出力画像及びポートレートモードにて得られた出力画像を示す図である。本発明の第１実施形態に係り、撮像装置の動作手順を表すフローチャートである。本発明の第１実施形態に係り、表示画像の変遷の様子の第１具体例を示す図である。本発明の第１実施形態に係り、表示画像の変遷の様子の第２具体例を示す図である。任意の二次元画像又は表示画面上に複数の分割ブロックが設定される様子を示す図である。本発明の第２実施形態に係り、撮像装置の動作手順を表すフローチャートである。本発明の第２実施形態に係り、表示画像の変遷の様子の具体例を示す図である。シーン判定部に登録用メモリが内包される様子を示す図である。本発明の第２実施形態に係り、複数の対象ブロック枠が表示される様子を示す図である。本発明の第２実施形態に係り、撮像装置の動作手順を表す変形フローチャートである。本発明の第２実施形態に係るシーン判定部の内部ブロック図である。従来の自動シーン判定の動作を説明するための図である。

以下、本発明の実施形態の幾つかを、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像データの一種であり、撮像部１１から出力されるアナログ信号も画像データの一種である。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。

表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を指等で触れることで撮像装置１に特定の指示を与えることができる。表示部１５の表示画面を指等で触れることによる操作をタッチパネル操作と呼ぶ。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。指等が表示部１５の表示画面が触れたとき、その触れた位置を指し示す座標値が主制御部１３に伝達される。

記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作を、タッチパネル操作と区別すべく、ボタン操作とも呼ぶ。操作部１７に対する操作内容は、主制御部１３に伝達される。

撮像装置１には、ユーザが撮影しようとするシーンを自動的に判定し、撮影条件を自動的に最適化する機能が備えられている。以下、主として、この機能の説明を行う。図３は、この機能の実現に特に関与する部位のブロック図である。シーン判定部５１、撮影制御部５２、画像処理部５３及び表示制御部５４は、図１の主制御部１３内に設けられている。

シーン判定部５１には、入力画像の画像データが与えられる。入力画像とは、撮像部１１から出力される画像データに基づく二次元画像を指す。ＲＡＷデータそのものが入力画像の画像データであっても良いし、ＲＡＷデータに対して所定の画像処理（デモザイキング処理、ノイズ低減処理、色補正処理等）を施して得られる画像データが入力画像の画像データであっても良い。撮像部１１は所定のフレームレートで撮影を行うことができるため、入力画像も所定のフレームレートで順次得られる。

シーン判定部５１は、入力画像内に判定領域を設定し、判定領域内の画像データに基づいてシーン判定処理を行う。シーン判定部５１は、入力画像ごとにシーン判定処理を行うことができる。

図４は、入力画像と判定領域との関係を表している。図４において、符号２００は任意の１枚の入力画像を表しており、符号２０１は入力画像２００に設定された判定領域を表している。判定領域２０１は、入力画像２００の全体画像領域そのもの、又は、入力画像２００の全体画像領域の一部である。図４では、判定領域２０１が、入力画像２００の全体画像領域の一部であることが想定されている。以下の説明では、図４に示す如く、判定領域２０１に代表される任意の判定領域の形状が矩形であることを想定する。但し、判定領域２０１の形状を矩形以外とすることも可能である。

入力画像に対するシーン判定処理は、入力画像からの画像特徴量の抽出、入力画像の被写体の検出、入力画像の色相の分析、入力画像の撮影時における被写体の光源状態の推定等を用いて実行され、その判定に公知の任意の方法（例えば、特開２００９−７１６６６号公報に記載の方法）を用いることができる。

複数の登録シーンが予めシーン判定部５１に設定されている。複数の登録シーンには、例えば、人物が注目された撮影シーンであるポートレートシーン、風景が注目された撮影シーンである風景シーン、紅葉が注目された撮影シーンである紅葉シーン、動物が注目された撮影シーンである動物シーン、海が注目された撮影シーンである海シーン、日中の撮影状態を表す日中シーン、夜景の撮影状態を表す夜景シーンなどが含まれうる。シーン判定部５１は、注目した入力画像の画像データからシーン判定処理に有益な画像特徴量を抽出することで、その注目した入力画像の撮影シーンを上記複数の登録シーンの中から選択し、これによって、注目した入力画像の撮影シーンを判定する。シーン判定部５１によって判定された撮影シーンを、判定シーンと呼ぶ。シーン判定部５１は、判定シーンを表すシーン判定情報を撮影制御部５２及び表示制御部５４に与える。

撮影制御部５２は、シーン判定情報に基づき、撮影条件を既定する撮影モードを設定する。撮影モードにて既定される撮影条件には、入力画像の撮影時におけるシャッタスピード（即ち、入力画像の画像データを撮像素子３３から得るための、撮像素子３３の露光時間の長さ）、入力画像の撮影時における絞り値、入力画像の撮影時におけるＩＳＯ感度、画像処理部５３において入力画像に行われるべき画像処理（以下、特定画像処理という）の内容などが含まれる。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで入力画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。撮影制御部５２は、撮影モードの設定後、設定した撮影モードの撮影条件で入力画像の画像データが得られるように撮像部１１及びＡＦＥ１２を制御すると共に、画像処理部５３を制御する。

画像処理部５３は、入力画像に対して特定画像処理を行うことで出力画像（即ち、特定画像処理後の入力画像）を生成する。撮影制御部５２にて設定される撮影モードによっては、特定画像処理が何らなされないこともあり、この場合には、出力画像は入力画像そのものとなる。

説明の具体化のため、上記登録シーンの種類がＮ種類存在するものとする（Ｎは２以上の整数）。即ち、上記複数の登録シーンの個数がＮ個であるとする。そして、Ｎ種類の登録シーンを第１〜第Ｎの登録シーンと呼ぶ。任意の整数ｉ及びｊに対して、第ｉの登録シーンと第ｊの登録シーンは異なる（但し、ｉ≦Ｎ且つｊ≦Ｎ）。また、シーン判定部５１による判定シーンが第ｉの登録シーンであるときに、撮影制御部５２により設定される撮影モードを第ｉの撮影モードと呼ぶ。

第１〜第Ｎの撮影モードに関し、第ｉの撮影モードによって規定される撮影条件と、第ｊの撮影モードによって規定される撮影条件は互いに異なる。これは、通常、互いに異なる任意の整数ｉ及びｊに対して成立するが（但し、ｉ≦Ｎ且つｊ≦Ｎ）、第１〜第Ｎの撮影モードに含まれるＮ_A個の撮影モードの撮影条件は互いに同じでありうる（換言すれば、そのＮ_A個の撮影モードは互いに同じ撮影モードでありうる）。Ｎ_AはＮ未満且つ２以上の整数である。例えば、Ｎ＝１０のとき、第１〜第９の撮影モードについての撮影条件は互いに異なるが、第９及び第１０の撮影モードについての撮影条件は互いに同じである、といった場合もある（この場合、Ｎ_A＝２）。

以下、第１〜第Ｎの登録シーンに含まれる第１〜第４の登録シーンが、夫々、ポートレートシーン、風景シーン、紅葉シーン及び動物シーンであって、且つ、第１〜第４の登録シーンに対応する第１〜第４の撮影モードが、夫々、ポートレートモード、風景モード、紅葉モード及び動物モードであって、且つ、第１〜第４の撮影モードの内、任意の２つの撮影モード間の撮影条件は互いに異なるものとする。

撮影制御部５２は、具体的には例えば、ポートレートモード及び風景モード間で絞り値を変えることよって、ポートレートモードにおける被写界深度を風景モードにおける被写界深度よりも浅くする。図５（ａ）の画像２１０は、風景モードにて得られた出力画像（又は入力画像）を表し、図５（ｂ）の画像２２０は、ポートレートモードにて得られた出力画像（又は入力画像）を表す。出力画像２１０及び２２０は共通の被写体を撮影したものであるが、被写界深度の相違に基づき、出力画像２１０では人物も風景も鮮明に現れている一方で、出力画像２２０では人物は鮮明であるものの風景はぼけている（図５（ｂ）では、山の輪郭線を太くすることでぼけを表現している）。

ポートレートモード及び風景モード間で絞り値を共通にしておく一方で、ポートレートモード及び風景モード間で特定画像処理を異ならせることで、ポートレートモードにおける被写界深度を風景モードにおける被写界深度よりも浅くしても良い。即ち例えば、設定された撮影モードが風景モードである場合には、入力画像に対する特定画像処理に背景ぼかし処理を含めない一方、設定された撮影モードがポートレートモードである場合には、入力画像に対する特定画像処理に背景ぼかし処理を含める。背景ぼかし処理は、入力画像において人物の画像データが存在する画像領域以外の画像領域をぼかす処理（ガウシアンフィルタを用いた空間フィルタリングなど）である。このような、背景ぼかし処理の有無による特定画像処理の相違によっても、ポートレートモードによる出力画像と風景モードによる出力画像間で被写界深度を実質的に異ならせることができる。

また例えば、設定された撮影モードがポートレートモードである場合には、入力画像に対する特定画像処理に肌色補正を含めるようにし、設定された撮影モードが風景モード、紅葉モード及び動物モードである場合には、入力画像に対する特定画像処理に肌色補正を含めないようにしても良い。肌色補正は、人物の顔の画像部分の内、肌色に分類される部分の色を補正する処理である。

また例えば、設定された撮影モードが紅葉モードである場合には、入力画像に対する特定画像処理に赤色補正を含めるようにし、設定された撮影モードがポートレートモード、風景モード及び動物モードである場合には、入力画像に対する特定画像処理に赤色補正を含めないようにしても良い。赤色補正は、赤色に分類される部分の色を補正する処理である。

また例えば、高速シャッタモードとも呼ぶべき動物モードでは、ポートレートモード、風景モード及び紅葉モードよりも、シャッタスピードが速くされる（即ち、入力画像の画像データを撮像素子３３から得るための、撮像素子３３の露光時間の長さが短くされる）。

図３の表示制御部５４は、表示部１５の表示内容を制御する部位であり、画像処理部５３からの出力画像とシーン判定部５１からのシーン判定情報及び判定領域情報とに基づいて表示画像を生成し、表示画像を表示部１５の表示画面上に表示させる。判定領域情報とは、判定領域の位置及び大きさを表す情報であり、判定領域情報によって、任意の二次元画像（入力画像、出力画像又は表示画像）上における、判定領域の中心位置、水平方向の大きさ及び垂直方向の大きさが特定される。

図６及び図７を参照して、図３に示される部位の動作を詳細に説明する。図６は、第１実施形態に係る撮像装置１の動作手順を表すフローチャートである。図７は、撮像装置１の第１動作具体例を表している。第１動作具体例では、撮像装置１の略正面に位置する黄色の葉をつけた木及び撮像装置１の右側に位置する赤色の葉をつけた木を撮影範囲内に収めた状態で、ユーザは静止画像の撮影を行おうとしている（後述の図８及び図１１に対応する動作具体例でも同様）。また、撮影範囲の中央付近に人物が立っている。図７において、符号３１１〜３１５は、夫々、時刻ｔ_A1〜ｔ_A5における表示画像である。時刻ｔ_Ai+1は時刻ｔ_Aiよりも後の時刻である（ｉは整数）。図７において、表示画像３１１〜３１５の夫々を取り囲むドット領域（ドットで満たされた領域）は、表示部１５の筐体を表している。

表示画像３１１は、ステップＳ１１の指定が成される前の表示画像に相当し、表示画像３１２は、ステップＳ１１の指定が成される時点における表示画像に相当し、表示画像３１３は、ステップＳ１３〜Ｓ１５の処理が成される時点における表示画像に相当し、表示画像３１４は、ステップＳ１６の処理が成される時点における表示画像に相当し、表示画像３１５は、ステップＳ１７のシャッタ操作が成される時点における表示画像に相当する。図７において、表示画像３１２、３１３及び３１５の夫々の内部に示されている手の絵は、ユーザの手を表している。

上述したように、撮像部１１にて入力画像の画像データが所定のフレームレートで取得される。図６に示す各ステップの処理の実行時において、時系列に並ぶ複数の入力画像が撮影によって得られ、その複数の入力画像に基づく複数の表示画像が動画像として表示画面に表示される。ステップＳ１１では、この表示が成されている状態で（例えば図７の画像３１１が表示されている状態で）、ユーザが注目被写体を指定する。ユーザは、タッチパネル操作にて注目被写体の指定を行うことができる。具体的には、表示画面において注目被写体が表示されている部分をタッチすることで、注目被写体の指定を行うことができる。タッチとは、表示画面上の特定部分を指で触れる操作である。尚、ユーザは、タッチパネル操作ではなく、ボタン操作によって注目被写体の指定を行うこともできる。

今、表示画面上の点３２０がタッチされたとする（図７の表示画像３１２の部分を参照）。表示画面上における点３２０の座標値が指定座標値としてタッチパネル１９からシーン判定部５１及び撮影制御部５２に送られる。指定座標値によって、入力画像、出力画像及び表示画像上における、点３２０に対応する位置（以下、指定位置と呼ぶ）が規定される。ステップＳ１１の指定の後、ステップＳ１２〜Ｓ１７の処理が順次実行される。

ステップＳ１２において、撮影制御部５２は、指定位置に存在する被写体を注目被写体として認識した上で注目被写体に対するカメラ制御を行う。注目被写体に対するカメラ制御には、注目被写体にピントを合わせるフォーカス制御及び注目被写体の露出を最適化する露光制御などが含まれる。或る特定の被写体の画像データが指定位置に存在しているならば、その特定の被写体が注目被写体として認識されて上記カメラ制御が成される。

ステップＳ１３において、シーン判定部５１は、指定位置を基準とする判定領域（特定画像領域）を入力画像に設定する。例えば、指定位置に中心位置を持つ、所定の大きさを有する判定領域を設定する。また例えば、注目被写体の画像データが存在する画像領域を入力画像の全体画像領域から検出及び抽出し、その画像領域を判定領域に設定するようにしても良い。設定された判定領域の位置及び大きさを表す判定領域情報は表示制御部５４に送られる。

ステップＳ１１〜Ｓ１３の処理の実行時点において、表示制御部５４は、入力画像をそのまま表示画像として表示することができる。ステップＳ１４において、表示制御部５４は入力画像に判定領域枠を重畳した画像を表示画像として表示画面に表示させる。判定領域枠は、判定領域の外枠である。或いは、判定領域の外枠を基準とした枠（例えば、判定領域の外枠を若干縮小又は拡大した枠）が、判定領域枠であっても良い。例えば、ステップＳ１４において、判定領域枠３２１が重畳された表示画像３１３を表示する（図７参照）。判定領域枠の表示は、入力画像、出力画像、表示画像又は表示画面上における判定領域の位置及び大きさを、ユーザに視認させる。ステップＳ１４において表示された判定領域枠は、以後、ステップＳ１５〜Ｓ１７においても表示され続ける。

ステップＳ１５において、シーン判定部５１は、入力画像の判定領域内の画像データを抽出し、抽出した画像データに基づいてシーン判定処理を実行する。判定領域内の画像データだけではなく、フォーカス情報や露光情報等をも利用してシーン判定処理を行うようにしても良い。フォーカス情報は、ピントの合っている被写体の、撮像装置１からの距離を表し、露光情報は、入力画像の明るさに関する情報である。シーン判定処理の結果を、以下、シーン判定結果とも呼ぶ。シーン判定結果を表すシーン判定情報は、撮影制御部５２及び表示制御部５４に送られる。

ステップＳ１６において、表示制御部５４は、ステップＳ１５のシーン判定結果を表示部１５に表示する（図７の表示画像３１４を参照）。例えば、入力画像に基づく出力画像と、判定領域枠と、シーン判定結果に応じた判定結果指標とを同時に表示する。判定結果指標は、文字（記号、数字を含む）、図形（アイコンを含む)、又は、それらの組み合わせから成る。更に、ステップＳ１６において、撮影制御部５２は、ステップＳ１５のシーン判定結果に応じた撮影条件を以後の撮影に適用する。例えば、ステップＳ１５のシーン判定処理による判定シーンが風景シーンであるならば、以後、他のシーン判定結果が得られるまで、風景モードの撮影条件にて入力画像及び出力画像の生成を行う。

ステップＳ１７において、主制御部１３は、シャッタ操作の有無を確認し、シャッタ操作が成された場合にはステップＳ１７からステップＳ１８への遷移が発生する一方、シャッタ操作が成されていない場合にはステップＳ１７からステップＳ１９への遷移が発生する。シャッタ操作とは、表示画面上における、現時点の判定領域内の位置をタッチする操作である（図７参照）。但し、それ以外のタッチパネル操作をシャッタ操作に割り当てるようにしても良いし、ボタン操作（例えば、シャッタボタン２０を押す操作）によってシャッタ操作を実現するようにしても良い。

シャッタ操作が成された場合に移行するステップＳ１８では、撮像部１１及び画像処理部５３を用いて対象画像の撮影が成される。対象画像とは、シャッタ操作直後に得られる入力画像に基づく出力画像である。得られた対象画像の画像データは、記録媒体１６に記録される。

一方、ステップＳ１９では、主制御部１３により判定領域変更操作の有無が確認され、判定領域変更操作が成されていない場合にはステップＳ１９からステップＳ１７に戻るが、判定領域変更操作が成されている場合にはステップＳ１９からステップＳ２０への遷移が発生する。判定領域変更操作は、ユーザによる判定領域の位置を変更する操作である。但し、判定領域変更操作によって判定領域の大きさを変更することも可能である。判定領域変更操作は、タッチパネル操作で実現されても良いし、ボタン操作で実現されても良い。ステップＳ２０では、判定領域変更操作に従って判定領域が再設定され、その再設定後、ステップＳ１４に戻ってステップＳ１４以降の処理が再度実行される。即ち、再設定された判定領域についての判定領域枠の表示（ステップＳ１４）、再設定された判定領域内の画像データに基づくシーン判定処理及びその結果の表示（ステップＳ１５及びＳ１６）などが実行される。ステップＳ１９及びＳ２０の処理の詳細な具体例は、図８を参照して後述される。

上述した説明と一部重複するが、図６の各ステップの処理に対応させて、図７に示される第１動作具体例を説明する。

時刻ｔ_A1では、ユーザによる注目被写体の指定が成されておらず、時刻ｔ_A1に撮影された入力画像が表示画像３１１として表示される。時刻ｔ_A2において、ユーザがタッチパネル操作により点３２０をタッチする（ステップＳ１１）。表示画像３１２は、時刻ｔ_A2に撮影された入力画像である。点３２０がタッチされたことにより、点３２０に位置する注目被写体に対してカメラ制御が成されると共に点３２０を基準として判定領域が設定される（ステップＳ１２及びＳ１３）。この結果、時刻ｔ_A3において表示画像３１３が表示される（ステップＳ１４）。表示画像３１３は、時刻ｔ_A3に得られた入力画像に対して判定領域枠３２１を重畳した画像である。

その後、点３２０を基準とする判定領域に対してシーン判定処理が成され（ステップＳ１５）、そのシーン判定結果が表示される（ステップＳ１６）。例えば、表示画像３１４が表示される。第１動作具体例において、点３２０を基準とするシーン判定処理の判定シーンは、風景シーンであるとする（図８に対応する、後述の第２動作具体例も同様）。表示画像３１４は、時刻ｔ_A4に得られた入力画像に対して、判定領域枠３２１と「風景」という文言を重畳した画像である。「風景」という文言は、シーン判定処理による判定シーンが風景シーンであること、或いは、シーン判定結果に基づいて設定された撮影モードが風景モードであることを指し示す判定結果指標の一種である。上述したように、シーン判定結果は、以後の撮影に適用される（ステップＳ１６）。従って、シーン判定処理による判定シーンが風景シーンである場合、時刻ｔ_A4以降の入力画像及び出力画像は、他のシーン判定結果が得られるまで、風景モードの撮影条件にて生成される。尚、説明の便宜上、時刻ｔ_A3において判定結果指標が表示されていない（即ち、表示画像３１３に判定結果指標が表示されていない）ことを想定しているが、判定領域枠３２１は常に判定結果指標と同時に表示されるものであっても良い。

図７に対応する第１動作具体例では、時刻ｔ_A5において、ユーザが判定領域枠３２１内の位置をタッチすることでシャッタ操作を成す。これにより、時刻ｔ_A5の直後において、風景モードにより対象画像の撮影が成される。表示画像３１５は、時刻ｔ_A5に得られた入力画像に対して、判定領域枠３２１と「風景」という文言を重畳した画像であり、図７では、時刻ｔ_A5において判定領域枠３２１内の位置がタッチされる様子が示されている。

図７に示される第１動作具体例と異なる第２動作具体例を説明する。図８は、撮像装置１の第２動作具体例を表している。図８において、符号３１１〜３１４は、夫々、図７に示すものと同じ時刻ｔ_A1〜ｔ_A4における表示画像である。図８において、符号３１６〜３１８は、夫々、時刻ｔ_A6〜ｔ_A8における表示画像である。図８において、表示画像３１１〜３１４及び３１６〜３１８の夫々を取り囲むドット領域（ドットで満たされた領域）は、表示部１５の筐体を表しており、表示画像３１２、３１３、３１６及び３１８の夫々の内部に示されている手の絵は、ユーザの手を表している。

時刻ｔ_A4までの動作（時刻ｔ_A4の動作を含む）は、第１及び第２動作具体例間で同じである。但し、第１動作具体例と異なり、第２動作具体例では判定領域変更操作（図６のステップＳ１９参照）が成される。第２動作具体例における時刻ｔ_A4以降の動作を説明する。時刻ｔ_A4における表示画像３１４において、判定シーン及び判定シーンに基づく撮影モードが風景シーン及び風景モードであることが示されているが、ユーザは、風景モードで対象画像の撮影が成されることを希望していないことを想定する。この場合、ユーザは、シャッタ操作を成すことなく（ステップＳ１７のＮ）、判定領域変更操作を成す。判定領域変更操作は、例えば、点３２０と異なる、表示画面上の点３２０ａをタッチする操作である。

時刻ｔ_A4よりも後の時刻である時刻ｔ_A6において、表示画面上の点３２０ａがタッチされたとする。そうすると、表示画面上における点３２０ａの座標値が第２指定座標値としてタッチパネル１９からシーン判定部５１に送られる。第２指定座標値によって、入力画像、出力画像及び表示画像上における、点３２０ａに対応する位置（以下、第２指定位置と呼ぶ）が規定される。点３２０ａの指定による判定領域変更操作が成されると、ステップＳ２０において、シーン判定部５１は、第２指定位置を基準として判定領域の再設定を行う。例えば、第２指定位置に中心位置を持つ、所定の大きさを有する判定領域を再設定する。判定領域の再設定の前後において、判定領域の大きさは、不変であっても良いし可変であっても良い。再設定された判定領域の位置及び大きさを表す判定領域情報は表示制御部５４に送られる。

判定領域変更操作が成されると、表示画面上における判定領域枠の表示位置も即時変更される（ステップＳ１４）。図８において、矩形枠３２１ａは、変更後の判定領域枠を表している。判定領域枠３２１ａは、再設定された判定領域の外枠である。或いは、再設定された判定領域の外枠を基準とした枠（例えば、再設定された判定領域の外枠を若干縮小又は拡大した枠）が、判定領域枠３２１ａであっても良い。表示画像３１６は、時刻ｔ_A6に得られた入力画像に対して、判定領域枠３２１ａを重畳した画像であり、図８では、表示画面上の点３２０ａがタッチされる様子が示されている。尚、判定領域変更操作の具体的方法は任意に変更可能である。例えば、判定領域枠の中心位置を点３２０から点３２０ａに移動させることを指示する、判定領域枠のドラッグ及びドロップによって判定領域変更操作を実現してもよい。

判定領域変更操作が成されると、ステップＳ１５におけるシーン判定処理も再度実行される。即ち、判定領域変更操作後に得られる最新の入力画像から、再設定後の判定領域内の画像データを抽出し、抽出した画像データに基づきシーン判定処理を再度実行する（ステップＳ１５）。

この再度のシーン判定処理の結果は、時刻ｔ_A7において表示される（ステップＳ１６）。例えば、時刻ｔ_A7において表示画像３１７が表示される。第２動作具体例において、点３２０ａを基準とするシーン判定処理の判定シーンは、紅葉シーンであるとする。表示画像３１７は、時刻ｔ_A7に得られた入力画像に対して、判定領域枠３２１ａと「紅葉」という文言を重畳した画像である。「紅葉」という文言は、シーン判定処理による判定シーンが紅葉シーンであること、或いは、シーン判定結果に基づいて設定された撮影モードが紅葉モードであることを指し示す判定結果指標の一種である。上述したように、シーン判定結果は、以後の撮影に適用される（ステップＳ１６）。従って、再度のシーン判定処理による判定シーンが紅葉シーンである場合、時刻ｔ_A7以降の入力画像及び出力画像は、更に他のシーン判定結果が得られるまで、紅葉モードの撮影条件にて生成される。尚、説明の便宜上、時刻ｔ_A6において判定結果指標が表示されていないことを想定しているが、判定領域枠３２１ａは常に判定結果指標と同時に表示されるものであっても良い。

図８に対応する第２動作具体例では、時刻ｔ_A6における点３２０ａへのタッチを解除した後、時刻ｔ_A8において、ユーザが判定領域枠３２１ａ内の位置を再びタッチすることでシャッタ操作を成す。これにより、時刻ｔ_A8の直後において、紅葉モードにより対象画像の撮影が成される。表示画像３１８は、時刻ｔ_A8に得られた入力画像に対して、判定領域枠３２１ａと「紅葉」という文言を重畳した画像であり、図８では、時刻ｔ_A8において判定領域枠３２１ａ内の位置がタッチされる様子が示されている。

上記のような動作によれば、対象画像の撮影動作の一環で注目被写体の指定が可能となり、注目被写体にピントを合わせた状態でのシーン判定処理が可能となる。また、シーン判定結果を表示する際、その結果の元となった判定領域の位置を指し示す判定領域枠が同時に表示される。このため、シーン判定結果と同時に、その結果が得られた理由をユーザに直感的に知らしめることが可能となる。一旦得られたシーン判定結果がユーザの所望するものとは異なる場合、ユーザは所望のシーン判定結果が得られるように判定領域の位置を調整することができるが、シーン判定結果の元となる判定領域の位置を表示しておくことで、調整が容易となる。判定領域を何れかの位置に移動させた時にどのようなシーン判定結果が得られるかが、表示画面を見れば概ね予想がつくからである。例えば、紅葉シーンと判定してほしいなら、紅葉が表示されている部分に判定領域を移動させるという、直感的な操作によって撮影シーンの再判定を指示することができる。

また、１回目のシーン判定処理を行った後、判定領域変更操作によって判定領域の再設定が成された際、再設定された判定領域の画像データに基づき２回目のシーン判定処理が実行されるが、２回目のシーン判定処理の結果が１回目のシーン判定処理の結果と必ず相違するように、２回目のシーン判定処理を成すと良い。１回目のシーン判定結果と異なるシーン判定結果を求めてユーザは判定領域変更操作を成すのであるから、１回目及び２回目のシーン判定結果が互いに相違することがユーザの意図に沿う。例えば、１回目のシーン判定処理による判定シーンが第１の登録シーンであった場合、２回目のシーン判定処理では、第２〜第Ｎの登録シーンの中から判定シーンを選択するようにすればよい。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態に係る撮像装置の全体的構成は、図１のそれと同じであるため、第２実施形態に係る撮像装置も符号１によって参照する。第２実施形態は、第１実施形態を基礎とする実施形態であり、第２実施形態にて特に述べない事項は、矛盾なき限り、第１実施形態にて述べた事項が第２実施形態にも適用される。

図９の符号５００は、任意の二次元画像又は表示画面を表している。符号５００が二次元画像である場合、二次元画像５００は、上述した入力画像、出力画像又は表示画像である。符号５００が二次元画像である場合、二次元画像５００を水平及び垂直方向の夫々に三等分することにより、二次元画像５００の全体画像領域を９つの分割画像領域とも言うべき９つの分割ブロックＢＬ［１］〜ＢＬ［９］に分割する（この場合、分割ブロックＢＬ［１］〜ＢＬ［９］は互いに異なる分割画像領域である）。同様に、符号５００が表示画面である場合、表示画面５００を水平及び垂直方向の夫々に三等分することにより、表示画面５００の全体表示領域を９つの分割表示領域とも言うべき９つの分割ブロックＢＬ［１］〜ＢＬ［９］に分割する（この場合、分割ブロックＢＬ［１］〜ＢＬ［９］は互いに異なる分割表示領域である）。入力画像上の分割ブロックＢＬ［ｉ］、出力画像上の分割ブロックＢＬ［ｉ］及び表示画像上の分割ブロックＢＬ［ｉ］は互いに対応しており、表示画像上の分割ブロックＢＬ［ｉ］内における画像が、表示画面の分割ブロックＢＬ［ｉ］内に表示される。上述したように、ｉは整数である。

第２実施形態に係る撮像装置１にも、図３に示されるシーン判定部５１、撮影制御部５２、画像処理部５３及び表示制御部５４が設けられている。図１０及び図１１を参照して、図３に示される部位の動作を詳細に説明する。図１０は、第２実施形態に係る撮像装置１の動作手順を表すフローチャートである。図１１は、第２実施形態に係る撮像装置１の動作具体例を表している。図１１において、符号５１１〜５１６は、夫々、時刻ｔ_B1〜ｔ_B6における表示画像である。時刻ｔ_Bi+1は時刻ｔ_Biよりも後の時刻である。図１１において、表示画像５１１〜５１６の夫々を取り囲むドット領域（ドットで満たされた領域）は、表示部１５の筐体を表しており、表示画像５１２、５１５及び５１６の夫々の内部に示されている手の絵は、ユーザの手を表している。

図１０に示す各ステップの処理の実行時において、時系列に並ぶ複数の入力画像が撮影によって得られ、その複数の入力画像に基づく複数の表示画像が動画像として表示画面に表示される。ステップＳ３１では、この表示が成されている状態で（例えば図１１の画像５１１が表示されている状態で）、ユーザが注目被写体を指定する。注目被写体の指定方法は、第１実施形態で述べたものと同様である。

今、ステップＳ３１において、表示画面上の点３２０がタッチされたとする（図１１の表示画像５１２参照）。表示画面上における点３２０の座標値が指定座標値としてタッチパネル１９からシーン判定部５１及び撮影制御部５２に送られる。指定座標値によって、入力画像、出力画像及び表示画像上における、点３２０に対応する位置（指定位置）が規定される。ステップＳ３１の指定の後、ステップＳ３２〜Ｓ３６の処理が順次実行される。ステップＳ３２の処理内容は、ステップＳ１２（図６）のそれと同じである。即ち、ステップＳ３２において、撮影制御部５２は、指定位置に存在する被写体を注目被写体として認識した上で注目被写体に対するカメラ制御を行う。

ステップＳ３３において、シーン判定部５１は、入力画像の分割ブロックごとに、特徴ベクトル導出処理を実行することで特徴ベクトルを導出する。特徴ベクトルの導出対象となる画像領域又は分割ブロックを特徴評価領域と呼ぶ。特徴ベクトルは、特徴評価領域内の画像の特徴を表しており、特徴評価領域の物体の形状及び色などに応じた画像特徴量である。画像領域の特徴ベクトルを導出する方法として、公知の方法を含む任意の方法をシーン判定部５１の特徴ベクトル導出処理に用いることができる。例えば、シーン判定部５１は、ＭＰＥＧ（Moving Picture Experts Group）７に規定された方法を用いて特徴評価領域の特徴ベクトルを導出することができる。特徴ベクトルは、Ｊ次元の特徴空間に配置されるＪ次元ベクトルである（Ｊは２以上の整数）。

ステップＳ３３では、更に、シーン判定部５１により全体シーン判定処理が実行される（図１１の表示画像５１３参照）。全体シーン判定処理とは、入力画像の全体画像領域の画像データに基づき入力画像の全体画像領域を判定領域として設定した上で行うシーン判定処理であり、全体シーン判定処理によって入力画像の全体の撮影シーンが判定される。入力画像の全体画像領域の画像データだけではなく、フォーカス情報や露光情報等をも利用してステップＳ３３の全体シーン判定処理を行うようにしても良い。全体シーン判定処理によって判定された、入力画像の全体の撮影シーンを、全体判定シーンと呼ぶ。

ところで、第１実施形態で述べたように、判定シーン（全体判定シーンを含む）はＮ個の登録シーンの中から選択されることで決定されるが、各登録シーンに対して登録シーンに対応付けられた特徴ベクトルが予め設定されている。或る登録シーンに対応付けられた特徴ベクトルは、その登録シーンに対応する画像の特徴を表す画像特徴量である。登録シーンごとに設定された特徴ベクトルを、特に登録ベクトルと呼び、第ｉの登録シーンに対する登録ベクトルをＶＲ［ｉ］にて表す。各登録シーンの登録ベクトルは、図１２に示される、シーン判定部５１内の登録用メモリ７１に保存されている（第１実施形態でも同様）。

ステップＳ３３の全体シーン判定処理では、例えば、入力画像の全体画像領域を特徴評価領域と捉えた上で特徴ベクトル導出処理を実行することにより、入力画像の全体画像領域に対する特徴ベクトルＶ_Wを導出し、特徴ベクトルＶ_Wに最も近い登録ベクトルを検出することで全体判定シーンを決定する。

より具体的には、まず、特徴ベクトルＶ_Wと登録ベクトルＶＲ［ｉ］との距離ｄ_W［ｉ］を求める。任意の第１特徴ベクトルと任意の第２特徴ベクトルとの距離は、第１及び第２特徴ベクトルの各始点を特徴空間の原点に配置したときの、特徴空間における第１及び第２特徴ベクトルの終点間の距離（ユークリッド距離）である、と定義される。距離ｄ_W［ｉ］を求める演算を、ｉに１以上且つＮ以下の各整数を代入した上で個別に実行する。これにより、距離ｄ_W［１］〜ｄ_W［Ｎ］が求められる。そして、距離ｄ_W［１］〜ｄ_W［Ｎ］の内、最も短い距離に対応する登録シーンを全体判定シーンとして設定すればよい。例えば、距離ｄ_W［１］〜ｄ_W［Ｎ］の内、第２の登録シーンに対応する距離ｄ_W［２］が最も短いのであれば、登録ベクトルＶＲ［２］が特徴ベクトルＶ_Wに最も近い登録ベクトルであり、第２の登録シーン（例えば風景シーン）が全体判定シーンとして決定される。

全体シーン判定処理の結果を、以下、全体シーン判定結果とも呼ぶ。ステップＳ３３の全体シーン判定結果は、シーン判定情報に含められて撮影制御部５２及び表示制御部５４に伝達される。

ステップＳ３４において、撮影制御部５２は、全体シーン判定結果に応じた撮影条件を以後の撮影に適用する。例えば、ステップＳ３３の全体シーン判定処理による全体判定シーンが風景シーンであるならば、以後、他のシーン判定結果（他の全体シーン判定結果を含む）が得られるまで、風景モードの撮影条件にて入力画像及び出力画像の生成を行う。

続くステップＳ３５において、表示制御部５４は、ステップＳ３３の全体シーン判定処理の結果を表示部１５に表示する。また、ステップＳ３５において、シーン判定部５１は、全体判定シーンに最も近い特徴ベクトルを持つ分割ブロックを対象ブロック（特定画像領域）として設定し、対象ブロックが何れの分割ブロックであるかを表示制御部５４に伝達する。これを受け、ステップＳ３５において、表示制御部５４は、対象ブロック枠も表示部１５に表示する。即ち、ステップＳ３５において、入力画像に基づく出力画像と、対象ブロックに応じた対象ブロック枠と、全体シーン判定結果に応じた判定結果指標とが同時に表示される（図１１の表示画像５１４を参照）。更に、表示画像５１４のように、隣接する分割ブロック間の境界線も併せて表示すると良い（表示画像５１５及び５１６についても同様）。

対象ブロック枠は、対象ブロックの外枠である。或いは、対象ブロックの外枠を基準とした枠（例えば、対象ブロックの外枠を若干縮小又は拡大した枠）が、対象ブロック枠であっても良い。例えば、対象ブロックが分割ブロックＢＬ［２］であって且つ全体判定シーンが風景シーンである場合、ステップＳ３５において、図１１の表示画像５１４が表示される。表示画像５１４は、時刻ｔ_B4に得られた入力画像に対して、対象ブロックＢＬ［２］を囲む対象ブロック枠５２４と「風景」という文言を重畳した画像である。表示画像５１４における「風景」という文言は、全体判定シーンが風景シーンであること、或いは、全体シーン判定結果に基づきステップＳ３４で設定された撮影モードが風景モードであることを指し示す判定結果指標の一種である。

ステップＳ３５における対象ブロックの設定方法について補足説明する。ステップＳ３３で算出された、分割ブロックＢＬ［ｉ］に対する特徴ベクトルをＶ_Diにて表す。また、説明の具体化のため、全体判定シーンが第２の登録シーンであるものとする。この場合、シーン判定部５１は、全体判定シーンに対応する登録ベクトルＶＲ［２］と特徴ベクトルＶ_Diとの距離ｄｄ_iを求める。距離ｄｄ_iを求める演算を、ｉに１以上且つ９以下の各整数を代入した上で個別に実行する。これにより、距離ｄｄ₁〜ｄｄ₉が求められる。そして、距離ｄｄ₁〜ｄｄ₉の内、最も短い距離に対応する分割ブロックが全体判定シーンに最も近い特徴ベクトルを持つと判断することにより、対象ブロックを設定すれば良い。例えば、距離ｄｄ₁〜ｄｄ₉の内、距離ｄｄ₂が最も短いのであれば、分割ブロックＢＬ［２］が対象ブロックとして設定される。

ステップＳ３５にて設定される対象ブロックについての特徴ベクトルＶ_Diは、ステップＳ３３の全体シーン判定処理の結果に大きく寄与しており、対象ブロックの画像データ（換言すれば、対象ブロックの特徴ベクトルＶ_Di）は、全体シーン判定処理の結果の元（主要因）となる。対象ブロック枠の表示は、入力画像、出力画像、表示画像又は表示画面上における対象ブロックの位置及び大きさを、ユーザに視認させる。ステップＳ３５において表示された対象ブロック枠は、後述のシャッタ操作又は判定領域指定操作が成されるまで、表示され続ける。

尚、ステップＳ３５において、複数の分割ブロックを対象ブロックとして設定し、複数の対象ブロックに対応する複数の対象ブロック枠を表示するようにしても良い。例えば、上述の距離ｄｄ₁〜ｄｄ₉の夫々を所定の基準距離ｄ_THと比較し、基準距離ｄ_TH以下の距離に対応する分割ブロックを全て対象ブロックとして設定するようにしても良い。例えば、距離ｄｄ₂及びｄｄ₄が基準距離ｄ_TH以下であるならば、距離ｄｄ₂及びｄｄ₄に対応する分割ブロックＢＬ［２］及びＢＬ［４］の夫々を対象ブロックとして設定し、図１３に示す如く、２つの対象ブロックに応じた２つの対象ブロック枠５２４及び５２４’を表示するようにしても良い。

ステップＳ３５に続くステップＳ３６において、主制御部１３は、シャッタ操作の有無を確認し、シャッタ操作が成された場合にはステップＳ３６からステップＳ３７への遷移が発生する一方、シャッタ操作が成されていない場合にはステップＳ３６からステップＳ３８への遷移が発生する。ステップＳ３６におけるシャッタ操作とは、表示画面上における、現時点の対象ブロック枠内の位置をタッチする操作である。但し、それ以外のタッチパネル操作をシャッタ操作に割り当てるようにしても良いし、ボタン操作（例えば、シャッタボタン２０を押す操作）によってシャッタ操作を実現するようにしても良い。

シャッタ操作が成された場合に移行するステップＳ３７では、撮像部１１及び画像処理部５３を用いて対象画像の撮影が成される。対象画像とは、シャッタ操作直後に得られる入力画像に基づく出力画像である。得られた対象画像の画像データは、記録媒体１６に記録される。

ステップＳ３８では、主制御部１３により、判定領域指定操作の有無が確認される。判定領域指定操作が成されていない場合には、ステップＳ３８からステップＳ３６に戻る。一方、判定領域指定操作が成されている場合には、ステップＳ３８からステップＳ３９への遷移が発生してステップＳ３９〜Ｓ４１の処理が順次実行され、その後、ステップＳ３６に戻る。判定領域指定操作は、ユーザによる判定領域を指定する操作であり、タッチパネル操作で実現されても良いし、ボタン操作で実現されても良い。判定領域指定操作において、ユーザは分割ブロックＢＬ［１］〜ＢＬ［９］の中の１つを選択する。ステップＳ３９において、選択された分割ブロックが対象ブロックとして再設定され、再設定された対象ブロックに応じた対象ブロック枠が表示される（図１１の表示画像５１５参照）。

ステップＳ３９に続くステップＳ４０において、シーン判定部５１は、ステップＳ３９にて再設定された対象ブロック内の画像データに基づき、シーン判定処理を実行する。再設定された対象ブロック内の画像データだけではなく、フォーカス情報や露光情報等をも利用してステップＳ４０のシーン判定処理を行うようにしても良い。そして、ステップＳ４１において、表示制御部５４は、ステップＳ４０のシーン判定結果を表示部１５に表示する（図１１の表示画像５１５を参照）。更に、ステップＳ４１において、撮影制御部５２は、ステップＳ４０のシーン判定結果に応じた撮影条件を以後の撮影に適用する。例えば、ステップＳ４０のシーン判定処理による判定シーンが紅葉シーンであるならば、以後、他のシーン判定結果が得られるまで、紅葉モードの撮影条件にて入力画像及び出力画像の生成を行う。

ステップＳ４１において、例えば、入力画像に基づく出力画像と、再設定された対象ブロック枠と、ステップＳ４０のシーン判定結果に応じた判定結果指標とを同時に表示する。仮に、再設定された対象ブロックが分割ブロックＢＬ［６］であって且つステップＳ４０のシーン判定結果による判定シーンが紅葉シーンである場合、ステップＳ４１において、図１１の表示画像５１５が表示される。表示画像５１５は、時刻ｔ_B5に得られた入力画像に対して、対象ブロックＢＬ［６］を囲む対象ブロック枠５２５と「紅葉」という文言を重畳した画像である。表示画像５１５における「紅葉」という文言は、ステップＳ４０のシーン判定結果による判定シーンが紅葉シーンであること、或いは、ステップＳ４０のシーン判定結果に基づきステップＳ４１で設定された撮影モードが紅葉モードであることを指し示す判定結果指標の一種である。

上述した説明と一部重複するが、図１０の各ステップの処理に対応させて、図１１に示される動作具体例を説明する。

時刻ｔ_B1では、ユーザによる注目被写体の指定が成されておらず、時刻ｔ_B1に撮影された入力画像が表示画像５１１として表示される。時刻ｔ_B2において、ユーザがタッチパネル操作により点３２０をタッチする（ステップＳ３１）。表示画像５１２は、時刻ｔ_B2に撮影された入力画像である。点３２０がタッチされたことにより点３２０に位置する注目被写体に対してカメラ制御が成される（ステップＳ３２）。その後、時刻ｔ_B3において全体シーン判定処理が実行され（ステップＳ３３）、全体シーン判定結果に応じた撮影条件が適用される一方で（ステップＳ３４）、時刻ｔ_B4において全体シーン判定結果が表示される（ステップＳ３５）。即ち、表示画像５１４が表示される。

仮に、表示画像５１４が表示されている状態において、対象ブロック枠５２４内の位置をユーザがタッチすると風景モードにて対象画像の撮影及び記録が成されるが（ステップＳ３６及びＳ３７）、時刻ｔ_B4及びｔ_B5間において、ユーザが、表示画面上の分割ブロックＢＬ［６］をタッチすることによる判定領域指定操作を成したとする（ステップＳ３８）。そうすると、対象ブロックは分割ブロックＢＬ［６］に変更され、分割ブロックＢＬ［６］を囲む対象ブロック枠５２５が対象ブロック枠５２４の代わりに表示される（ステップＳ３９）。そして、シーン判定部５１は、判定領域指定操作が成された時点で撮影された入力画像の分割ブロックＢＬ［６］を判定領域として設定した上で、判定領域内の画像データに基づきシーン判定処理を実行する（ステップＳ４０）。このシーン判定処理による判定シーンが紅葉シーンであるとする。そうすると、図１１の表示画像５１５が表示される（ステップＳ４１）。

判定領域指定操作のためのタッチを解除した後、時刻ｔ_B6においてユーザが表示画面上の対象ブロック枠５２５内の位置を再度タッチすることにより、シャッタ操作を成す。これにより、時刻ｔ_B6の直後において、紅葉モードにより対象画像の撮影が成される。

上記のような動作によれば、シーン判定結果（全体シーン判定結果を含む）を表示する際、その結果の元となった画像領域の位置を指し示す対象ブロック枠が同時に表示される。このため、シーン判定結果と同時に、その結果が得られた理由をユーザに直感的に知らしめることが可能となる。一旦得られたシーン判定結果がユーザの所望するものとは異なる場合、ユーザは所望のシーン判定結果が得られるように、シーン判定結果の元となる画像領域の位置を調整することができるが、シーン判定結果の元となる画像領域の位置を表示しておくことで、調整が容易となる。対象ブロックとしての判定領域を或る画像領域に指定した時にどのようなシーン判定結果が得られるかが、表示画面を見れば概ね予想がつくからである。例えば、紅葉シーンと判定してほしいなら、紅葉が表示されている部分を対象ブロック（判定領域）として指定するという、直感的な操作によって撮影シーンの再判定を指示することができる。

また、ステップＳ３３の全体シーン判定処理の後、判定領域指定操作が成されると、ステップＳ４０のシーン判定処理が成されるが、ステップＳ４０のシーン判定処理の結果が全体シーン判定処理の結果と必ず相違するようにステップＳ４０のシーン判定処理を成すと良い。全体シーン判定処理の結果と異なるシーン判定結果を求めてユーザは判定領域指定操作を成すのであるから、それらが互いに相違することがユーザの意図に沿う。単純には例えば、全体シーン判定処理による判定シーンが第１の登録シーンであった場合、ステップＳ４０のシーン判定処理では、第２〜第Ｎの登録シーンの中から判定シーンを選択するようにすればよい。

また、以下のような方法を採用することもできる。今、図１１の動作具体例の如く、全体シーン判定処理による全体判定シーンが風景モードであると共にステップＳ３５にて設定された対象ブロックが分割ブロックＢＬ［２］であり、且つ、判定領域指定操作により再設定された対象ブロックが分割ブロックＢＬ［６］であることを想定する。この場合、ステップＳ４０において、シーン判定部５１は、判定領域指定操作が成された時点で撮影された入力画像の分割ブロックＢＬ［６］を判定領域として設定する。そして、その判定領域内の画像データに基づく特徴ベクトル導出処理により当該判定領域に対する特徴ベクトルＶ_Aを導出し、特徴ベクトルＶ_Aを用いてシーン判定処理を実行する。

第１実施形態で述べたように、第１〜第Ｎの登録シーンに含まれる第１〜第４の登録シーンが、夫々、ポートレートシーン、風景シーン、紅葉シーン及び動物シーンであるとする。シーン判定部５１は、特徴ベクトルＶ_Aと登録ベクトルＶＲ［ｉ］との距離ｄ_A［ｉ］を求める。距離ｄ_A［ｉ］を求める演算を、ｉに１以上且つＮ以下の各整数を代入した上で個別に実行する。これにより、距離ｄ_A［１］〜ｄ_A［Ｎ］が求められる。

仮に、登録ベクトルＶＲ［１］〜ＶＲ［Ｎ］の内、特徴ベクトルＶ_Aに最も近い登録ベクトルが、紅葉シーンに対応する登録ベクトルＶＲ［３］である場合、即ち、距離ｄ_A［１］〜ｄ_A［Ｎ］の内、距離ｄ_A［３］が最小である場合には、単純に、ステップＳ４０において、第３の登録シーンである紅葉シーンを判定シーンとすれば良い。

一方、仮に、距離ｄ_A［１］〜ｄ_A［Ｎ］の内、風景シーンに対応する距離ｄ_A［２］が最小である場合には、距離ｄ_A［１］〜ｄ_A［Ｎ］の内、２番目に小さい距離に対応する登録シーンをステップＳ４０の判定シーンとする。即ち例えば、距離ｄ_A［１］〜ｄ_A［Ｎ］の内、距離ｄ_A［２］が最小であって且つ距離ｄ_A［３］が２番目に小さいのであれば、ステップＳ４０において、第３の登録シーンである紅葉シーンを判定シーンとする。

この後、更に判定領域指定操作が成された場合（即ち、２回目の判定領域指定操作が成された場合）も同様である。即ち、２回目の判定領域指定操作が成された際、ステップＳ４０において２回目のシーン判定処理が成されるが、この２回目のシーン判定処理の結果が、全体シーン判定処理の結果及びステップＳ４０における１回目のシーン判定処理の結果と必ず相違するように２回目のシーン判定処理を成すと良い。

［フローチャートの変形］
また、図１０のステップＳ３３の処理をステップＳ３３ａの処理に置き換えても良い。即ち、図１０のフローチャートを図１４のように変形しても良い。図１０のフローチャートにおけるステップＳ３３をステップＳ３３ａに置き換えることで、図１４のフローチャートが形成される。図１４の動作では、ステップＳ３２の処理後、ステップＳ３３ａの処理が実行される。ステップＳ３３ａの処理内容を説明する。

ステップＳ３３ａにおいて、シーン判定部５１は、入力画像の分割ブロックごとに特徴ベクトル導出処理を実行することで特徴ベクトルを導出し、導出した特徴ベクトルを用いて、入力画像の分割ブロックごとにシーン判定処理を実行する。即ち、入力画像に設けられた９つの分割ブロックの夫々を判定領域とみなし、分割ブロックごとに当該分割ブロック内の画像データに基づいて、当該分割ブロック内の画像の撮影シーンを判定する。分割ブロック内の画像データだけではなく、フォーカス情報や露光情報等をも利用して分割ブロックごとのシーン判定処理を行うようにしても良い。分割ブロックごとの判定シーンを分割判定シーンと呼び、分割ブロックＢＬ［ｉ］についての分割判定シーンをＳ_D［ｉ］にて表す。

更に、ステップＳ３３ａにおいて、シーン判定部５１は、分割ブロックごとのシーン判定結果に基づき全体シーン判定処理を行うことにより、入力画像の全体の撮影シーンを判定する。ステップＳ３３ａにおいて判定された入力画像の全体の撮影シーンも、全体判定シーンと呼ぶ。

単純には例えば、ステップＳ３３ａの全体シーン判定処理において、分割判定シーンＳ_D［１］〜Ｓ_D［９］の内、最も頻度の多い分割判定シーンを全体判定シーンとして決定することができる。この場合、分割判定シーンＳ_D［１］〜Ｓ_D［９］の内、６つが風景シーンであって且つ３つが紅葉シーンであるならば全体判定シーンは風景シーンとされ、３つが風景シーンであって且つ６つが紅葉シーンである場合、全体判定シーンは紅葉シーンとされる。

上記頻度と併せて各分割ブロックの特徴ベクトルをも用いることで、全体判定シーンの決定方法を高度化しても良い。例えば、分割ブロックＢＬ［１］〜ＢＬ［３］に対する判定シーンが紅葉シーンである一方で分割ブロックＢＬ［４］〜ＢＬ［９］に対する判定シーンが風景シーンであるものの、分割ブロックＢＬ［１］〜ＢＬ［３］の各特徴ベクトルと紅葉シーンの登録ベクトルＶＲ［３］との距離が著しく小さく且つ分割ブロックＢＬ［４］〜ＢＬ［９］の各特徴ベクトルと風景シーンの登録ベクトルＶＲ［２］との距離が比較的大きい場合、入力画像の全体としては、撮影シーンが紅葉シーンらしいと考えられる。従って、このような場合は、全体判定シーンは紅葉シーンであると判断するようにしても良い。ステップＳ３３ａの処理後に、ステップＳ３４以降の処理が実行される。

尚、第２実施形態に係るシーン判定部５１として利用可能なシーン判定部５１ａは、図１５に示すような構成を持つと考えることができる。シーン判定部５１ａは、上述の登録用メモリ７１と、入力画像の全体画像領域の画像データに基づきステップＳ３３又はＳ３３ａの全体シーン判定処理を実行することで全体判定シーンを決定する全体判定部７２と、上述の特徴ベクトル導出処理を実行することで任意の特徴ベクトルを導出する特徴ベクトル導出部（特徴量抽出部）７３と、何れかの分割ブロックを対象ブロック（特定画像領域）として設定する対象ブロック設定部（特定画像領域設定部）７４と、を備える。

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第１及び第２実施形態の記載は、矛盾なき限り、第３実施形態にも適用される。上述の特徴ベクトル間の距離を用いた方法は、第１実施形態にも適用可能である。即ち例えば、第１実施形態に係る第２動作具体例（図８参照）において、以下のように処理することができる。

図８の第２動作具体例では、点３２０を基準とする判定領域に対して成されたステップＳ１５のシーン判定処理の結果、判定シーンが風景シーンとなる（図６も参照）。その後、時刻ｔ_A6において、表示画面上の点３２０ａをタッチすることによる判定領域変更操作が成されると、点３２０ａを基準として判定領域が再設定される。再設定後の判定領域を、便宜上、判定領域３２１ａ’と呼ぶ。シーン判定部５１は、判定領域変更操作後に得られる最新の入力画像の判定領域３２１ａ’を特徴評価領域と捉え、その最新の入力画像の判定領域３２１ａ’内の画像データに基づき、該判定領域３２１ａ’に対して特徴ベクトル導出処理を実行することにより判定領域３２１ａ’の特徴ベクトルＶ_Bを導出する。

第１実施形態で述べたように、第１〜第Ｎの登録シーンに含まれる第１〜第４の登録シーンが、夫々、ポートレートシーン、風景シーン、紅葉シーン及び動物シーンであるとする。シーン判定部５１は、特徴ベクトルＶ_Bと登録ベクトルＶＲ［ｉ］との距離ｄ_B［ｉ］を求める。距離ｄ_B［ｉ］を求める演算を、ｉに１以上且つＮ以下の各整数を代入した上で個別に実行する。これにより、距離ｄ_B［１］〜ｄ_B［Ｎ］が求められる。

仮に、登録ベクトルＶＲ［１］〜ＶＲ［Ｎ］の内、特徴ベクトルＶ_Bに最も近い登録ベクトルが、紅葉シーンに対応する登録ベクトルＶＲ［３］である場合、即ち、距離ｄ_B［１］〜ｄ_B［Ｎ］の内、距離ｄ_B［３］が最小である場合には、単純に、ステップＳ１５の２回目のシーン判定処理において、第３の登録シーンである紅葉シーンを判定シーンとすれば良い。

一方、仮に、距離ｄ_B［１］〜ｄ_B［Ｎ］の内、風景シーンに対応する距離ｄ_B［２］が最小である場合には、距離ｄ_B［１］〜ｄ_B［Ｎ］の内、２番目に小さい距離に対応する登録シーンを、ステップＳ１５の２回目のシーン判定処理における判定シーンとする。即ち例えば、距離ｄ_B［１］〜ｄ_B［Ｎ］の内、距離ｄ_B［２］が最小であって且つ距離ｄ_B［３］が２番目に小さいのであれば、ステップＳ１５の２回目のシーン判定処理において、第３の登録シーンである紅葉シーンを判定シーンとする。

この後、更に判定領域変更操作が成された場合（即ち、３回目の判定領域変更操作が成された場合）も同様である。即ち、３回目の判定領域指定操作が成された際、ステップＳ１５において３回目のシーン判定処理が成されるが、この３回目のシーン判定処理の結果が、ステップＳ１５における１回目及び２回目のシーン判定処理の結果と必ず相違するように３回目のシーン判定処理を成すと良い。

＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の説明では、二次元画像又は表示画面に設定される分割ブロックの個数が９となっているが（図９参照）、その個数は９以外であっても良い。

［注釈２］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい

１撮像装置
１１撮像部
１５表示部
３０ズームレンズ
３１フォーカスレンズ
３２絞り
３３撮像素子
５１シーン判定部
５２撮影制御部
５３画像処理部
５４表示制御部

Claims

撮影画像を表示する表示部と、
前記撮影画像の画像データに基づいて前記撮影画像の撮影シーンを判定するシーン判定部と、
前記シーン判定部の判定結果とともに、前記撮影画像の全体画像領域の一部である、前記シーン判定部の判定結果の元となった特定画像領域の位置を前記表示部に表示させる表示制御部と、を備えた
ことを特徴とする撮像装置。
前記撮影画像上の指定位置の入力を受け付ける指定受付部を更に備え、
前記シーン判定部は、前記指定位置に基づいて前記特定画像領域を設定し、前記特定画像領域の画像データに基づいて前記撮影画像の撮影シーンを判定する
ことを特徴とする請求項１に記載の撮像装置。
前記指定位置としての第１指定位置に基づいて前記特定画像領域が設定され、前記特定画像領域の画像データに基づき前記撮影画像の撮影シーンが判定された後、前記第１指定位置と異なる第２指定位置が前記指定受付部に入力された場合、
前記シーン判定部は、前記第２指定位置に基づいて前記特定画像領域を再設定し、再設定された特定画像領域の画像データに基づき前記撮影画像の撮影シーンを再判定する
ことを特徴とする請求項２に記載の撮像装置。
前記シーン判定部は、
前記撮影画像の全体画像領域の画像データに基づき前記撮影画像の全体の撮影シーンを全体判定シーンとして判定する全体判定部と、
前記撮影画像の全体画像領域を複数の分割画像領域に分割し、前記分割画像領域ごとに、当該分割画像領域の画像データから画像特徴量を抽出する特徴量抽出部と、
前記全体判定シーンに対応付けられた画像特徴量と各分割画像領域の画像特徴量とを対比することにより、前記複数の分割画像領域の中から前記特定画像領域を選択して設定する特定画像領域設定部と、を備え、
前記表示制御部は、前記全体判定シーンを前記シーン判定部の判定結果として前記表示部に表示させるとともに、前記特定画像領域に設定された分割画像領域の位置を前記表示部に表示させる
ことを特徴とする請求項１に記載の撮像装置。
前記撮影画像上の指定位置の入力を受け付ける指定受付部を更に備え、
前記全体判定シーンの前記表示部への表示の後、前記指定位置の入力が成された場合、
前記シーン判定部は、前記指定位置に基づいて前記特定画像領域を再設定し、再設定された特定画像領域の画像データに基づき前記撮影画像の撮影シーンを再判定する
ことを特徴とする請求項４に記載の撮像装置。