JP2012235257A - 撮影装置 - Google Patents

Abstract

【課題】撮影装置において、短時間に精度良く指写りの判定を可能にする。
【解決手段】撮影装置は、撮像部１１により取得した被写体の撮像データを記憶する撮像データ記憶部１２、撮影装置の動きを検出する動き検出部１４、撮像データの色分布を識別する色分布識別部１３、撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、撮像データにおいて略同一の領域に略同一の色分布がある場合、当該領域を指写りによる不要画像が含まれる不要画像領域であると判定する不要画像判定部１５、不要画像領域が検出されたことを表示する表示部１６を備える。
【選択図】図１

Description

本発明は、撮影装置に関し、特にデジタルカメラ、カメラ機能付き電子機器などの使用者が筐体を把持して被写体の撮影を行う撮影装置に関する。

デジタルカメラ、カメラ機能付き電子機器などの撮影機能を持つ電子機器が広く普及している。カメラ機能付き電子機器の例として、携帯電話装置、スマートフォンなどの携帯通信端末においても、カメラ機能が搭載されたものが一般的になりつつある。

この種の撮影装置は、携帯性を高めるために、小型化が進んでおり、撮影時に使用者の指が撮影画像内に写ってしまう現象、いわゆる「指写り」が生じやすいという課題がある。撮影装置によっては、レンズに指がかからないように持とうとすると、装置筐体をしっかり持つことができず、手振れしやすくなってしまう場合がある。また、スマートフォンなどでは、筐体の厚みが薄いため、しっかり持とうとすると指がレンズ側に回りこみ易く、またレンズが端末の端部に位置しているため、指写りが発生しやすい。

指写りの課題を解決するものとして、特許文献１には、不要画像検出領域と非検出領域とで、フォーカス評価値、色成分の信号レベル、輝度成分の信号レベルを比較し、不要画像が写り込んでいると判定した場合に撮影者に対して警告を行う撮像装置が開示されている。また、特許文献２には、複数のライブビュー画像における所定の低輝度領域の位置の経時変化に基づいて、移動領域と非移動低輝度領域との両方が存在する場合に、撮影者の手指が撮影対象領域内に含まれていると判定する撮像装置が開示されている。

特許第４４６２３０５号公報 特開２００４−０４０７１２号公報

特許文献１の従来例では、レンズを無限端からマクロ端まで移動させてフォーカス評価値を取得する必要がある。特許文献２の従来例では、撮影画像における低輝度領域の位置の経時変化情報を必要とする。これらは撮影レスポンスに影響を与えるため、指写りの有無を判定しながら撮影を行うのに時間がかかるという課題がある。

また、撮影状況によっては、撮影画像における低輝度領域が所定位置に継続して存在する場合、指写りを誤判定してしまうことがある。例えば、撮影装置を机の上に置いて定点撮影する場合を想定すると、撮影画像の下部に写る机は撮影装置から至近距離に存在するため、マクロ側で撮影画像のコントラスト値が大きくなる。また、机の位置は経時変化しない。従来例では、このような場合は机を指写りと誤判定してしまう。

本発明は、上記事情に鑑みてなされたもので、その目的は、短時間に精度良く指写りの判定が可能な撮影装置を提供することにある。

本発明の撮影装置は、被写体像を撮像する撮像部と、前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、当該撮影装置の動きを検出する動き検出部と、前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、前記不要画像領域が検出されたことを通知する通知部と、を備える。

本発明によれば、撮影装置において、短時間に精度良く指写りの判定を可能にすることができる。

本発明の第１の実施形態に係る撮影装置の主要部の構成を示すブロック図 第１の実施形態に係る撮影装置の動作手順を示すフローチャート 本発明の第２の実施形態に係る撮影装置の主要部の構成を示すブロック図 第２の実施形態に係る撮影装置の動作を説明する模式図 第２の実施形態に係る撮影装置の動作手順を示すフローチャート 第３の実施形態に係る撮影装置の動作を説明する模式図 第３の実施形態に係る撮影装置の動作手順を示すフローチャート 本発明の第４の実施形態に係る撮影装置の主要部の構成を示すブロック図 第４の実施形態に係る撮影装置の動作を説明する模式図 第５の実施形態に係る撮影装置の動作を説明する模式図 第５の実施形態に係る撮影装置の動作を説明する模式図 第５の実施形態に係る撮影装置の動作手順を示すフローチャート

本実施形態では、撮影装置の一例として、デジタルカメラ、携帯電話装置またはスマートフォン等のカメラ機能付き携帯端末など、撮影機能を有する電子機器に適用した構成例を示す。

（第１の実施形態）
図１は本発明の第１の実施形態に係る撮影装置の主要部の構成を示すブロック図である。

撮影装置は、撮像部１１、撮像データ記憶部１２、色分布認識部１３、動き検出部１４、不要画像判定部１５、表示部１６、制御部１７、操作部１８を備えている。

撮像部１１は、一つまたは複数のレンズを有する撮影光学系と、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサ等の撮像素子とを有して構成され、撮影光学系にて結像した被写体像を撮像素子にて光電変換し、被写体の撮像データを出力する。

撮像データ記憶部１２は、メモリを有して構成され、撮像部１１にて取得した撮像データを記憶する。撮像データ記憶部１２には、撮像データとして、撮影前のプレビュー画像における動画像または静止画像の画像データ、あるいは、ユーザの撮影操作による静止画像または動画像の撮影画像の画像データ等が記憶される。

色分布認識部１３は、画像パラメータ認識部の一例として機能するものであり、撮像データ記憶部１２に記憶された撮像データについて、画像中の色分布を認識する。本実施形態では、色分布認識部１３は、動き検出部１４によって撮影装置の動きが検出された状態のときに、撮影前のプレビュー画像の動画像の撮像データについて色分布を認識する。

動き検出部１４は、加速度センサ、ジャイロスコープ等を有して構成され、撮影装置の動きを検出する。なお、動き検出部１４は、撮影装置本体の動きを直接検出するものに限らず、撮像データの画像中の動きを検出して間接的に撮影装置の動きを検出するものを用いることも可能である。

不要画像判定部１５は、色分布認識部１３による動き検出時の撮像データの色分布の認識結果に基づき、撮影する画像中に不要画像が存在しているかどうかを判定する。本実施形態では、不要画像判定部１５は、動き検出中のプレビュー画像の動画像において、色分布が同様（略同一）の領域がある場合、すなわち、撮影装置が動いているにも関わらず、画像中の同様（略同一）の位置に同様（略同一）の色分布が継続してある場合は該当領域に不要画像が存在すると判定する。この不要画像は、撮影装置を把持しているユーザの指などと考えられるので、これによって指写りが発生していることを判定する。

なお、不要画像判定部１５において不要画像を判定するための情報として、色分布の他に、各種の画像パラメータを用いることも可能である。例えば、画像パラメータとして、ＲＧＢ、ＹＣｂＣｒ、Ｌ^＊ａ^＊ｂ^＊、ＸＹＺ、Ｌ^＊ｕ^＊ｖ^＊、ＨＳＶなどを用いて、撮像データの色（色相、色差等を含む）、輝度などの分布を認識し、この認識結果に基づいて画像中の不要画像の判定が可能である。

表示部１６は、通知部の一例として機能するものであり、液晶ディスプレイ、ＬＥＤ、ランプ等により構成され、不要画像の判定結果を表示してユーザに不要画像の存在を通知する。

制御部１７は、撮影装置の各部の動作を制御するものであり、特に撮像部１１、色分布認識部１３、不要画像判定部１５の動作制御を行う。操作部１８は、押しボタン等の操作部材を有したスイッチ、あるいはタッチパネル等からなる操作デバイスによって構成され、ユーザの操作指示に基づき撮影装置における各種操作入力を行う。

色分布認識部１３、不要画像判定部１５、制御部１７は、各種情報処理を行うプロセッサ及びメモリ等を有して構成されるコンピュータ等からなる処理部において、所定のプログラムを実行することにより、各部の機能が実現される。

次に、第１の実施形態における撮影装置の動作について説明する。図２は第１の実施形態に係る撮影装置の動作手順を示すフローチャートである。

色分布認識部１３は、動き検出部１４によって撮影装置の動きを検出しているかどうかを判断し（ステップＳ１１）、動きを検出している場合は、プレビュー画像の動画像において、直前２フレーム分の画像の撮像データを撮像データ記憶部１２から読み込む（ステップＳ１２）。なお、読み込むフレーム数は２フレーム以上の複数フレームであればいくつでもよい。続いて、色分布認識部１３は、それぞれのフレームの撮像データの色分布を認識する（ステップＳ１３）。

次に、不要画像判定部１５は、色分布認識部１３による色分布の認識結果に基づき、複数フレームの撮像データにおいて色分布が同じ領域（略同一の領域）があるか、すなわち異なるフレームの画像中の同じ位置（略同一の位置）に同じ色分布（略同一の色分布）が存在するかを判断する（ステップＳ１４）。ここで、二つのフレームにおいて色分布が同じ領域がある場合（ステップＳ１４にてＹＥＳ）は、不要画像が存在していると判定する。この場合、不要画像判定部１５は、表示部１６に対して制御情報、表示情報等を含む信号を出力し、表示部１６に不要画像を検出したことを表示させる（ステップＳ１５）。一方、ステップＳ１４の判断において、複数フレームの撮像データ中に色分布が同じ領域が存在しない場合（ステップＳ１４にてＮＯ）は、不要画像が存在しないと判定し、そのまま本処理を終了する。

第１の実施形態では、撮影装置の動きを検出している間に取得したプレビュー画像の複数フレームの撮像データを比較し、撮影装置の動きに対して位置が変化しない特定の色領域がある場合に、指写りによる不要画像が存在していると判定する。これにより、即時に不要画像の有無を判定でき、短時間で指写りの判定をすることができる。また、撮影装置の動きがある場合のみに判定を行うため、例えば撮影装置を机の上に置いて定点撮影する場合などでの誤判定を防止できる。

（第２の実施形態）
図３は本発明の第２の実施形態に係る撮影装置の主要部の構成を示すブロック図である。

第２の実施形態は、一つの撮影光学系によって視差のある二枚の画像（左目画像と右目画像）を順次撮影する単眼３Ｄ撮影の機能を持つ撮影装置の例である。撮影装置は、撮像部２１、撮像データ記憶部２２、輝度分布認識部２３、輝度分布記憶部２４、不要画像判定部２５、表示部２６、制御部２７、操作部２８を備えている。

単眼３Ｄ撮影による立体撮影を行う場合は、左目画像または右目画像の一方を任意の位置（一枚目撮影場所）にて撮影した後、ユーザが水平方向に撮影装置を所定量移動させ、所定の視差を有する位置（二枚目撮影場所）において、他方の画像を撮影する。以下では、一枚目に左目画像を撮影し、二枚目に右目画像を撮影する場合について説明する。

撮像データ記憶部２２は、撮像部２１にて取得した撮像データとして、撮影前のプレビュー画像の画像データを逐次記憶するとともに、立体撮影時の左目画像、右目画像の画像データを記憶する。

輝度分布認識部２３は、画像パラメータ認識部の一例として機能するものであり、撮像データ記憶部２２に記憶された撮像データについて、画像中の輝度分布を認識する。本実施形態では、輝度分布認識部２３は、単眼３Ｄ撮影による立体撮影が行われているときに、撮影した左目画像と、右目画像撮影前のプレビュー画像または撮影した右目画像との双方の撮像データについて輝度分布を認識する。単眼３Ｄ撮影では、ユーザが撮影装置を水平方向に所定量移動させて視差のある二枚の画像を撮影するため、撮影装置において必然的に動きが生じる。よって、撮影装置は、単眼３Ｄ撮影モードの状態を認識することにより、撮影装置に動きが発生している状態を検出する。

輝度分布記憶部２４は、輝度分布認識部２３により認識した撮像データの輝度分布を記憶する。本実施形態では、先に撮影した左目画像の撮像データの輝度分布を記憶しておく。なお、左目画像と右目画像の双方の撮像データの輝度分布を記憶してもよい。

不要画像判定部２５は、輝度分布認識部２３による撮像データの輝度分布の認識結果に基づき、撮影する画像中に不要画像が存在しているかどうかを判定する。本実施形態では、不要画像判定部２５は、撮影した左目画像と、右目画像撮影前のプレビュー画像または撮影した右目画像との双方の撮像データについて輝度分布を比較し、同じ位置（略同一の位置）に低輝度領域がある場合は該当領域に不要画像が存在すると判定する。すなわち、単眼３Ｄ撮影のために撮影装置に動きがあったにも関わらず、画像中の同じ位置に低輝度領域がある場合に、不要画像有りと判定する。この低輝度領域の不要画像は、撮影装置を把持しているユーザの指などと考えられるので、これによって指写りが発生していることを判定する。

なお、不要画像判定部２５において不要画像を判定するための情報として、輝度分布の代わりに、第１の実施形態と同様に色分布を用いてもよい。また、各種の画像パラメータを用いることも可能である。例えば、画像パラメータとして、ＲＧＢ、ＹＣｂＣｒ、Ｌ^＊ａ^＊ｂ^＊、ＸＹＺ、Ｌ^＊ｕ^＊ｖ^＊、ＨＳＶなどを用いて、撮像データの色（色相、色差等を含む）、輝度などの分布を認識し、この認識結果に基づいて画像中の不要画像の判定が可能である。

表示部２６は、通知部の一例として機能するものであり、液晶ディスプレイ、ＬＥＤ、ランプ等により構成され、不要画像の判定結果を表示してユーザに不要画像の存在を通知する。

制御部２７は、撮影装置の各部の動作を制御するものであり、特に撮像部２１、輝度分布認識部２３、不要画像判定部２５の動作制御を行う。操作部２８は、押しボタン等の操作部材を有したスイッチ、あるいはタッチパネル等からなる操作デバイスによって構成され、ユーザの操作指示に基づき撮影装置における各種操作入力を行う。

輝度分布認識部２３、輝度分布記憶部２４、不要画像判定部２５、制御部２７は、各種情報処理を行うプロセッサ及びメモリ等を有して構成されるコンピュータ等からなる処理部において、所定のプログラムを実行することにより、各部の機能が実現される。

次に、第２の実施形態における撮影装置の動作について説明する。図４は第２の実施形態に係る撮影装置の動作を説明する模式図である。図４において、（Ａ）は単眼３Ｄ撮影用カメラの外観図、（Ｂ）は被写体に対するカメラの位置を示す図、（Ｃ）は指写りがある場合と無い場合の左目画像及び右目画像の例を示す図である。

図４（Ａ）に示すように、単眼３Ｄ撮影機能を持つカメラ３０は、一つの撮影光学系のレンズ３１を有している。図４（Ｂ）に示すように、単眼３Ｄ撮影により立体撮影を行う場合、被写体の左目画像を撮影した後、所定の視差が得られるようにカメラ３０を水平右方向に所定量移動させ、右目画像を撮影する。

図４（Ｃ）の上段に示すように、指写りが無い場合は、一枚目の左目画像と二枚目の右目画像の同じ位置に低輝度領域が存在することは無い。このため、所定視差を有する同じ位置に低輝度領域の無い二つの撮影画像から、立体画像を生成することができる。図４（Ｃ）の下段に示すように、カメラのレンズの一部にユーザの指がかかり、指写りがある場合は、一枚目の左目画像と二枚目の右目画像との双方において、同じ位置に低輝度領域が存在する。二つの画像間に視差を与えるために被写体に対するカメラ位置が移動したにも関わらず、同じ位置に低輝度領域がある場合は、この低輝度領域は指写りによる不要画像であると判定できる。

図５は第２の実施形態に係る撮影装置の動作手順を示すフローチャートである。

輝度分布認識部２３は、左目画像の撮像データを撮像データ記憶部２２から読み込み（ステップＳ２１）、左目画像の輝度分布を認識する（ステップＳ２２）。そして、輝度分布認識部２３は、認識した左目画像の輝度分布を輝度分布記憶部２４に記憶させる（ステップＳ２３）。

続いて、輝度分布認識部２３は、右目画像の撮像データを撮像データ記憶部２２から読み込み（ステップＳ２４）、右目画像の輝度分布を認識する（ステップＳ２５）。なお、右目画像の撮像データの代わりに、右目画像撮影前のプレビュー画像の輝度分布を認識してもよい。また、左目画像と同様に右目画像の輝度分布を輝度分布記憶部２４に記憶させてもよい。

次に、不要画像判定部２５は、輝度分布認識部２３による輝度分布の認識結果に基づき、左目画像と右目画像との双方の撮像データの輝度分布において、同じ位置（略同一の位置）に低輝度領域があるかどうかを判断する（ステップＳ２６）。ここで、二つの画像の同じ位置に低輝度領域がある場合（ステップＳ２６にてＹＥＳ）は、不要画像が存在していると判定する。この場合、不要画像判定部２５は、表示部２６に対して制御情報、表示情報等を含む信号を出力し、表示部２６に不要画像を検出したことを表示させる（ステップＳ２７）。一方、ステップＳ２６の判断において、左目画像と右目画像の撮像データ中の同じ位置に低輝度領域が存在しない場合（ステップＳ２６にてＮＯ）は、不要画像が存在しないと判定し、そのまま本処理を終了する。

第２の実施形態では、単眼３Ｄ撮影による立体撮影を行う場合に、左目画像と右目画像の撮像データを比較し、撮影装置の移動に対して同じ位置に低輝度領域がある場合、指写りによる不要画像が存在していると判定する。これにより、即時かつ容易に不要画像の有無を判定でき、短時間で誤り無く指写りの判定をすることができる。

（第３の実施形態）
第３の実施形態は、二つの撮影光学系によって視差のある二枚の画像（左目画像と右目画像）を同時撮影する複眼３Ｄ撮影の機能を持つ撮影装置の例である。第３の実施形態の撮影装置の構成は第２の実施形態と同様であり、第２の実施形態とは一部の機能が異なっている。第２の実施形態と異なる点を中心に説明する。

図６は第３の実施形態に係る撮影装置の動作を説明する模式図である。図６において、（Ａ）は複眼３Ｄ撮影用カメラの外観図、（Ｂ）は被写体に対するカメラの位置を示す図、（Ｃ）は指写りがある場合と無い場合の左目画像及び右目画像の例を示す図である。

図６（Ａ）に示すように、複眼３Ｄ撮影機能を持つカメラ４０は、二つの撮影光学系のレンズ４１、４２を有している。図６（Ｂ）に示すように、複眼３Ｄ撮影により立体撮影を行う場合、二つのレンズ４１、４２によって同時に被写体の左目画像と右目画像をそれぞれ撮影する。

図６（Ｃ）の上段に示すように、指写りが無い場合は、左目画像と右目画像の一方のみに低輝度領域が存在することは無い。このため、所定視差を有する一方の画像のみに低輝度領域が存在することの無い二つの撮影画像から、立体画像を生成することができる。図６（Ｃ）の下段に示すように、指写りがある場合は、通常はカメラの一方のレンズの一部にユーザの指がかかるため、左目画像と右目画像のどちらか一方において、低輝度領域が存在する。一方の画像のみに低輝度領域がある場合は、この低輝度領域は指写りによる不要画像であると判定できる。

図７は第３の実施形態に係る撮影装置の動作手順を示すフローチャートである。複眼３Ｄ撮影による立体撮影を行う場合は、左目画像と右目画像の撮像データを同時に取得し、それぞれ撮像データ記憶部２２に記憶する。

輝度分布認識部２３は、左目画像の撮像データを撮像データ記憶部２２から読み込み（ステップＳ３１）、左目画像の輝度分布を認識する（ステップＳ３２）。そして、輝度分布認識部２３は、認識した左目画像の輝度分布を輝度分布記憶部２４に記憶させる（ステップＳ３３）。

続いて、輝度分布認識部２３は、右目画像の撮像データを撮像データ記憶部２２から読み込み（ステップＳ３４）、右目画像の輝度分布を認識する（ステップＳ３５）。なお、左目画像と同様に右目画像の輝度分布を輝度分布記憶部２４に記憶させてもよい。

次に、不要画像判定部２５は、輝度分布認識部２３による輝度分布の認識結果に基づき、左目画像と右目画像との双方の撮像データの輝度分布において、一方の画像だけに低輝度領域があるかどうかを判断する（ステップＳ３６）。ここで、一方の画像だけに低輝度領域がある場合（ステップＳ３６にてＹＥＳ）は、不要画像が存在していると判定する。この場合、不要画像判定部２５は、表示部２６に対して制御情報、表示情報等を含む信号を出力し、表示部２６に不要画像を検出したことを表示させる（ステップＳ３７）。一方、ステップＳ３６の判断において、左目画像と右目画像の撮像データの両方に低輝度領域が存在しないか、あるいは両方に低輝度領域が存在する場合は、不要画像が存在しないと判定し、そのまま本処理を終了する。

なお、第３の実施形態の撮影装置において、第１の実施形態と同様に、撮影装置の動きが検出されたときに撮像データの色分布の認識を行い、画像中の位置が変化しない色領域を検出することによって、不要画像の有無を判定することも可能である。

第３の実施形態では、複眼３Ｄ撮影による立体撮影を行う場合に、左目画像と右目画像の撮像データを比較し、一方の画像のみに低輝度領域がある場合、指写りによる不要画像が存在していると判定する。これにより、即時かつ容易に不要画像の有無を判定でき、短時間で誤り無く指写りの判定をすることができる。

（第４の実施形態）
第４の実施形態として、撮影画像において指写りによる不要画像領域の画像補正動作の第１例を示す。

図８は本発明の第４の実施形態に係る撮影装置の主要部の構成を示すブロック図である。第４の実施形態の撮影装置は、撮影画像に関する画像処理を行う画像処理部５１と、画像処理後の画像データを保存する画像保存部５２とを備えている。その他は図１に示した第１の実施形態と同様であり、ここでは第１の実施形態と異なる点を中心に説明する。なお、第４の実施形態を第２の実施形態または第３の実施形態と組み合せることも可能である。

画像処理部５１は、撮像データ記憶部１２に記憶された撮像データにおいて不要画像が存在する場合、不要画像領域の補完処理等を行って不要画像を無くすように撮影画像を補正する。画像保存部５２は、画像処理部５１による画像処理後の撮影画像の画像データを保存する。なお、画像処理後の撮影画像は、表示部１６に表示することも可能である。

図９は第４の実施形態に係る撮影装置の動作を説明する模式図である。図９において、（Ａ）は動画像の複数フレームの撮像データを示す図、（Ｂ）は他のフレームの撮像データを利用した画像補正の例を示す図、（Ｃ）は撮像データの画像中の動きベクトルの算出方法を説明する図である。

図９（Ａ）に示すように、撮像データ記憶部１２には、Ｎ−１フレーム目，Ｎフレーム目，Ｎ＋１フレーム目，Ｎ＋２フレーム目，…と複数フレームにおいて同じ色分布領域が存在する動画像の撮像データが記憶されているものとする。この場合、色分布認識部１３及び不要画像判定部１５によって不要画像ありと判定される。撮像データは、動画像撮影時の画像データ、あるいはプレビュー表示時の画像データに相当する。

画像処理部５１は、二つ以上のフレームの撮像データを用いて不要画像領域の補完処理を行う。図９（Ｂ）に示す例では、Ｎ−１フレーム目とＮフレーム目の撮像データを用いて、右側に示すように不要画像領域の画素を他のフレームの撮像データによって補完する。このとき、画像処理部５１は、図９（Ｃ）に示すように、二つのフレームの画像に共通する特徴点Ｐ１、Ｐ２、Ｐ３を抽出し、特徴点の動きベクトルを算出する。この動きベクトルによって、不要画像領域に対応する領域の動き量がわかる。Ｎフレーム目の不要画像領域Ｓ′を補完するには、算出した特徴点の動きベクトルの逆ベクトルによって、不要画像領域Ｓ′からＮ−１フレーム目の対応領域Ｓを求める。この対応領域Ｓの画素データを不要画像領域Ｓ′に当てはめることによって、不要画像領域Ｓ′に隠れた被写体部分の画像を復元できる。

なお、不要画像領域の補正処理に用いる撮像データは、撮影時の記録中の撮影画像のフレームであってもよいし、プレビュー画像のフレームであってもよい。また、動画像の撮像データに限らず、静止画像の撮像データに適用することも可能である。画素の補完に用いる撮像データは、補正対象のフレームの前のフレームだけでなく、後ろのフレームを用いてもよいし、前後両方のフレームを用いてもよい。

第４の実施形態によれば、指写りが発生した場合に、適切に不要画像領域の画素を補完して画像補正を行い、撮影画像に対する指写りの影響を無くすことができる。また、画像補正において不要画像領域のトリミング等を行う必要がないため、撮影画像の画角が狭くなる不具合を防止できる。

（第５の実施形態）
第５の実施形態として、撮影画像において指写りによる不要画像領域の画像補正動作の第２例を示す。第５の実施形態の撮影装置の構成は第４の実施形態と同様であり、画像補正動作の他の例を示したものである。

図１０及び図１１は第５の実施形態に係る撮影装置の動作を説明する模式図である。図１０において、（Ａ）は不要画像領域を指定している状態を示す図、（Ｂ）は動画像の複数フレームの撮像データを示す図である。図１１は画像補正の複数例を示す図であり、（Ａ）は補完完了時の画像例を示す図、（Ｂ）は補完未完了時の切り出し処理の例を示す図である。

図１０（Ａ）に示すように、撮影時には、撮影装置の表示部１６のファインダ画面において、指写りしている領域、あるいは指写りの可能性が高い領域をユーザが不要画像領域６１として指定する。撮影装置の形状、大きさ、操作部のレイアウトなどによって、指写りが発生する領域、指写りの可能性が高い領域が特定されることがある。本実施形態では、このような場合を想定して、予め不要画像領域を設定し、不要画像領域の画像補正を行うか、あるいは不要画像領域を使用せずに他領域の画像を切り出して撮影画像を生成する。

図１２は第５の実施形態に係る撮影装置の動作手順を示すフローチャートである。ユーザが操作部１８（図１０（Ａ）の例ではタッチパネル）を操作して、不要画像領域である指写り領域を指定すると、制御部１７は、指定された不要画像領域の領域情報を画像処理部５１に転送する（ステップＳ４１）。画像処理部５１は、不要画像領域の領域情報を記憶しておく。ここで、操作部１８及び制御部１７が不要画像領域設定部の機能を実現する。

次に、画像処理部５１は、撮像データ記憶部１２に記憶された撮像データにおいて、補完が必要な領域を特定する（ステップＳ４２）。図１０（Ｂ）に示すように、撮像データ記憶部１２には、Ｎ−１フレーム目，Ｎフレーム目，Ｎ＋１フレーム目，Ｎ＋２フレーム目，…と複数フレームの動画像の撮像データが記憶されているものとする。撮像データは、動画像撮影時の画像データ、あるいはプレビュー表示時の画像データに相当する。画像処理部５１は、第４の実施形態のように、他のフレームの撮像データを用いて不要画像領域の補完が可能な場合は、補完処理を行う。図１２の処理例においては、画像処理部５１は、プレビュー画像において不要画像領域の補完を行う（ステップＳ４３）。このとき、補完用の撮像データを得るために、ユーザに対して撮影装置を動かすことを促す表示または音声等の通知を行うことも可能である。これにより、動きのある状態での複数フレームの撮像データを取得できる。

その後、ユーザが操作部１８のシャッタボタンを押下操作して、撮影の実行を指示すると、制御部１７の指示に基づき、画像処理部５１は、撮像データ記憶部１２に記憶された撮像データを元に、被写体の撮影画像を生成する（ステップＳ４４）。

画像処理部５１は、ステップＳ４３における補完処理が正常に完了したかどうかを判断し（ステップＳ４５）、補完処理が正常に完了した場合、フル画角の撮影画像を生成し、画像保存部５２、表示部１６に出力する（ステップＳ４６）。図１１（Ａ）に示すように、補完完了時の画像７１の撮像データについては、画像処理部５１はこのままフル画角の撮影画像を生成する。

一方、補完処理が正常に完了していない場合、画像処理部５１は、不要画像領域を含む領域を除くように、画像中の指写り無し領域を切り出して撮影画像を生成し、画像保存部５２、表示部１６に出力する（ステップＳ４７）。図１１（Ｂ）に示すように、補完未完了時の画像７２の撮像データについては、画像処理部５１は不要画像領域を除いた領域を切り出して撮影画像を生成する。指写り無し領域の切り出し方法としては、図示したような２つの方法が挙げられる。第１の方法は、破線枠で示す領域７３のように、指写り無し領域をそのまま切り出して撮影画像を生成するものである。第２の方法は、一点鎖線枠で示す領域７４のように、元画像と縦横比を合わせて左右方向及び上下方向のトリミングを行い、指写り無し領域を切り出して撮影画像を生成するものである。

第５の実施形態によれば、指写りが発生した領域または可能性の高い領域を予め不要画像領域として設定し、画像補正を行うことにより、ユーザが意図的に不要画像領域の補正を実行でき、撮影画像に対する指写りの影響を無くすことができる。また、不要画像領域の補正は、画素の補完によって行い、補完できない場合は、不要画像領域のトリミングを適切に行うことによって、指写りの無い撮影画像を得ることができる。

本発明に係る実施形態の種々の態様として、以下のものが含まれる。

被写体像を撮像する撮像部と、前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、当該撮影装置の動きを検出する動き検出部と、前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、前記不要画像領域が検出されたことを通知する通知部と、を備える撮影装置。
上記構成により、撮影前のプレビュー画像などの撮影装置に動きのある状態で取得した複数の撮像データについて、色分布、輝度分布等の画像パラメータの分布を認識し、略同一の領域に略同一の画像パラメータの分布がある場合、不要画像領域であると判定できる。このため、短時間に指写りによる不要画像領域を判定でき、撮影レスポンスを向上できる。また、撮影装置に動きが無い場合は、不要画像領域を判定しないため、定点撮影時などでの誤判定を抑制できる。

上記の撮影装置であって、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの色分布を認識する撮影装置。
上記構成により、撮像データの色分布を用いて、動きがある状態での複数の撮像データにおいて非移動の略同一色分布領域を認識し、不要画像領域の有無を判定できる。

上記の撮影装置であって、前記不要画像判定部は、前記複数の撮像データの色分布において、略同一の色分布の領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、撮像データの色分布を用いて、動きがある状態での複数の撮像データにおいて非移動の略同一色分布領域を認識し、不要画像領域の有無を判定できる。

上記の撮影装置であって、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識する撮影装置。
上記構成により、撮像データの輝度分布を用いて、動きがある状態での複数の撮像データにおいて非移動の低輝度領域を認識し、不要画像領域の有無を判定できる。

上記の撮影装置であって、前記撮像部は、一つの撮影光学系によって視差のある二枚の画像を順次撮影する単眼３Ｄ撮影が可能であり、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、前記不要画像判定部は、前記二枚の画像の撮像データの双方において、略同一の位置に低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、単眼３Ｄ撮影を行う場合に、撮影装置を移動させて順次取得する視差のある二つの撮像データにおいて、略同一の位置に低輝度領域を認識することにより、不要画像領域を判定できる。

上記の撮影装置であって、前記撮像部は、二つの撮影光学系によって視差のある二枚の画像を同時撮影する複眼３Ｄ撮影が可能であり、前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、前記不要画像判定部は、前記二枚の画像の撮像データの一方のみに低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
上記構成により、複眼３Ｄ撮影を行う場合に、同時取得する視差のある二つの撮像データにおいて、一方のみに低輝度領域を認識することにより、不要画像領域を判定できる。

上記の撮影装置であって、前記撮像データの画像処理を行う画像処理部を備え、前記画像処理部は、前記不要画像領域を含む撮像データについて、前記撮像データ記憶部に記憶された他の撮像データを用いて被写体の画像の動きベクトルを算出し、前記動きベクトルに応じて前記他の撮像データから前記不要画像領域の画素を補完する、撮影装置。
上記構成により、他の撮像データを用いて不要画像領域を補完することにより、指写りが生じても撮影画像には影響を与えないようにすることができる。また、不要画像領域のトリミング等を行わないので、画角が狭くなることを防止できる。

上記の撮影装置であって、前記不要画像領域となる可能性が高い領域を予め設定する不要画像領域設定部を備える撮影装置。
上記構成により、予め不要画像領域を設定することによって、不要画像領域に関する画像補正など、指写りの対策を意図的かつ効果的に機能させることができる。

上記の撮影装置であって、前記画像処理部は、前記不要画像領域を含む撮像データについて、前記他の撮像データからの画素を補完ができない場合、前記不要画像領域を含む領域を除くように撮像データを切り出して撮影画像を生成する、撮影装置。
上記構成により、不要画像領域について他の撮像データを用いて補完できない場合、不要画像領域を含まない撮像データを切り出して撮影画像を生成できる。

被写体像を撮像する撮像部を備える撮影装置における撮影方法であって、前記撮像部により取得した被写体の撮像データを記憶するステップと、当該撮影装置の動きを検出するステップと、前記撮像データの画像パラメータの分布を識別するステップと、前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定するステップと、前記不要画像領域が検出されたことを通知するステップと、を有する撮影方法。

上記の撮影方法における各手順を、コンピュータにより実行させるプログラム。

なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

本発明は、撮影装置において、短時間に精度良く指写りの判定を可能にすることができる効果を有し、例えばデジタルカメラ、カメラ機能付き電子機器などの使用者が筐体を把持して被写体の撮影を行う撮影装置等として有用である。

１１、２１ 撮像部
１２、２２ 撮像データ記憶部
１３ 色分布認識部
１４ 動き検出部
１５、２５ 不要画像判定部
１６、２６ 表示部
１７、２７ 制御部
１８、２８ 操作部
２３ 輝度分布認識部
２４ 輝度分布記憶部
５１ 画像処理部
５２ 画像保存部

Claims (11)

1. 被写体像を撮像する撮像部と、
   前記撮像部により取得した被写体の撮像データを記憶する撮像データ記憶部と、
   当該撮影装置の動きを検出する動き検出部と、
   前記撮像データの画像パラメータの分布を識別する画像パラメータ識別部と、
   前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定する不要画像判定部と、
   前記不要画像領域が検出されたことを通知する通知部と、
   を備える撮影装置。
2. 請求項１に記載の撮影装置であって、
   前記画像パラメータ識別部は、前記画像パラメータとして撮像データの色分布を認識する撮影装置。
3. 請求項２に記載の撮影装置であって、
   前記不要画像判定部は、前記複数の撮像データの色分布において、略同一の色分布の領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
4. 請求項１に記載の撮影装置であって、
   前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識する撮影装置。
5. 請求項１に記載の撮影装置であって、
   前記撮像部は、一つの撮影光学系によって視差のある二枚の画像を順次撮影する単眼３Ｄ撮影が可能であり、
   前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、
   前記不要画像判定部は、前記二枚の画像の撮像データの双方において、略同一の位置に低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
6. 請求項１に記載の撮影装置であって、
   前記撮像部は、二つの撮影光学系によって視差のある二枚の画像を同時撮影する複眼３Ｄ撮影が可能であり、
   前記画像パラメータ識別部は、前記画像パラメータとして撮像データの輝度分布を認識し、
   前記不要画像判定部は、前記二枚の画像の撮像データの一方のみに低輝度領域が存在する場合、当該領域を不要画像が含まれる不要画像領域であると判定する撮影装置。
7. 請求項１に記載の撮影装置であって、
   前記撮像データの画像処理を行う画像処理部を備え、
   前記画像処理部は、前記不要画像領域を含む撮像データについて、前記撮像データ記憶部に記憶された他の撮像データを用いて被写体の画像の動きベクトルを算出し、前記動きベクトルに応じて前記他の撮像データから前記不要画像領域の画素を補完する、撮影装置。
8. 請求項７に記載の撮影装置であって、
   前記不要画像領域となる可能性が高い領域を予め設定する不要画像領域設定部を備える撮影装置。
9. 請求項７または８に記載の撮影装置であって、
   前記画像処理部は、前記不要画像領域を含む撮像データについて、前記他の撮像データからの画素を補完ができない場合、前記不要画像領域を含む領域を除くように撮像データを切り出して撮影画像を生成する、撮影装置。
10. 被写体像を撮像する撮像部を備える撮影装置における撮影方法であって、
    前記撮像部により取得した被写体の撮像データを記憶するステップと、
    当該撮影装置の動きを検出するステップと、
    前記撮像データの画像パラメータの分布を識別するステップと、
    前記撮影装置の動きがある状態で取得された複数の撮像データの画像パラメータに基づき、前記撮像データにおいて略同一の領域に略同一の画像パラメータの分布がある場合、当該領域を不要画像が含まれる不要画像領域であると判定するステップと、
    前記不要画像領域が検出されたことを通知するステップと、
    を有する撮影方法。
11. 請求項１０に記載の撮影方法における各手順を、コンピュータにより実行させるプログラム。

Images