JP4234195B2 - 画像分割方法および画像分割システム - Google Patents

Description

本発明は画像分割方法および画像分割システムに関し、特に取得画像と参照画像の露出分析に基づいて前景および背景を示す領域を決定するためのユニットに関する。

画像分割は、幾つかの所定の基準に基づいて画像が領域に分けられるデジタル画像処理を含む。これらの基準は、文脈（context）、数値、形状、大きさ、色に関するものや、階調度に関するものなどとすることができる。数多くの画像処理オペレーションのために、デジタル画像の前景および背景を決定するための技術が望まれている。そのようなオペレーションは、画像強調、色補正、および／または被写体に基づく画像分析を含む。収集装置の内部の処理の特定の場合においては、そのような分割を迅速に行うことが求められている一方で、例えばカメラや画像収集能力を具備する携帯電話で計算を行うために、相対的に複雑性の低い安定した計算を利用することが求められている。米国特許6, 005, 959号は、従前の請求項１の特徴部分に基づくデジタル画像取得システムを開示する。

写真用フィルムを有さないデジタル画像取得システムが提供される。当該システムは、デジタル画像取得装置と、画像取得の間に照明を提供するためのフラッシュユニットと、取得画像の少なくとも一部分内で前景領域、背景領域、または背景領域および前景領域であることを示している一つまたは複数の領域を決定するための分割ユニットとを含む。決定処理は取得された画像とみかけ上同じ場面の参照画像との比較を行う。取得画像および参照画像のうち一方はフラッシュを用いて撮像された画像であり、他方はフラッシュを用いないで撮像された画像である。取得画像と参照画像は異なるピクセル解像度を有し、当該システムは、分割ツールの適用の前に、少なくとも前記一部分に関して取得画像のピクセル解像度と参照画像のピクセル解像度とのマッチングを遂行するピクセルマッチングユニットをさらに備える。

特にカメラを起源とする、またはカメラに近い、ポイントアンドシュートカメラ(複数のストロボユニットを有するスタジオ設定と対比される)の場合、日光などの利用可能な周囲の光が事実上ストロボスコープより空間で一般に均一である。ストロボエネルギーが距離の２乗に反比例するという事実により、被写体がより近いほど、被写体の上の明るさはより強くなる。一方の場面、あるいは複数の場面の一部は利用可能な周囲の光によりのみ照らされるのに対し、他方は直接のフラッシュの光により照らされるので、２つの画像間の全体的な光の分布は変化する。

本発明は、請求項１によって特徴付けられるデジタル画像取得システムを提供する。
また、更なる態様として、本発明は請求項２５によって特徴付けられるデジタル画像処理方法を提供する。
本発明は、一連の比較的低解像度のプレビュー画像が主要取得画像とともに利用可能である主要画像取得連鎖の一部として画像処理が適用されることが望まれる、デジタル画像取得装置において特に有効である。
本発明によって提供される前景／背景分割画像は、背景からの通常は前景である対象物の分離部分を強調するためのアルゴリズムのような、様々なデジタル画像処理アルゴリズムに使用することができる。当該技術は、背景全体を強調または除去するために、あるいは画像から顔や人物のような被写体を抽出するために領域深度を強調することに使用されるようにしてもよい。

画像処理分析を行う領域を減らすことにより、多くのリアルタイムアルゴリズムのための処理時間は実質的に削減される。さらに、デジタルカメラのクリックトゥクリック（Click to Click）時間も改善される。有利には、ある実施形態においては、従来は単一の技術のみしか適用されていなかったところに複数の画像処理技術を採用することが可能となる。また、画像の前景領域または背景領域のいずれか一方でより起こりやすい、ある画像処理アルゴリズムの誤検出の発生を減少させることができる。

本発明は、限られた計算能力の内蔵装置に適用されるようにしてもよい。また、本発明は、特に、顔検出に基づくセキュリティーや、多量プリントシステムや、収集画像のデスクトップ分析のような多量の画像が処理される場合において、生産性を改善することができる。本発明は、ストロボの機能を有するビデオや継続的取得装置といった画像取得装置に適用されるようにしてもよい。

図１は好ましい実施形態の画像取得装置２０のブロック図である。本実施形態においてはポータブルデジタルカメラであるデジタル取得装置２０は、プロセッサ１２０を含む。デジタルカメラに実装される処理の多くは、“プロセッサ”と明記したブロック１２０に一括して表した、マイクロプロッセッサ内のオペレーティングソフトウェア（software operating）、中央演算処理装置、制御部、デジタルシグナルプロセッサ、および／または特定用途向け集積回路に実装され、または制御されるようにすることができる。一般に、ユーザインターフェース、およびボタンやディスプレイのような周辺構成要素の制御は、μ−制御部１２２により制御される。

プロセッサ１２０は、シャッターボタンの半押し（前取得モード３２）のような、ユーザの入力１２２に応答して、デジタル画像処理を開始し、実行する。周囲の光の露出は、フラッシュを使用するか否かを自動的に決定するために、光センサ４０を使用して決定される。被写体の距離は、画像取得部上の画像についても焦点を合わせる、フォーカス手段５０を使用して決定される。フラッシュが使用される場合、プロセッサ１２０は、シャッターボタンの全押しされたときの画像取得部６０による画像の記憶と実質的に同時に、フラッシュ７０に写真用フラッシュを生成させる。

画像取得部６０はカラー画像をデジタルで記憶する。画像取得部６０は当業者に知られており、デジタル記憶を容易にするＣＣＤ（電荷結合素子）またはＣＭＯＳを含む。フラッシュはライトセンサ４０またはカメラのユーザからの手動入力に応答して、選択的に生成される。画像取得部６０により記憶された画像Ｉ（x, y）は、ダイナミックランダムアクセスメモリまたは不揮発性メモリのようなコンピュータメモリを含んでもよい画像格納メモリに、格納されるようにしてもよい。カメラは、画像のプレビューまたはポストビューするためのＬＣＤのようなディスプレイ１００を備える。

シャッターボタンを半押しした前取得モード３２において生成されるプレビュー画像Ｐ（x, y）の場合において、ディスプレイ１００は焦点合わせと露出を決定するために使用されるのと同様に、画像を構成（compose）することについてユーザを補助する。一時格納領域８２は１つまたは複数のプレビュー画像を格納するために使用され、画像格納手段８０の一部とすることも、また、分離された部（コンポーネント）とすることもできる。プレビュー画像は通常、画像取得部６０により生成される。プレビュー画像のパラメータは、周囲の条件（ambient conditions）を最終的な画像と等化する後の使用のために格納されるようにしてもよい。また、当該パラメータは、結果的に取得された最大解像度の画像のそれをマッチングするために決定されるようにしてもよい。速さとメモリ効率の理由から、プレビュー画像の表示や格納の前に、プレビュー画像は、通常のプロセッサ１２０の一部または専用ハードウェアまたはそれらの組み合わせとすることができるソフトウェア１２４を使用した、低取得画像のサブサンプリングにより生成されるようにしてもよい。サブサンプリングは、平面的なものでも、立体的なものでも、また、それら２つの組み合わせであってもよい。当該ハードウェアサブシステムの設定に応じて、プレビュー画像を格納する前にプレ収集画像処理は幾つかのテスト基準を充足するようにしてもよい。そのようなテスト基準は、シャッターボタンの全押しにより最終的な最大解像度の画像が取得されるまで絶えずに前取得モード３２の間中０.５秒ごとに、以前に保存したプレビュー画像を新しく取得されたプレビュー画像に置き換えるような、時間的（chronological）なものであってもよい。より高度な基準は、例えば、変更のための画像のテストや、以前に保存された画像を新たなプレビュー画像に置き換えるか否かを決定する前の画像中の顔の検出などの、プレビュー画像の内容の分析を含んでもよい。他の基準は、シャープネス、目の分析の、または露出条件のようなメタデータの分析の検出、フラッシュが起こったか否か、および／または被写体との距離を基準としてもよい。

テスト基準を満足しない場合、カメラは現在のプレビュー画像を保存することなく、新しいプレビュー画像を取得し続ける。当該処理は、シャッターボタンの全押しにより最終的な最大解像度の画像Ｉ（x, y）が取得され、保存されるまで続けられる。

複数のプレビュー画像が格納され得るとき、新たなプレビュー画像は、ユーザが最終的な写真を撮るまで、時間的な先入れ先出し（ＦＩＦＯ）スタックに格納される。複数のプレビュー画像を格納する理由は、最後の画像、またはいずれかの単独の画像が最終的な最大解像度の画像との比較のための最も好ましい参照画像ではない場合があるからである。複数の画像を格納することによってより好ましい参照画像を得ることが可能であり、図２Ａ−２Ｃおよび図４と関連してさらに述べる調整段階において、プレビューと最終的な取得画像の間のより近い整合を得ることができる。また、複数の画像を取得する他の理由としては、単一の画像は、動き、焦点合わせが設定されていない、および／または露出が設定されていないことにより、ぼやけることがあるからである。

他の実施形態においては、複数の画像は、主要な最大解像度の画像が取得される前の画像であるプレビュー画像と、前記主要な画像が取得された後の画像（image or images）であるポストビュー画像の組み合わせである。さらに他の実施形態としては、高解像度、または複数の画像から様々な領域の様々な部分を取得することにより、複数のプレビュー画像が単一の高質な参照画像を生成することを補助するようにしてもよい。

分割フィルタ９０は、画像を前景／背景分割情報９９に基づいてさらなる処理に、またはディスプレイに転送する前に、格納された画像Ｉ（x, y）の前景と背景の特性を分析する。フィルタ９０はカメラ２０に一体化されるようにすることができ、また、デスクトップコンピュータ、携帯端末、携帯電話機、サーバのような外部処理装置１０の一部とすることができる。当該実施形態において、分割フィルタ９０は、一時格納部８２から１つ以上のプレビュー画像Ｐ(x, y)を受信するのと同様に、最大解像度の画像格納部８０から取得された画像Ｉ(x, y)を受信する。

取得され、分割されおよび／またはさらに処理された画像Ｉ（x, y）は、画像ディスプレイ１００に表示されるか、内蔵型、もしくはＣＦカード、ＳＤカード、ＵＳＢドングルなどのような取り外し可能な格納部である永続格納部（persistent storage）１１２に格納されるか、繋がれた、若しくはワイヤレスの画像出力部１１０を介して、パーソナルコンピュータ、サーバ、プリンタのような他の装置にダウンロードされる。分割されたデータは別個のファイルとしてイメージヘッダーの中に格納されるようにしてもよく（９９）、また、画像マニピュレーションのためにこの情報を使用する別の機能部に転送されるようにしてもよい。

分割フィルタ９０が、デスクトップ型コンピュータのような分離された装置１０内の外部アプリケーションに実装された実施形態においては、最終的な取得画像Ｉ（x, y）は、一時的に８２に格納されたプレビュー画像の表示とともにブロック８０に格納されるか、一緒に画像出力部１１０を介して外部装置１０に送出され、その後、分割フィルタ９０により処理される。プレビュー画像、またはスプライト画像ともいわれる複数の画像は、圧縮率の改変、画像間の余剰データの除去、調整、圧縮データの彩色のために格納前に予め処理されるようにしてもよい。

図２Ａから図２Ｂは、本実施形態に係る分割フィルタ９０のワークフローを示す。図２Ａに示すように、フィルタ内に入力される２つの入力画像が存在し、具体的にはシャッターボタンの全押しにより取得された最大解像度のフラッシュ画像Ｉ（x, y）５１０と、参照画像として使用され、通常、画像Ｉ（x, y）と同じ場面であるが、フラッシュなしで取得されたプレビュー画像Ｐ（x, y）５２０である。プレビュー画像は、複数のプレビュー画像を考慮にいれて単一の画像を生成する、幾つかの画像処理の結果物としてもよい（５２２）。複数の画像に基づいて画像の質を改善する方法は、画像処理の分野の当業者によく知られている。５２２の分析処理からの結果物の出力は単一のプレビュー画像である。

上述するように、参照画像と最終的な画像は異なる解像度であるようにすることができる。プレビュー画像４２０は通常、必須ではないが、最大解像度の画像５１０よりも低い解像度であり、典型的には画像取得部の画像センサセルの一部のクロックアウト（clocking out）により、または低センサデータの平均化により生成される。

解像度の違いは、被写体画像中のデータは変わらないが、コンテンツやピクセル値が異なることがある。特に、ダウンサンプルされ、その後にアップサンプルされた端部の領域はボケや、ピクセルの平均化効果を有する場合がある。そのため、調整がされた場合でさえも、異なる解像度の画像の直接比較は、誤った輪郭となる場合がある。

したがって、該２つの画像はピクセル解像度についてマッチングされる必要がある。本明細書において“ピクセル解像度”は、画像を構成しているピクセルの数で表した画像の大きさをいう。そのような処理はプレビュー画像のアップサンプリング５３４や、取得画像のダウンサンプリング５３２、またはそれらの組み合わせにより行われるようにしてもよい。当業者はそのようなサンプリング方法に慣用されている幾つかの技術を想到するものと考えられる。段階５３０の結果、ピクセル解像度がマッチングされた、もとの画像Ｉ（x, y）およびＰ（x, y）またはそれらの関連領域に対応する、一対の画像Ｉ’(x, y)およびＰ’（x, y）が得られる。

前景と背景の分割は専ら、赤目アーティファクト、顔または他の画像の特徴の検出の改善を目的としてなされ、上述したピクセルマッチングは画像内の目、顔または他の特徴を含む、若しくは含むと思われる領域に限られるようにすることができ、場合によっては、画像処理技術により決定されるようにすることができる。そのような場合に、記載された連続した処理段階は画像全体ではなくそのような領域ごとに独立して行われるようにしてもよく、それに応じて読み取られるべき“画像”または“複数の画像”が参照される。

好ましい実施形態のシステムと方法は、Ｉ’（x, y）とＰ’（x, y）の間の露出の違いを使用した画像Ｉ（x, y）の分割を含む。画像Ｉ’（x, y）とＰ’（x, y）の一方または双方について動き補正を適用することもまた好ましい。これは、当業者により理解された他の動き補正のための技術と同様に、アメリカ出願10／985, 657やその関連するＰＣＴ出願に記載された動きマップ５８０を作成するために２つ（またはそれ以上）のプレビュー画像５２６、５２７を使用して行われるようにすることができる。動き補正を備える実施形態において、主要画像Ｉ（x, y）の取得パラメータは、概して、動き補正が適用される場合を決定するために使用される。また、以下に記載した調整の一部として、動き補正はピクセルごとに適用されるようにしてもよい。

動き補正は例えば前景／背景マップの生成前に用いられ、画像の広範な動き（global motion）を除去することが好ましい。しかしながら、ある実施形態においては、前景／背景マップの作成の間に、第２の動き補正のオペレーションが行われることが好ましい。当該第２の動き補正は、画像の広範な動きを除去することを目的とするものではなく、画像内で起こるかもしれない小さな局所的な動きを補正することを目的とする。適当な例として、画像が取得されるときに風になびく木または林の葉の動きが挙げられる。そのような局所的な動きは、第１の前景／背景マップが形成され（５９６）、分割された（５９７）後に補正されるべきである輝度のばらつきを引き起こし得る。このため、局所的な動きの補正は、局所的な動きが呈された領域を取り除くか、そのような領域についてさらに詳細な分析をするために適用される。これについて図２Ｃに示す。本実施形態においては、モルフォロジカルクロージング（morphological closing）５９２と小さな領域の除去５９３が含まれる。これらのそれぞれを実装する技術は画像分割の分野の当業者に知られている。

みかけ上同じ場面でも、プレビュー画像と最後に取得された最大解像度の画像とでは、取得された２つの画像間の時間差のために、空間的に違いがある場合がある。調整は、カメラの移動による大きいものである場合があり、また、被写体の動きによる局所的なものである場合があり、さらにそれら２つの組み合わせとなる場合がある。したがって、２つの画像は、好ましい実施形態に従って調整されることが好ましい（５４０）。本質的に、調整は一方の画像の少なくとも一部を変換することを含み、本実施形態においては、プレビュー画像Ｐ’（x, y）が、色、テクスチャ、エッジ分析のような測定された特性に基づいて画像間で最大限修正される。米国特許6, 295, 367号は、調整を実現するための技術を開示する。当該技術は、被写体、およびカメラの動きにより当初の調整に失敗した画像を調整することもできる。複数の解像度のデータがパターンマッチングのために使用されるようにすることができる。調整については、図４と関連してさらに論じる。

その後画像は、露出について、また、場合によっては色空間についても等化される（５５０）。等化処理は、プレビュー画像とフラッシュを用いた最大解像度の画像とについて、露出の全体的なレベルを同じにするために行われる。等化処理は様々な方法により実行され得る。その目的はプレビュー画像と最終的な画像の両方が同じ周囲条件を有すること、またはそれらのシュミレーションを有することを確実にすることである。特に、プレビュー画像はフラッシュ画像と同じ全体露出を有して伝達されることが好ましい。多くの場合、フラッシュを使用したとき、フィルフラッシュモード（Fill Flash mode）の場合も、フラッシュにより過露出となることを防ぐために、最終的な画像は低い周囲露出（ambient exposure）を使用するものと考えられる。言い換えれば、フラッシュ画像の全体周囲露出は低い。言い換えれば、前景の露出はフラッシュの光が加えられた後も一定に維持されるべきであり、そのために絞りを小さくするか、シャッタースピードを遅くして使用される必要がある。等化処理は、画像のヒストグラムを合わせることにより分析的に行われるようにしてもよい。このほか、絞り、シャッタースピード、感度（またはゲイン）の関数として表された全体周囲露出が計算され、それらの露出が異なる場合は、それら２つの間の比率に基づき条件をクリッピングするまで、ピクセル値が修正されるようにすることもできる。すべてのチャンネルで露出が等しくない場合があり、様々な色チャンネルのために異なる露出を補正する色補正の段階を含むこともある。この例は、光輝く（incandescent）ような周囲の色が暖かい（warm）一方で、フラッシュを使用した最終的な画像は全体の色温度のために昼光に近い場合である。

他の方法においては、最終的な周囲露出が知られている場合、参照として使用されるプレビュー画像は同じ露出で取得されるようにすることもできる。これにより等化段階を省略することができる。このような場合、プレビュー画像は周囲条件に最適ではないこともあるが、最終的なフラッシュ画像と等化される。

図３に示すように、幾つかの前景の被写体を含む場面の理想化（idealised）されたノンフラッシュ画像は、一般にすべてのピクセルについて輝度レベルの単峰型分布を有する。場面が明るいとき、分布のピークは輝度レベルのより高い位置にある傾向にあり、薄暗い光の場面では、そのピークはより低い輝度レベルの位置にある傾向がある。同じ場面でフラッシュを用いた場合は、前景の被写体に関するピクセルはフラッシュ源に近いことにより増加した輝度レベルを有する傾向にある。しかしながら、背景の被写体に関するピクセルは、相対的に減少した輝度レベルを有する傾向にある。そのため、好ましい実施形態においては、場面のフラッシュが使用された場合の画像のピクセルの輝度レベルは、その場面のノンフラッシュ（プレビュー）画像とフラッシュが使用された場合の画像とが同じ露出の全体的なレベルを有する輝度レベルに対応付け（mapping）される。当該対応付けg()は以下の式で表される。

式Ｉ

最も単純な場合は、関数g()は定数（constant）であり、通常１より大きく、変更された画像Ｐ”（x, y）を作成するためのプレビュー画像Ｐ’（x, y）の対応付けられた露出レベルは、フラッシュが使用された場合の画像Ｉ’（x, y）と同じ露出の全体的なレベルを有する（このほか、画像Ｉ’（x, y）はＩ”(x, y)に対応付けられるようにすることもできる）。この場合の最も単純な実施においては、両方の画像Ｉ’（x, y）およびＰ’（x, y）がグレースケールに変更され、それぞれの画像の平均輝度が計算される。その後、それらの画像のうちの一つの輝度値が、変更された画像Ｐ”（x, y）の平均輝度値が画像Ｉ’（x, y）と一致するように調整される。

しかしながら、例えば色の飽和やコントラストの喪失を防ぐために、関数ｇ（）はピクセルＰ’（x, y）のもとの露出のレベルに依存する。関数はまた、画像内のピクセル（x, y）の位置にも依存し、多くの場合、周辺のピクセルよりもより中央に位置するピクセルを調整する傾向にある。

にもかかわらず、ピクセルごとの比較やブロックを基にした比較（各ブロックはＭ×Ｍの領域の通常のグリッド内のＮ×Ｎピクセルで構成される）でさえも、調整された、フラッシュが使用された画像の場合は、背景の被写体と前景の被写体の露出のレベルの間でニ峰性分布を有することが図３から理解される。

境界Ｖ_Ｈ、Ｖ_Ｌが決定された後、画像は背景または前景としてのピクセルまたは領域を指定するために、分割ユニット５９０を介して処理される。ある実施形態においては、値が画像のフラッシュＩ’（x, y）の場合とノンフラッシュＰ”（x, y）の場合の間のＶ_Ｈ−Ｖ_Ｌ（または幾つかの他の経験的に決定される値）と表される閾値以下に変化したピクセルは、背景と前景の被写体の間の境界を形成するフラッシュ画像の領域内のピクセルに相当する。そのような独立したピクセルが対応付けられたとき、対応付けられた境界ピクセルにより実質的に囲まれ、ノンフラッシュ画像Ｐ’’（x, y）の対応するセグメントよりもピクセル値が平均して明るい画像Ｉ’（x, y）の一セグメントは前景と指定され、一方、境界ピクセルにより実質的に囲まれ、ノンフラッシュ画像の対応するセグメントよりもピクセル値が平均して暗い画像の一セグメントは背景と指定される。

境界Ｖ_Ｈ、Ｖ_Ｌが決定された後、画像は背景または前景としてのピクセルまたは領域を指定するために、分割手段５９０を介して処理される。ある実施形態においては、値が画像のフラッシュＩ’（x, y）の場合とノンフラッシュＰ”（x, y）の場合の間のＶ_Ｈ−Ｖ_Ｌ（または幾つかの他の経験的に決定される値）と表される閾値以下に変化したピクセルは、背景と前景の被写体の間の境界を形成するフラッシュ画像の領域内のピクセルに相当する。そのような独立したピクセルが対応付けられたとき、対応付けられた境界ピクセルにより実質的に囲まれ、ノンフラッシュ画像Ｐ’’（x, y）の対応するセグメントよりもピクセル値が平均して明るい画像Ｉ’（x, y）の一セグメントは前景と指定され、一方、境界ピクセルにより実質的に囲まれ、ノンフラッシュ画像の対応するセグメントよりもピクセル値が平均して暗い画像の一セグメントは背景と指定される。

第２の実施形態においては、フラッシュ画像の前景のピクセルは、段階５９６において上側の露出境界値Ｖ_Ｈより露出のレベルが大きくなるように決定されるとともに、フラッシュ画像の背景のピクセルは低い側の露出境界値Ｖ_Ｌより露出のレベルが小さくなるように決定される。

上記の場合のそれぞれにおいて、分割ユニット５９０はプレビュー画像Ｐとフラッシュ画像Ｉのそれぞれを検討し、画像の対応する領域の露出レベルの違いをピクセルごとに、またはブロックごとに分析することが好ましい。屋内で撮られたフラッシュ画像については、暗い領域はより暗くなり、明るい領域（典型的には前景）はより明るくなる。しかしながら、屋外の場面の画像については、前景は少し明るくなるだけであり、背景はほとんど変わらない。

分割ユニット５９０によって行われる分析の間に、プレビュー画像Ｐとフラッシュ画像Ｉの輝度値を使用して背景領域の暗さの割合と前景領域の明るさの割合が閾値を超えたとき、画像は屋外として分類される。有利には、当該分類はさらなる処理の使用のために画像メタ−データに加えられ得る。

分割手段５９０によって行われる分析の間に、プレビュー画像Ｐとフラッシュ画像Ｉの輝度値を使用して背景領域の暗さの割合と前景領域の明るさの割合が閾値を超えたとき、画像は屋外として分類される。有利には、当該分類はさらなる処理の使用のために画像メタ−データに加えられ得る。

画像全体に関しては、画像間の全体輝度値が等化されたときは特に、前景を明るくすることは背景を暗くすることを無効にすることになる傾向がある。好ましい実施形態において、輝度の変化はプレビュー画像とフラッシュ画像の間のユーグリッド距離として測定されるようにしてもよい。その測定は、以下のようにして行われることが好ましい。

（i）各画像のn×nピクセルである局所的ブロックの輝度ヒストグラムを測定する。

(ii)次に、プレビュー画像とフラッシュ画像の間の“違い”の絶対値を計算する。
（iii）続いて、“絶対輝度差”を得るために画像全体、または実質的に画像全体の当該測定値を合計する。

当該絶対輝度差の値は屋内画像の閾値よりも非常に大きく、また、屋外画像の閾値よりも非常に小さい。簡単に述べれば、屋外の画像において前景は明るさが小さくなる傾向があり、背景は暗さが小さくなる傾向がある。そのため、ノンフラッシュ画像とフラッシュ画像の間の局所的な輝度の相違は非常に小さい。当該実施の他の形態においては、分離された高い側の閾値と低い側の閾値が用いられてもよい。その差異が低い側の閾値よりも小さい場合、画像は屋外のものとして分類される。その差異が高い側の閾値よりも大きい場合は、画像は屋内のものとして定義される。

上記実施のさらなる形態において、当該分類は前景および／または背景として表される画像の領域についてのみ行われるようにすることができる。その場合、前景領域の全体輝度が閾値より増加するとき、画像は屋内のものとして分類されるようにすることができ、および／または、背景領域の全体輝度が閾値より減少するとき、画像は屋内のものとして分類されるようにすることができる。また、前景領域および背景領域のそれぞれの全体輝度が閾値より小さくしか変化しない場合は、その画像は屋外のものとして分類されるようにすることもできる。

当該分類の結果は格納されるようにしてもよく、また、カメラ内においてやそれに続く後の処理、並べ替えや画像管理オペレーションのために用いられるようにしてもよい。

ある場面の画像が屋外のものとして分類され、その後に前景と背景との分離のためにノンフラッシュに基づいたスキームを採用し得ることは、例えば２００６年２月１４に出願された米国出願６０／７７３,７１４で開示されている（参照：ＦＮ１１９）。

ブロックごとに平均化する技術は、利用可能なハードウェアサブサンプル器１２４を採用し得る最先端のデジタルカメラにおいて有利に達成することができる。これにより、各画像の各ピクセルがもとの画像のn×nブロックにおいて平均値を示す、両方の画像のサブサンプルされた１／ｎの画像を非常に早く生成することができる。

ある実施形態において、プレビュー画像と主要画像の間の大きさが最初にマッチングされた後、ピクセルごとに基づいて各画像の局所的な露出値を減じる前にさらなるサブサンプリングが行われるようにしてもよい。最も小さい一対のマッチングされた画像を使用して最初の前景と背景のマップが決定された後、当該マップは、当該結果を、各ピクセルがより大きな一対の画像中のピクセルのＮ×Ｎブロックに対応している２番目に大きな一対のサブサンプルされた画像に適用されることにより改良されるようにしてもよい。

前記最初のマップの定義付けは、より大きな一対のマッチングされた画像の最初の前景／背景マップの境界領域のみについての全ピクセルごとの分析が行われることにより実行されるようにしてもよい。リソースの計算において比較的安価である、マッチングされたサブサンプルされた画像の複数の組み合わせを生成するハードウェアサブサンプル器は利用可能であることは明らかである。ある実施形態において、マッチングされたサブサンプルされたより大きな一対の画像についてそのような一連の改良を連続して行うことにより、画像の調整および登録の必要がなくなるという効果がある。当該技術の利点は、大きさを連続して減少させた、マッチングされたサブサンプリングされた画像の一連の対を一時的に格納することについての必要性とのバランスが保たれなければならない。

閾値比較を含む処理のそれぞれは、隣接するピクセルのオペレーションを考慮するようにしてもよい。限界値および比較はノイズアーチファクトやプレビュー画像と最終的な画像の間のわずかな差異を除去するために周囲のピクセル値に依存している。

しかしながら、背景／前景の構成の決定は、単一パスであるピクセルに基づく、またはブロックに基づく分析のみの使用では完全に正確には行うことができないことが理解される。例えば、ストライプのシャツを着用した人物を想定する。暗いストライプの修正された輝度は、それらが多くの前景のピクセルに非常に近い位置にある場合であっても、それらが背景のピクセルであると実際には示される。

再び図２（ｂ）を参照すると図２（a）のサイズマッチング５３０の間、マッチングされる画像の幾つかの対が生成されるか、または図２（ｂ）のループを介したそれぞれの再帰において同時に生成される。例えば、主要画像の大きさが１０２４×７６８で、プレビュー画像の大きさが２５６×１９２である場合を検討する。解像度が１０２４×７６８（プレビューが４倍に拡大される）、２５６×１９２（主画像が４倍に縮小される）、６４×４８（主画像が１６倍に縮小され、プレビューが４倍に縮小される）の３つのマッチングされた画像の組み合わせを仮定する。ここで我々は、図２（a）で記載された分離ユニット段階５９０で、最初の分析が６４×４８の画像について行われることを想定する。

段階５９０の後、付加的段階５１７が、比較される大きさ（前景マップの最新のインタラクションを生成するために用いられた画像の大きさ）が主要フラッシュ画像Ｉ（x, y）のサイズと等しいか否か決定する。その結果、前景マップが次の比較サイズ、この場合においては２５６×１９２ピクセルに拡大されないことがある（５９９−２）。ここで、基のマップの各ピクセルは４×４ピクセルのブロックに拡大される。当該拡大されたマップの、低マップ解像度のピクセルである前景の区分と背景の区分の間の境界を形成する領域は確定され（５７０）、当該比較サイズ（２５６×１９２）のダウンサンプルされた画像がロードされる（５３１）。この場合において、当該技術は全体の画像、前景のセグメント内の領域である、より高解像度のまたは全体の画像の一部について適用され、前景の領域であると明確に確定されるようにしてもよい。本実施形態においては、背景と前景の間の境界領域についてのみこれらの分析が行われる。主画像に適用される同様の分析は、これらの領域に適用される。それらは等化処理（５５１）の前に調整されるようにしてもよく（５４０）、また、分割ユニット５９０は１６×１６の領域それぞれに適用される。その結果は、既存の前景マップ５１５と統合される。

再び図２Ｂを参照すると図２Ａのサイズマッチング５３０の間、マッチングされる画像の幾つかの対が生成されるか、または図２Ｂのループを介したそれぞれの再帰において同時に生成される。例えば、主要画像の大きさが１０２４×７６８で、プレビュー画像の大きさが２５６×１９２である場合を検討する。解像度が１０２４×７６８（プレビューが４倍に拡大される）、２５６×１９２（主画像が４倍に縮小される）、６４×４８（主画像が１６倍に縮小され、プレビューが４倍に縮小される）の３つのマッチングされた画像の組み合わせを仮定する。ここで我々は、図２Ａで記載された分離手段段階５９０で、最初の分析が６４×４８の画像について行われることを想定する。

段階５９０の後、付加的段階５１７が、比較される大きさ（前景マップの最新のインタラクションを生成するために用いられた画像の大きさ）が主要フラッシュ画像Ｉ（x, y）のサイズと等しいか否か決定する。その結果、前景マップが次の比較サイズ、この場合においては２５６×１９２ピクセルに拡大されないことがある（５９９−２）。ここで、基のマップの各ピクセルは４×４ピクセルのブロックに拡大される。当該拡大されたマップの、低マップ解像度のピクセルである前景の区分と背景の区分の間の境界を形成する領域は確定され（５７０）、当該比較サイズ（２５６×１９２）のダウンサンプルされた画像がロードされる（５３１）。この場合において、当該技術は全体の画像、前景のセグメント内の領域である、より高解像度のまたは全体の画像の一部について適用され、前景の領域であると明確に確定されるようにしてもよい。本実施形態においては、背景と前景の間の境界領域についてのみこれらの分析が行われる。主画像に適用される同様の分析は、これらの領域に適用される。それらは等化処理（５５１）の前に調整されるようにしてもよく（５４０）、また、分割手段５９０は１６×１６の領域それぞれに適用される。その結果は、既存の前景マップ５１５と統合される。

前景マップが主要フラッシュ画像５１７と同じ大きさである場合、それは主画像に直接適用されるようにすることができる（５０１）。また、小さい場合は、次の画像比較サイズにアップサンプルされ（５９９−２）、アルゴリズムを介したさらなる再帰が実行される。

分割されたデータは図２Ａの分割マスクとして格納される（５９８）。もとの画像サイズに戻すために必要である場合、分割マスクは、取得された画像が段階５３２においてダウンサンプルされたのと同じ因数（factor）により、アップサンプルされる必要がある（５９９）。アップサンプリング５９９は、アップサンプルされたマップの中の正しい領域がカバーされていることを確実にするために、マスクの周囲でエッジ情報を調査することについて十分な精度を有する必要がある。そのような技術はエッジ情報を保持する間の画像またはマスクのアップサンプリングに含まれるようにしてもよい。

図４は図２Ａの調整機能（５４０）の処理フローであり、入力されるのは図２Ａに関して定義された２つの画像Ｉ’（x, y）およびＰ’（x, y）である。調整は、画像全体に対する全体的なものであっても、特定の領域に対する局所的なものであってもよい。全体的な動きはカメラの動きにより引き起こされる場合があり、一方で、局所的な動きは画像の露出間隔の間の被写体の動きにより引き起こされる場合がある。例えば、Ｈピクセルによる水平方向、および／またはＶピクセルによる垂直方向、またはこれら２つの組み合わせの変化のような、単純な線状の調整が挙げられる。数学的には、変化した画像Ｐ”（x, y）は、以下のように表される。

式ＩＩ

しかしながら、単純な変換処理は、画像の調整において十分でない場合があるシフト不変となり得る。カメラの動きの場合でさえも、そのような動きは回転や移動と同様のズレを含む、アフィン変換を含むことがある。したがって、透視変化（perspective change）について修正するための軸の方向における対象物のポイントの対称シフトである、X-Yシーリング（shearing）や、軸にその座標を変更することにより被写体がピンチ(pinched)されるX-Yテーパーリング(tapering)が必要となることがある。その結果、座標の大きさがより大きいほど変更はより大きくなり、また、任意のポイントの周囲を回転したりする。

一般に、調製処理は、無限遠または反対に被写体をアフィン空間Ｒ^３から平面に動かさない射影変換の特定分類、または共線性が維持されるとともに（言い換えれば、最初の線上に位置するすべてのポイントが変換後の線上にも位置している）、距離の比率が維持される（例えば線分の中間点は変換後も中間点である）変換として定義される、アフィン変換を含むようにしてもよい。幾何学的縮小、拡大（expansion）、拡張(dilation)、反射、回転、切り取り、相似変換、螺旋相似（spiral similarities）、および転換はすべて、それらの組み合わせとともに、アフィン変換である。一般に、調整５４０は、画像処理の当業者によく知られている回転、転換、拡張、切り取りの組み合わせであるアフィン変換を介して行われる。

修正の仮定を通して、広範の変換が十分であるか否か決定するとき、画像の一つについて、ブロック５４２がＹＥＳと決定された場合、簡単にするためにそのプレビュー画像は、それ自体を最終的な最大解像度の画像に合わせるためにアフィン調整５４４を受ける。数学的に、当該変換は、以下のように表される。ここで、Ａは一次線形変換であり、ｑは変数（translation）である。

式ＩＩＩ

しかしながら、特に、生きている被写体を撮像するときに起こるような、被写体が移動するときに、広範の変換が十分に機能しない場合がある。そのような場合、特に複数の人間を被写体とする画像で、それら被写体が独立した秩序で動く場合、調整処理５４０は停止され、546にて多くの局所的な各領域にそれら自体についてのアフィン処理が行われる。赤目の検出と修正のために既存の技術を使用する場合には、画像間で目を修正することが好ましい。したがって、当該他の実施形態に基づき、顔のような目の周囲の近傍領域のために、一つ、または複数の修正が行われるようにしてもよい。

画像が調整されてはじめて、図２Ａにおいて画像間の露出値が等化される。

上記に記載した好ましい実施形態はオペレーション、段階、および／または有利な他の実施形態を生成するための多くの方法における部(コンポーネント)を加えたり、変更することにより、修正されるようにしてもよい。例えば、参照画像はプレビュー画像ではなくポストビュー画像とすることができる。すなわち、フラッシュ画像が撮られた後にただちにフラッシュなしで撮られた画像とすることができる。

また、参照画像はフラッシュ画像としてもよく、最大解像度で取得される画像はノンフラッシュ画像であってもよい。これの例としては、カメラが特定モード（ポートレートシーン選択モードと同様である）に設定された場合であり、その結果プレビュー画像はフラッシュを用いて撮像され、一方で最終的な画像はフラッシュなしで撮像されてもよい。この場合、画像間の差異の計算に関して、画像の役割は反対になる。加えて、参照画像はプレビュー画像であっても、ポストビュー画像であってもよい。

ここに記載した好ましい実施形態は、本質的にデジタルカメラを含む拡張されたデジタル取得技術を含んでもよいが、取得部を備える携帯電話や玩具のカメラのような他の装置と統合されるようにしてもよい。好ましい実施形態のデジタルカメラや他の画像取得装置は、画像データだけでなく、メタデータといわれる他の付加的データも格納する機能を有する。取得装置やパーソナルコンピュータのような他の分離された装置において行われてもよい、後の処理段階における処理および分割のために、JPEG、TIFF、JPEG-2000のような画像ファイルのファイルヘッダは、プレビュー画像や、一組のプレビュー画像や、選択された参照画像の圧縮版を提供するために処理される単一画像を含む取得情報を含むようにしてもよい。

当該実施形態において、比較段階では、ピクセル値は明るさのために比較されるようにしてもよい。代替的にまたは付加的に、これらは色調のような他の値と比較されるようにすることができる。色彩の比較の例は、白色光を表す黄色がかった色、または太陽に照らされた環境下の陰領域を表す青がかった色のような暖色や、周囲の明るさとフラッシュの明るさの間の変化を示す他の色である。ほとんどの場合、差の絶対値はどの画像がより大きなピクセル値を有しているかということにかかわらず、格納される。関連の場合においては、その差だけでばく方向についても維持される。この２つの技術は２つの画像の間のレジストレーションの確立をも補助するようにしてもよい。対象物がわずかに動く場合、例えば水平方向に動く場合、相対的な差は、対象物の左側の値と対象物の右側の値の反転（reversal）で表すようにしてもよい。

ある実施形態においては、“差異マップ”ではなく“比率マップ”を採用することが好ましいこともある。そのような実施形態においては、２つの画像（フラッシュおよびノンフラッシュ）のピクセル輝度値の間の比率が決定される。当該技術はある場合においてはより好ましい結果をもたらす場合があり、また、単純な減算に代わるものとして用いられるようにしてもよい。また、ある実施形態においては、最終的な前景／背景マップを生成するために論理的技術、または統計的技術、またはそれらの組み合わせを使用する両方の技術に由来する出力領域を組み合わせることが効果的である場合がある。

本発明はここに記載された実施形態に限定されるものではなく、添付の請求の範囲に記載の発明、およびそれと構造的および機能的に等価であるものの要旨から逸脱することなく、修正または変更が可能である。加えて、Nonaka Osamuによる米国の公開された特許出願2003/0103159、“Evaluating the effect of a strobe light in a camera”は、フラッシュ画像の陰領域を修正するためのインカメラ画像処理情報を開示する。

ここに記載された好適な実施形態にしたがって行われ、上述し、および／または請求する方法において、オペレーションは選択された書面上の順序で説明されている。しかしながら、当該順序は選択されたものであり、書面上の利便性のために順序付けされたものであって、オペレーションを実行するために特定の順序付けを暗示することを意図するものではない。

好ましい実施形態にしたがって作用するカメラ装置のブロック図である。 ２Ａは好ましい実施形態に従った詳細なワークフローを示す。 ２Ｂは好ましい実施形態に従った詳細なワークフローを示す。 ２Ｃは好ましい実施形態に従った詳細なワークフローを示す。 画像のフラッシュの場合およびノンフラッシュの場合のピクセル明度の分布を示すグラフである。 図２Ａのワークフロー中で用いられている調整処理を示す。

Claims (20)

1. (a)デジタル画像取得装置(20)と、
   (b)画像取得の間に照明を提供するためのフラッシュユニット(70)と、
   (c)取得画像の少なくとも一部分内において前景領域、背景領域、または背景領域およ
   び前景領域であることを示している一つ以上の領域を決定するための分割ユニット(90)と、を備え、
   (d)前記決定処理は前記取得画像とみかけ上同じ場面の参照画像とを比較(596)し、
   (e)前記取得画像および前記参照画像のうち一方はフラッシュを用いて撮像された画像であり、他方はフラッシュを用いないで撮像された画像であり、
   (f)前記取得画像と前記参照画像は異なるピクセル解像度を有し、前記システムは、前記分割ツールの適用の前に、少なくとも前記一部分について前記取得画像のピクセル解像度と前記参照画像のピクセル解像度とのマッチングを遂行する(530)ピクセルマッチングユニットと、
   (g) 少なくとも前記一部分について、前記領域または全ての前記取得画像および前記参照画像の露出の全体的なレベルを実質的に等化する (550) 露出等化器をさらに備え、
   (h) 少なくとも前記一部分について、前記分割ユニットは、前記取得画像および前記参照画像の露出の前記全体的なレベルの比較に基づき上限と下限の閾値（Ｖ _Ｈ , Ｖ _Ｌ ）を決定し、それらの値が上限の閾値より大きいか否か、または下限の閾値より小さいか否かによって取得画像のピクセルを前景または背景として指定することを特徴とする写真用フィルムを有さないデジタル画像取得システム。
2. 前記ピクセルマッチングユニットは低解像度の画像のアップサンプリング(534)、高解
   像度の画像のサブサンプリング(532)、または両方を利用することを特徴とする請求項１に記載のシステム。
3. 前記分割ユニットの適用の前に、少なくとも前記一部分に関して前記取得画像と前記参照画像の前記領域を調整する(540)調整ユニットをさらに備える請求項１に記載のシステ
   ム。
4. 前記領域または全ての前記取得画像および前記参照画像の露出の前記全体的なレベルの前記実質的な等化処理は、前記取得画像の周囲露出を前記参照画像においてシュミレーションすることを特徴とする請求項１に記載のシステム。
5. 前記参照画像における前記取得画像の前記周囲露出の前記シュミレーション処理は、前記参照画像において前記取得画像の、絞り、取り込みスピード、カラー変換およびゲインのうち１つまたは組み合わせをデジタルにシュミレーションすることを特徴とする請求項４に記載のシステム。
6. 前記取得画像の前記周囲露出の前記シュミレーション処理は、独立した領域またはカラーチャンネル、またはそれらの組み合わせについての独立した不規則な操作をすることを特徴とする請求項４に記載のシステム。
7. 前記取得画像および前記参照画像の露出の前記全体的なレベルの前記実質的な等化処理は、前記参照画像の周囲露出を前記取得画像の計算された露出にマッチングさせることを特徴とする請求項１に記載のシステム。
8. 前記参照画像は前記取得画像よりも低解像度のプレビュー画像であり、前記取得画像はフラッシュで撮像された画像であることを特徴とする請求項１に記載のシステム。
9. 顔検出モジュールをさらに備えることを特徴とする請求項１に記載のシステム。
10. 前記前景領域への選択的適用のために、赤目検出フィルタ、赤目修正フィルタ、または両方をさらに備えることを特徴とする請求項１に記載のシステム。
11. 前記取得画像の前記前景または前記背景において候補が出現するか否かによって、赤目である可能性が高い候補領域を実際の赤目領域と変更するための可能性モジュールをさらに備えることを特徴とする請求項１０に記載のシステム。
12. 前記参照画像はプレビュー画像であることを特徴とする請求項１に記載のシステム。
13. 前記参照画像は前記取得画像の後に順に取得された画像であることを特徴とする請求項１に記載のシステム。
14. 前記参照画像は複数の参照画像の組み合わせであることを特徴とする請求項１に記載のシステム。
15. 前記デジタル画像取得システムはデジタルカメラを備えることを特徴とする請求項１に記載のシステム。
16. 前記デジタル画像取得システムはデジタルカメラと外部処理装置（１０）の組み合わせを備えることを特徴とする請求項１に記載のシステム。
17. 前記分割ユニットは前記外部処理装置内に配置されることを特徴とする請求項１６に記載のシステム。
18. 前記デジタル画像取得システムはデジタル画像プリント装置を含むバッチ処理システムを備えることを特徴とする請求項１に記載のシステム。
19. 前記デジタル画像取得システムはサーバコンピュータを含むバッチ処理システムを備えることを特徴とする請求項１に記載のシステム。
20. デジタル画像処理方法であって、
    (a)デジタル画像の取得と、
    (b)画像取得の間の照明の提供と、
    (c)取得画像の少なくとも一部分内において前景領域、背景領域、または背景領域および前景領域であることを示している一つまたは複数の領域を決定する画像分割段階とを備え、
    (d)前記決定処理は前期取得画像とみかけ上同じ場面の参照画像とを比較し、
    (e)前記取得画像および前記参照画像のうち一方はフラッシュを用いて撮像された画像であり、他方はフラッシュを用いないで撮像された画像であり、
    (f)前記取得画像と前記参照画像は異なるピクセル解像度を有し、前記方法は、前記分割段階の適用の前に、少なくとも前記一部分について前記取得画像のピクセル解像度と前記参照画像のピクセル解像度とのマッチングを遂行するピクセルマッチング処理段階と、
    (g) 少なくとも前記一部分について、前記領域または全ての前記取得画像および前記参照画像の露出の全体的なレベルを実質的に等化する (550) 露出等化処理段階をさらに備え、
    (h) 少なくとも前記一部分について、前記画像分割段階は、前記取得画像および前記参照画像の露出の前記全体的なレベルの比較に基づき上限と下限の閾値（Ｖ _Ｈ , Ｖ _Ｌ ）を決定し、それらの値が上限の閾値より大きいか否か、または下限の閾値より小さいか否かによって取得画像のピクセルを前景または背景として指定することを特徴とするデジタル画像処理方法。

Images