JP5725194B2 - 夜景画像ボケ検出システム - Google Patents

Description

カメラは一般的に、１つないし複数のオブジェクトが含まれるシーンの画像を取得するために使用される。残念ながらその画像の中にはボケているものがある。たとえば、カメラの露光時間中のカメラの動き、および／またはオブジェクトの動きにより、画像にボケが生じることがある。さらに、画像取得時にカメラのピントが正しくフォーカスされていないと、その画像がボケることになる。

デジタル写真撮影が一層広まるにつれ、鮮鋭度の測定などの画質判定が大きな興味を引く話題となっている。鮮鋭度とは一般的に、画像内の細部の明瞭度またはエッジ部の遷移度の測定値で表される。現在、画像の鮮鋭度を評価するために使用される、画像内の鮮鋭度情報の測定に基づいた方法が複数ある。残念ながら、既存の方法は、きわめて多様な画像に対して、その鮮鋭度のレベルを正確かつ一貫して評価していない。たとえば、従来の方法では、画像内に飽和光跡があると、ボケた夜景画像を検出できないことが多い。これは、飽和光跡が「偽の」鮮鋭度情報となるからである。

本発明は試験画像がボケているかを判定する方法を目的としている。一実施形態において、この方法には、試験画像内の有効な光跡を識別し、似たような反復パターンの向きを持つマッチした有効光跡数が十分ある場合は試験画像をボケとして分類する手順が含まれる。本明細書にて提供される場合、特定の実施形態において、この方法は、画像内の任意の光跡の存在と特性に基づき、夜景画像がボケているかを自動検出するアルゴリズムを使用する。本発明は、この光跡の特性を抽出し光跡を分析するので、困難な夜景画像でボケを正確に検出し、比較的低い誤検出率を特長としている。

一実施形態において、この方法でまず試験画像が、対象となる（潜在的）夜景であるかを識別する。この設計では、コンピューティング・パワー（計算量）を節約するためにこの方法を夜景画像のみに使用する。さらに、コンピューティング・パワー（計算量）の節約のために、この方法に、試験画像のダウンサンプリングを含むことができる。

ここで、有効な光跡を識別する手順には、定義済みの光飽和閾値を上回る値を持つ画素を識別することにより画像内の飽和画素を識別するという手順を含むことができる。さらに、有効な光跡の識別手順には、隣接の飽和画素から潜在的光跡を構築する手順が含まれる。またさらに、有効な光跡の識別手順には、潜在的光跡の１つないし複数の領域特性を計算し、潜在的光跡の領域特性に基づいて、有効な光跡を識別するという手順を含むことができる。

一実施形態において、試験画像をボケとして分類する手順には、有効な光跡のサイズと向きを比較する手順を含むことができる。さらに、試験画像をボケとして分類する手順には、有効な光跡の近接度を比較する手順を含むことができる。

本発明はまた、試験画像を取得するための取得システム、および上述した方法のうちの１つないし複数を利用して試験画像がボケているかを推定するための制御システムを含んだカメラに関する。代替的に、本発明は、１つないし複数の画像を後処理するためのパソコン上、または１つないし複数の画像の後処理をするためのオンラインサイト上で使用することができる。

本発明の新規な特長ならびに本発明自体は、いずれもその構造および操作に関する添付の説明に対応した添付図面から最も良く理解されよう。この添付図面において類似している参照文字は類似している部分を示している。
シーン、本発明の特長を有する画像装置、当該シーンの未処理の１回目の取得画像、当該シーンの未処理の２回目の取得画像、および調整済み画像を簡略に表したものである。 図１で示した画像装置の簡略化された正面斜視透視図である。 は本発明を特長とする夜景画像でのボケ検出方法の、１つの実施形態を表したフローチャートである。 図３のボケ検出方法の一部分を更に図示したフローチャートである。 取得された画像の一部を簡略化した画素で表したものである。 図３のボケ検出方法の別の部分を更に図示したフローチャートである。 本発明の特長を有する夜景画像でのボケ検出方法の、別の実施形態を表したフローチャートである。

図１は本発明の特長を有する画像装置１０の簡略化された斜視透視図と、シーン１２を示している。図１はまた、（画像装置１０の図から離れて描かれている）未処理の１回目の取得画像１４と、（画像装置１０の図から離れて描かれている）未処理の２回目の取得画像１６を示しており、両画像ともに画像装置１０によって取得されている。図１では１回目の取得画像１４は（波状でない線を含んだ）鮮鋭な画像１８を描写することを目的としており、２回目の取得画像１６は（波状の線を含んだ）画像のボケ２０を描写することを目的としている。たとえば、ボケのある画像１６の取得中に、画像装置１０の動き、および／またはシーン内のオブジェクト２２の動きにより、画像１４内でモーションブラー２０が生じることがある。

一実施形態において、画像装置１０には、夜間に取得された１つないし複数の画像１４、１６がボケているかを推定するユニークな方法を使用した、制御システム２４（点線で描写）が含まれている。続いて、ボケていると判定された画像１６にのみ、ボケ修正処理を適用することができる。このため、鮮鋭な画像１４には、ボケ修正処理を不要に行うことはない。

より具体的には、特定の実施形態において、制御システム２４はアルゴリズムを使用して、取得画像１４、１６内の任意の光跡２５の存在と特性に基づいて、夜景画像１４、１６がボケているかを自動検出する。本発明は、この光跡２５の特性を試験画像１６から抽出し光跡２５を分析するので、困難な夜景画像でボケを正確に検出し、比較的低い誤検出率を特長としている。一方、画像内の鮮鋭情報の測定に基づいた従来のボケ計量アルゴリズムは、光跡によって「偽」の鮮鋭情報が導かれることが頻繁にあるために、光跡のあるボケた夜景画像を検出できないことが多々ある。

既知のように、カメラが動いている間（例：手ぶれ）に光の点が取得されると、その画像には、カメラの動きを反映しそれに対応した方向に跡を引く光の点が含まれることがある。たとえば２回目の取得画像１６はカメラ１０が横に動いている間に取得された。その結果、２回目の取得画像１６内の光跡２５が水平方向に伸びている。本明細書にて使用される場合、光跡２５という用語は、取得撮影された光と、動きの結果生じた光の跡を含んでいる。

画像装置１０により取得されるシーン１２の種類は多様である。たとえば、シーン１２には１つまたは複数のオブジェクト２２が含まれうる。例として、動物、植物、哺乳類、光源、および／または周囲の環境などがある。簡潔に説明するため、図１において、シーン１２は、人物２２Ａの簡略化された棒の人物像と、間隔をおいた複数の光源２２Ｂを含んだ夜景の描写である。ただし、夜景には人物も光源も含まれない場合もあることは認識されている。

図２は、画像装置１０の１つの非限定的実施形態の、簡略化された正面斜視前面透視図である。この実施形態において、画像装置１０はデジタルカメラであり、制御システム２４（点線のボックスとして描写）に加え、装置フレーム筐体２２６、光学アセンブリ２２８、取得システム２３０（点線のボックスとして描写）が含まれている。これらの構成部品の設計は、画像装置１０の設計要件および種類に対応するために、多岐にわたってもよい。さらに、画像装置１０は、これらの構成部品の１つまたは複数を使用せずに設計することもできる。追加的又は代替的に、画像装置１０はシーン１２のビデオを取得するために設計することができる。

装置フレーム２２６は頑丈で、画像装置１０の他の構成部品の少なくともいくつかを支えることができる。一実施形態において、装置フレーム２２６は、カメラの他の構成部品の少なくともいくつかを受け入れ保持する空洞を持つ、一般的に長方形の中空のボディを含んでいる。装置フレーム２２６は、取得システム２３０で画像を取得するシャッターボタン２３２を含むことができる。

光学アセンブリ２２８は、光の焦点を取得システム２３０上に当てるための、単レンズ、または互いに連結して作動する複数レンズの組み合わせを含めることができる。一実施形態において、画像装置１０は、取得システム２３０が被写体の最も鮮鋭な画像を受け取るまで、光学アセンブリ２２８の単レンズもしくは複数レンズを前後に動かす、１つまたは複数のレンズムーバーを含んだ、オートフォーカスアセンブリ（図略）を含んでいる。

取得システム２３０は、画像１４、１６（図１に描写）の情報を取得する。取得システム２３０の設計は、画像装置１０のタイプによって多様である。デジタルタイプのカメラでは、取得システム２３０は、画像センサー２３４（点線で描写）（例：チャージカプル装置）、フィルターアセンブリー２３６（点線で描写）（例：ベイヤーフィルター）、および保存システム２３８（点線で描写）が含まれる。保存システム２３８は装置フレーム２２６と組み合わせて、これに固定させるか、または取り外し可能である。適切な保存システム２３８の非限定的例には、フラッシュメモリー、フロッピーディスク（登録商標）、ハードディスク、あるいは書き込み可能なＣＤまたはＤＶＤが含まれる。

制御システム２４は画像装置１０の電気部品に電気的に接続され、電気部品の動作を制御する。制御システム２４は１つないし複数のプロセッサーおよび回路を含むことができ、制御システム２４は本明細書で説明されている機能の１つまたは複数を実行するようプログラムすることができる。図２では、制御システム２４は装置フレーム２２６と画像装置１０の残りの構成部品に固定されている。さらに、この実施形態では、制御システム２４は画像をカメラ内で処理するために装置フレーム２２６の中に置かれている。あるいは、ここで開示されているアルゴリズムを使用した制御システムは、画像１４、１６の後処理を行うカメラとは別（例：コンピュータまたはウェブサイト）にすることもできる。

図１に戻ると、制御システム２４は、任意の画像１４、１６が鮮鋭かボケかを判定する１つないし複数の方法を使用したソフトウェアおよび／またはファームウェアを含む。さまざまな実施形態において、制御システム２４は、後に画像装置１０によって取得された新しい画像１４、１６（これは本明細書において時折「試験画像」とも呼ばれる）が鮮鋭であるかボケているかを予測する、製造工程中にプログラムされるファームウェアを含む。

さらに、特定の実施形態において、制御システム２４には、ボケた画像１６のボケ２０の量を低減して調整された画像４０を提供するソフトウェアを含むことができる。この例では、制御システム２４は、１回目の画像１４が鮮鋭であり後処理が不要であると判定することができる。さらに、制御システム２４は２回目の画像１６がボケていると判定することができる。続いて、制御システム２４は、２回目の画像１６のボケ２０の量を低減して調整された画像４０を提供する。

画像装置１０には、未処理の画像１４、１６および／または調整済み画像４０を表示する、画像ディスプレイ４２を含むことができる。この設計では、ユーザーは１４、１６、４０のうちどの画像を保存し、どの画像を削除するかを決定することができる。さらに、画像ディスプレイ４２は、画像装置１０の機能を制御するために使用できるその他の情報を表示することができる。

さらには、画像装置１０は、ユーザーが画像装置１０の機能を制御できるようにする制御装置２４に電気的に接続された１つまたは複数の制御スイッチ４４を含むことができる。たとえば、１つまたは複数の制御スイッチ４４を使用して、画像装置１０を、ここで開示されているボケ評価および低減処理へ切り替えるよう選択することができる。特定の実施形態において、計算処理を省くために、本発明を、特定タイプの画像（例：暗光画像）にのみ（手動ないし自動的に）適用するよう選択できる。

図３は本発明の特長を有するボケ検出方法３００の１つの実施形態を表したフローチャートである。概要として、夜景画像が識別される。識別された各夜景画像に対し、光跡（飽和／近飽和光）パターンが試験画像から抽出される。夜景画像は、光跡の強い反復的パターンが存在すると、ボケがあるとして分類される。さらに、誤検出状態（つまり、鮮鋭な夜景画像をボケと分類してしまうこと）を低減するために、本発明はさまざまな制約を使用して、光跡の形、サイズ、距離などを限定する。

図３の手順３０２で示されているように、試験画像が提供される。たとえば試験画像は、画像のカメラ内処理のために、カメラで取得することができる。あるいは、ここで開示されたアルゴリズムを使用した別の制御システムに、試験画像を提供しても良い。

特定の実施形態において、本アルゴリズムは、夜景画像がボケているかを正確に判定する。従って、コンピューティング・パワー（計算量）を節約するために、本アルゴリズムが選択的に夜景画像にのみ適用される。よって、手順３０４では、試験画像および／または試験画像に関連したカメラのメタデータが分析され、試験画像が潜在的夜景画像であるかを判定する。一実施形態において、試験画像が取得された時点での光の条件を分析することにより、当該試験画像が潜在的夜景であるかをアルゴリズムで判定する。たとえば、試験画像の取得中に（画像を取得した）画像装置の露出値（ＥＶ）を調べることにより、試験画像が潜在的夜景画像であるかをアルゴリズムで識別できる。１つの例では、控えめな低露出値の閾値を選択し、（ｉ）露出値がこの露出値の閾値より低い各画像が夜景として見なされ、また（ｉｉ）露出値がこの露出値の閾値より大きいかまたは等しい各画像は夜景としては見なされない。これに代わる非限定的実施形態においては、露出値の閾値を約６．５、６、または５．５にすることができる。あるいは、他の値を露出値の閾値に使用することもできる。

計算コストを節約するその他の方法がある。１つの非限定的例では、画像が夜景であるかを点検するのに加え、アルゴリズムで夜景画像の手持ち撮影可能係数を点検することもできる。手持ち撮影可能係数は、焦点距離に露光時間を掛けたものに等しい。手持ち撮影可能係数が小さいとモーションブラーは生じにくいので、手持ち撮影係数が小さすぎる場合は、光跡アルゴリズムを適用する必要がない。非限定的例として、手持ち撮影可能係数の閾値を１にすることができる（ＴＨ＝１）。

次に、手順３０６で、画像が潜在的夜景ではないと判定された場合、制御システムは別の従来の方法を使用して試験画像の鮮鋭度を測定することができる。従って、この従来の方法を使用して画像がボケているか鮮鋭であるかを判断することができる。画像鮮鋭度を測定する従来の方法の適切な非限定的例には、学習ベースの画像鮮鋭度分類アルゴリズムが含まれる。このアルゴリズムは、「Image Sharpness Classification SＹstem（画像鮮鋭度分類システム）」と題されたＰＣＴ出願番号ＵＳ２０１０／００３９８４３に説明されており、この内容は本明細書に参照文献として引用されている。別の適切な画像鮮鋭度分類アルゴリズムは、Proc. IEEE International Conference on Image Processing ２００５出版、D.Shaked et al.著の 「Sharpness Measure: Towards Automatic Image Enhancement（鮮鋭度測定：自動画像強化に向けて）」に記載されている。

あるいは、手順３０８で、画像が潜在的夜景であると判断された場合、有効な光跡が試験画像で特定、識別される。別の言い方をすれば、識別された各夜景画像に対し、有効な光跡（飽和／近飽和光）のパターンが試験画像から抽出される。

図４は、画像内で有効な光跡を特定、識別するために使用できる１つの方法を説明したフローチャートである。図４に図示されているように、試験画像内で関連する潜在的光跡を識別し抽出するために使用される方法には、計算コストを節約するためにオリジナルのカラー試験画像をダウンサンプリングする手順４０２を含めることができる。たとえば、オリジナルのカラー画像をダウンサンプル（例：３分の１（１／３）または４分の１（１／４）というダウンサイズ係数でサブサンプル）することができる。この手順は計算コストを節約するために任意に選択できることに注目すべきである。

続いて、手順４０４では、光跡の潜在的一部を構成する画素をアルゴリズムで特定する。これは、各画素に関する全カラーチャンネル間での最大値を、光飽和閾値と比較することで特定できる。より具体的には、たとえば各画素に関し、赤、緑、青（ＲＧＢ）の色空間において、赤の値、緑の値、青の値を比較して最大値を選択する。非限定的例として、０〜２５５の値のスケールでは、画素の赤の値が１１３、緑の値が２０５、青の値が１７５の場合、その画素の最大値は緑の値２０５である。この例では、画素には３つの値があり、その画素の最大値が光飽和閾値と比較される。さらに、非限定的一例として、光飽和閾値を１９０とすることができる。この例では最大値（グリーンチャンネルの値２０５）が光飽和閾値（この例では１９０）以上となっている。従って、この画素は潜在的光跡画素として分類される。

あるいは、この例で光飽和閾値が２１０に設定されていると、最大値（グリーンチャンネルの値２０５）は光飽和閾値（この例では２１０）より小さい。従って、この画素は潜在的光跡画素としては分類されない。

光飽和閾値が、本明細書に提供されている例とは異なる場合があるということに留意すべきである。さらに本明細書に提供されている例では、光跡の潜在的一部として画素が分類されるためには、各画素で、１つのカラーチャンネルのみの値がその画素の光飽和閾値より大きくなければならない。あるいは、たとえば各画素で、光跡の潜在的一部として画素が分類されるためには、複数チャンネルの値がその画素の光飽和閾値より大きくなければならない、というアルゴリズムの要件を設定することができる。

図５は、ボケた２回目の取得画像１６（図１に描写）の一部を極度に簡略化した１６×１６画素５５０である。この例では簡略を期すために、３つの別個の光跡５５２が描かれている。１６×１６画素のグリッドは単に表示目的のためであり、光跡は典型的にはより大きく（例：画素量が多い）、図５に示されているよりも互いにもっと離れている、ということに留意すべきである。

また、図５にはＸ軸とＹ軸を描いた二次元方向の座標系が含まれていることにも注意すべきである。この例では、画素５５０のそれぞれにこの座標系に関する座標位置を付けることができる。たとえば左下隅の画素５５０は画素（Ｘ１，Ｙ１）、右上隅の画素５５０は画素（Ｘ１６，Ｙ１６）として識別できる。あるいは、画素５５０は別の言い方で識別できる。

さらに、潜在的光跡画素（例：カラーチャンネルの最大値が光飽和閾値より大きいか等しい画素）には「Ｓ」のマークを付けて識別していることに留意すべきである。さらにまた、潜在的光跡画素としては識別されない画素（例：カラーチャンネルの最大値が光飽和閾値より小さい画素）はブランクのままとした。

図５では以下の画素が潜在的光跡画素として識別されている：（Ｘ２，Ｙ１），（Ｘ３，Ｙ１），（Ｘ４，Ｙ１），（Ｘ５，Ｙ１），（Ｘ６，Ｙ１），（Ｘ７，Ｙ１），（Ｘ８，Ｙ１），（Ｘ９，Ｙ１），（Ｘ１０，Ｙ１），（Ｘ１１，
Ｙ１），（Ｘ１２，Ｙ１），（Ｘ１３，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ２），（Ｘ４，Ｙ２），（Ｘ５，Ｙ２），（Ｘ６，Ｙ２），（Ｘ７，Ｙ２），（Ｘ８，Ｙ２），（Ｘ９，Ｙ２），（Ｘ１０，Ｙ２），（Ｘ１１，Ｙ２），（Ｘ１２，Ｙ２），（Ｘ１３，Ｙ２），（Ｘ２，Ｙ３），（Ｘ３，Ｙ３），（Ｘ４，Ｙ３），（Ｘ５，Ｙ３），（Ｘ６，Ｙ３），（Ｘ７，Ｙ３），（Ｘ８，Ｙ３），（Ｘ９，Ｙ３），（Ｘ１０，Ｙ３），（Ｘ１１，Ｙ３），（Ｘ１２，Ｙ３），（Ｘ１３，Ｙ３），（Ｘ２，Ｙ４），（Ｘ３，Ｙ４），（Ｘ４，Ｙ４），（Ｘ５，Ｙ４），（Ｘ６，Ｙ４），（Ｘ７，Ｙ４），（Ｘ８，Ｙ４），（Ｘ９，Ｙ４），（Ｘ１０，Ｙ４），（Ｘ１１，Ｙ４），（Ｘ１２，Ｙ４），（Ｘ１３，Ｙ４），（Ｘ４，Ｙ６），（Ｘ５，Ｙ６），（Ｘ６，Ｙ６），（Ｘ７，Ｙ６），（Ｘ８，Ｙ６），（Ｘ９，Ｙ６），（Ｘ１０，Ｙ６），（Ｘ１１，Ｙ６），（Ｘ１２，Ｙ６），（Ｘ１３，Ｙ６），（Ｘ１４，Ｙ６），（Ｘ１５，Ｙ６），（Ｘ４，Ｙ７），（Ｘ５，Ｙ７），（Ｘ６，Ｙ７），（Ｘ７，Ｙ７），（Ｘ８，Ｙ７），（Ｘ９，Ｙ７），（Ｘ１０，Ｙ７），（Ｘ１１，Ｙ７），（Ｘ１２，Ｙ７），（Ｘ１３，Ｙ７），（Ｘ１４，Ｙ７），（Ｘ１５，Ｙ７），（Ｘ４，Ｙ８），（Ｘ５，Ｙ８），（Ｘ６，Ｙ８），（Ｘ７，Ｙ８），（Ｘ８，Ｙ８），（Ｘ９，Ｙ８），（Ｘ１０，Ｙ８），（Ｘ１１，Ｙ８），（Ｘ１２，Ｙ８），（Ｘ１３，Ｙ８），（Ｘ１４，Ｙ８），（Ｘ１５，Ｙ８），（Ｘ４，Ｙ９），（Ｘ５，Ｙ９），（Ｘ６，Ｙ９），（Ｘ７，Ｙ９），（Ｘ８，Ｙ９），（Ｘ９，Ｙ９），（Ｘ１０，Ｙ９），（Ｘ１１，Ｙ９），（Ｘ１２，Ｙ９），（Ｘ１３，Ｙ９），（Ｘ１４，Ｙ９），（Ｘ１５，Ｙ９），（Ｘ１，Ｙ１１），（Ｘ２，Ｙ１１），（Ｘ３，Ｙ１１），（Ｘ４，Ｙ１１），（Ｘ５，Ｙ１１），（Ｘ６，Ｙ１１），（Ｘ７，Ｙ１１），（Ｘ８，Ｙ１１），（Ｘ９，Ｙ１１），（Ｘ１０，Ｙ１１），（Ｘ１１，Ｙ１１），（Ｘ１２，Ｙ１１），（Ｘ１，Ｙ１２），（Ｘ２，Ｙ１２），（Ｘ３，Ｙ１２），（Ｘ４，Ｙ１２），（Ｘ５，Ｙ１２），（Ｘ６，Ｙ１２），（Ｘ７，Ｙ１２），（Ｘ８，Ｙ１２），（Ｘ９，Ｙ１２），（Ｘ１０，Ｙ１２），（Ｘ１１，Ｙ１２），（Ｘ１２，Ｙ１２），（Ｘ１，Ｙ１３），（Ｘ２，Ｙ１３），（Ｘ３，Ｙ１３），（Ｘ４，Ｙ１３），（Ｘ５，Ｙ１３），（Ｘ６，Ｙ１３），（Ｘ７，Ｙ１３），（Ｘ８，Ｙ１３），（Ｘ９，Ｙ１３），（Ｘ１０，Ｙ１３），（Ｘ１１，Ｙ１３），（Ｘ１２，Ｙ１３），（Ｘ１，Ｙ１４），（Ｘ２，Ｙ１４），（Ｘ３，Ｙ１４），（Ｘ４，Ｙ１４），（Ｘ５，Ｙ１４），（Ｘ６，Ｙ１４），（Ｘ７，Ｙ１４），（Ｘ８，Ｙ１４），（Ｘ９，Ｙ１４），（Ｘ１０，Ｙ１４），（Ｘ１１，Ｙ１４），（Ｘ１２，Ｙ１４），（Ｘ１６，Ｙ３），（Ｘ１５，Ｙ４），（Ｘ１４，Ｙ１２），（Ｘ１５，Ｙ１４）

次に図４に戻り、手順４０６で、光跡５５２の潜在的一部として分類された画素から連続した領域が構築される（図５参照）。別の言い方をすれば、潜在的光跡画素それぞれをその隣接接画素と比較して、その隣接画素も潜在的光跡画素の分類に入るかを判定する。たとえば図５に戻ると、以下の画素が潜在的光跡画素として識別されており、これらの画素は互いに隣接している：（Ｘ２，Ｙ１），（Ｘ３，Ｙ１），（Ｘ４，Ｙ１），（Ｘ５，Ｙ１），（Ｘ６，Ｙ１），（Ｘ７，Ｙ１），（Ｘ８，Ｙ１），（Ｘ９，Ｙ１），（Ｘ１０，Ｙ１），（Ｘ１１，Ｙ１），（Ｘ１２，Ｙ１），（Ｘ１３，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ２），（Ｘ４，Ｙ２），（Ｘ５，Ｙ２），（Ｘ６，Ｙ２），（Ｘ７，Ｙ２），（Ｘ８，Ｙ２），（Ｘ９，Ｙ２），（Ｘ１０，Ｙ２），（Ｘ１１，Ｙ２），（Ｘ１２，Ｙ２），（Ｘ１３，Ｙ２），（Ｘ２，Ｙ３），（Ｘ３，Ｙ３），（Ｘ４，Ｙ３），（Ｘ５，Ｙ３），（Ｘ６，Ｙ３），（Ｘ７，Ｙ３），（Ｘ８，Ｙ３），（Ｘ９，Ｙ３），（Ｘ１０，Ｙ３），（Ｘ１１，Ｙ３），（Ｘ１２，Ｙ３），（Ｘ１３，Ｙ３），（Ｘ２，Ｙ４），（Ｘ３，Ｙ４），（Ｘ４，Ｙ４），（Ｘ５，Ｙ４），（Ｘ６，Ｙ４），（Ｘ７，Ｙ４），（Ｘ８，Ｙ４），（Ｘ９，Ｙ４），（Ｘ１０，Ｙ４），（Ｘ１１，Ｙ４），（Ｘ１２，Ｙ４），（Ｘ１３，Ｙ４）

したがって、これらの画素はまとめて、一つ目の潜在的光跡５５２Ａとして分類することができる。

ほぼ同様に、以下の画素も潜在的光跡画素として識別されており、これらの画素も互いに隣接している：（Ｘ４，Ｙ６），（Ｘ５，Ｙ６），（Ｘ６，Ｙ６），（Ｘ７，Ｙ６），（Ｘ８，Ｙ６），（Ｘ９，Ｙ６），（Ｘ１０，Ｙ６），（Ｘ１１，Ｙ６），（Ｘ１２，Ｙ６），（Ｘ１３，Ｙ６），（Ｘ１４，Ｙ６），（Ｘ１５，Ｙ６），（Ｘ４，Ｙ７），（Ｘ５，Ｙ７），（Ｘ６，Ｙ７），（Ｘ７，Ｙ７），（Ｘ８，Ｙ７），（Ｘ９，Ｙ７），（Ｘ１０，Ｙ７），（Ｘ１１，Ｙ７），（Ｘ１２，Ｙ７），（Ｘ１３，Ｙ７），（Ｘ１４，Ｙ７），（Ｘ１５，Ｙ７），（Ｘ４，Ｙ８），（Ｘ５，Ｙ８），（Ｘ６，Ｙ８），（Ｘ７，Ｙ８），（Ｘ８，Ｙ８），（Ｘ９，Ｙ８），（Ｘ１０，Ｙ８），（Ｘ１１，Ｙ８），（Ｘ１２，Ｙ８），（Ｘ１３，Ｙ８），（Ｘ１４，Ｙ８），（Ｘ１５，Ｙ８），（Ｘ４，Ｙ９），（Ｘ５，Ｙ９），（Ｘ６，Ｙ９），（Ｘ７，Ｙ９），（Ｘ８，Ｙ９），（Ｘ９，Ｙ９），（Ｘ１０，Ｙ９），（Ｘ１１，Ｙ９），（Ｘ１２，Ｙ９），（Ｘ１３，Ｙ９），（Ｘ１４，Ｙ９），（Ｘ１５，Ｙ９）

したがって、これらの画素をまとめて二つ目の潜在的光跡５５２Ｂとして分類することができる。

さらに、以下の画素が潜在的光跡画素として識別されており、これらの画素も互いに隣接している：（Ｘ１，Ｙ１１），（Ｘ２，Ｙ１１），（Ｘ３，Ｙ１１），（Ｘ４，Ｙ１１），（Ｘ５，Ｙ１１），（Ｘ６，Ｙ１１），（Ｘ７，Ｙ１１），（Ｘ８，Ｙ１１），（Ｘ９，Ｙ１１），（Ｘ１０，Ｙ１１），（Ｘ１１，Ｙ１１），（Ｘ１２，Ｙ１１），（Ｘ１，Ｙ１２），（Ｘ２，Ｙ１２），（Ｘ３，Ｙ１２），（Ｘ４，Ｙ１２），（Ｘ５，Ｙ１２），（Ｘ６，Ｙ１２），（Ｘ７，Ｙ１２），（Ｘ８，Ｙ１２），（Ｘ９，Ｙ１２），（Ｘ１０，Ｙ１２），（Ｘ１１，Ｙ１２），（Ｘ１２，Ｙ１２），（Ｘ１，Ｙ１３），（Ｘ２，Ｙ１３），（Ｘ３，Ｙ１３），（Ｘ４，Ｙ１３），（Ｘ５，Ｙ１３），（Ｘ６，Ｙ１３），（Ｘ７，Ｙ１３），（Ｘ８，Ｙ１３），（Ｘ９，Ｙ１３），（Ｘ１０，Ｙ１３），（Ｘ１１，Ｙ１３），（Ｘ１２，Ｙ１３），（Ｘ１，Ｙ１４），（Ｘ２，Ｙ１４），（Ｘ３，Ｙ１４），（Ｘ４，Ｙ１４），（Ｘ５，Ｙ１４），（Ｘ６，Ｙ１４），（Ｘ７，Ｙ１４），（Ｘ８，Ｙ１４），（Ｘ９，Ｙ１４），（Ｘ１０，Ｙ１４），（Ｘ１１，Ｙ１４），（Ｘ１２，Ｙ１４）

したがって、これらの画素をまとめて三つ目の潜在的光跡５５２Ｃとして分類することができる。

一方、画素（Ｘ１６，Ｙ３），（Ｘ１５，Ｙ４），（Ｘ１４，Ｙ１２），（Ｘ１５，Ｙ１４）は潜在的光跡画素として識別されているが、これらの画素は互いに隣接せず、他の潜在的光跡画素とも隣接していない。従って、これらの画素は潜在的光跡の一部ではない。

続いて、図４に戻ると、手順４０８で、連続した領域（潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃ）それぞれの１つまたは複数の領域特性を計算する。ほとんどの光跡が、動きの方向と同じ向きの細い線状の形をしている。したがって、光跡は一般的に円形ではない。本明細書にて提供される場合、本発明では、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれの１つまたは複数の領域特性を計算することにより、各該当する潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの形が円形でないか、および／または細い線状であるかを判定する。

１つの例では、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれに関し、以下の領域特性の１つまたは複数を計算することができる。（ｉ）該当する潜在的光跡の面積（連続領域）、（ｉｉ）該当する潜在的光跡の境界枠、（ｉｉｉ）該当する潜在的光跡の周囲長。

図５に戻り、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれの面積、境界枠、および周囲長が計算される。本明細書にて提供される場合、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの各面積は、該当する光跡の画素数に等しい。図５では、図説を簡単にするために、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれを同一サイズ、形、向きとしている。従って、図５の例では、光跡５５２Ａ、５５２Ｂ、５５２Ｃの各面積は４８画素である。あるいは、任意の画像で、潜在的光跡の１つまたは複数のサイズ、形、および／または向きが異なることもある。

次に、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの各境界枠を計算できる。潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれに関し、該当する光跡５５２Ａ、５５２Ｂ、５５２Ｃを内包する密接した長方形の枠が作成され、大まかな形（例：長さと幅）を使用してこの境界枠を計算する。図５では、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれに関し、高さ４Ｘ幅１２画素の枠を使用して各光跡５５２Ａ、５５２Ｂ、５５２Ｃを内包させることができる。この例では、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれが、４Ｘ１２の値を持つ境界枠を持っている。境界枠を計算するには、４つの角の座標を調べる。たとえば、１つ目の潜在的光跡５５２Ａの４角の座標は（Ｘ２，Ｙ１）、（Ｘ１３，Ｙ１）、（Ｘ２，Ｙ４）、（Ｘ１３，Ｙ４）である。この例では高さが４画素（Ｙ３−Ｙ１＋１）、幅が１２画素（Ｘ２−Ｘ１３＋１）である。

次に、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれの周囲長を計算する。たとえば、周囲長は境界線に沿って隣接する画素の数でもよい。図５に描写されている例において、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれの全周長は２８である。

次に図４に戻り、手順４１０で、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのどれが有効な光跡として分類されうるかを判定するために、各光跡５５２Ａ、５５２Ｂ、５５２Ｃを評価する。より具体的には、手順４１０において、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの全グループから有効な光跡を識別するために、アルゴリズムを用いて１つまたは複数の領域特性を評価する。

上述したように、ほとんどの光跡が円形でない不規則な形である。さらに、ほとんどの光跡が大きすぎもせず小さすぎもしない。別の言い方をすれば、光跡の特性は一般的に円形ではなく、特定の定義済みの最小サイズより大きく、特定の定義済みの最大サイズよりも小さい。よって、一実施形態において、本発明は、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃを調査し、形が円形でなく、有効な光跡として適切なサイズの潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃを分類する。

１つの非限定的実施形態においては、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれが最初は円形であると想定される。続いて、（円形であると想定した場合の）潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの各面積を使用して、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの各半径を計算する。既知のように、円の面積はπに半径の二乗をかけて求める（Ａ＝Ｐｉ×ｒ^２）。上述の例では、円形であると想定すると、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの各半径は、面積を使って計算すると３.９ （３.９＝ √４８／Ｐｉ）となる。さらに既知のように、円周は２掛けるπ掛ける半径で求める。従って、円形であると想定すると、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの各半径は、４．５（４．５＝２８／（２×ｐｉ））となる。

ここで、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれが真に円であるならば、面積から計算した半径が、円周から計算した半径とほぼ等しくなる。あるいは、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれが円でないならば、面積から計算した半径が、円周から計算した半径と大きく異なる。本例では、面積（３．９）から計算した半径は、円周（４．５）から計算した半径とほぼ等しいとはいえない。

潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれに関し、面積から計算した半径が円周から計算した半径に近いほど、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃが円形である可能性は高くなる。さらに、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれに関し、面積から計算した半径が円周から計算した半径と異なるほど、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃが円形ではない可能性は高くなる。

非限定的例として、（面積から計算した）半径と（円周から計算した）半径の差異を（面積から計算した）半径で割った絶対値が比較的小さい場合、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃが円形であるという可能性が高い。あるいは、（面積から計算した）半径と（円周から計算した）半径の差異を、（面積から計算した）半径で割った絶対値が比較的大きい場合、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃが円形でないという可能性が高い。

ここで、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれが円形である可能性が高い場合、そのような潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃは有効な光跡とは見なされない。一方、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれが円形ではない可能性が高い場合、特定の実施形態において、そのような潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃについて更に分析を行うことができる。

たとえば、非円形の潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれについて、その面積の大きさを、低い面積閾値および高い面積閾値と比較する。非円形の潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれで面積のサイズが、低い面積閾値よりも小さいかまたは高い面積閾値よりも大きい場合、そのような潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃは有効な光跡とは見なされない。あるいは、非円形の潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれで面積の大きさが、低い面積閾値よりも大きくかつ高い面積閾値よりも小さい場合、特定の実施形態において、そのような潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃについて更に分析を行うことができる。

加えて、たとえば、非円形の潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれについて、その境界枠のサイズを、低い枠閾値および高い枠閾値と比較する。非円形の潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれで、境界枠のサイズが低い枠閾値よりも小さいか、または高い枠閾値よりも大きい場合、そのような潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃは有効な光跡とは見なされない。あるいは、非円形の潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃのそれぞれで、境界枠のサイズが低い枠閾値よりも大きく、かつ高い枠閾値よりも小さい場合、特定の実施形態において、そのような潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃについて更に分析を行うことができる。

面積の閾値および境界枠の閾値は、画像の解像度およびダウンサンプリングの量によって異なる、ということに留意すべきである。

ここで、本発明では誤検出を避けるため、特定の実施形態において、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃが有効な光跡であるという確信が高くなければ、これを有効な光跡として分類しないようにアルゴリズムが設定される。

さらに、誤検出状態（つまり、鮮鋭な夜景画像をボケとして分類してしまうこと）を低減するために、本発明はさまざまな制約を追加して、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃの形、サイズ、色、距離などを限定することができる。

別の言い方をすれば、特定の実施形態において、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃに対して制約を追加することで、有効な光跡を更に限定することができる。たとえば、有効な光跡には、特定量の飽和／近飽和画素が含まれていなければならない。この例において、有効な光跡であるとするには、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃに、定義済み光飽和閾値より大きいかまたはそれに等しい値の、定義済み最小画素数がなければならない。非限定的例として、画素の定義済み最小数を、識別された潜在的飽和面積の合計の約１０％とし、定義済み光飽和閾値を約２４０という値とすることができる。しかしながら、これらの数値は多様である。

さらに、特定の実施形態において、白っぽい光の潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃを無視するという制約を追加して使用することができる。ここで、背景に高層ビルのそそり立つ街の夜景では、複数の窓明かりすべてが、おおむね同じ方向に向いている白く細い長方形のスリットのように見えることがある。従って、特定の実施形態においては、潜在的光跡５５２Ａ、５５２Ｂ、５５２Ｃは、それが白っぽい色であれば有効な光跡とは考慮されない。

次に、図３に戻り、手順３１０において、同方向に向いている（例：反復したパターンの）マッチした（揃った）有効光跡数が十分あるかどうかを判定するために、アルゴリズムで有効な光跡を評価する。手順３１２において、強い反復パターンで同じ方向を向いているマッチした有効光跡数が十分ある場合、その画像はボケとして分類される。あるいは、図３の手順３０６に示したように、強い反復パターンで同じ方向を向いているマッチした有効光跡数が十分ない場合、試験画像が鮮鋭であるかボケかを判定するために、試験画像に対して（鮮鋭度を測定する別の方法を使用して）新たな分析を行うことが必要である。

反復パターンで同じ方向を向いた有効光跡数が十分あるかどうかを評価するために使用される１つの方法が、図６で詳細に示されている。より具体的には、手順６０２で、有効な光跡を、その面積の大きい方から（つまり最大面積の光跡を最初に、最小面積の光跡を最後に）並び替える。次に手順６０４で、各有効な光跡に関し、面積の小さいその他の有効な光跡との相関性を計算する。特定の実施形態において、面積または境界枠のサイズの差異が大きい場合、または光跡間の距離が一定の定義済みの間隔を越える場合、この相関性の計算を省くことができる。１つの非限定的例として、面積または境界枠のサイズの差異（この例ではサイズの差）が少なくとも５０％ある場合、および／または、光跡間の距離が画像サイズの画素数の１／４（この例における定義済みの間隔）を越える場合は、有効な光跡間の相関性の計算を省くことができる。しかしながら、選択されたサイズの差異および選択された定義済み間隔は、これらの例とは異なる場合がある、ということに留意すべきである。

次に、手順６０６で、各光跡に関し、特定の閾値（例：一つ目の強い相関閾値と、二つ目の弱い相関閾値）よりも大きい相関性を持つ、マッチした光跡の数を計算する。次に、十分な数があるかを判定するために、特定の閾値（弱いマッチの閾値および強いマッチの閾値）を超える弱いマッチ数および強いマッチ数を持つ光跡の数を評価する。図３に戻り、十分な数がある場合、手順３１２で、画像は反復的光跡を十分含んでいるとみなされ、画像がボケとして分類される。弱いマッチ数と強いマッチ数の両方を持つ光跡の数が十分にない場合、手順３０６で、画像がボケているか鮮鋭であるかを判定するために、追加分析を画像に対して行う。一実施形態において、弱いマッチ数の閾値（ｗ＿ＴＨ）＿が、強いマッチ数の閾値（ｓ＿ＴＨ）よりも高く設定される。弱いマッチ数の閾値（ #weak corr ＞ｗ＿ＴＨ）よりも大きい弱いマッチ数と、強いマッチ数の閾値 （ #strong corr＞Ｓ＿ＴＨ）よりも大きい強いマッチ数の両方が画像にある場合、その画像はボケとして分類される。そうでなければ、別の分析を実行する。

特定の実施形態において、誤検出率をなるべく低く抑えるようにするため、別の距離上の制約を導入して、オーバーラップした（またはオーバーラップに近い）光跡を扱うことができる。２つのマッチした光跡が互いに非常に近い場合（それぞれの境界枠からの距離を測定）、そのうちの１つのみが有効なマッチとして見なされる。この例において、距離の制約を適用した後に、弱いマッチと強いマッチの数が特定の閾値より大きい光跡が存在する場合は、試験画像はボケとして識別される。

要約すると、本発明では、画像内に飽和／近飽和光跡によって生じる「偽」の鮮鋭情報があっても、ボケた夜景画像を正確に検出できる。本発明は、光跡を含んだ困難なボケた夜景画像を検出することを目的とする、高速ボケ検出アルゴリズムである。ここで開示されている本方法は、（ｉ）比較的簡単かつ迅速であり、（ｉｉ）光跡を含む非常に困難な夜景のボケ画像に関し、合理的かつ優れたボケ検出精度を達成することができ、また、（ｉｉｉ）鮮鋭な夜景画像に対して、かなり低い誤検出率を提供している。

図７は本発明を特長とした、ボケ検出方法のもう１つの実施形態を表したフローチャート７００である。概要として、本実施形態においては、従来の方法を使用して画像をまず試験し、その最初の試験に従って、画像が鮮鋭であるかを判定する。続いて、最初の試験に従ってその画像が鮮鋭である場合は、夜景画像が識別される。識別された各夜景画像に対し、光跡（飽和／近飽和光）パターンが試験画像から抽出される。夜景画像は、光跡の強い反復的パターンが存在すると、ボケがあるとして分類される。

より具体的には、図７、手順７０２に示されているように、試験画像が提供されている。たとえば試験画像は、画像のカメラ内処理のために、カメラで取得することができる。あるいは、ここで開示されたアルゴリズムを使用した別の制御システムに、試験画像を提供しても良い。

本実施形態において手順７０４では、従来の方法を使用して画像をまず試験し、画像がボケているかを判定する。非限定的で適切な従来の方法については上述されている。この試験で当該画像がボケていると判定された場合、その画像は手順７０６でボケとして分類される。あるいは、この試験で画像が鮮鋭であると判定された場合、その画像には追加試験を行う。より具体的には、本実施形態において、手順７０８で、本アルゴリズムを用いて画像が夜景であるかを次に判定する。よって、手順７０８では、試験画像および／または試験画像に関するカメラのメタデータを分析し、試験画像が潜在的夜景画像であるかを判定する。上記にて提供される場合、試験画像が取得された時点での光の条件を分析することによって、その試験画像が潜在的夜景であるかを、アルゴリズムで判定することができる。

次に、画像が潜在的夜景ではないと判定された場合、手順７１０で制御システムは画像を鮮鋭であるとして分類する。あるいは、手順７１２で、画像が潜在的夜景であると判定された場合、有効な光跡が試験画像で特定、識別される。この処理は上述されている。次に、手順７１４で、同方向に向いている（例：反復したパターンの）マッチした有効光跡数が十分あるかを判定するために、アルゴリズムで有効な光跡を評価する。この処理についてもまた上述されている。十分な数があればその画像は手順７０６でボケとして分類され、不十分な数であればその画像は手順７１０で鮮鋭として分類される。

本発明は本明細書にて詳細に開示されているが、これは発明の現在の好適実施形態の単なる例示的なものであり、添付された請求に記載の内容以外に、本書に表示された構造または設計の詳細を限定する意図はないことを理解すべきである。

Claims (17)

1. 試験画像がボケているかを判定するための方法であって、
   試験画像内の有効な光跡を識別する手順と、
   同様の向きおよびサイズを持つ有効光跡数が十分ある場合は、前記試験画像をボケとして分類する手順と、
   を含む方法。
2. 前記有効な光跡を識別する手順を行う前に前記試験画像が潜在的夜景であるかを識別する手順を更に含む、請求項１に記載の方法。
3. 前記有効な光跡を識別する手順を行う前に前記試験画像のダウンサンプリングを行う手順を更に含む、請求項１に記載の方法。
4. 前記有効な光跡を識別する手順は、定義済み光飽和閾値を上回る値を持った画素を識別することによって前記画像内の飽和画素を識別する手順を含む、請求項１に記載の方法。
5. 前記有効な光跡を識別する手順は、連続した飽和画素から潜在的光跡を構築する手順を含む、請求項４に記載の方法。
6. 前記有効な光跡を識別する手順は、前記潜在的光跡の１以上の領域特性を計算し、前記潜在的光跡の領域特性に基づいて有効な光跡を識別する手順を含む、請求項５に記載の方法。
7. 前記試験画像がボケていると分類する手順は、前記有効な光跡のサイズと方向を比較する手順を含む、請求項１に記載の方法。
8. 前記試験画像がボケていると分類する手順は、前記有効な光跡の近接度を比較する手順を含む、請求項１に記載の方法。
9. 試験画像を取得するための取得システムと、請求項１に記載の方法を使用して試験画像がボケているかを推定するための制御システムとを含むカメラ。
10. 画像を取得するための画像装置であって、
    画像を取得するための取得システムと、
    （ｉ）試験画像内の有効な光跡を識別し、同様のパターンの方向性を持つ有効光跡数が十分ある場合に、その試験画像をボケとして分類することによって、画像がボケているかを判定する制御システムと、
    を含む画像装置。
11. 前記制御システムは、有効な光跡を識別する前に前記試験画像が潜在的夜景であるかを識別する、請求項１０に記載の画像装置。
12. 前記制御システムは、有効な光跡を識別する前に前記試験画像をダウンサンプリングする、請求項１０に記載の画像装置。
13. 前記制御システムは、定義済みの光飽和閾値を上回る値を持った画素を識別することによって、前記画像内の飽和画素を識別する、請求項１０に記載の画像装置。
14. 前記制御システムは、連続した飽和画素から潜在的光跡を構築する、請求項１３に記載の画像装置。
15. 前記制御システムは、前記潜在的光跡の１以上の領域特性を計算し、前記潜在的光跡の領域特性に基づいて有効な光跡を識別する、請求項１４に記載の画像装置。
16. 前記制御システムは、前記有効な光跡のサイズおよび方向を比較する、請求項１０に記載の画像装置。
17. 前記制御システムは、前記有効な光跡の近接度を比較する、請求項１０に記載の画像装置。
    

Images