JP2016018340A - 画像処理装置 - Google Patents

Abstract

【課題】物体同士が重なって撮像された場合であっても、画像処理の負荷を低減した上で、各々の物体を別々に認識する画像処理装置を提供する。【解決手段】ボケ量推定手段２１は、取得した画像よりエッジを抽出すると、エッジの両側の直近に位置する一対の画素の画素値の差と、当該一対の画素の両側に位置する少なくとも一対の画素の画素値の差とに基づいて、ボケ量を推定する。距離画像生成手段２２は、各画素位置にボケ量推定手段２１により推定されたボケ量が割り当てられた画像に対して、所定の方向に走査し、走査方向にあるエッジとエッジの間に位置する各画素に、一方のエッジのボケ量をマッピングする。距離画像生成手段２２は、各画素位置にマッピングしたボケ量と、撮像装置からの画像のボケ量と撮像装置から被写体までの距離との相関情報とに基づいて、撮像装置から物体までの距離を算出し、距離画像を生成する。【選択図】図１

Description

本発明は、画像処理装置に関し、より詳細には、撮像された画像中の物体を認識する画像処理装置に関する。

近年、道路における車両の交通量の計測、また所定の敷地内に侵入した物体の特定等を目的として、ビデオカメラ等の撮像装置を用いた監視システムが知られている（特許文献１参照）。
このような監視システムにより撮像された画像において、複数の物体が同時に撮像されている場合、物体同士が重なっていると、各々の物体をひとつの物体として認識してしまい、別々の物体として認識することができず、監視対象に対して正確な情報を取得することができない場合がある。

但し、そのような場合であっても、撮像装置から物体までの距離を算出することができれば、撮像された物体を別々の物体として認識することができ、さらに撮像方向に対する、各々の物体の前後関係も認識することができる。
従来、撮像装置からの画像を処理して被写体までの距離を測定する方法としてステレオ法が広く知られている。これは測距対象となる被写体を複数の撮像装置で撮像し、撮像装置間の距離（基線長）と画像上での視差を用い、三角測距の原理で距離を測定するものである。
また、他の方法として、ＤＦＤ（Depth from Defocus）法がある。これは画像のボケ量と被写体距離との相関情報から距離を測定するものであり、単眼カメラで実現できるため、システムの小型化に有利である。

また、撮像装置から物体までの距離を算出する他の方法として、画像のボケ量から距離を算出する方法において、画像のボケ量を推定する手法として、画像の対数振幅スペクトル上に現れる暗い円環の半径から、ボケの特性を表現するＰＳＦ（Point Spread Function：点像分布関数）の推定を行う手法（非特許文献１）、画像の対数振幅スペクトル上の輝度こう配のベクトル分布を用いてボケの特性を表現し、ＰＳＦの推定を行う手法（非特許文献２）がある。

しかしながら、これらの手法はボケ量を推定する上で画像の周波数解析を伴うため、物体同士が重なって撮像された画像から、各画素位置における撮像装置から物体までの距離を算出する上で（各々の物体を別々に認識する上で）、処理の負荷が重く、また処理に時間がかかるという問題がある。

特許公開２００６−２４５６９７号公報

Ｄ．Ｂ．Gennery，"Determination of optical transfer function by inspection of frequency-domain plot，"Journal of the Optical Society of America，vol.63，pp.1571-1577，1973． 電子情報通信学会論文誌 Ｄ Vol. J90-D，No.10，pp.2848-2857「対数振幅スペクトル上の輝度こう配ベクトル分布を利用したノイズに頑健な焦点ずれＰＳＦ推定」，坂野盛彦、末竹規哲、内野英治

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、画像処理装置において、従来の周波数解析などの重い処理負担を伴うことなく、撮像された画像中で重なった物体を個別に認識することである。

本発明は、物体を撮像した撮像装置からの画像を取得する画像取得手段と、前記画像取得手段により取得した画像のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段により抽出されたエッジを含む所定領域内における画素の輝度差に基づいて、前記エッジのボケ量を算出するボケ量算出手段と、前記ボケ量算出手段により算出されたボケ量を前記画像の前記エッジの各画素位置に割り当てるボケ量割り当て手段と、前記ボケ量割り当て手段によりボケ量が割り当てられた前記エッジの画素に対して、所定の方向に走査し、走査方向にあるエッジとエッジの間に位置する各画素に、ボケ量の小さい方のエッジのボケ量を割り当てるボケ量走査手段と、前記ボケ量走査手段により割り当てられたボケ量と、前記撮像装置からの画像のボケ量と前記撮像装置から被写体までの距離との相関情報とに基づいて、各画素位置における、前記撮像装置から前記物体までの距離を算出する距離算出手段と、前記距離算出手段により算出された各画素位置における、前記撮像装置から前記物体までの距離に基づき、距離画像を生成する距離画像生成手段と、を有することを特徴とする画像処理装置に関する。

本発明によれば、撮像された画像において、物体同士が重なっている場合であっても、画像処理の負荷を低減した上で、各々の物体を別々に認識することができる。

本発明の実施形態に係る画像処理装置を含む画像処理システムを示す図である。 図１におけるボケ量推定手段の機能構成を示すブロック図である。 図１における輝度差算出手段による輝度差の算出、及びボケ量算出手段によるボケ量の算出について説明するための図である。 ガウシアンフィルタの分散の大きさを変更した場合における、輝度対画素位置特性を示す図である。 図２におけるボケ量推定手段の処理手順を示すフロー図である。 図１における距離画像生成手段の機能構成を示すブロック図である。 図１におけるボケ量推定手段により推定されたボケ量に基づき、作成されたボケ量推定画像を示す図である。 図６におけるｘ軸方向ボケ量走査手段の処理手順を示す図である。 ボケ量／距離テーブルの作成手順について説明するための図である。 ｙ軸方向の任意の位置における、撮像装置のレンズから物体までの距離をｘ軸方向の距離画像として作成した図である。 図６におけるｙ軸方向ボケ量走査手段の処理手順を示す図である。 ｘ軸方向の任意の位置における、撮像装置のレンズから物体までの距離をｙ軸方向の距離画像として作成した図である。 図６における距離平均値算出手段による、撮像装置のレンズからの距離の平均値の算出について説明するための図である。 図６における距離画像作成手段により作成された距離画像を示す図である。 図６における距離画像生成手段の処理手順を示すフロー図である。

以下、本発明の実施形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る画像処理装置を含む画像処理システムを示す図である。
この画像処理システムは、画像処理装置１と、それぞれが画像処理装置１に接続された撮像装置２、入力装置３、記録媒体４、及び出力装置５を備えている。

画像処理装置１は、例えば、ＰＣ（Personal Computer）等であり、撮像装置２、又は記録媒体４から入力される画像データを処理する。画像処理装置１における画像処理の詳細は、図２から図１５を用いて後述する。

撮像装置２は、例えば電子カメラ等であり、被写体（オブジェクト）を撮像するように配置される。本実施形態では、撮像装置２で撮像し、画像処理装置１に入力する画像として、カラー画像を例に採って説明するが、モノクロ画像を、撮像装置２で撮像し、画像処理装置１に入力することもできる。

入力装置３は、例えば、キーボード、マウス等であり、ユーザが画像処理装置１に対して種々の指示を与えるための装置である。
記録媒体４は、例えば、ＣＤ（Compact Disk）、ＳＤメモリカード（SD Memory Card）、ＵＳＢメモリ（Universal Serial Bus Memory）等であり、画像及び当該画像を撮像した撮像装置に関するデータを記録するための媒体である。
出力装置５は、例えば、モニタ等の表示装置であり、撮像装置２、又は記録媒体４から入力される画像、また画像処理装置１により画像処理された画像等を、必要に応じて出力する。

画像処理装置１は、制御部１１と、それぞれが制御部１１に接続された入力部１２、撮像装置制御部１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ストレージ１６、及び出力部１７を備えている。
制御部１１は、画像処理装置１のコントローラとして機能し、例えば、ＣＰＵ（Central Processing Unit）等である。
また、詳細は後述するが、制御部１１は、画像処理（例えば、後述のストレージ１６に格納されるアプリケーションプログラム等）を実行するために、ボケ量推定手段２１と、距離画像生成手段２２を備えている。

入力部１２は、撮像装置２及び記録媒体４から画像等を、また入力装置３から種々の指示（命令）を受けるためのインタフェースである。
撮像装置制御部１３は、撮像装置２の焦点距離、絞り、シャッター速度等を制御する。

ＲＯＭ１４は、制御部１１が実行するプログラムや固定データを記憶するメモリであり、ＲＡＭ１５は、制御部１１のワークエリアとなるメモリである。
ストレージ１６は、例えば、ハードディスク等の大容量記憶装置であり、撮像装置２で撮像され、制御部１１で画像処理が施された画像データ、制御部１１で生成されたデータ、その他のアプリケーションプログラムを格納する。
出力部１７は、出力装置５と通信を行うためのインタフェースであり、例えば、制御部１１で画像処理が施された画像データ等を、出力装置５に表示させる。

次に、制御部１１における画像処理について、説明する。
制御部１１は、画像を処理する上で、ボケ量推定手段２１と、距離画像生成手段２２を備える。
ボケ量推定手段２１は、撮像装置２により撮像された画像、また記録媒体４に保存された画像のボケ量を推定する。
距離画像生成手段２２は、ボケ量推定手段２１により推定されたボケ量と、ボケ量を推定した画像を撮像した撮像装置２の焦点位置から被写体までの距離との対応関係を示すデータに基づき、撮像装置２から被写体までの距離を画像として生成する。
なお、以後の制御部１１における画像処理の説明では、入力部１２に入力される画像として、撮像装置２により撮像された画像を例に採って説明する。

図２は、図１におけるボケ量推定手段２１の機能構成を示すブロック図である。図２に示すように、ボケ量推定手段２１は、画像取得手段２１１、モノクロ変換手段２１２、ノイズ除去手段２１３、エッジベクトル算出手段２１４、エッジ判定手段２１５、輝度差算出手段２１６、ボケ量算出手段２１７を備えている。

画像取得手段２１１は、入力部１２を介して、撮像装置２により撮像された画像を取得する。このとき、撮像装置２の光学系は、撮像装置制御部１３による焦点距離及び絞りの制御により、被写界深度の浅い状態（即ち、ピントの合う範囲の狭い状態）に設定される。

モノクロ変換手段２１２は、画像取得手段２１１により取得されたカラー画像をモノクロ画像に変換する。なお、入力部１２に入力された画像がモノクロ画像である場合には、モノクロ変換手段２１２による処理は不要となる。
ノイズ除去手段２１３は、例えば、メディアンフィルタ、ガウシアンフィルタ等を備え、モノクロ変換手段２１２によりモノクロ画像に変換された画像からピクセルノイズを除去する（即ち、ノイズを平滑化処理した画像を作成する）。
このように、ノイズ除去手段２１３によりピクセルノイズを予め除去しておくことで、エッジベクトル算出手段２１４及びエッジ判定手段２１５でエッジ部を精度よく抽出できる。

エッジベクトル算出手段２１４は、例えば、Ｓｏｂｅｌ（ソーベル）フィルタ、Ｃａｎｎｙ（キャニー）フィルタを備え、ノイズ除去手段２１３によりノイズが除去されたモノクロ画像の各画素のエッジベクトルの強度（以下、エッジ強度）及びエッジベクトルの方向（以下、エッジ方向）を算出する。

具体的には、エッジベクトル算出手段２１４は、画像の横軸方向（以下、ｘ軸方向）のＳｏｂｅｌフィルタ（エッジ検出フィルタ）Ｓｘの出力をｆｘ、画像の縦軸方向（以下、ｙ軸方向）のＳｏｂｅｌフィルタＳｙの出力をｆｙとして、下記の式（１）、及び式（２）により、エッジ強度及びエッジ方向を算出する。
エッジ強度＝√（ｆｘ^２＋ｆｙ^２） ・・・式（１）
エッジ方向＝ｔａｎ^−１（ｆｙ／ｆｘ） ・・・式（２）

エッジ判定手段２１５は、エッジベクトル算出手段２１４によりエッジ強度が算出された各画素のうち、そのエッジ強度が算出された画素の両側の画素のエッジ強度と比べて、エッジ強度の差又は比が所定の閾値を超える画素（注目画素）を、エッジ部画素と判定することでエッジを抽出する。
このように、エッジベクトル算出手段２１４及びエッジ判定手段２１５は、エッジ抽出手段として機能する。

輝度差算出手段２１６は、エッジ判定手段２１５により判定されたエッジ部画素のエッジ方向の両側に位置する所定数の画素の画素値としての輝度の差を算出する。
ボケ量算出手段２１７は、エッジベクトル算出手段２１４により算出されたエッジ部画素のエッジ強度と、輝度差算出手段２１６により算出された輝度差とから、エッジ部画素のボケ量を算出する。
なお、輝度差算出手段２１６による輝度差の算出方法、及びボケ量算出手段２１７によるボケ量の算出方法は、図３を用いて説明する。

図３は、輝度対画素位置特性であり、輝度差算出手段２１６による輝度差の算出、及びボケ量算出手段２１７によるボケ量の算出について説明するための図である。なお、図３の横軸は画素の位置、縦軸は輝度を示している。
図３において、画素Ｐｅはエッジ部画素を示している。画素Ｐｅ＋１、画素Ｐｅ−１は、画素Ｐｅのエッジベクトル方向の両隣（両側の直近）の一対の画素であり、その輝度差Ａは、エッジベクトル算出手段２１４により、画素Ｐｅのエッジ強度として算出される。
また、画素Ｐｅ＋２、画素Ｐｅ−２は、画素Ｐｅ＋１、画素Ｐｅ−１の両隣の一対の画素であり、その輝度差Ｂは、輝度差算出手段２１６により算出される。

ボケ量算出手段２１７は、エッジベクトル算出手段２１４により輝度差Ａ、また輝度差算出手段２１６により輝度差Ｂが算出されると、下記の式（３）により、輝度差Ｂと輝度差２Ａとを比較することで、エッジのボケ量を算出する。
ボケ量＝Ｂ÷２Ａ ・・・式（３）

また、図３において、画素Ｐｅ＋２と画素Ｐｅ＋１との輝度差をＢ１、画素Ｐｅ−２と画素Ｐｅ−１との輝度差をＢ２とすると、下記の式（４）により、エッジのボケ量を算出することもできる。
ボケ量＝（Ａ＋Ｂ１＋Ｂ２）÷２Ａ ・・・式（４）

図４は、ガウシアンフィルタの分散の大きさを変更した場合における、輝度対画素位置特性である。
なお、図４では、ガウシアンフィルタの分散の大きさ（正確には、ガウス分布における分散値の平方根）を、パラメータ（分散；「σ」）で示している。また、図３と同様に、図４の横軸は画素の位置、縦軸は輝度を示している。さらに、図４では、エッジ部の画素位置を、９番目の画素位置に設定している。

図４において、例えば、σ＝０の場合（ガウシアンフィルタの分散の大きさが小さい場合）、図３における画素Ｐｅに対応する９番目の画素の輝度が１２８、画素Ｐｅ＋１に対応する１０番目の画素の輝度が２５６、画素Ｐｅ−１に対応する８番目の画素の輝度が０であることから、図３における輝度差Ａは２５６となる。また、画素Ｐｅ＋２に対応する１１番目の画素の輝度は２５６、画素Ｐｅ−２に対応する７番目の画素の輝度は０であることから、図３における輝度差Ｂは２５６となる（図３における輝度差Ｂ１、Ｂ２は０となる）。輝度差Ａ及び輝度差Ｂを、式（３）に代入して、σ＝０の場合のボケ量を算出すると、ボケ量は０．５０となる。なお、この値がボケ量の最小値となる。

次に、σ＝２．４の場合のボケ量を算出する。σ＝２．４の場合、図４に示すように、図３における画素Ｐｅに対応する９番目の画素の輝度が１２８、画素Ｐｅ＋１に対応する１０番目の画素の輝度が１６９、画素Ｐｅ−１に対応する８番目の画素の輝度が８８であることから、図３における輝度差Ａは８１となる。また、画素Ｐｅ＋２に対応する１１番目の画素の輝度は２０４、画素Ｐｅ−２に対応する７番目の画素の輝度は５３であることから、図３における輝度差Ｂは１５１となる（図３における輝度差Ｂ１、Ｂ２は３５となる）。輝度差Ａ及び輝度差Ｂは、式（３）に代入して、σ＝２．４の場合のボケ量を算出すると、ボケ量は０．９３となる。
また、σ＝３．２の場合のボケ量は、同様に計算すると、０．９９となる。

このようにσの値が大きくなると、ボケ量の値も大きくなる。
このことは、図４から視覚的に理解することができ、σの値が大きくなると、特性曲線の傾きが緩やかになり、図３における輝度差Ａの値が減少し、輝度差Ｂ１、Ｂ２の値が増加するため、ボケ量の値も大きくなる。なお、σの値を大きくすると、ボケ量の値は徐々に収束し、最大で１となる。

前述のように、ガウシアンフィルタはピクセルノイズを除去するために用いられるが、図４に示すように、ボケ量はガウシアンフィルタの分散σの大きさにより変動する。
したがって、後述するボケ量推定画像を作成する上で、エッジ部の画素位置に、所定の値以上のボケ量が割り当てられるように、ガウシアンフィルタの分散σの大きさを設定する必要がある。

図５は、図２におけるボケ量推定手段２１の処理手順を示すフロー図である。
即ち、ボケ量の推定に関する処理を開始するにあたり、ボケ量推定手段２１は、被写界深度の浅い状態に設定されている撮像装置２からの画像を画像取得手段２１１により取得する（ステップＳ１１）。
次に、ボケ量推定手段２１は、モノクロ変換手段２１２によりカラー画像をモノクロ画像に変換し（ステップＳ１２）、ノイズ除去手段２１３により変換されたモノクロ画像からノイズを除去する（ステップＳ１３）。

ボケ量推定手段２１は、次に、エッジベクトル算出手段２１４によりノイズが除去されたモノクロ画像の各画素のエッジベクトル（エッジ強度）を算出し（ステップＳ１４）、さらにエッジ判定手段２１５によりエッジ強度からエッジを抽出する（ステップＳ１５）。
なお、ステップＳ１４の処理を実行する過程で、図３における輝度差Ａがエッジ強度として算出される。

次に、ボケ量推定手段２１は、輝度差算出手段２１６により、抽出されたエッジを構成するエッジ部画素のエッジ方向の両側の所定数の画素（例えば、図３における、画素Ｐｅ＋２、画素Ｐｅ−２）の輝度差（図３における輝度差Ｂ）を算出する（ステップＳ１６）。
次に、ボケ量推定手段２１は、ボケ量算出手段２１７により式（３）を用いてボケ量を算出する（ステップＳ１７）。

なお、本実施形態において、ボケ量を算出するにあたり、３×３のＳｏｂｅｌフィルタを使用しているが、５×５のＳｏｂｅｌフィルタを使用することもできる。この場合、画素Ｐｅ＋３と画素Ｐｅ−３の輝度差を実測値として、５×５のＳｏｂｅｌフィルタによるエッジ勾配値から予測した値との比較値をボケ量推定に用いることになる。

図６は、図１における距離画像生成手段２２の機能構成を示すブロック図である。図６に示すように、ボケ量推定画像生成手段２２１、ｘ軸方向ボケ量走査手段２２２、ｘ軸方向距離画像作成手段２２３、ｙ軸方向ボケ量走査手段２２４、ｙ軸方向距離画像作成手段２２５、距離平均値算出手段２２６、距離画像作成手段２２７を備えている。

ボケ量推定画像作成手段２２１は、ボケ量推定手段２１により推定されたボケ量（Ｂ／２Ａ）を原画像の画素位置に割り当てる（対応させる）ことにより、ボケ量推定画像を作成する。
図７Ａは、ボケ量推定画像作成手段２２１により作成されたボケ量推定画像を示す。
本実施形態においては、被写体として２つの物体を設定し、この２つの物体を、撮像装置２の撮像方向に対して前後に、且つ、撮像画像において、物体同士が重なるように配置している。ここで、撮像装置２の撮像方向に対して前方に位置する物体を物体Ｐ、後方に位置する物体を物体Ｑとする。

また、前述のようにボケ量推定手段２１により推定されるボケ量は、撮像された物体のエッジ部においてはそれ以外の部分より高い値を示すことから、ボケ量が周りのボケ量よりも高い値を示す画素位置を基にボケ推定画像を作成すると、ボケ量推定画像は、例えば、図７Ａのように示される。
なお、ボケ量推定画像作成手段２２１による、ボケ量推定画像を作成する工程は、ボケ量を可視化して確認する工程であることから、原画像の各々の画素位置にボケ量が数値として割り当てられていることを前提に、省略することができる。

ｘ軸方向ボケ量走査手段２２２は、図７Ｂに示すように、ボケ量推定画像作成手段２２１により作成されたボケ量推定画像をｘ軸方向に走査して、ｘ軸方向ボケ量走査データを生成する。
ここで、具体的なｘ軸方向ボケ量走査データの生成方法を、図８を用いて説明する。
なお、図８では、ｙ軸方向の任意の位置ｙ２において、ｘ軸方向ボケ量走査手段２２２によりｘ軸方向に走査することで、ｘ軸方向ボケ量走査データを生成している。また、本実施形態において、ｘ軸方向ボケ量走査手段２２２は、ｘの値が小さい方から大きい方に（即ち、図の左から右方向に）走査する仕様としているが、必ずしもこれに限定されず、ｘの値が大きい方から小さい方に走査する仕様としてもよい。

ｘ軸方向ボケ量走査手段２２２は、図７Ａに示したボケ量推定画像に対して、先ず、ｘ軸方向の走査の開始位置であるｘ０より、ボケ量が所定の値以上となる画素位置（即ち、物体Ｐのエッジ部ｘ１）まで走査する（図８Ａ）。
ｘ軸方向ボケ量走査手段２２２は、ｘ１まで走査すると、ｘ０におけるボケ量とｘ１におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｘ０からｘ１の間に位置する画素にボケ量をマッピングする（割り当てる）。

ここで、被写体とする物体（ここでは、物体Ｐ及びＱ）の全体がボケ量推定画像内に収まっていることを前提に、ｘ軸方向ボケ量走査手段２２２によりｘ軸方向に走査する上で、画像の左右端部（即ち、図８においてｘ＝ｘ０、及びｘ＝ｘ５）におけるボケ量の値を「０」に設定する。そのため、ｘ軸方向ボケ量走査手段２２２は、ｘ０におけるボケ量とｘ１におけるボケ量のうち、ボケ量の値の小さいｘ０におけるボケ量「０」を選択し、ｘ０からｘ１の間に位置する画素にボケ量「０」をマッピングする。

ｘ軸方向ボケ量走査手段２２２は、ｘ０からｘ１の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｘ１に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図８Ｂ）。図８Ｂでは、物体Ｐのエッジ部ｘ３において、ボケ量が所定の値以上となることから、ｘ軸方向ボケ量走査手段２２２はｘ３まで走査する。
ｘ軸方向ボケ量走査手段２２２は、ｘ３まで走査すると、走査の開始位置であるｘ１におけるボケ量とｘ３におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｘ１からｘ３の間に位置する画素にボケ量をマッピングする。
即ち、ｘ軸方向ボケ量走査手段２２２は、ｘ１におけるボケ量とｘ３におけるボケ量を比較し、例えば、ｘ１におけるボケ量「Ｘ１」がｘ３におけるボケ量「Ｘ３」よりも小さい（即ち、Ｘ３＞Ｘ１）と判定すると、ｘ１におけるボケ量「Ｘ１」を選択し、ｘ１からｘ３の間に位置する画素にボケ量「Ｘ１」をマッピングする。

ｘ軸方向ボケ量走査手段２２２は、ｘ１からｘ３の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｘ３に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図８Ｃ）。図８Ｃでは、物体Ｑのエッジ部ｘ４において、ボケ量が所定の値以上となることから、ｘ軸方向ボケ量走査手段２２２は、ｘ４まで走査する。
ｘ軸方向ボケ量走査手段２２２は、ｘ４まで走査すると、走査の開始位置であるｘ３におけるボケ量とｘ４におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｘ３からｘ４の間に位置する画素にボケ量をマッピングする。
即ち、ｘ軸方向ボケ量走査手段２２２は、ｘ３におけるボケ量とｘ４におけるボケ量を比較し、例えば、ｘ４におけるボケ量「Ｘ４」がｘ３におけるボケ量「Ｘ３」よりも小さい（即ち、Ｘ３＞Ｘ４）と判定すると、ｘ４におけるボケ量「Ｘ４」を選択し、ｘ３からｘ４の間に位置する画素にボケ量「Ｘ４」をマッピングする。

ｘ軸方向ボケ量走査手段２２２は、ｘ３からｘ４の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｘ４に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図８Ｄ）。
ｘ４より走査を開始した場合、図８Ｄに示すように、画像の右端部であるｘ５までにボケ量が所定の値以上となる画素が存在しないため、ｘ軸方向ボケ量走査手段２２２は、画像の右端部であるｘ５まで走査すると処理を終了する。
本実施形態では、前述のように画像の右端部ｘ５におけるボケ量の値を「０」に設定することから、ｘ軸方向ボケ量走査手段２２２は、ｘ４におけるボケ量とｘ５におけるボケ量のうち、ボケ量の値の小さいｘ５におけるボケ量「０」を選択し、ｘ４からｘ５の間に位置する画素にボケ量「０」をマッピングする。

このように、ｘ軸方向ボケ量走査手段２２２は、ｙ軸方向の任意の位置ｙ２において、ｘ軸方向に画像の左端部であるｘ０から右端部であるｘ５まで走査し、ｘ０からｘ５までの各画素位置にボケ量をマッピングすると、マッピングしたボケ量を、ｙ軸方向をｙ２とするｘ軸方向ボケ量走査データとして、ＲＡＭ１５に保存する。
ｘ軸方向ボケ量走査手段２２２は、この走査処理を、画像の下端部であるｙ０から上端部であるｙ５まで、所定の間隔で実行し、ｙ軸方向の任意の位置におけるｘ軸方向ボケ量走査データを生成し、ＲＡＭ１５に保存する。

ｘ軸方向距離画像作成手段２２３は、ｘ軸方向ボケ量走査手段２２２により生成され、ＲＡＭ１５に保存されたｘ軸方向ボケ量走査データを読み込み、さらにボケ量／距離テーブルを参照することで、ｘ軸方向に関する距離画像を撮像装置２のレンズから物体までの距離を画像として作成する。

図９は、ボケ量／距離テーブルの作成手順について説明するための図である。
ここで、図９Ａは、直径５０ｍｍのレンズのピントをレンズから１０ｍの距離に合わせた状態でのレンズからの距離と錯乱円（「点」の被写体を結像させた場合に形成される「円」）の大きさ（直径）との関係を示す図である。
また、図９Ｂは、ガウシアンフィルタのカーネル（例えば、カーネルサイズ３×３、５×５等の中心を注目輝度、その周辺を周辺輝度とする正方形のレート表）のカーネルサイズを変更させた場合において、そのガウシアンフィルタでぼかした画像から、式（３）により算出したボケ量の推定値を示した図である。図９Ｂの横軸は、ガウシアンフィルタのカーネルサイズ３〜１１（ｎを整数として、２ｎ＋１）、また縦軸は、ボケ量推定値を示し、その値は式（３）による算出値の２倍から１を減算したもの（２（Ｂ／２Ａ）−１）である。

レンズからの距離と錯乱円の大きさとは、図９Ａに示すような対応関係がある。また、一般に、散乱円の大きさとボケ量にも対応関係があることから、ボケ量と散乱円との対応関係を示すデータを作成することで、ボケ量とレンズからの距離との対応関係を示すデータ、即ち、ボケ量／距離テーブルを作成することができる。

そこで、任意のカメラで取得したボケのない画像をガウシアンフィルタで処理してボケ画像を生成し、そのボケ量を式（３）で算出することで、図９Ｂに示すデータを作成する。

ここで、（２ｎ＋１）×（２ｎ＋１）のガウシアンフィルタは、ボケのない画像の１画素を、（２ｎ＋１）×（２ｎ＋１）画素にぼかす。そこで、（２ｎ＋１）×（２ｎ＋１）画素と図９Ａにおける散乱円の大きさとの対応関係を示すデータを取得することで、図９Ａの縦軸の値を画素数（ガウシアンフィルタにおけるカーネルサイズ）に変換したデータを作成することができる。さらに、図９Ｂに示すデータを用いることで、図９Ａの縦軸を図９Ｂの縦軸に示すボケ量推定値としたデータ、即ちボケ量／距離テーブルを作成することができる。なお、（２ｎ＋１）画素と図９Ａにおける錯乱円の大きさとの対応関係を示すデータは、撮像素子の画素数など、カメラの諸元から取得することができる。

ｘ軸方向距離画像作成手段２２３は、ｘ軸方向ボケ量走査データを読み込み、上記のように作成されたボケ量／距離テーブルを参照することで、先ず、ｙ軸方向の所定の位置における画像の左端部であるｘ０から右端部であるｘ５上に位置する各画素に関して、撮像装置２のレンズから物体までの距離を算出する。
ｘ軸方向距離画像作成手段２２３は、次に、横軸をｘ軸（即ち、ボケ量推定画像の横方向）、また縦軸を撮像装置２のレンズから物体までの距離とする、ｘ軸方向の距離画像を作成する。

図１０は、ｙ軸方向の任意の位置ｙ２におけるｘ軸方向ボケ量走査データを読み込み、ボケ量／距離テーブルを参照することで算出された、撮像装置２のレンズから物体までの距離を、ｘ軸方向の距離画像として作成した図である。図１０に示すように、ｘ軸方向のｘ１からｘ３までは撮像装置２のレンズからの距離はＤｘ１であり、またｘ３からｘ４までは撮像装置２のレンズからの距離はＤｘ２である。
このように、ｘ軸方向距離画像作成手段２２３は、ＲＡＭ１５に保存されたｘ軸方向ボケ量走査データより、ｘ軸方向の距離画像を作成する。
なお、ｘ軸方向距離画像作成手段２２３による、ｘ軸方向の距離画像を作成する工程は、ｙ軸方向の任意の位置における、ｘ軸方向の距離を可視化して確認する工程であることから、ｘ軸方向に関する距離が算出されていることを前提に、省略することができる。

ｘ軸方向ボケ量走査手段２２２によりｘ軸方向ボケ量走査データを生成し、さらにｘ軸方向距離画像作成手段２２３によりｘ軸方向に関する距離画像を作成すると、本実施形態では、次に、後述する距離画像作成手段２２７により作成する距離画像の精度を高めるために、ｙ軸方向ボケ量走査データを生成する。
ｙ軸方向ボケ量走査手段２２４は、図７Ｃに示すように、ボケ量推定画像作成手段２２１により作成されたボケ量推定画像を縦軸方向（以下、ｙ軸方向）に走査して、ｙ軸方向ボケ量走査データを生成する。

具体的なｙ軸方向ボケ量走査データの生成方法を、図１１を用いて説明する。
なお、図１１では、ｘ軸方向の任意の位置ｘ２において、ｙ軸方向ボケ量走査手段２２４によりｙ軸方向に走査することで、ｙ軸方向ボケ量走査データを生成している。また、本実施形態において、ｙ軸方向ボケ量走査手段２２４は、ｙの値が小さい方から大きい方に（即ち、図の下から上方向に）走査する仕様としているが、必ずしもこれに限定されず、ｙの値が大きい方から小さい方に走査する仕様としてもよい。

ｙ軸方向ボケ量走査手段２２４は、図７Ａに示したボケ量推定画像に対して、先ず、ｙ軸方向の走査の開始位置であるｙ０より、ボケ量が所定の値以上となる画素位置（物体Ｐのエッジ部ｙ１）まで走査する（図１１Ａ）。
ｙ軸方向ボケ量走査手段２２４は、ｙ１まで走査すると、ｙ０におけるボケ量とｙ１におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｙ０からｙ１の間に位置する画素にボケ量をマッピングする。

ここで、被写体とする物体（ここでは、物体Ｐ及びＱ）の全体がボケ量推定画像内に収まっていることを前提に、ｙ軸方向ボケ量走査手段２２４によりｙ軸方向に走査する上で、画像の上下端部（即ち、図１１においてｙ＝ｙ０、及びｙ＝ｙ５）におけるボケ量の値を「０」に設定する。そのため、ｙ軸方向ボケ量走査手段２２４は、ｙ０におけるボケ量とｙ１におけるボケ量のうち、ボケ量の値の小さいｙ０におけるボケ量「０」を選択し、ｙ０からｙ１の間に位置する画素にボケ量「０」をマッピングする。

ｙ軸方向ボケ量走査手段２２４は、ｙ０からｙ１の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｙ１に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図１１Ｂ）。図１１Ｂでは、物体Ｐのエッジ部ｙ３において、ボケ量が所定の値以上となることから、ｙ軸方向ボケ量走査手段２２４はｙ３まで走査する。
ｙ軸方向ボケ量走査手段２２４は、ｙ３まで走査すると、走査の開始位置であるｙ１におけるボケ量とｙ３におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｙ１からｙ３の間に位置する画素にボケ量をマッピングする。
即ち、ｙ軸方向ボケ量走査手段２２４は、ｙ１におけるボケ量とｙ３におけるボケ量を比較し、例えば、ｙ１におけるボケ量「Ｙ１」がｙ３におけるボケ量「Ｙ３」よりも小さい（即ち、Ｙ３＞Ｙ１）と判定すると、ｙ１におけるボケ量「Ｙ１」を選択し、ｙ１からｙ３の間に位置する画素にボケ量「Ｙ１」をマッピングする。

ｙ軸方向ボケ量走査手段２２４は、ｙ１からｙ３の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｙ３に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図１１Ｃ）。図１１Ｃでは、物体Ｑのエッジ部ｙ４において、ボケ量が所定の値以上となることから、ｙ軸方向ボケ量走査手段２２４はｙ４まで走査する。
ｙ軸方向ボケ量走査手段２２４は、ｙ４まで走査すると、走査の開始位置であるｙ３におけるボケ量とｙ４におけるボケ量を比較し、比較したボケ量のうち、ボケ量の値が小さいボケ量を選択し、ｙ３からｙ４の間に位置する画素にボケ量をマッピングする。
即ち、ｙ軸方向ボケ量走査手段２２４は、ｙ３におけるボケ量とｙ４におけるボケ量を比較し、例えば、ｙ４におけるボケ量「Ｙ４」がｙ３におけるボケ量「Ｙ３」よりも小さい（即ち、Ｙ３＞Ｙ４）と判定すると、ｙ４におけるボケ量「Ｙ４」を選択し、ｙ３からｙ４の間に位置する画素にボケ量「Ｙ４」をマッピングする。

ｙ軸方向ボケ量走査手段２２４は、ｙ３からｙ４の間に位置する画素にボケ量をマッピングすると、次に、走査の開始位置をｙ４に設定し、ボケ量が所定の値以上となる画素位置まで走査する（図１１Ｄ）。
ｙ４より走査を開始した場合、図１１Ｄに示すように、画像の上端部であるｙ５までにボケ量が所定の値以上となる画素が存在しないため、ｙ軸方向ボケ量走査手段２２４は、画像の上端部であるｙ５まで走査すると処理を終了する。
本実施形態では、前述のように画像の上端部ｙ５におけるボケ量の値を「０」に設定することから、ｙ軸方向ボケ量走査手段２２４は、ｙ４におけるボケ量とｙ５におけるボケ量のうち、ボケ量の値の小さいｙ５におけるボケ量「０」を選択し、ｙ４からｙ５の間に位置する画素にボケ量「０」をマッピングする。

このように、ｙ軸方向ボケ量走査手段２２４は、ｘ軸方向の任意の位置ｘ２において、ｙ軸方向に画像の下端部であるｙ０から上端部であるｙ５まで走査し、ｙ０からｙ５までの各画素位置にボケ量をマッピングすると、マッピングしたボケ量を、ｘ軸方向をｘ２とするｙ軸方向ボケ量走査データとして、ＲＡＭ１５に保存する。
ｙ軸方向ボケ量走査手段２２４は、この走査処理を、画像の下端部であるｙ０から上端部であるｙ５まで、所定の間隔で実行し、ｘ軸方向の任意の位置におけるｙ軸方向ボケ量走査データを作成し、ＲＡＭ１５に保存する。

ｙ軸方向距離画像作成手段２２５は、ｙ軸方向ボケ量走査手段２２４により生成され、ＲＡＭ１５に保存されたｙ軸方向ボケ量走査データを読み込み、さらにボケ量／距離テーブルを参照することで、ｙ軸方向に関する距離画像を撮像装置２のレンズから物体までの距離を画像として作成する。
なお、ボケ量／距離テーブルは、図９の作成手順に従って作成されたボケ量／距離テーブルを用いることができる。

ｙ軸方向距離画像作成手段２２５は、ｙ軸方向ボケ量走査データを読み込み、図９の作成手順に従って作成されたボケ量／距離テーブルを参照することで、先ず、ｘ軸方向の所定の位置における画像の下端部であるｙ０から上端部であるｙ５上に位置する各画素に関して、撮像装置２のレンズから物体までの距離を算出する。
ｙ軸方向距離画像作成手段２２５は、次に、横軸をｙ軸（即ち、ボケ量推定画像の縦方向）、また縦軸を撮像装置２のレンズから物体までの距離とする、ｙ軸方向の距離画像を作成する。

図１２は、ｘ軸方向の任意の位置ｘ２におけるｙ軸方向ボケ量走査データを読み込み、ボケ量／距離テーブルを参照することで算出された、撮像装置２のレンズから物体までの距離を、ｙ軸方向の距離画像として作成した図である。図１２に示すように、ｙ軸方向のｙ１からｙ３までは撮像装置２のレンズからの距離はＤｙ１であり、またｙ３からｙ４までは撮像装置２のレンズからの距離はＤｙ２である。
このように、ｙ軸方向距離画像作成手段２２５は、ＲＡＭ１５に保存されたｙ軸方向ボケ量走査データより、ｙ軸方向の距離画像を作成する。
なお、ｙ軸方向距離画像作成手段２２５による、ｙ軸方向の距離画像を作成する工程は、ｘ軸方向の任意の位置における、ｙ軸方向の距離を可視化して確認する工程であることから、ｙ軸方向に関する距離が算出されていることを前提に、省略することができる。

また、ｙ軸方向のボケ量の走査処理からｙ軸方向に関する距離画像を作成する（即ち、ｙ軸方向に関する距離を算出する）までの一連の工程は、後述する距離画像作成手段２２７により距離画像を作成する上で、その精度を高めるために実行するものであることから、処理時間を短くすること、処理負荷を軽減すること等を目的に当該工程について省略することができる。
逆に、距離画像作成手段２２７により作成される距離画像の精度をより向上させるために、縦軸及び横軸以外に新規に軸（例えば、斜め方向に軸）を設定し、その軸方向に関する距離画像を作成することも考慮することができる。
なお、この場合、軸（例えば、縦軸又は横軸の一方）を固定した上で、ボケ量推定画像を所定の角度ずつ回転させて、その都度、距離画像を作成してもよい。

距離平均値算出手段２２６は、ｘ軸方向距離画像作成手段２２３によるｘ軸方向の距離画像（ｘ軸方向に関する距離）及びｙ軸方向距離画像作成手段２２５によるｙ軸方向の距離画像（ｙ軸方向に関する距離）が作成されると、各画素位置における、撮像装置２のレンズからの距離の平均値を算出する。
なお、本実施形態においては、距離の平均値を算出することにより、撮像装置２のレンズから物体までの距離を特定しているが、距離を特定する方法としては必ずしも平均値に限定されない。中間値など周知の方法で特定（推定）してもよい。

距離平均値算出手段２２６による、各画素位置における、撮像装置２のレンズからの距離の平均値の算出に関して、図１３を用いて説明する。
図１３では、ｘ軸方向距離画像作成手段２２３により算出された、（ｙ軸方向の位置をｙ２とする）ｘ軸方向に位置する画素位置における、撮像装置２のレンズからの距離、またｙ軸方向距離画像作成手段２２５により算出された、（ｘ軸方向の位置をｘ２とする）ｙ軸方向に位置する画素位置における、撮像装置２のレンズからの距離をプロットしている。

この場合、図１３に示すように、座標（ｘ２、ｙ２）には、ｘ軸方向距離画像作成手段２２３により算出された撮像装置２のレンズからの距離と、ｙ軸方向距離画像作成手段２２５により算出された撮像装置２のレンズからの距離がプロットされる。
そこで、距離平均値算出手段２２６は、ｘ軸方向距離画像作成手段２２３により算出された撮像装置２のレンズからの距離とｙ軸方向距離画像作成手段２２５により算出された撮像装置２のレンズからの距離の平均値を算出し、その距離の平均値を、座標（ｘ２、ｙ２）にプロットする。

なお、図１３の例では、（ｙ軸方向の位置をｙ２とする）ｘ軸方向に位置する画素位置における、撮像装置２のレンズからの距離と（ｘ軸方向の位置をｘ２とする）ｙ軸方向に位置する画素位置における、撮像装置２のレンズからの距離しか、プロットしていないが、実際には、ｙ軸方向のｙ０からｙ５、またｘ軸方向のｘ０からｘ５まで所定の間隔で、撮像装置２のレンズからの距離をプロットすることから、全ての画素位置に関して、撮像装置２のレンズからの距離として、２つのデータがプロットされる。
距離平均値算出手段２２６は、その２つのデータがプロットされた、全ての画素位置に関して、２つの距離の平均値を算出し、その距離の平均値を、各々の画素位置にプロットする。

距離平均値算出手段２２６による算出処理は、各画素位置において平均値を算出する処理であることから、各画素位置に、撮像装置２のレンズからの距離として、２つ以上のデータがプロットされていることを前提に実行される。したがって、各画素位置に、撮像装置２のレンズからの距離として、２つ以上のデータがプロットされていない場合には、距離平均値算出手段２２６による算出処理を省略することができる。
また、各画素位置にプロットされるデータ（即ち、撮像装置２のレンズからの距離）の数が多ければ、距離平均値算出手段２２６により算出される平均値は、撮像装置２のレンズからの距離として、より精度の高い値となる。

距離画像作成手段２２７は、距離平均値算出手段２２６により算出され、各画素位置にプロットされた、撮像装置２のレンズからの距離の平均値に基づいて、距離画像を作成する。
図１４に、距離画像作成手段２２７により作成された距離画像を示す。図１４に示す距離画像では、撮像された物体に関して、撮像装置２のレンズからの距離に応じて濃度を調整して表示しており、撮像装置２のレンズからの距離が近くなるにつれて濃度を濃くして表示する。

図１４に示すように、撮像装置２の撮像方向に対して前側に位置する物体Ｐは濃く表示され、後側に位置する物体Ｑは物体Ｐに比べて薄く表示される。
このように、２つの物体（即ち、物体Ｐ及びＱ）が撮像画像において重なっている場合であっても、それぞれの物体を別々に認識することができる。さらに、物体に塗り潰される色の濃淡により、２つの物体の前後関係も認識することができる。

図１５は、図６における距離画像生成手段２２の処理手順を示すフロー図である。
距離画像生成手段２２は、ボケ量推定手段２１により推定されたボケ量をＲＡＭ１５より読み込むと、ボケ量推定画像作成手段２２１によりボケ量推定画像を作成する（ステップＳ２１）。

ボケ量推定画像作成手段２２１によりボケ量推定画像が作成されると（ステップＳ２１）、距離画像生成手段２２は、ｘ軸方向ボケ量走査手段２２２によりボケ量推定画像をｘ軸方向に走査し、ｘ軸方向のボケ量走査データを作成する（ステップＳ２２）（図８）。
次に、ｘ軸方向距離画像作成手段２２３は、ボケ量／距離テーブルを参照することでｘ軸方向の撮像装置２のレンズから物体までの距離を算出し（ステップＳ２３）、ｘ軸方向の距離画像を作成する（ステップＳ２４）（図１０）。

距離画像生成手段２２は、次に、ｙ軸方向ボケ量走査手段２２４によりボケ量推定画像をｙ軸方向に走査し、ｙ軸方向のボケ量走査データを作成する（ステップＳ２５）（図１１）。
距離画像生成手段２２は、次に、ｙ軸方向距離画像作成手段２２５により、ボケ量／距離テーブルを参照することでｙ軸方向の撮像装置２のレンズから物体までの距離を算出し（ステップＳ２６）、ｙ軸方向の距離画像を作成する（ステップＳ２７）（図１２）。

ｘ軸方向及びｙ軸方向の距離画像を作成すると（ステップＳ２４、ステップ２７）、距離画像生成手段２２は、距離平均値算出手段２２６により、各々の画素位置における、撮像装置２のレンズから物体までの距離の平均値を算出する（ステップＳ２８）。
距離画像生成手段２２は、次に、距離画像作成手段２２７により、算出された距離の平均値から距離画像を作成する（ステップＳ２９）。

以上、説明したように、本発明の実施形態に係る画像形成装置によれば、撮像された画像において、物体同士が重なって撮像された場合であっても、画像処理の負荷を前記従来の方法よりも低減した上で、距離画像を生成して各々の物体を別々に認識することができ、さらに撮像方向に対する、各々の物体の前後関係も併せて認識することができる。
また、物体同士が接近して並んで撮像された場合であっても、各々の物体を別々に認識することができる。

２１…ボケ量推定手段、２１１…画像取得手段、２１２…モノクロ変換手段、２１３…ノイズ除去手段、２１４…エッジベクトル算出手段、２１５…エッジ判定手段、２１６…輝度差算出手段、２１７…ボケ量算出手段、２２…距離画像生成手段、２２１…ボケ量推定画像作成手段、２２２…ｘ軸方向ボケ量走査手段、２２３…ｘ軸方向距離画像作成手段、２２４…ｙ軸方向ボケ量走査手段、２２５…ｙ軸方向距離画像作成手段、２２６…距離平均値算出手段、２２７…距離画像作成手段。

Claims (5)

1. 物体を撮像した撮像装置からの画像を取得する画像取得手段と、
   前記画像取得手段により取得した画像のエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段により抽出されたエッジを含む所定領域内における画素の輝度差に基づいて、前記エッジのボケ量を算出するボケ量算出手段と、
   前記ボケ量算出手段により算出されたボケ量を前記画像の前記エッジの各画素位置に割り当てるボケ量割り当て手段と、
   前記ボケ量割り当て手段によりボケ量が割り当てられた前記エッジの画素に対して、所定の方向に走査し、走査方向にあるエッジとエッジの間に位置する各画素に、ボケ量の小さい方のエッジのボケ量を割り当てるボケ量走査手段と、
   前記ボケ量走査手段により割り当てられたボケ量と、前記撮像装置からの画像のボケ量と前記撮像装置から被写体までの距離との相関情報とに基づいて、各画素位置における、前記撮像装置から前記物体までの距離を算出する距離算出手段と、
   前記距離算出手段により算出された各画素位置における、前記撮像装置から前記物体までの距離に基づき、距離画像を生成する距離画像生成手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置において、
   前記ボケ量算出手段は、前記エッジ抽出手段により抽出されたエッジを含む所定領域内における、前記エッジの画素を挟んでその両側に位置する画素の輝度差に基づいて、前記エッジのボケ量を算出することを特徴とする画像処理装置。
3. 請求項１又は２に記載された画像処理装置において、
   前記ボケ量走査手段が、互いに平行な複数の走査線により第１の走査方向で走査し、さらに前記第１の走査方向と所定の角度で交わる第２の走査方向の互いに平行な複数の走査線に沿って走査することを特徴とする画像処理装置。
4. 請求項３に記載された画像処理装置において、
   前記所定の角度が直角であることを特徴とする画像処理装置。
5. 請求項３に記載された画像処理装置において、
   前記距離算出手段により、走査方向の数に応じて算出された前記撮像装置から前記物体までの距離に基づき、前記距離を特定することを特徴とする画像処理装置。
   

Images