JP4459137B2

JP4459137B2 - 画像処理装置及びその方法

Info

Publication number: JP4459137B2
Application number: JP2005259895A
Authority: JP
Inventors: 正志西山; 修山口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-09-07
Filing date: 2005-09-07
Publication date: 2010-04-28
Anticipated expiration: 2025-09-07
Also published as: CN100435165C; CN1928889A; US7679621B2; US20070065015A1; JP2007072814A

Description

対象物体を撮影した画像から照明変動の影響を除去し物体固有の特徴を抽出することで、画像処理の精度を高める発明に関する。

画像を用いた物体認識において識別率の低下の原因となる照明変動の影響をなるべく受けずに識別を行う必要がある。そのために、非特許文献１では顔画像認識において「ＳｅｌｆＱｕｏｔｉｅｎｔＩｍａｇｅ」と呼ばれるフィルタ処理を入力画像に対して適用することで、照明変動に対して頑健な特徴量を抽出し、物体認識を行う方法が提案されている。

「ＳｅｌｆＱｕｏｔｉｅｎｔＩｍａｇｅ」は、特許文献１の「Ｃｅｎｔｅｒ／ＳｕｒｒｏｕｎｄＲｅｔｉｎｅｘ」を拡張した方法である。入力画像に対して例えばガウシアンフィルタを適用することで平滑化画像を生成し、平滑化画像の画素値で入力画像の画素値を割ることで局所的な画素値の正規化を行う。入力画像Ｉ（ｘ，ｙ）に対するＣｅｎｔｅｒ／ＳｕｒｒｏｕｎｄＲｅｔｉｎｅｘの出力画像はＲ（ｘ，ｙ）は式（１）で定義される。

ここで、Ｇ（ｘ，ｙ）はガウシアン関数、＊は畳み込みを表す。

与えられた一枚の画像のみから照明変動に対して頑健な特徴量を算出できる利点があり、登録画像が一枚しか得ることができない際に特に効果を発揮する。
METHOD OF IMPROVING A DIGITAL IMAGE,United Atates Pateent 5,991,456 Haitao Wang,Stan Z.Li,Yangsheng Wang,Generalized Quotient Image,Proceedings IEEE Conference on Computer Vision and Pattern Recognition,vol.2,(2004)498-505 Yasuhiro,Mukaigawa,Hajime,Miyaki,Sadahiko,Mihashi,Takeshi,Shakunage,Photo-metric,Image-Based Rendering for Image Generation in Arbitrary Illumination,IEEE International Conference on Computer Vision,vol.2,(2001)9652-659

Ｃｅｎｔｅｒ／ＳｕｒｒｏｕｎｄＲｅｔｉｎｅｘは、非特許文献１で述べられている通り、入力画像中の局所領域において法線方向と照明条件が一定であれば、拡散反射成分に対して不変量を得ることができる。

しかし、局所領域内で照明条件が異なる場合、主に影が生じるような場合には、不変量を得ることができず誤識別を引き起こす要因となる。影領域は、ある照明が他の物体により遮られることで生じ、遮られた照明以外の照明（例えば環境光）からは照らされているため影領域以外と照明条件が異なる。

顔画像に対してＣｅｎｔｅｒ／ＳｕｒｒｏｕｎｄＲｅｔｉｎｅｘを適用した例を図８に示す。

顔の右領域や鼻の下に影が生じている顔画像５０１からは、照明変動の影響が抑えられた画像５０２が生成される。しかし、影領域は照明条件が異なるため５０２のように照明変動の影響を完全に除去することはできない。

この問題に対応するために、ＳｅｌｆＱｕｏｔｉｅｎｔＩｍａｇｅでは平滑化画像を生成する際に、重み付きガウシアンフィルタ（等方性の波形をもつガウシアン関数に非等方性の波形をもつ重み関数を適用）を用いる。影領域に対応する画素の重みを小さくすることで、局所領域内の照明条件を一定とすることを狙う。非特許文献１では、入力画像中の影領域を検出するために、局所領域内における画素値の平均値を閾値とした２値化を用いる。

しかし、閾値による２値化では拡散反射率の低い領域（例えば顔画像認識の場合、瞳や眉毛）なども影領域と誤検出され、識別対象の特徴を表す重要な情報までもが除去される可能性が存在する。

また、影領域の輪郭部分に発生するソフトシャドウのように、なだらかに画素値が変化する領域では、適切な閾値を設定する腰が困難なため２値化では不都合が生じる。

さらに、鏡面反射が生じているような反射属性の異なる領域では、与えられた入力画像一枚のみから拡散反射成分の値を抽出することは困難なため、従来法では不変量を算出することができない。

本発明は、入力画像から照明変動による影響を減少させた特徴画像を求める画像処理装置において、
重み付き平滑化フィルタの重みを計算する重み算出部と、
前記入力画像に、前記重み付き平滑化フィルタを適用して平滑化画像を生成するフィルタ適用部と、
前記入力画像の画素値を、前記平滑化画像の画素値で割ることで前記特徴画像を求めるフィルタ処理部と、
を有し、
前記重み算出部は、
（１）拡散反射成分を主要な成分として有するモデルを用いて、前記入力画像を近似する拡散反射画像を求める拡散反射画像生成部と、
（２）前記拡散反射画像と前記入力画像の差分画像を生成する差分画像生成部と、
を有し、
前記差分画像内の注目画素の画素値とその周辺画素の画素値とを比較して、その差分が大きいほど、前記周辺画素に小さい重みを与えることを特徴とした画像処理装置である。

本発明は、照明変動に頑健な特徴量を抽出できるため実環境でも安定な物体認識を行うことができる。例えば、図８の顔右領域や鼻下に影が生じている顔画像５０１から照明変動の影響を除去した画像５０３を生成することができる。また、非特許文献１のＳｅｌｆＱｕｏｔｉｅｎｔＩｍａｇｅでは誤って影領域と検出されていた拡散反射率の低い領域に対してや、対応することもできなかったソフトシャドウ領域や鏡面反射領域に対しても算出することができる。

以下、本発明の各実施形態について図面に基づいて説明する。

本発明に係る実施形態は、顔画像認識を例に挙げて説明を行う。各実施形態の概要は次の通りである。

第１の実施形態では、顔画像に影領域が生じるような場合でも識別に有効な特徴量を抽出し、個人認識を行う物体認識装置１００について説明する。

第２の実施形態では、顔画像に影領域と鏡面反射領域が生じるような場合でも識別に有効な特徴量を抽出し、個人認識を行う物体認識装置２００について説明する。

第３の実施形態では、顔画像の顔向きが正面だけではなく様々な方向でも、照明変動に頑健な特徴量を抽出し、個人認識を行う物体認識装置３００について説明する。

第４の実施形態では、ノイズを除去し、照明変動に頑健な特徴量を抽出し、個人認識を行う物体認識装置４００について説明する。

（第１の実施形態）
第１の実施形態の物体認識装置１００について図１、図２、図６、図７に基づいて説明する。

本実施形態は、非特許文献１のＳｅｌｆＱｕｏｔｉｅｎｔＩｍａｇｅにおける重み付きガウシアンフィルタに与える重みの算出方法を単純な２値化の方法から、顔モデルを用いた重みの算出方法に進歩させたものである。それ以外の手続きは同じ処理を適用する。

（１）物体認識装置１００の構成
図１に物体認識装置１００の構成を示し、図２は、その処理のフローチャートを示す。

物体認識装置１００は、画像入力部１０１、対象検出部１０２、拡散反射画像生成部１０３、対象モデル格納部１０４、差分画像生成部１０５、重み算出部１０６、重み付きガウシアンフィルタ適用部１０７、フィルタ処理部１０８、識別部１０９からなる。各部１０１〜１０９の機能は、コンピュータに記憶されたプログラムによって実現できる。

（２）画像入力部１０１
図２のステップ１に示すように、画像入力部１０１は、識別対象とする人物の画像をカメラを用いて撮影する。画像を１枚だけ撮影するか、または、時間的に連続で画像を撮影する。なお、撮影対象の顔向きはカメラに対して正面を向いていると仮定し、無限遠からの単一光源であることを仮定して説明を行う。

（３）対象検出部１０２
ステップ２に示すように、対象検出部１０２は、画像入力部１０１から出力された画像中から顔領域を切り出し入力画像Ｉ（ｘ，ｙ）を決定する。入力画像は、例えば、瞳や鼻孔などの顔の特徴点を抽出し、これらの点の位置関係を基に決定すればよい。また、顔領域の目や鼻などの一部領域を入力画像としてもよい。顔領域を等分割した画像を入力画像としてもよい。

（４）拡散反射画像生成部１０３
ステップ３に示すように、拡散反射画像生成部１０３は、対象モデル格納部１０４に格納されている拡散反射画像生成モデルを用いて、対象検出部１０２から出力された入力画像Ｉ（ｘ，ｙ）を拡散反射画像に変換する。なお、拡散反射画像は、式中では「Ｉ」の上に「〜」がある記号で表現するが、明細書ではこの記号は表現できないため「Ｉ〜（ｘ，ｙ）」と表現する。

拡散反射画像生成モデルには、例えば、非特許文献２でも述べられているように基底画像を用いればよい。これは、画像中において反射特性が拡散反射成分のみの場合には、３枚の基底画像Ｉｉ（ｘ，ｙ）の線形和で任意の光源条件の画像Ｉ〜（ｘ，ｙ）で表現できる式（２）の原理に基づいている。

ここで、ｍａｘ（・，０）は負の値から０への置き換えを表す。基底画像Ｉｉ（ｘ，ｙ）における物体の向きは一定とする。

入力画像を拡散反射画像に変換するには、図６に示すように、入力画像Ｉに対する係数ｃｉを推定すればよい。係数は、基底画像Ｉｉで張られる空間への射影による最小自乗法や、非特許文献２のようにはずれ値（影領域や鏡面反射領域）を除いて処理するロバスト推定を用いればよい。

基底画像Ｉｉには、影や鏡面反射が生じないように光源条件を変えて撮影した３枚の顔画像を用いる。３枚の基底画像Ｉ１，Ｉ２，Ｉ３は線形独立の関係でなければならない。または、４枚以上の画像に対して特異値分解を適用することで基底画像を生成することもできる。

識別対象本人の画像を用意できれば式（２）を満たす最も誤差の少ない係数ｃｉを推定することができる。係数ｃｉは、光源方向や照度に相当する。

また、他人の基底画像からでも係数を推定できる。その場合には、基底画像の枚数を増やすことで対応する。入力画像Ｉ（ｘ，ｙ）を複数の領域に分割し、それぞれの領域毎に係数を推定してもよい。

他の拡散反射画像生成モデルとして、レンジファインダなどで獲得した顔の３次元形状と拡散反射率を用いてもよい。

（５）差分画像生成部１０５
ステップ４に示すように、差分画像生成部１０５は、図７に示すように、拡散反射画像生成部１０３から出力された拡散反射画像Ｉ〜（ｘ，ｙ）と入力画像Ｉ（ｘ，ｙ）から差分画像Ｉ’（ｘ，ｙ）を生成する。

差分画像Ｉ’（ｘ，ｙ）の画素値が負の値をもつ領域は入力画像Ｉ（ｘ，ｙ）における影領域に相当し、正の値をもつ領域が入力画像におけ鏡面反射領域に相当する。このように、差分画像Ｉ’（ｘ，ｙ）の画素値は入力画像Ｉ（ｘ，ｙ）の照明条件や反射特性の違いを表している。

（６）重み算出部１０６
ステップ５に示すように、重み算出部１０６は、差分画像生成部１０５から出力された差分画像Ｉ’（ｘ，ｙ）を用いて、重み付きガウシアンフィルタに与える重みを算出する。

重みは、ガウシアンフィルタの中心座標に対応する注目画素の照明条件と、ガウシアンフィルタの周辺座標に対応する画素の照明条件を比較することで決定する。

例えば、ガウシアンフィルタの注目画素の中心座標を（ｘ０，ｙ０）とすると式（４）で重みＷ（ｘ，ｙ）を決定する。

ここでαは任意の係数、｜・｜は絶対値を表す。

式（４）の意味を説明すると、ガウシアンフィルタの中心座標に対応するＩ’（ｘ０，ｙ０）と周辺画素Ｉ’（ｘ，ｙ）の差分値が大きければ、中心画素とは異なる照明条件または反射属性を持つ画素であり、小さな重みが与えられる。

例えば、注目画素が拡散反射領域であり、その周辺画素が影領域の場合には、その照明条件が大きく異なるため差分値が大きくなり、周辺画素に与えられる重みが小さくなる。

一方、注目画素が拡散反射領域であり、その周辺画素も拡散反射領域の場合には、その照明条件が同じであるため差分値が小さくなり、周辺画素に与える重みが大きくなる。

（７）重み付きガウシアンフィルタ適用部１０７
ステップ６に示すように、重み付きガウシアンフィルタ適用部１０７は、重み算出部１０６で出力された重みＷ（ｘ，ｙ）を用いて、対象検出部１０２より出力された入力画像Ｉ（ｘ，ｙ）に重み付きガウシアンフィルタを適用することで平滑化画像Ｓ（ｘ，ｙ）を出力する。

ガウシアン関数Ｇ（ｘ，ｙ）は、平均０、分散σ２とすると式（５）で定義される。

入力画像Ｉ（ｘ，ｙ）に対して重み付きガウシアンフィルタ（Ｗ（ｘ，ｙ）Ｇ（ｘ，ｙ））を式（６）により適用する。

ここで、＊は畳み込みを表す。

（８）フィルタ処理部１０８
ステップ７に示すように、フィルタ処理部１０８は、重み付きガウシアンフィルタ適用部１０７より出力された平滑化画像Ｓ（ｘ，ｙ）を用いて、対象検出部１０２より出力された入力画像Ｉ（ｘ，ｙ）に式（８）の処理を適用する。

なお、特徴画像は、式中では「Ｒ」の上に「＾」がある記号で表現するが、明細書ではこの記号は表現できないため「Ｒ＾（ｘ，ｙ）」と表現する。そして、フィルタ処理後の画像を特徴画像Ｒ＾（ｘ，ｙ）とし、この特徴画像をラスタスキャンすることで入力ベクトルを変換する。式（８）ではＳ（ｘ，ｙ）が０に近い時、極端に大きな値をとり不安定となる。このため、はずれ値を抑える関数を導入した式（９）より特徴画像Ｒ＾（ｘ，ｙ）を求めても良い。

ｆ（・）には、ロジスティック関数や対数関数などを用いる。

（９）識別部１０９
ステップ８に示すように、識別部１０９は、フィルタ処理部１０８から出力された入力ベクトルと、予め登録されていた辞書ベクトルを、例えば、最近傍識別方法を用いて距離を比較することで識別を行う。

他にも部分空間法などパターン認識の方法を用いて識別を行うことができる。

（１０）第１の実施形態の効果
本実施形態の物体認識装置１００では、顔画像に影領域が生じるような場合でも照明変動に影響を受けない顔固有の特徴量を抽出でき、精度の高い個人認識を行うことができる。

（第２の実施形態）
第２の実施形態の物体認識装置２００について図３に基づいて説明する。

（１）物体認識装置２００の構成
図３に物体認識装置２００の構成を示す。

物体認識装置２００は、画像入力部２０１、対象検出部２０２、拡散反射画像生成部２０３、対象モデル格納部２０４、差分画像生成部２０５、反射属性判定部２０６、画素値置換部２０７、差分画像修正部２０８、重み算出部２０９、重み付きガウシアンフィルタ適用部２１０、フィルタ処理部２１１、識別部２１２からなる。

なお、画像入力部２０１は画像入力部１０１、対象検出部２０２は対象検出部１０２、拡散反射画像生成部２０３は拡散反射画像生成部１０３、対象モデル格納部２０４は対象モデル格納部１０４、差分画像生成部２０５は差分画像生成部１０５と同じ処理を行う。

また、重み算出部２０９は重み算出部１０６、重み付きガウシアンフィルタ適用部２１０は重み付きガウシアンフィルタ適用部１０７、フィルタ処理部２１１はフィルタ処理部１０８、識別部２１２は識別部１０９と同じ処理を行う。

（２）反射属性判定部２０６
反射属性判定部２０６は、差分画像生成部２０５から出力された差分画像Ｉ’（ｘ，ｙ）の画素値を用いて入力画像Ｉ（ｘ，ｙ）の各画素の反射属性を判定する。差分画像Ｉ’（ｘ，ｙ）の画素値が正の値をもち、ある一定の閾値を越えているならば、その画素を鏡面反射領域と出力する。

（３）画素値置換部２０７
画素値置換部２０７は、反射属性判定部２０６において鏡面反射領域と出力された入力画像Ｉ（ｘ，ｙ）の画素値を、周辺画素から補間された画素値に置き換えるか、拡散反射画像生成部２０３から出力された拡散反射画像Ｉ〜（ｘ，ｙ）の画素値に置き換える。

入力画像Ｉ（ｘ，ｙ）において置換された画素値と周辺画素の画素値が不連続になるのを防ぐため、入力画像Ｉ（ｘ，ｙ）と拡散反射画像Ｉ〜（ｘ，ｙ）の重み付け線形和を用いてもよい。

差分画像Ｉ’（ｘ，ｙ）の画素値が小さければ入力画像Ｉ（ｘ，ｙ）に大きな重みを、差分画像Ｉ’（ｘ，ｙ）の画素値が大きければ拡散反射画像Ｉ〜（ｘ，ｙ）に大きな重みを与える。

（４）差分画像修正部２０８
差分画像修正部２０８は、反射属性判定部２０６において鏡面反射領域と出力された差分画像Ｉ’（ｘ，ｙ）の画素値を一定の値（例えば０）に置き換える。

（５）第２の実施形態の効果
本実施形態の物体認識装置２００では、顔画像に影領域と鏡面反射領域が生じるような場合でも識別に有効な特徴量を抽出でき、精度の高い個人認証を行うことができる。

（第３の実施形態）
第３の実施形態の物体認識装置３００について図４に基づいて説明する。

図４に物体認識装置３００の構成を示す。物体認識装置３００は、画像入力部３０１、対象検出部３０２、対象モデル選択部３０３、対象モデル格納部３０４、拡散反射画像生成部３０５、差分画像生成部３０６、重み算出部３０７、重み付きガウシアンフィルタ適用部３０８、フィルタ処理部３０９、識別部３１０からなる。

画像入力部３０１は画像入力部１０１、対象検出部３０２は対象検出部１０２と同じ処理を行う。

対象モデル選択部３０３は、対象検出部３０２より出力された顔画像の顔向きを推定し、対象モデル格納部３０４に格納された複数の拡散反射画像生成モデルから適切なものを選択する。対象モデル格納部３０４に格納されている拡散反射画像生成モデルは、顔向き毎や顔部分領域毎に格納されている。

拡散反射画像生成部３０５は、対象モデル選択部３０３より選択された拡散反射画像生成モデルを用いて拡散反射画像生成部１０３と同じ処理を行う。

差分画像生成部３０６は差分画像生成部１０５、重み算出部３０７は重み算出部１０６、重み付きガウシアンフィルタ適用部３０８重み付きガウシアンフィルタ適用部１０７、フィルタ処理部３０９はフィルタ処理部１０８、識別部３１０は識別部１０９と同じ処理を行う。

本実施形態の物体認識装置３００では、顔画像の顔向きが正面だけではなく様々な方向でも、照明変動に頑健な特徴量を抽出し、精度の高い個人認証を行うことができる。

（第４の実施形態）
第４の実施形態の物体認識装置４００について図５に基づいて説明する。

（１）物体認識装置４００の構成
図５に物体認識装置４００の構成を示す。

物体認識装置４００は、画像入力部４０１、対象検出部４０２、拡散反射画像生成部４０３、対象モデル格納部４０４、差分画像生成部４０５、重み算出部４０６、微分処理部４０７、重み付きガウシアンフィルタ適用部４０８、フィルタ処理部４０９、識別部４１０からなる。

なお、画像入力部４０１は画像入力部１０１、対象検出部４０２は対象検出部１０２、拡散反射画像生成部４０３は拡散反射画像生成部１０３、対象モデル格納部４０４は対象モデル格納部１０４、差分画像生成部４０５は差分画像生成部１０５、重み算出部４０６は重み算出部１０６と同じ処理を行う。また、識別部４１０は識別部１０９と同じ処理を行う。

（２）微分処理部４０７
微分処理部４０７は、入力画像の注目画素とその周辺画素の差分をとることでノイズを除去する。注目画素付近では一様のノイズが発生すると仮定できれば、例えば式（１０）によりノイズを除去できる。

式（１０）以外にも、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎフィルタ、離散フーリエ変換の適用によるバンドパスフィルタなどを用いてもよい。

鏡面反射成分も、注目画素付近では一様の値をとる（局所領域では同一の鏡面反射特性をもち法線方向が均一で視点は無限遠点とする）と仮定できると、同様の方法で除去できる。但し、カメラのダイナミックレンジに観測値が収まる場合に限る。

（３）重み付きガウシアンフィルタ適用部４０８
重み付きガウシアンフィルタ適用部４０８は、重み算出部４０６で出力された重みを用いて、微分処理部４０７より出力された微分入力画像に重み付きガウシアンフィルタを適用する。

ここで、｜・｜は絶対値を表し、＊は畳み込みを表す。

（４）フィルタ処理部４０９
フィルタ処理部４０９は、重み付きガウシアンフィルタ適用部４０８より出力された平滑化画像を用いて、微分処理部４０７より出力された画像に式（１２）の処理を適用する。

（５）第４の実施形態の効果
本実施形態の物体認識装置４００では、暗い環境など照明条件が悪い場合に発生するカメラ系のノイズを除去し、照明変動に頑健な特徴量を抽出し、精度の高い個人認証を行うことができる。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

本発明は、画像を用いた物体認識一般にも適用可能である。例えば、顔に限らず画像として撮影できる様々な実物体に対しても適用することができる。

また、フィルタ処理部１０８から出力されたフィルタ処理後の画像をパスポートなどに記憶させ、人物の認識に使用してよい。

さらに、重み付きガウシアンフィルタに限らず、重み付き平滑化フィルタであればよく、平滑化フィルタに例えば、線形フィルタ、ＣＯＳ^ｎ（ｎ＞２）で定義されるフィルタを用いてもよい。

第１の実施形態の物体認識装置の構成図である。第１の実施形態の物体認識装置の処理を示すフローチャートである。第２の実施形態の物体認識装置の構成図である。第３の実施形態の物体認識装置の構成図である。第４の実施形態の物体認識装置の構成図である。入力画像中のランダムに選択された３点から基底画像を用いて係数を推定する例である。入力画像を複数の基底画像を用いて拡散反射画像に変換し、入力画像と拡散反射画像との差分画像を用いて入力画像を特徴画像に変換した例である。顔画像から照明変動に頑健な特徴画像を抽出した例である。

符号の説明

１０１画像入力部
１０２対象検出部
１０３拡散反射画像生成部
１０４対象モデル格納部
１０５差分画像生成部
１０６重み算出部
１０７重み付きガウシアンフィルタ適用部
１０８フィルタ処理部
１０９識別部

Claims

入力画像から照明変動による影響を減少させた特徴画像を求める画像処理装置において、
重み付き平滑化フィルタの重みを計算する重み算出部と、
前記入力画像に、前記重み付き平滑化フィルタを適用して平滑化画像を生成するフィルタ適用部と、
前記入力画像の画素値を、前記平滑化画像の画素値で割ることで前記特徴画像を求めるフィルタ処理部と、
を有し、
前記重み算出部は、
（１）拡散反射成分を主要な成分として有するモデルを用いて、前記入力画像を近似する拡散反射画像を求める拡散反射画像生成部と、
（２）前記拡散反射画像と前記入力画像の差分画像を生成する差分画像生成部と、
を有し、
前記差分画像内の注目画素の画素値とその周辺画素の画素値とを比較して、その差分が大きいほど、前記周辺画素に小さい重みを与える
ことを特徴とした画像処理装置。
前記差分画像の画素値を用いて、前記入力画像の画素のそれぞれについて鏡面反射領域であるか否かを判定する反射属性判定部と、
前記鏡面反射領域と判定された前記入力画像の画素値を、前記拡散反射画像を用いて修正し、置換入力画像を求める画素値置換部と、
前記鏡面反射領域と判定された差分画像の画素値を修正して修正差分画像を求める差分画像修正部と、
をさらに有し、
前記重み算出部は、前記修正差分画像を用いて前記各重みを計算し、
前記フィルタ適用部と前記フィルタ処理部は、前記置換入力画像を用いる
ことを特徴とした請求項１記載の画像処理装置。
前記入力画像の物体の向きを推定し、その推定した向きに応じて前記モデルを選択する対象モデル選択部を有する
ことを特徴とした請求項１記載の画像処理装置。
前記入力画像に対して微分フィルタを適用して微分入力画像を求める微分処理部をさらに有し、
前記フィルタ適用部と前記フィルタ処理部は、前記微分入力画像を用いる
ことを特徴とした請求項１記載の画像処理装置。
前記重み算出部は、
前記重み付き平滑化フィルタの中心画素に対応する差分画像の注目画素値と、前記重み付き平滑化フィルタの周辺画素に対する前記差分画像の周辺画素値の差分を求め、その差分が大きければ前記周辺画素の重みを小さくする
ことを特徴とした請求項１記載の画像処理装置。
前記画素値置換部は、前記鏡面反射領域と判定された前記入力画像の画素値を、
（１）前記拡散反射画像の画素値と置き換えるか、または、
（２）前記鏡面反射領域と判定された前記入力画像の画素の周辺画素に対応する前記拡散反射画素の画素値で補間する
ことを特徴とした請求項１記載の画像処理装置。
重み付き平滑化フィルタが、重み付きガウシアンフィルタである
ことを特徴とした請求項１記載の画像処理装置。
前記フィルタ画像を用いて、前記フィルタ画像に写った識別対象の識別を行う
ことを特徴とした請求項１記載の画像処理装置。
前記周辺画素は、前記注目画素を基準とする複数の画素を有する領域内の画素である
ことを特徴とする請求項１記載の画像処理装置。
入力画像から照明変動による影響を減少させた特徴画像を求める画像処理方法において、
重み付き平滑化フィルタの重みを計算し、
前記入力画像に重み付き平滑化フィルタを適用して平滑化画像を生成し、
前記入力画像の画素値を、前記平滑化画像の画素値で割ることで前記特徴画像を求め、
前記重みを計算するために、
（１）拡散反射成分を主要な成分として有するモデルを用いて、前記入力画像を近似する拡散反射画像を求め、
（２）前記拡散反射画像と前記入力画像の差分画像を生成し、
前記差分画像内の注目画素の画素値とその周辺画素の画素値とを比較して、その差分が大きいほど、前記周辺画素に小さい重みを与える
ことを特徴とした画像処理方法。
前記差分画像の画素値を用いて、前記入力画像の画素のそれぞれについて鏡面反射領域であるか否かを判定し、
前記鏡面反射領域と判定された前記入力画像の画素値を、前記拡散反射画像を用いて修正し、置換入力画像を求め、
前記鏡面反射領域と判定された差分画像の画素値を修正して修正差分画像を求め、
前記修正差分画像を用いて前記各重みを計算し、
前記置換入力画像を用いて前記平滑化画像を生成し、
前記置換入力画像の画素値を、前記平滑化画像の画素値で割ることで前記フィルタ画像を求める
ことを特徴とした請求項１０記載の画像処理方法。
前記入力画像の物体の向きを推定し、その推定した向きに応じて前記モデルを選択する
ことを特徴とした請求項１０記載の画像処理方法。
前記入力画像に対して微分フィルタを適用して微分入力画像を求め、
前記微分入力画像に重み付き平滑化フィルタを適用して平滑化画像を生成し、
前記微分入力画像の画素値を、前記平滑化画像の画素値で割ることで前記特徴画像を求める
ことを特徴とした請求項１０記載の画像処理方法。
前記重みを求めるときは、
前記重み付き平滑化フィルタの中心画素に対応する差分画像の注目画素値と、前記重み付き平滑化フィルタの周辺画素に対する前記差分画像の周辺画素値の差分を求め、その差分が大きければ前記周辺画素の重みを小さくする
ことを特徴とした請求項１０記載の画像処理方法。
前記鏡面反射領域と判定された前記入力画像の画素値を、
（１）前記拡散反射画像の画素値と置き換えるか、または、
（２）前記鏡面反射領域と判定された前記入力画像の画素の周辺画素に対応する前記拡散反射画素の画素値で補間する
ことを特徴とした請求項１０記載の画像処理方法。
重み付き平滑化フィルタが、重み付きガウシアンフィルタである
ことを特徴とした請求項１０記載の画像処理方法。
前記フィルタ画像を用いて、前記フィルタ画像に写った識別対象の識別を行う
ことを特徴とした請求項１０記載の画像処理方法。
前記周辺画素は、前記注目画素を基準とする複数の画素を有する領域内の画素である
ことを特徴とする請求項１０記載の画像処理方法。
入力画像から照明変動による影響を減少させた特徴画像をコンピュータによって求める画像処理プログラムにおいて、
重み付き平滑化フィルタの重みを計算する重み算出機能と、
前記入力画像に、前記重み付き平滑化フィルタを適用して平滑化画像を生成するフィルタ適用機能と、
前記入力画像の画素値を、前記平滑化画像の画素値で割ることで前記特徴画像を求めるフィルタ処理機能と、
をコンピュータによって実現し、
前記重み算出機能は、
（１）拡散反射成分を主要な成分として有するモデルを用いて、前記入力画像を近似する拡散反射画像を求める拡散反射画像生成機能と、
（２）前記拡散反射画像と前記入力画像の差分画像を生成する差分画像生成機能と、
を実現し、
前記差分画像内の注目画素の画素値とその周辺画素の画素値とを比較して、その差分が大きいほど、前記周辺画素に小さい重みを与える
ことを特徴とした画像処理プログラム。
前記差分画像の画素値を用いて、前記入力画像の画素のそれぞれについて鏡面反射領域であるか否かを判定する反射属性判定機能と、
前記鏡面反射領域と判定された前記入力画像の画素値を、前記拡散反射画像を用いて修正し、置換入力画像を求める画素値置換機能と、
前記鏡面反射領域と判定された差分画像の画素値を修正して修正差分画像を求める差分画像修正機能と、
をさらにコンピュータによって実現する
前記重み算出機能は、前記修正差分画像を用いて前記各重みを計算し、
前記フィルタ適用機能と前記フィルタ処理機能は、前記置換入力画像を用いる
ことを特徴とした請求項１９記載の画像処理プログラム。
前記入力画像の物体の向きを推定し、その推定した向きに応じて前記拡散反射画像生成モデルを選択する対象モデル選択機能を有する
ことを特徴とした請求項１９記載の画像処理プログラム。
前記入力画像に対して微分フィルタを適用して微分入力画像を求める微分処理機能をさらに有し、
前記フィルタ適用機能と前記フィルタ処理機能は、前記微分入力画像を用いる
ことを特徴とした請求項１９記載の画像処理プログラム。
前記重み算出機能は、
前記重み付き平滑化フィルタの中心画素に対応する差分画像の注目画素値と、前記重み付き平滑化フィルタの周辺画素に対する前記差分画像の周辺画素値の差分を求め、その差分が大きければ前記周辺画素の重みを小さくする
ことを特徴とした請求項１９記載の画像処理プログラム。
前記画素値置換機能は、前記鏡面反射領域と判定された前記入力画像の画素値を、
（１）前記拡散反射画像の画素値と置き換えるか、または、
（２）前記鏡面反射領域と判定された前記入力画像の画素の周辺画素に対応する前記拡散反射画素の画素値で補間する
ことを特徴とした請求項１９記載の画像処理プログラム。
重み付き平滑化フィルタが、重み付きガウシアンフィルタである
ことを特徴とした請求項１９記載の画像処理プログラム。
前記フィルタ画像を用いて、前記フィルタ画像に写った識別対象の識別を行う
ことを特徴とした請求項１９記載の画像処理プログラム。
前記周辺画素は、前記注目画素を基準とする複数の画素を有する領域内の画素である
ことを特徴とする請求項１９に記載の画像処理プログラム。