JPWO2018042815A1 - 画像処理装置と画像処理方法 - Google Patents

Abstract

偏光撮像部２０は、偏光子を配して構成された複数偏光方向の偏光方向毎の偏光画素を含み、偏光画像の画像信号を画像処理部３０の欠陥検出部３５へ出力する。欠陥検出部３５は、偏光撮像部で生成された対象偏光画素の画素値と、対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した対象偏光画素の画素値との差が予め設定した許容範囲より大きい場合に対象偏光画素を欠陥画素とする。したがって、偏光画像を生成する偏光撮像部における画素の欠陥を検出できるようになる。

Description

この技術は、画像処理装置と画像処理方法に関し、偏光撮像素子の欠陥を検出できるようにする。

従来、ＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子では画素欠陥が生じることから、画素欠陥を検出して補正する処理が行われている。例えば特許文献１では、対象画素の近傍の同色画素を比較画素として、比較画素と対象画素の差分絶対値が第１の閾値より大きい比較画素の数を検出して、検出した比較画素の数が第２の閾値より大きい対象画素を欠陥画素と判定している。また、特許文献２では、所定の画素と所定の画素の周囲の複数の画素との信号出力レベルの差が欠陥検出閾値より大きければ所定の画素を欠陥画素と判定することが行われている。

特開２００８−０６７１５８号公報 特開２００２−２２３３９１号公報

ところで、上述のような欠陥画素の判定は、入射面側に画素単位あるいは複数画素単位で偏光方向が異なる偏光子を設けた偏光撮像素子を用いることが考慮されていない。

そこで、この技術では偏光撮像素子の欠陥検出を行うことができる画像処理装置と画像処理方法を提供することを目的とする。

この技術の第１の側面は、
複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する欠陥検出部を備える画像処理装置にある。

この技術において、欠陥検出部は、偏光子を配して構成された複数偏光方向の偏光方向毎の偏光画素を含む偏光撮像部で生成された対象偏光画素について、偏光方向が異なる周辺画素の画素値に対応する偏光特性から対象偏光画素の画素値を推定して、対象偏光画素の画素値と推定した画素値との差が予め設定した許容範囲の範囲外である場合に対象偏光画素を欠陥画素とする。

また、周辺画素は、対象偏光画素に対して異なる偏光方向であって、偏光方向が等しい複数の画素を含む場合、欠陥検出部は、偏光方向が等しい複数の画素から選択する画素を切り替えることで、対象偏光画素の画素値の推定に用いる周辺画素を複数の組み合わせとして、組み合わせ毎に対象偏光画素の画素値を推定して、対象偏光画素の画素値と推定した画素値との差が予め設定した許容範囲の範囲外となる組み合わせの割合が、予め設定された所定割合より大きい場合に対象偏光画素を欠陥画素としてもよい。

また、欠陥検出部は、対象偏光画素の画素値と、さらに対象偏光画素と偏光方向が等しい周辺画素の画素値を用いて、対象偏光画素が欠陥画素であるか検出してもよい。この場合、欠陥検出部は、対象偏光画素の画素値と推定した画素値との差が予め設定した第１許容範囲の範囲外で、対象偏光画素の画素値と偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、対象偏光画素を欠陥画素とする。また、欠陥検出部は、対象偏光画素の画素値と推定した画素値との差が予め設定した第１許容範囲の範囲外である場合、および差が予め設定した第１許容範囲の範囲内であって、対象偏光画素の画素値と偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、対象偏光画素を欠陥画素としてもよい。

また、欠陥検出部は、対象偏光画素と等しい色成分画素であって対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて対象偏光画素の画素値を推定する。また、白色被写体を撮像して生成された色成分毎の画素値を等しくするホワイトバランス調整部を設けて、欠陥検出部は、白色被写体を撮像して生成された色成分毎の画素値をホワイトバランス調整部で調整した画素毎の画素値から、対象偏光画素に対して偏光方向が異なる周辺画素の画素値を用いて対象偏光画素の画素値を推定してもよい。

さらに、欠陥検出部は、周辺画素の画素値に、時間方向が異なる周辺画素の画素値を含めてもよい。また、欠陥画素を示す欠陥情報を記憶する欠陥情報記憶部を設けている場合、欠陥検出部は、対象偏光画素の欠陥検出結果に基づき欠陥情報を更新する。

周辺画素は、対象偏光画素と異なる少なくとも２偏光方向以上の画素である。また、周辺画素は、対象偏光画素と異なる１つの偏光方向の画素と無偏光画素としてもよい。この場合、対象偏光画素と周辺画素の偏光方向の角度差は、４５°を基準とした所定範囲内の角度差とする。

また、欠陥画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて推定した画素値を欠陥画素の補正後の画素値とする欠陥補正部、または、偏光方向が欠陥画素と等しく欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて欠陥画素の補正後の画素値を算出する欠陥補正部を設けてもよい。欠陥補正部は、例えば偏光方向が欠陥画素と等しく欠陥画素のテクスチャの周辺画素の画素値の平均値を欠陥画素の画素値とする。

この技術の第２の側面は、
複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか欠陥検出部で検出すること
を含む画像処理方法にある。

この技術によれば、複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出される。したがって、偏光画像を生成する偏光撮像部における画素の欠陥を検出できるようになる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

偏光画像の生成について説明するための図である。 輝度と偏光角との関係を例示した図である。 画像処理装置の動作を説明するための図である。 画像処理装置を用いた偏光画像システムの構成を例示した図である。 白黒偏光画像を生成する偏光撮像部の構成を例示した図である。 欠陥検出部の動作を示すフローチャートである。 第１の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。 第２の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。 第３の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。 第３の実施の形態における欠陥検出部の欠陥判定動作を示すフローチャートである。 第３の実施の形態における欠陥検出部の他の欠陥判定動作を示すフローチャートである。 第６の実施の形態の構成を例示した図である。 第７の実施の形態の構成を例示した図である。 第７の実施の形態における欠陥検出部の動作を説明するための図である。Ｓ 示す図である。 カラー偏光画像を生成する偏光撮像部の構成を例示した図である。 第８の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。 第９の実施の形態の構成を例示した図である。 偏光画素の画素値と無偏光画素の画素値の関係を説明するための図である。 偏光子とカラーフィルタの他の構成および組み合わせを例示した図である。 ２×２画素を偏光単位とした偏光子を用いる場合を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．偏光画像と画像処理装置について
２．画像処理装置の実施の形態
２−１．第１の実施の形態
２−２．第２の実施の形態
２−３．第３の実施の形態
２−４．第４の実施の形態
２−５．第５の実施の形態
２−６．第６の実施の形態
２−７．第７の実施の形態
２−８．第８の実施の形態
２−９．第９の実施の形態
２−１０．第１０の実施の形態
２−１１．他の実施の形態
３．応用例

＜１．偏光画像と画像処理装置について＞
図１は、偏光画像の生成について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。図１において、角度θは天頂角である。

偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光方向との関係を例示している。

式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光方向の関係を示す偏光モデル式に基づいて、所望の偏光方向φの輝度を推定できる。

画像処理装置は、対象偏光画素の周辺に位置する偏光方向が異なる周辺画素を用いて偏光モデル式へのフィッティングを行い、対象偏光画素の画素値を推定する。また、画像処理装置は、対象偏光画素の画素値と推定した画素値を用いて対象偏光画素が欠陥画素であるか否かの欠陥検出、および欠陥画素と判別されたときの欠陥補正を行う。なお、以下の説明では、偏光方向を示す変数Ｎを用いて、４つの偏光方向の偏光画素をＣＮ（Ｎ＝１〜４）として示す。

図３は画像処理装置の動作を説明するための図である。対象偏光画素Ｃ３は偏光方向Ｎ＝３で画素値Ｉ３、周辺画素Ｃ１は偏光方向Ｎ＝１で画素値Ｉ１、周辺画素Ｃ２は偏光方向Ｎ＝２で画素値Ｉ２、周辺画素Ｃ４は偏光方向Ｎ＝４で画素値Ｉ４とする。この場合、周辺画素に基づき偏光モデル式へのフィッティングを行い、フィッティング後の偏光モデル式から対象偏光画素Ｃ３の推定画素値Ｉ３estを算出できる。画像処理装置は、対象偏光画素Ｃ３の画素値Ｉ３が、推定画素値Ｉ３estを基準とした許容範囲Ｌpを超える場合に対象偏光画素Ｃ３を欠陥画素と判定する。また、偏光方向Ｎ＝１を０°，Ｎ＝２を４５°，Ｎ＝３を９０°，Ｎ４を１３５°とすると、理想状態では式（２）が成り立ち、式（２）を変形すると式（３）となる。
（Ｉ２＋Ｉ４）／２＝（Ｉ１＋Ｉ３）／２ ・・・（２）
Ｉ３est＝（Ｉ２＋Ｉ４）−Ｉ１ ・・・（３）

したがって、画像処理装置は、対象偏光画素Ｃ３が欠陥画素と判定された場合、式（３）を予測式として用いて欠陥補正を行い、周辺画素Ｃ１，Ｃ２，Ｃ４の画素値Ｉ１，Ｉ２，Ｉ４に基づき算出した推定画素値Ｉ３estを補正画素値Ｉ３ｃとする。

なお、対象偏光画素が画素Ｃ１である場合、式（４）を予測式として用いて欠陥補正を行い、偏光方向が異なる周辺画素の画素値に基づいて算出した推定画素値Ｉ１estを補正画素値とする。対象偏光画素が画素Ｃ２である場合、式（５）を予測式として用いて欠陥補正を行い、偏光方向が異なる周辺画素の画素値に基づいて算出した推定画素値Ｉ２estを補正画素値とする。対象偏光画素が画素Ｃ４である場合、式（６）を予測式として用いて欠陥補正を行い、偏光方向が異なる周辺画素の画素値に基づいて算出した推定画素値Ｉ４estを補正画素値とする。
Ｉ１est＝（Ｉ２＋Ｉ４）−Ｉ３ ・・・（４）
Ｉ２est＝（Ｉ１＋Ｉ３）−Ｉ４ ・・・（５）
Ｉ４est＝（Ｉ１＋Ｉ３）−Ｉ２ ・・・（６）

また、画像処理装置は、欠陥画素と偏光方向が等しい周辺画素の画素値を用いて欠陥画素の補正を行ってもよい。

＜２．画像処理装置の実施の形態＞
次に、画像処理装置の実施の形態について説明する。図４は、画像処理装置を用いた偏光画像システムの構成を例示している。偏光画像システム１０は、偏光撮像部２０と画像処理部３０を有しており、画像処理部３０は本技術の画像処理装置に相当する。

画像処理部３０は、欠陥検出部３５と欠陥情報記憶部３４および欠陥補正部３６を有しており、偏光子を配して構成された複数偏光方向の偏光方向毎の偏光画素を含む偏光撮像部２０で生成された偏光ＲＡＷ画像に対して欠陥検出や欠陥補正を行う。なお、画像処理部３０は、欠陥検出部３５と欠陥補正部３６のいずれかを有する構成であってもよく、欠陥情報記憶部３４は、画像処理部３０と別個に構成されていてもよい。

第１〜第７の実施の形態では偏光画像が白黒画像である場合について説明する。また、第８,第９の実施の形態では偏光画像がカラー画像である場合について説明する。さらに、第１０の実施の形態では偏光画像の偏光方向が２方向である場合について説明する。

＜２−１．第１の実施の形態＞
図５は、白黒偏光画像を生成する偏光撮像部の構成を例示している。偏光撮像部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２０１と、偏光子２０２を用いて構成される。イメージセンサ２０１は、偏光子２０２を介して入射された被写体光の光電変換を行い、被写体光に応じた画像信号、すなわち白黒偏光画像のＲＡＷ画像信号を生成する。偏光撮像部２０は、白黒偏光画像のＲＡＷ画像信号を画像処理部３０へ出力する。

偏光子２０２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。偏光子２０２は、偏光成分単位を画素単位として、偏光モデル式へのフィッティングおよび予測式が成立する条件を満たすことができるように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設けた場合を例示している。

画像処理部３０の欠陥検出部３５は、偏光撮像部２０で生成された白黒偏光ＲＡＷ画像（以下「偏光画像」という）における対象偏光画素が欠陥画素であるか検出する。また、欠陥検出部３５は、欠陥情報記憶部３４に記憶されている欠陥情報に基づき、対象偏光画素が欠陥画素でないことが示されている場合に欠陥検出を行うことで、対象偏光画素が欠陥画素に変化したか検出してもよい。対象偏光画素が欠陥画素であるか否かの判別は、偏光方向が異なる周辺画素の画素値に対応する偏光特性を示すフィッティング後の偏光モデル式に基づき対象偏光画素の画素値を推定して、対象偏光画素の画素値と推定した画素値（以下「推定画素値」という）に基づいて行う。例えば、欠陥検出部３５は、対象偏光画素の画素値と推定した画素値との差が予め設定した許容範囲の範囲外である場合に対象偏光画素を欠陥画素と判定する。欠陥検出部３５は、対象偏光画素が欠陥画素であると判別した場合、対象偏光画素が欠陥画素であることを示す情報を、欠陥情報記憶部３４から取得した欠陥情報に加えて、偏光画像と共に欠陥補正部３６へ出力する。

欠陥補正部３６は、欠陥検出部３５から供給された偏光画像と欠陥情報に基づき、偏光画像における欠陥情報で示された欠陥画素の補正を、欠陥画素の周辺に位置する周辺画素を用いて補正する。

次に欠陥検出部３５の動作について説明する。図６は、欠陥検出部の動作を示すフローチャートである。ステップＳＴ１で欠陥検出部は対象偏光画素が既知欠陥画素であるか判別する。欠陥検出部３５は、欠陥情報記憶部３４に記憶されている欠陥情報によって、対象偏光画素が欠陥画素であると示されている場合、対象偏光画素は既知欠陥画素であると判別してステップＳＴ４に進む。また、欠陥検出部３５は、欠陥情報によって、対象偏光画素が欠陥画素であると示されていない場合、ステップＳＴ２に進む。

ステップＳＴ２で欠陥検出部は対象偏光画素の推定画素値を算出する。欠陥検出部３５は、対象偏光画素の欠陥画素の周辺に位置する偏光方向が異なる周辺画素を用いて推定画素値を算出してステップＳＴ３に進む。なお、推定画素値を算出については後述する。

ステップＳＴ３で欠陥検出部は差分絶対値が閾値以下であるか判別する。欠陥検出部３５は、対象偏光画素の画素値とステップＳＴ３で算出した推定画素値の差分絶対値を算出して、差分絶対値が閾値よりも大きい場合はステップＳＴ４に進み、差分絶対値が閾値以下である場合はステップＳＴ５に進む。

ステップＳＴ４で欠陥検出部は、対象偏光画素を欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が既知欠陥画素または推定画素値との差分絶対値が閾値よりも大きいことから、対象偏光画素を欠陥画素と判別する。

ステップＳＴ５で欠陥検出部は、対象偏光画素を非欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が既知欠陥画素ではなく、推定画素値との差分絶対値が閾値以下であることから、対象偏光画素を非欠陥画素と判別する。

次に、欠陥検出部における推定画素値の算出動作と欠陥判定動作について説明する。欠陥検出部３５は、対象偏光画素に対する周辺画素の画素値を用いて対象偏光画素の推定画素値を算出する。推定画素値の算出する用いる周辺画素の領域を大きくした場合、多くの偏光画素の画素値を用いて推定画素値の算出が行われることからノイズに対する耐性を向上できる。しかし、周辺画素の領域を大きくすると、対象偏光画素と異なるテクスチャの画素が含まれ易くなり、周辺画素に異なるテクスチャの画素が含まれると正しい推定画素値が得られない。そこで、欠陥検出部３５は、ノイズに対する耐性が高く対象偏光画素と異なるテクスチャの影響が少ないように予め設定された領域サイズ内の周辺画素を用いて推定画素値を算出する。

図７は第１の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。図７の（ａ）は、欠陥検出を行う対象偏光画素と周辺画素を示している。欠陥検出部３５は、対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）の周辺画素の画素値を用いて推定画素値を算出する。対象偏光画素Ｃ３の偏光方向が９０°、周辺画素Ｃ１(x-1,y-1)，Ｃ１(x-1,y+1)，Ｃ１(x+1,y+1)，Ｃ１(x+1,y-1)の偏光方向が０°、周辺画素Ｃ２(x-1,y)，Ｃ２(x+1,y)の偏光方向が４５°、周辺画素Ｃ４(x,y-1)，Ｃ４(x,y+1)の偏光方向が１３５°である場合、理想状態では上述の式（３）が成り立つ。また、第１の実施の形態では、式（３）における画素値Ｉ１，Ｉ２，Ｉ４を、周辺画素領域内における偏光方向が等しい画素の画素平均値とする。すなわち、図７における（ａ）の場合、欠陥検出部３５は、式（７）〜（９）で算出された画素値Ｉ１，Ｉ２，Ｉ４を用いる。
Ｉ１＝(Ｉ１(x-1,y-1)＋Ｉ１(x-1,y+1)＋Ｉ１(x+1,y+1)＋Ｉ１(x+1,y-1))／４
・・・（７）
Ｉ２＝(Ｉ２(x-1,y)＋Ｉ２(x+1,y))／２ ・・・（８）
Ｉ４＝(Ｉ４(x,y-1)＋Ｉ４(x,y+1))／２ ・・・（９）

欠陥検出部３５は、対象偏光画素の画素値と推定した画素値との差が予め設定した許容範囲の範囲外である場合に欠陥画素と判定する。すなわち、欠陥検出部３５は、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が、式（３）と式（７）乃至式（９）に基づき算出した推定画素値Ｉ３estを基準とする許容範囲Ｌpを超える場合に欠陥画素と判定する。なお、図７の（ｂ）は、偏光モデルと偏光方向に対する画素値を示しており、白丸は対象偏光画素と周辺画素の画素値を示している。黒丸は偏光方向毎の画素平均値、三角印は推定画素値を示している。

欠陥検出部３５は、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲内である場合、対象偏光画素Ｃ３(x,y)を非欠陥画素と判定する。許容範囲Ｌpは、予め設定されていてもよく、無偏光の画素値（例えばＩ２＋Ｉ４）に応じて許容範囲を調整してもよい。具体的には、無偏光の画素値が小さくなるに伴い許容範囲Ｌｐを狭くすることで、例えば無偏光の画素値が小さくなると、許容範囲が固定されている場合に、欠陥画素が非欠陥画素と判別され易くなってしまうことを防止できる。

欠陥補正部３６は、例えば欠陥画素に対して偏光方向が異なる周辺画素で生成された画素値に対応する偏光特性に基づいて推定した推定画素値を欠陥画素の補正画素値とする。欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、算出されている推定画素値Ｉ３estを対象偏光画素Ｃ３(x,y)の補正画素値Ｉ３ｃ(x,y)とする。

なお、対象偏光画素が画素Ｃ１，Ｃ２，Ｃ４の場合は、式（４）乃至（６）を用いて算出した推定画素値Ｉ１est，Ｉ２est，Ｉ４estを用いて、欠陥画素の判定や欠陥画素の補正を行う。

また、欠陥検出部３５は、対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）の周辺画素の画素値を用いて推定画素値を算出する場合に限られない。例えば、ラスタースキャン順に処理を行う場合、３ライン目の開始から３画素の画素値が得られないと推定画素値を算出できない。したがって、欠陥検出部３５は、対象偏光画素を含む２×２画素領域内の偏光方向が異なる他の３画素の画素値を用いて偏光モデル式へのフィッティングを行い、対象偏光画素の推定画素値を算出してもよい。このように２×２画素領域の画素値を用いて欠陥検出を行えば、２ライン目の開始から２画素分の画素値が得られると推定画素値を算出できるので、画素欠陥検出と欠陥補正を速やかに開始できる。

偏光画像では、対象偏光画素と周辺画素の偏光方向が異なると、偏光方向の違いによって差分絶対値が大きくなる。例えば、対象偏光画素と周辺画素の偏光方向が直交する場合、入射光が対象偏光画素の偏光方向と等しい偏光成分であると、対象偏光画素の画素値は周辺画素の画素値に比べて大きくなる。したがって、偏光子を用いていない従来の無偏光画像と同様に周辺画素との差分絶対値に基づき欠陥検出を行うと、対象偏光画素が欠陥を生じていなくとも欠陥画素と判定されてしまう。

しかし、第１の実施の形態によれば、対象偏光画素の画素値と、この対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した対象偏光画素の画素値を用いて、対象偏光画素の欠陥検出が行われる。このため、偏光方向の異なる周辺画素を用いても、偏光方向の違いによる誤検出を生じることなく欠陥検出を行うことができる。また、偏光方向が異なる周辺画素の画素値を用いて欠陥検出を行うことができるので、従来の無偏光画像と同様に偏光方向が等しい周辺画素との差分絶対値に基づき欠陥検出を行う場合に比べて周辺画素領域を小さくできる。

＜２−２．第２の実施の形態＞
次に第２の実施の形態について説明する。第２の実施の形態は、第１の実施の形態に対して、欠陥検出部の動作が異なる。第２の実施の形態では、対象偏光画素に対して異なる偏光方向であって、偏光方向が等しい複数の画素を周辺画素に含めるようにする。また、欠陥検出部は、偏光方向が等しい複数の画素から選択する画素を切り替えることで、対象偏光画素の画素値の推定に用いる周辺画素を複数の組み合わせとする。さらに、欠陥検出部は、対象偏光画素の画素値が推定画素値を基準とした許容範囲を超える組み合わせの割合に応じて、対象偏光画素の欠陥検出を行う。

図８は、第２の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。欠陥検出部３５は対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）の周辺画素の画素値を用いて推定画素値を算出する。対象偏光画素Ｃ３の偏光方向が９０°、周辺画素Ｃ１(x-1,y-1)，Ｃ１(x-1,y+1)，Ｃ１(x+1,y+1)，Ｃ１(x+1,y-1)の偏光方向が０°、周辺画素Ｃ２(x-1,y)，Ｃ２(x+1,y)の偏光方向が４５°、周辺画素Ｃ４(x,y-1)，Ｃ４(x,y+1)の偏光方向が１３５°である場合、理想状態では上述のように式（３）が成り立つ。第２の実施の形態では、式（３）における画素値Ｉ１，Ｉ２，Ｉ４を、周辺画素領域内における偏光方向が等しい複数の画素値から選択して用いる。ここで、周辺画素領域において画素Ｃ１は４画素、画素Ｃ２は２画素、画素Ｃ４は２画素である。したがって、周辺画素の組み合わせは、１６通り（４×２×２）となり、欠陥検出部３５は、１６通りの組み合わせ毎に推定画素値を算出する。

欠陥検出部３５は、組み合わせ毎に、式（３）に基づき推定画素値Ｉ３estを算出して、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が推定画素値Ｉ３estを基準とした許容範囲Ｌpを超えるか否かを判定する。図８の（ａ）は、対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）の周辺画素を示しており、図８の（ｂ）乃至（ｄ）は周辺画素の異なる組み合わせの一部について偏光モデル式を例示している。図８の（ａ）における点線の組み合わせ（ｃａｓｅ１）では、図８の（ｂ）に示すように、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲内と判定されている。また、図８の（ａ）における一点鎖線の組み合わせ（ｃａｓｅ２）では、図８の（ｃ）に示すように、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲外と判定されている。また、図８の（ａ）における二点鎖線の組み合わせ（ｃａｓｅ３）では、図８の（ｄ）に示すように、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲外と判定されている。さらに、図示しない他の組み合わせについても同様に、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲外であるか否かを判定する。なお、許容範囲Ｌpは、第１の実施の形態と同様に、予め設定されていてもよく、無偏光の画素値（例えばＩ２＋Ｉ４）に応じて許容範囲を調整してもよい。

その後、欠陥検出部３５は、対象偏光画素Ｃ３(x,y)の画素値Ｉ３(x,y)が許容範囲Ｌpの範囲外と判定された組み合わせの割合が所定割合よりも大きい場合に対象偏光画素Ｃ３(x,y)を欠陥画素、所定割合以下である場合に対象偏光画素Ｃ３(x,y)を非欠陥画素と判定する。

欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、組み合わせ毎に算出した推定画素値Ｉ３estに基づき対象偏光画素Ｃ３(x,y)の補正画素値Ｉ３ｃ(x,y)を算出する。欠陥補正部３６は、例えば組み合わせ毎に算出した推定画素値Ｉ３estの平均値を補正画素値Ｉ３ｃ(x,y)とする。また、欠陥補正部３６は、第１の実施の形態と同様に算出した推定画素値Ｉ３estを対象偏光画素Ｃ３(x,y)の補正画素値Ｉ３ｃ(x,y)としてもよい。

なお、補正対象偏光画素が画素Ｃ１，Ｃ２，Ｃ４の場合も、式（４）〜（６）を用いて同様な処理を行うことで欠陥画素の検出や補正を行うことができる。

このように、第２の実施の形態によれば、第１の実施の形態と同様に精度よく欠陥検出を行うことができる。また、周辺画素の複数の組み合わせで欠陥検出を行うことができるので、第１の実施の形態に比べて、安定した欠陥検出を行うことができる。

＜２−３．第３の実施の形態＞
次に第３の実施の形態について説明する。第３の実施の形態は、第１乃至第２の実施の形態に対して、欠陥検出部の動作が異なる。第３の実施の形態では、対象偏光画素の周辺に位置する偏光方向が異なる周辺画素だけでなく、対象偏光画素と偏光方向が等しい近接した画素の画素値をさらに用いて欠陥検出を行う。

図９は、第３の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。欠陥検出部３５は対象偏光画素Ｃ３(x,y)と偏光方向が等しい周辺画素である画素Ｃ３(x,y-2)，Ｃ３(x-2,y)，Ｃ３(x+2,y)，Ｃ３(x,y+2)の画素値を用いた欠陥検出（周辺情報利用欠陥検出）を行う。また、欠陥検出部３５は、第１または第２の実施の形態のように、対象偏光画素Ｃ３(x,y)を中心とした周辺画素領域の偏光方向が異なる周辺画素の画素値を用いた欠陥検出（偏光特性利用欠陥検出）を行う。さらに、欠陥検出部３５は、周辺情報利用欠陥検出と偏光特性利用欠陥検出の欠陥検出結果に基づき、対象偏光画素Ｃ３(x,y)が欠陥画素であるか判定する。

周辺情報利用欠陥検出では、偏光方向が等しい周辺画素の平均値と対象偏光画素の画素値との差分が第２許容範囲の範囲外である場合、例えば式（１０）の条件を満たす場合に対象偏光画素を欠陥画素候補と判定する。画素Ｃ３(x,y-2)，Ｃ３(x-2,y)，Ｃ３(x+2,y)，Ｃ３(x,y+2)の画素値はＩ３(x,y-2)，Ｉ３(x-2,y)，Ｉ３(x+2,y)，Ｉ３(x,y+2)である。
((Ｉ３(x,y-2)＋Ｉ３(x-2,y)＋Ｉ３(x+2,y)＋Ｉ３(x,y+2))／４)−Ｉ３(x,y)＞ＤＥth ・・・（１０）

図１０は、第３の実施の形態における欠陥検出部の欠陥判定動作を示すフローチャートである。ステップＳＴ１１で欠陥検出部は、偏光特性利用欠陥検出結果が欠陥画素候補であるか判別する。欠陥検出部３５は、第１または第２の実施の形態と同様な欠陥検出である偏光特性利用欠陥検出を行い、対象偏光画素の画素値が許容範囲Ｌｐの範囲外である場合は欠陥画素候補と判別してステップＳＴ１２に進む。また、欠陥検出部３５は、対象偏光画素の画素値が許容範囲Ｌｐの範囲内である場合は欠陥画素候補でないと判別してステップＳＴ１４に進む。

ステップＳＴ１２で欠陥検出部は、周辺情報利用欠陥検出結果が欠陥画素候補であるか判別する。欠陥検出部３５は、周辺情報利用欠陥検出を行い、偏光方向が等しい周辺画素の平均値と対象偏光画素の画素値との差分が閾値よりも大きい場合は欠陥画素候補と判別してステップＳＴ１３に進む。また、欠陥検出部３５は、差分が閾値以下である場合、欠陥画素候補でないと判別してステップＳＴ１４に進む。

ステップＳＴ１３で欠陥検出部は、対象偏光画素を欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が偏光特性利用欠陥検出と周辺情報利用欠陥検出で欠陥画素候補と判別されていることから、対象偏光画素を欠陥画素と判別する。

ステップＳＴ１４で欠陥検出部は、対象偏光画素を非欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が偏光特性利用欠陥検出または周辺情報利用欠陥検出で欠陥画素候補でないと判別されていることから、対象偏光画素を非欠陥画素と判別する。このような欠陥判定動作を行うことで、欠陥画素を確実に検出できる。

図１１は、第３の実施の形態における欠陥検出部の他の欠陥判定動作を示すフローチャートである。ステップＳＴ２１で欠陥検出部は、偏光特性利用欠陥検出結果が欠陥画素候補であるか判別する。欠陥検出部３５は、第１または第２の実施の形態と同様な欠陥検出である偏光特性利用欠陥検出を行い、対象偏光画素の画素値が許容範囲Ｌｐの範囲外である場合は欠陥画素候補と判別してステップＳＴ２３に進む。また、欠陥検出部３５は、対象偏光画素の画素値が許容範囲Ｌｐの範囲内である場合は欠陥画素候補でないと判別してステップＳＴ２２に進む。

ステップＳＴ２２で欠陥検出部は、周辺情報利用欠陥検出結果が欠陥画素候補であるか判別する。欠陥検出部３５は、周辺情報利用欠陥検出を行い、偏光方向が等しい近接した画素の平均値と対象偏光画素の画素値との差分が閾値よりも大きい場合は欠陥画素候補と判別してステップＳＴ２３に進む。また、欠陥検出部３５は、差分が閾値以下である場合、欠陥画素候補でないと判別してステップＳＴ２４に進む。

ステップＳＴ２３で欠陥検出部は、対象偏光画素を欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が偏光特性利用欠陥検出と周辺情報利用欠陥検出のいずれかで欠陥画素候補と判別されている場合、対象偏光画素を欠陥画素と判別する。

ステップＳＴ２４で欠陥検出部は、対象偏光画素を非欠陥画素と判定する、欠陥検出部３５は、対象偏光画素が偏光特性利用欠陥検出と周辺情報利用欠陥検出で欠陥画素候補でないと判別されていることから、対象偏光画素を非欠陥画素と判別する。このような欠陥判定動作を行うことで、欠陥画素の検出漏れを少なくできる。

欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、第１の実施の形態と同様な演算を行い、推定画素値Ｉ３estを算出して、算出した推定画素値Ｉ３estを対象偏光画素Ｃ３(x,y)の補正画素値Ｉ３ｃ(x,y)とする。または、欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、第２の実施の形態と同様に、例えば組み合わせ毎に算出した推定画素値Ｉ３estの平均値を補正画素値Ｉ３ｃ(x,y)としてもよい。

このような第３の実施の形態によれば、偏光方向の等しい周辺画素をさらに用いて欠陥検出が行われることから、偏光方向の異なる周辺画素のみを用いて欠陥検出を行う場合に比べて、欠陥検出性能を高めることが可能となる。

＜２−４．第４の実施の形態＞
次に第４の実施の形態について説明する。第４の実施の形態は、第１乃至第３の実施の形態に対して、欠陥補正部の動作が異なり、偏光方向の等しい周辺画素の画素値を用いて対象偏光画素の補正画素値を算出する。

欠陥補正部３６は、対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、偏光方向の等しい周辺画素の画素値、例えば図９に示す画素Ｃ３(x,y-2)，Ｃ３(x-2,y)，Ｃ３(x+2,y)，Ｃ３(x,y+2)の画素値がＩ３(x,y-2)，Ｉ３(x-2,y)，Ｉ３(x+2,y)，Ｉ３(x,y+2)である場合、式（１１）の演算を行い、Ｉ３ｃ(x,y)を算出する。
Ｉ３ｃ(x,y)＝((Ｉ３(x,y-2)＋Ｉ３(x-2,y)＋Ｉ３(x+2,y)＋Ｉ３(x,y+2))／４
・・・（１１）

また、偏光方向の等しく水平方向の周辺画素の画素値を用いて対象偏光画素の補正画素値を算出してもよい。例えば対象偏光画素Ｃ３(x,y)が欠陥画素と判定された場合、式（１２）の演算を行い、Ｉ３ｃ(x,y)を算出する。
Ｉ３ｃ(x,y)＝(Ｉ３(x-2,y)＋Ｉ３(x+2,y))／４ ・・・（１２）

このように、第４の実施の形態では、偏光方向の等しい周辺画素の画素値を用いて対象偏光画素の補正画素値を算出することから、欠陥画素の補正を容易に行うことができる。また、水平方向の周辺画素の画素値を用いて欠陥補正を行うようにすれば、１ラインの画素のみで欠陥補正を行うことができるので、欠陥補正部３６をハードウェアで構成する場合に回路規模を小さくできる。

＜２−５．第５の実施の形態＞
次に第５の実施の形態について説明する。第５の実施の形態は、第４の実施の形態に対して欠陥補正部の動作が異なり、偏光方向が欠陥画素と等しく欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて欠陥画素の補正後の画素値を算出する。

テクスチャ検出では、周辺画素領域にテクスチャ境界が含まれているか水平方向と垂直方向で検出して、テクスチャ検出結果に基づき補正画素値の算出に用いる周辺画素を選択する。欠陥補正部３６は、例えばラプラシアンフィルタを用いてテクスチャ検出を行い、対象偏光画素が図９に示す画素Ｃ３(x,y)である場合、式（１３）に基づき水平方向テクスチャ判定値ｄｈと式（１４）に基づき垂直方向テクスチャ判定値ｄｖを算出する。テクスチャ判定値は、テクスチャが等しい場合に絶対値が小さく、テクスチャが異なる場合に接待値が大きくなる。
ｄｈ＝ＡＢＳ（Ｉ３(x,y-2)−２×Ｉ３(x,y)＋Ｉ３(x,y+2)） ・・・（１３）
ｄｖ＝ＡＢＳ（Ｉ３(x-2,y)−２×Ｉ３(x,y)＋Ｉ３(x+2,y)） ・・・（１４）

さらに、欠陥補正部３６は、水平方向テクスチャ判定値ｄｈと水平方向テクスチャ判定値ｄｈを比較して、式（１５）〜（１７）に示すように、偏光方向が欠陥画素と等しく欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて、画素Ｃ３(x,y)の補正画素値を算出する。
ｄｈ＞ｄｖの場合
Ｉ３ｃ(x,y)＝（Ｉ３(x-2,y)＋Ｉ３(x+2,y)）／２ ・・・（１５）
ｄｈ＜ｄｖの場合
Ｉ３ｃ(x,y)＝（Ｉ３(x,y-2)＋Ｉ３(x,y+2)）／２ ・・・（１６）
ｄｈ＝ｄｖの場合
Ｉ３ｃ(x,y)＝((Ｉ３(x,y-2)＋Ｉ３(x-2,y)＋Ｉ３(x+2,y)＋Ｉ３(x,y+2))／４
・・・（１７）

なお、テクスチャ検出では、テクスチャ境界を検出できればよく、ラプラシアンフィルタに限らずハイパスフィルタやソーベルフィルタを用いてもよい。

このように、第５の実施の形態では、テクスチャ検出を行い、偏光方向が欠陥画素と等しく欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて欠陥補正を行うことから、欠陥補正において異なるテクスチャの周辺画素が用いられることがなく、精度よく欠陥画素を補正できる。

＜２−６．第６の実施の形態＞
次に第６の実施の形態について説明する。上述の第１乃至第５の実施の形態では、空間方向の周辺画素、すなわち対象偏光画素と同一フレームの周辺画素を用いて欠陥検出を行っているが、第６の実施の形態では、時間方向の周辺画素も用いて欠陥検出を行う。以下、対象偏光画素のフレームと過去フレームを用いて欠陥検出を行う場合について説明する。

図１２は、第６の実施の形態の構成を例示している。画像処理部３０は、過去画像記憶部３１、欠陥情報記憶部３４、欠陥検出部３５、欠陥補正部３６を有している。

過去画像記憶部３１は、偏光撮像部２０で生成された過去所定フレーム数分の偏光画像を記憶する。また、過去画像記憶部３１に記憶されている偏光画像は、欠陥検出部３５へ出力される。

欠陥検出部３５は、欠陥情報記憶部３４に記憶されている欠陥情報と過去画像記憶部３１に記憶されている偏光画像に基づき、偏光画像における対象偏光画素の欠陥検出を行う。

欠陥検出部３５は、欠陥検出を行う偏光画像がｎフレームであり、例えば過去偏光画像として（ｎ−１）フレームと（ｎ−２）フレームの偏光画像を用いる場合、ｎフレーム乃至（ｎ−２）フレームの偏光画像の平均化偏光画像を生成する。平均化偏光画像は、画素位置毎にｎフレームと（ｎ−１）フレームと（ｎ−２）フレームの画素値を平均して生成する。欠陥検出部３５は、式（３）を用いて推定画素値を算出する場合、平均化偏光画像における周辺画素Ｃ１，Ｃ２，Ｃ４の画素値Ｉ１，Ｉ２，Ｉ４を用いる。また、過去偏光画像では、欠陥検出を行う偏光画像と同一テクスチャの画像を用いる。

欠陥補正部３６は、対象偏光画素Ｃ３が推定画素値に基づいて欠陥画素と判定された場合、推定画素値を対象偏光画素Ｃ３の補正画素値Ｉ３ｃとする。また、欠陥補正部３６は、既知欠陥画素について推定画素値の算出を行い、算出した推定画素値を既知欠陥画素の補正画素値とする。

このような処理を行えば、例えば動画撮像時にｎフレームの周辺画素にノイズ等が生じても、過去偏光画像を用いることでノイズ等の影響を軽減して、欠陥検出や欠陥補正を行うことができる。

＜２−７．第７の実施の形態＞
第７の実施の形態では、欠陥検出部３５の欠陥検出結果に基づき欠陥情報記憶部３４の欠陥情報を更新する場合について説明する。

図１３は第７の実施の形態の構成を例示している。画像処理部３０は、欠陥情報記憶部３４、欠陥検出部３５、欠陥補正部３６を有している。欠陥検出部３５は、検出した欠陥画素の位置を示す追加欠陥情報を生成して欠陥情報記憶部３４へ出力する。欠陥情報記憶部３４は、欠陥検出部３５から供給された追加欠陥情報を用いて、記憶している欠陥情報を更新する。また、欠陥情報記憶部３４は、その後の偏光画像の欠陥検出を欠陥検出部３５で行う際に、更新後の欠陥情報を欠陥検出部３５へ出力する。

図１４は、第７の実施の形態における欠陥検出部の動作を説明するための図である。欠陥検出部３５は、新たに欠陥画素と判別された場合、新たに欠陥画素と判別された画素が例えば連続する所定数のフレームで欠陥画素と引き続き判定された場合に、この欠陥画素の画素位置を示す追加欠陥情報を生成して欠陥情報記憶部３４へ出力する。例えば画素Ｃ３が、ｎ−２フレームで欠陥画素と判定されておらず、ｎ−１フレームからｎ＋１フレームまで連続して欠陥画素と判別された場合、欠陥検出部３５は、連続する所定数のフレーム（図では３フレーム）で欠陥画素と判定された画素Ｃ３の画素位置を示す追加欠陥情報を生成して欠陥情報記憶部３４へ出力する。

欠陥情報記憶部３４は、欠陥検出部３５から供給された追加欠陥情報に基づき、記憶している欠陥情報の更新を行い、画素Ｃ３が欠陥画素であることを欠陥情報に追加する。したがって、ｎ＋２フレーム以降の偏光画像の欠陥検出では、画素Ｃ３が既知欠陥画素として処理される。

このように、第７の実施の形態によれば、非欠陥画素が欠陥画素となった場合、欠陥となった画素が、既知欠陥画素として欠陥情報に登録される。したがって、欠陥となった画素に対して、欠陥検出が引き続き行われることがなく、欠陥検出を効率よく行える。また、連続する所定数のフレームで欠陥画素と引き続き判定された場合に欠陥情報の更新が行われることから、例えば１つのフレームで欠陥画素と誤って検出されても、この欠陥検出結果によって欠陥情報の更新が行われてしまうことがない。

＜２−８．第８の実施の形態＞
次に、第８の実施の形態では、偏光画像がカラー画像である場合について説明する。偏光撮像部２０は、複数偏光方向の偏光方向毎の偏光画素からなるカラー偏光画像を生成する。図１５は、カラー偏光画像を生成する偏光撮像部の構成を例示している。偏光撮像部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２０１と、偏光子２０２とカラーフィルタ２０３を用いて構成される。イメージセンサ２０１は、偏光子２０２とカラーフィルタ２０３を介して入射された被写体光の光電変換を行い、被写体光に応じた画像信号、すなわちカラー偏光画像の画像信号を生成する。偏光撮像部２０は、カラー偏光画像の画像信号を画像処理部３０へ出力する。

偏光子２０２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。偏光子２０２は、例えば１画素を偏光成分単位として、式（１）に示す偏光モデル式へのフィッティングを行うことができるように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設ける。また、カラーフィルタ２０３は、例えば色成分配列単位が２×２画素単位であり、２×２画素単位を偏光単位として、上述のように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設ける。カラーフィルタ２０３は、例えば赤と青と緑の色成分(ＲＧＢ成分)をベイヤー配列としたカラーデモザイクフィルタを用いる。

図１６は、第８の実施の形態における欠陥検出部の欠陥判定動作を説明するための図である。なお、画素Ｒ１は偏光方向が０°の赤色画素、画素Ｒ２は偏光方向が４５°の赤色画素、画素Ｒ３は偏光方向が９０°の赤色画素、画素Ｒ４は偏光方向が１３５°の赤色画素である。同様に、画素Ｇ１〜Ｇ４は偏光方向毎の緑色画素、画素Ｂ１〜Ｂ４は偏光方向毎の青色画素である。

欠陥検出部３５は、図６に示すフローチャートと同様な処理を行い、欠陥画素を検出する。また、欠陥検出部３５は、対象偏光画素と等しい色成分画素であって対象偏光画素に対して偏光方向が異なる周辺画素を用いる。

欠陥検出部３５は、欠陥情報記憶部３４に記憶されている欠陥情報に基づき、偏光撮像部２０で生成されたカラー偏光ＲＡＷ画像（以下「カラー偏光画像」という）における対象偏光画素が欠陥画素でないことが示されている場合、対象偏光画素の欠陥検出を行う。欠陥検出部３５は、対象偏光画素と等しい色成分画素であって対象偏光画素に対して偏光方向が異なる周辺画素を用いて、対象偏光画素が欠陥画素であるか判別する。対象偏光画素が欠陥画素であるか否かの判別は、周辺画素の画素値に対応するフィッティング後の偏光モデル式から対象偏光画素の推定画素値を算出して、偏光画像における対象偏光画素の画素値が推定画素値を基準とした許容範囲の範囲外である場合に欠陥画素と判定する。欠陥検出部３５は、対象偏光画素が欠陥画素であると判別した場合、対象偏光画素が欠陥画素であることを示す情報を、欠陥情報記憶部３４から取得した欠陥情報に追加して、偏光画像と共に欠陥補正部３６へ出力する。

欠陥検出部３５は対象偏光画素Ｃ３(x,y)を中心とした３×３画素領域（周辺画素領域）における対象偏光画素と同色である周辺画素の画素値を用いて推定画素値を算出する。対象偏光画素Ｒ３の偏光方向が９０°、周辺画素Ｒ１(x+1,y+1)の偏光方向が０°、周辺画素Ｒ２(x+1,y)の偏光方向が４５°、周辺画素Ｒ４(x,y+1)の偏光方向が１３５°である場合、理想状態では式（１８）が成り立つ。なお、周辺画素Ｒ１(x+1,y+1)の画素値をＩｒ１、周辺画素Ｒ２(x+1,y)の画素値をＩｒ２、周辺画素Ｒ４(x,y+1)の画素値をＩｒ４とする。
Ｉr３＝（Ｉｒ２＋Ｉｒ４）−Ｉｒ１ ・・・（１８）

欠陥検出部３５は、式（１８）に基づいて算出した画素値Ｉｒ３を対象偏光画素Ｒ３(x,y)の推定画素値Ｉｒ３estとして、対象偏光画素Ｒ３(x,y)の画素値Ｉｒ３(x,y)が推定画素値Ｉｒ３estを基準とした許容範囲Ｌpの範囲外である場合に欠陥画素と判定する。また、欠陥検出部３５は、対象偏光画素Ｒ３(x,y)の画素値Ｉｒ３(x,y)が許容範囲Ｌpの範囲内である場合、対象偏光画素Ｒ３(x,y)を非欠陥画素と判定する。

欠陥補正部３６は、対象偏光画素Ｒ３(x,y)が欠陥画素と判定された場合、算出されている推定画素値Ｉｒ３estを対象偏光画素Ｒ３(x,y)の補正画素値Ｉｒ３ｃ(x,y)とする。また、欠陥補正部３６は、上述の第４の実施の形態と同様に周辺画素の画素値を用いて対象偏光画素の補正画素値を算出してもよい。この場合、欠陥補正部３６は、周辺画素として、同一色成分で同一偏光方向の画素を用いる。例えば、図１６に示すように、対象偏光画素がＲ３である場合、○印で示す画素Ｒ３を周辺画素として用いて補正画像値を算出する。

このように、第８の実施の形態によれば、偏光画像がカラー画像である場合も偏光特性を利用して欠陥検出や欠陥補正を行うことができる。

＜２−９．第９の実施の形態＞
次に、第９の実施の形態では、色成分毎の特性をそろえて推定画素値の算出に利用可能な周辺画素の数を増やして、推定画素値の精度を向上させる場合について説明する。

図１７は、第９の実施の形態の構成を例示している。偏光撮像部２０は、複数偏光方向の偏光方向毎の偏光画素からなるカラー偏光画像を生成して画像処理部３０へ出力する。画像処理部３０は、ホワイトバランス調整部３２、欠陥情報記憶部３４、欠陥検出部３５、欠陥補正部３６を有している。

ホワイトバランス調整部３２は、白色被写体を偏光撮像部２０で撮像したとき偏光画像における偏光方向が等しい画素では色成分にかかわらず画素値が等しくなるように、偏光方向毎に各色成分または各画素に応じたゲインを乗算してホワイトバランス調整を行う。式（１９）乃至式（２１）は、赤色成分のゲインＲgainと緑色成分のゲインＧgainと青色成分のゲインＢgainを対応する色成分の各画素値に乗算してホワイトバランス調整を行う場合を示している。なお、式（１９）乃至式（２１）において、変数Ｎは上述のように偏光方向を示している。
Ｉｒ[Ｎ] ＝Ｒgain×Ｉｒ[Ｎ] ・・・（１９）
Ｉｇ[Ｎ] ＝Ｇgain×Ｉｇ[Ｎ] ・・・（２０）
Ｉｂ[Ｎ] ＝Ｇgain×Ｉｂ[Ｎ] ・・・（２１）

このようなホワイトバランス調整を行うと、カラー偏光画像を生成する偏光撮像部２０を用いて白色被写体を撮像したとき、白黒偏光画像を生成する偏光撮像部２０を用いた場合と同様な偏光特性の偏光画像が欠陥検出部３５に供給される。

欠陥検出部３５は、ホワイトバランス調整部３２から供給される偏光画像が白黒偏光画像と同様な偏光特性であることから、偏光方向および色成分が異なる周辺画素の画素値を用いて第１乃至第７の実施の形態と同様な欠陥検出を行うことで、対象偏光画素が欠陥画素であるか検出できる。

このように、第９の実施の形態によれば、偏光撮像部２０で生成されたカラー偏光画像に対してホワイトバランス調整を行うことで、対象偏光画素が欠陥画素であるか判定する際に、対象偏光画素と等しい色成分の周辺画素だけでなく異なる色成分の周辺画素を用いることが可能となる。したがって、第８の実施の形態に比べて精度よく欠陥検出を行うことができるようになる。

＜２−１０．第１０の実施の形態＞
次に、第１０の実施の形態について説明する。上述の実施の形態では、周辺画素の画素値を用いて偏光モデル式へのフィッティングを行うために、偏光撮像部は例えば４つの偏光方向の画素で構成されている場合について説明した。これに対して第１０の実施の形態では、無偏光画素を設けて偏光画素を２つの偏光方向とした場合について説明する。

図１８は、偏光画素の画素値と無偏光画素の画素値の関係を説明するための図である。偏光画素の感度は理想的には無偏光画素の（１／２）倍であり、鏡面反射成分の平均値と拡散反射成分の加算値は、無偏光画素の画素値Ｉ０に対して１／２倍となる。また、偏光方向が４５°間隔で４方向とされている場合、例えば図１８の（ａ）示すように、偏光方向Ｎ＝１を０°，Ｎ＝２を４５°，Ｎ＝３を９０°，Ｎ４を１３５°とすると式（２２）が成り立つ。ここで、偏光撮像部２０の画素が図１８の（ｂ）に示すように、無偏光画素Ｃ０と偏光画素Ｃ１，Ｃ２で構成されている場合、画素が設けられていない偏光方向の画素Ｃ３，Ｃ４の画素値Ｉ３，Ｉ４は、式（２３）（２４）に基づいて算出できる。
（Ｉ２＋Ｉ４）／２＝（Ｉ１＋Ｉ３）／２＝Ｉ０／２ ・・・（２２）
Ｉ３＝Ｉ０−Ｉ１ ・・・（２３）
Ｉ４＝Ｉ０−Ｉ２ ・・・（２４）

ここで、対象偏光画素と周辺画素の偏光方向の角度差が９０°であると、対象偏光画素と周辺画素の画素値の和が「Ｉ０／２」となってしまい、対象偏光画素と周辺画素の偏光方向とは異なる偏光方向の画素値は、対象偏光画素や周辺画素の画素値と等しくなって、偏光特性を算出できない。したがって、対象偏光画素と周辺画素の偏光方向の角度差は例えば４５°を基準とした所定範囲内の角度差とする。

欠陥検出部３５は、図１８の（ｂ）に示す５×５画素の周辺画素領域において対象偏光画素Ｃ１と偏光方向が等しい８つの周辺画素Ｃ１の画素値に基づき画素値Ｉ１を算出する。また、欠陥検出部３５は、対象偏光画素Ｃ１と偏光方向が異なる４つの周辺画素Ｃ２の画素値に基づき画素値Ｉ２を算出する。欠陥検出部３５は、例えば８つの周辺画素Ｃ１の画素値の平均を画素値Ｉ１、４つの周辺画素Ｃ２の画素値の平均値を画素値Ｉ２とする。さらに、欠陥検出部３５は、周辺画素の画素値から算出した画素値Ｉ１，Ｉ２を用いて画素値Ｉ３，Ｉ４を算出して、式（２５）に基づき対象偏光画素Ｃ１の推定画素値を算出する。
Ｉ１est＝（Ｉ２＋Ｉ４）−Ｉ３ ・・・（２５）

欠陥検出部３５は、対象偏光画素Ｃ１(x,y)の画素値Ｉ１(x,y)が推定画素値Ｉ１estを基準とした許容範囲Ｌpの範囲外である場合に欠陥画素と判定する。また、欠陥検出部３５は、対象偏光画素Ｃ１(x,y)の画素値Ｉ１(x,y)が許容範囲Ｌpの範囲内である場合、対象偏光画素Ｃ１(x,y)を非欠陥画素と判定する。なお、許容範囲Ｌpは、上述の実施の形態と同様に設定する。

欠陥補正部３６は、対象偏光画素Ｃ１(x,y)が欠陥画素と判定された場合、算出されている推定画素値Ｉ１estを対象偏光画素Ｃ１(x,y)の補正画素値Ｉ１ｃ(x,y)とする。なお、対象偏光画素が画素Ｃ２の場合は式（２６）を用いて算出した画素値を推定画素値Ｉ２estとして、欠陥画素の判定や欠陥画素の補正を行う。
Ｉ２est＝（Ｉ１＋Ｉ３）−Ｉ４ ・・・（２６）

第１０の実施の形態では、技術の理解を容易とするため、偏光画素の感度は無偏光画素の（１／２）倍としたが、実際には偏光画素と無偏光画素の感度比を予め測定して、測定された感度比を用いて、推定画素値の算出を行う。このようにすれば、偏光撮像部の感度に応じて精度よく欠陥検出や欠陥補正を行うことができるようになる。

このように第１０の実施の形態によれば、無偏光画素を設けることで、偏光画素を２つの偏光方向としても偏光画素の欠陥検出と欠陥補正を行うことができる。

＜２−１１．他の実施の形態＞
ところで、偏光画像を生成する偏光撮像部２０は、４つの偏光方向の偏光画像を生成する場合に偏光子とカラーフィルタの構成は上述の構成に限られない。図１９は、偏光子とカラーフィルタの他の構成および組み合わせを例示している。上述の実施の形態では図１９の（ａ）に示す偏光子と図１９の（ｃ）に示すカラーフィルタを用いた場合を例示したが、偏光子は図１９の（ｂ）に示す構成としてもよい。図１９の（ｂ）に示す偏光子は、２×２画素を同一偏光方向の画素からなる偏光単位として、４つの偏光方向の偏光単位を繰り返し設ける構成である。カラーフィルタは、図１９の（ｄ）に示すように三原色の画素（赤色画素Ｒ，緑色画素Ｇ、青色画素Ｂ）をベイヤー配列としたカラーモザイクフィルタを用いてもよい。２×２画素を偏光単位とした偏光子を用いる場合、例えば図１９の（ｅ）に示すようにベイヤー配列のカラーデモザイクフィルタを組み合わせることで、２×２画素の偏光単位で三原色の各色成分の偏光画像を生成できる。また、図１９の（ｆ）に示すように２×２画素を偏光単位とした偏光子と、２×２画素を色成分単位としたカラーフィルタを、偏光単位と色成分単位が水平方向および垂直方向に１画素の位置ずれを生じるように用いても、２×２画素の偏光単位で三原色の各色成分の偏光画像を生成できる。

図２０は、２×２画素を偏光単位とした偏光子を用いる場合を説明するための図である。２×２画素を偏光単位とした偏光子を用いて白黒偏光画像を生成した場合、欠陥補正部は、欠陥画素に対する同一偏光方向の周辺画素の画素値を用いて欠陥画素の補正を行う。したがって、例えば図２０の（ａ）において二重枠で示す画素Ｃ２が欠陥画素である場合、欠陥補正部は、○印で示す画素Ｃ２を周辺画素として用いて補正画像値を算出する。欠陥補正部は、例えば周辺画素の画素値の平均値を算出して補正画像値としてもよく、欠陥画素から周辺画素までの距離に応じた重み付けを行って算出した平均値を補正画像値としてもよい。

また、２×２画素を偏光単位とした偏光子とベイヤー配列のカラーでモザイクフィルタを用いてカラー偏光画像を生成した場合、欠陥補正部は、欠陥画素に対する同一色成分で同一偏光方向である周辺画素の画素値を用いて欠陥画素の補正を行う。したがって、例えば図２０の（ｂ）において二重枠で示す画素Ｒ４が欠陥画素である場合、○印で示す画素Ｒ４を周辺画素として用いて、白黒偏光画像の場合と同様な演算を行い、補正画像値を算出する。また、水平方向や垂直方向のテクスチャ検出を行う場合には、○印で示す画素の画素値を用いてテクスチャ検出を行えばよい。

＜３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図Ｅ１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも１つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも１つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも１つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも１つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも１つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも１つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも１つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも１つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも２つの制御ユニットが１つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、偏光撮像部２０を用いる構成とする。また、図２１に示した応用例の統合制御ユニット７６００に欠陥情報記憶部３４と欠陥検出部３５と欠陥補正部３６を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８では欠陥画素について補正された偏光画像を取得できるので、取得した偏光画像を運転支援や運転制御等に利用できる。なお欠陥情報記憶部３４と欠陥補正部３６は、図２１に示した統合制御ユニット７６００のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する欠陥検出部を備える画像処理装置。
（２） 前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した許容範囲の範囲外である場合に前記対象偏光画素を欠陥画素とする（１）に記載の画像処理装置。
（３） 前記周辺画素は、それぞれの偏光方向が等しい複数の画素を含み、
前記欠陥検出部は、前記対象偏光画素の画素値の推定を前記複数の画素の異なる組合せによって複数回実行し、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した許容範囲の範囲外となる組み合わせの割合が、予め設定された所定割合より大きい場合に前記対象偏光画素を欠陥画素とする（１）に記載の画像処理装置。
（４） 前記欠陥検出部は、前記対象偏光画素の画素値と、前記対象偏光画素と偏光方向が等しい周辺画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する（１）に記載の画像処理装置。
（５） 前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した第１許容範囲の範囲外であり、前記対象偏光画素の画素値と前記偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、前記対象偏光画素を欠陥画素とする（４）に記載の画像処理装置。
（６） 前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した第１許容範囲の範囲外である場合、および前記差が予め設定した第１許容範囲以下であって、前記対象偏光画素の画素値と前記偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、前記対象偏光画素を欠陥画素とする（４）に記載の画像処理装置。
（７） 前記欠陥検出部は、前記周辺画素の画素値に、時間方向が異なる周辺画素の画素値を含める（１）に記載の画像処理装置。
（８） 前記欠陥検出部は、前記対象偏光画素と等しい色成分画素であって前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて前記対象偏光画素の画素値を推定する（１）に記載の画像処理装置。
（９） 白色被写体を撮像して生成された色成分毎の画素値を等しくするホワイトバランス調整部を有し、
前記欠陥検出部は、前記白色被写体を撮像して生成された色成分毎の画素値を前記ホワイトバランス調整部で調整した画素毎の画素値から、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値を用いて前記対象偏光画素の画素値を推定する（１）に記載の画像処理装置。
（１０） 前記周辺画素は、前記対象偏光画素と異なる少なくとも２偏光方向以上の画素である（１）に記載の画像処理装置。
（１１） 前記周辺画素は、前記対象偏光画素と異なる１つの偏光方向の画素と無偏光画素である（１）に記載の画像処理装置。
（１２） 前記対象偏光画素と前記周辺画素の偏光方向の角度差は、４５°を基準とした所定範囲内の角度差とする（１１）に記載の画像処理装置。
（１３） 欠陥画素を示す欠陥情報を記憶する欠陥情報記憶部を有し、
前記欠陥検出部は、前記対象偏光画素の欠陥検出結果に基づき前記前記欠陥情報記憶部に記憶している欠陥情報を更新する（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 欠陥画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて推定した画素値を前記欠陥画素の補正後の画素値とする欠陥補正部をさらに有する（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 偏光方向が欠陥画素と等しい周辺画素の画素値の平均値を前記欠陥画素の画素値とする欠陥補正部をさらに有する（１）乃至（１３）のいずれかに記載の画像処理装置。
（１６） 欠陥補正部は、偏光方向が欠陥画素と等しく前記欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて前記欠陥画素の補正後の画素値を算出する（１５）に記載の画像処理装置。

この技術の画像処理装置と画像処理方法によれば、複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか欠陥検出部で検出される。このため、偏光画像を生成する偏光撮像部における画素の欠陥を検出できるようになり、例えば三次元形状の認識等を行う機器に適用できる。

１０・・・偏光画像システム
２０・・・偏光撮像部
３０・・・画像処理部
３１・・・過去画像記憶部
３２・・・ホワイトバランス調整部
３４・・・欠陥情報記憶部
３５・・・欠陥検出部
３６・・・欠陥補正部
２０１・・・イメージセンサ
２０２・・・偏光子
２０３・・・カラーフィルタ

Claims (17)

1. 複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する欠陥検出部
   を備える画像処理装置。
2. 前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した許容範囲の範囲外である場合に前記対象偏光画素を欠陥画素とする
   請求項１に記載の画像処理装置。
3. 前記周辺画素は、それぞれの偏光方向が等しい複数の画素を含み、
   前記欠陥検出部は、前記対象偏光画素の画素値の推定を前記複数の画素の異なる組合せによって複数回実行し、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した許容範囲の範囲外となる組み合わせの割合が、予め設定された所定割合より大きい場合に前記対象偏光画素を欠陥画素とする
   請求項１に記載の画像処理装置。
4. 前記欠陥検出部は、前記対象偏光画素の画素値と、前記対象偏光画素と偏光方向が等しい周辺画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか検出する
   請求項１に記載の画像処理装置。
5. 前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した第１許容範囲の範囲外で、前記対象偏光画素の画素値と前記偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、前記対象偏光画素を欠陥画素とする
   請求項４に記載の画像処理装置。
6. 前記欠陥検出部は、前記対象偏光画素の画素値と前記推定した画素値との差が予め設定した第１許容範囲の範囲外である場合、および前記差が予め設定した第１許容範囲の範囲内であって、前記対象偏光画素の画素値と前記偏光方向が等しい周辺画素の画素値との差が予め設定した第２許容範囲の範囲外である場合、前記対象偏光画素を欠陥画素とする
   請求項４に記載の画像処理装置。
7. 前記欠陥検出部は、前記周辺画素の画素値に、時間方向が異なる周辺画素の画素値を含める
   請求項１に記載の画像処理装置。
8. 前記欠陥検出部は、前記対象偏光画素と等しい色成分画素であって前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて前記対象偏光画素の画素値を推定する
   請求項１に記載の画像処理装置。
9. 白色被写体を撮像して生成された色成分毎の画素値を等しくするホワイトバランス調整部を有し、
   前記欠陥検出部は、前記白色被写体を撮像して生成された色成分毎の画素値を前記ホワイトバランス調整部で調整した画素毎の画素値から、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値を用いて前記対象偏光画素の画素値を推定する
   請求項１に記載の画像処理装置。
10. 前記周辺画素は、前記対象偏光画素と異なる少なくとも２偏光方向以上の画素である
    請求項１に記載の画像処理装置。
11. 前記周辺画素は、前記対象偏光画素と異なる１つの偏光方向の画素と無偏光画素である
    請求項１に記載の画像処理装置。
12. 前記対象偏光画素と前記周辺画素の偏光方向の角度差は、４５°を基準とした所定範囲内の角度差とする
    請求項１１に記載の画像処理装置。
13. 欠陥画素を示す欠陥情報を記憶する欠陥情報記憶部を有し、
    前記欠陥検出部は、前記対象偏光画素の欠陥検出結果に基づき前記欠陥情報記憶部に記憶している欠陥情報を更新する
    請求項１に記載の画像処理装置。
14. 欠陥画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性に基づいて推定した画素値を前記欠陥画素の補正後の画素値とする欠陥補正部をさらに有する
    請求項１に記載の画像処理装置。
15. 偏光方向が欠陥画素と等しい周辺画素の画素値の平均値を前記欠陥画素の画素値とする欠陥補正部をさらに有する
    請求項１に記載の画像処理装置。
16. 欠陥補正部は、偏光方向が欠陥画素と等しく前記欠陥画素と等しいテクスチャと判定した周辺画素の画素値を用いて前記欠陥画素の補正後の画素値を算出する
    請求項１５に記載の画像処理装置。
17. 複数の偏光方向の偏光画素を取得する偏光撮像部で生成された対象偏光画素の画素値と、前記対象偏光画素に対して偏光方向が異なる周辺画素の画素値に対応する偏光特性から推定した前記対象偏光画素の画素値を用いて、前記対象偏光画素が欠陥画素であるか欠陥検出部で検出すること
    を含む画像処理方法。

Images