本発明に係る1つの実施形態は撮像装置である。撮像装置は行列を構成するように配された複数の画素を備える。複数の画素は、受光画素と参照画素とを含む。受光画素には外部からの光が入射する。受光画素は入射した光に応じた画素信号を出力する。参照画素は、故障検知信号を構成するための画素信号を出力する。
故障検知信号は、撮像装置の動作が正常に行われているかを判断するための情報を持つ。例えば、故障検知信号は、行または列の位置に関する情報を含む。この場合、少なくとも2つの行、あるいは、2つの列に対して、異なる信号値の故障検知信号が割り当てられる。1つの故障検知信号は、1つの参照画素からの画素信号、あるいは、複数の参照画素からの画素信号によって構成される。
1つの故障検知信号が1つの参照画素からの画素信号によって構成される実施例では、各行に少なくとも1つの参照画素が配される。異なる行の参照画素は、互いに異なるレベルの複数の画素信号を出力する。レベルは、画素信号の電流値や電圧値を意味する。参照画素の画素信号のレベルが、故障検知信号の信号値を表す。別の実施例では、1つの行に複数の参照画素が配される。この実施例では、1つの故障検知信号が複数の参照画素からの画素信号によって構成される。例えば、参照画素のそれぞれが、ハイレベルの画素信号またはローレベルの画素信号を出力する。N個の参照画素が配される場合、ハイレベルの画素信号とローレベルの画素信号との組み合わせにより、Nビットのデジタル信号として、故障検知信号が構成される。ハイレベルの画素信号が、各ビットの「1」に対応し、ローレベルの画素信号が、各ビットの「0」に対応する。この場合、デジタル信号の0と1との配列パターンが、故障検知信号の信号値を表す。
以上の説明では、各行が参照画素を含む撮像装置を例に挙げたが、各列が参照画素を含む撮像装置については、明細書中の「行」を「列」に読み替えればよい。
本実施形態の撮像装置は、参照画素の異常に関する情報を取得する。画素の異常とは、画素が画素信号を正常に出力できない状態を意味する。例えば、制御信号に応じて複数のレベルの画素信号を出力すべき画素が、常に同じレベルの信号を出す場合、当該画素には異常が生じている。本明細書では、異常のある画素を単に、異常画素と呼ぶことがある。
撮像装置の出荷前、あるいは、撮像動作の前後、あるいは、撮像動作の間に検査を行い、画素の異常を特定することができる。画素の異常を特定するための検査方法は、公知の技術が用いられる。撮像装置は、特定された参照画素の異常に関する情報を保持するメモリを備えてもよい。あるいは、撮像装置が、特定された参照画素の異常に関する情報を外部から取得してもよい。
参照画素の異常に関する情報は、例えば、所定の位置にある画素に異常があることを示す。あるいは、参照画素の異常に関する情報は、例えば、行や列など所定の範囲に含まれる画素のいずれかに異常があることを示す。
本実施形態の撮像装置によれば、故障検知信号に基づいて、撮像装置から画素信号が正常に出力されているかを判定することができる。1つの実施例では、撮像装置が当該判定を行う信号処理部を有する。
例えば、信号処理部は、複数の行の画素信号が所定の順番で出力されているかを判断する。複数の行の画素信号の読み出しに伴って、順次出力される複数の故障検知信号が、予期した通りに変化するかを判断する。例えば、奇数行と偶数行に異なる信号値の故障検知信号が割り当てられている場合、当該異なる信号値の故障検知信号が交互に出力されているかを判定する。これにより、複数の行の画素信号が所定の順番で出力されているかを判断することができる。
あるいは、信号処理部は、指定した行の画素信号が適切に出力されているかを判断する。画素信号と共に出力された故障検知信号の信号値が、指定した行に割り当てられた信号値に一致するかを判断する。これにより、所定の行の画素信号が正常に出力されているかを判断することができる。
本実施形態において、故障検知信号が予期した信号値を出力している間は、撮像装置が正常に動作している、あるいは、正常に信号を出力していると判断される。故障検知信号の信号値が予期された信号値と異なる場合には、信号処理部は、撮像装置が正常に動作していない、あるいは、撮像装置が故障したと判断する。
信号処理部は、撮像装置の動作を判定する際に、故障検知信号を出力している参照画素に異常があるか否かを判断する。もし異常がある参照画素から故障検知信号が出力されている場合には、故障検知信号を無効とする、故障検知信号を別の信号に置換する、故障か否かの判断を行わない、などの処理を行う。
上述の通り、本実施形態では、参照画素の異常に関する情報を用いて故障検知信号の正誤を判定する。この構成により、参照画素に異常が生じているために、撮像装置が故障したと誤って判断する可能性を低減できる。結果として、故障を正確に検知することができる。
本発明に係る1つの実施形態は撮像システムである。撮像システムは、撮像装置から出力された画素信号を処理して、画像信号を取得する信号処理部を備える。また、信号処理部は、撮像装置から出力される故障検知信号を受けとる。故障検知信号は、前述の撮像装置の実施形態で説明したものと同じである。前述の撮像装置の実施形態と同様に、信号処理部は、故障検知信号に基づいて、撮像装置から画素信号が正常に出力されているかを判断する。
本実施形態の撮像システムは、撮像装置の画素の異常に関する情報を取得する。信号処理部は、撮像装置の動作を判定する際に、その異常に関する情報を用いて、故障検知信号を出力している参照画素に異常があるか否かを判断する。異常のある画素から故障検知信号が出力されている場合には、信号処理部は、故障検知信号を無効とする、故障検知信号を別の信号に置換する、故障か否かの判断を行わない、などの処理を行う。
撮像システムは、画素の異常に関する情報を保持するメモリを備えていてもよい。出荷前に行われる検査によって画素の異常に関する情報が取得され、メモリに保持される。あるいは、撮像システムは、撮像装置から画素の異常に関する情報を受け取ってもよい。
上述の通り、本実施形態では、撮像装置の画素の異常に関する情報を用いて故障検知信号の正誤を判定する。この構成により、撮像装置の画素に異常が生じているために、撮像装置が故障したと誤って判断する可能性を低減できる。結果として、故障を正確に検知することができる。
上述の撮像装置や撮像システムは、カメラ、監視装置、ロボット等に用いられる。あるいは、上述の撮像装置や撮像システムは移動体に用いられる。特に、車、飛行機、船舶などの人を輸送するための移動体においては、装備された装置が高い信頼性を有することが望ましい。上述の実施形態の撮像装置や撮像システムによれば、撮像装置から正常に画素信号が出力されているかを判断することができる。そのため、撮像装置が故障した場合に、撮像動作を停止したり、故障が生じたことを警告したりすることができる。故障を警告するために、移動体は発熱体、発光体、ディスプレイ、スピーカー、バイブレータなど報知部を備えていてもよい。
以下では、本発明の実施例について図面を用いて詳細に説明する。本発明は以下に説明される実施例のみに限定されない。本発明の趣旨を超えない範囲で以下に説明される実施例の一部の構成が変更された変形例も、本発明の実施例である。また、以下のいずれかの実施例の一部の構成を、他の実施例に追加した例、あるいは他の実施例の一部の構成と置換した例も本発明の実施例である。
実施例1について説明する。図1は、実施例1に係る撮像装置の構成を模式的に示している。撮像装置は、行列を構成するように配置された複数の画素305、306、307を備える。複数の画素は、受光画素305、オプティカルブラック画素(以下、OB画素)306、参照画素307を含む。撮像装置は、さらに、垂直走査回路301、列回路302、水平走査回路303、出力制御回路304、出力線308、駆動制御線309、出力制御線310、メモリ311、および、信号処理部312を備える。
1つの行に含まれる複数の画素305、306、307は、共通の駆動制御線309に接続される。垂直走査回路301は、駆動制御線309を介して、複数の画素305、306、307に駆動信号を供給する。駆動信号に基づいて、1つの行に含まれる複数の画素305、306、307から画素信号が出力線308に並行して出力される。1つの列に含まれる複数の画素305、306、307が、共通の出力線308に接続される。出力線308に出力された画素信号は、列回路302に入力される。出力線308のそれぞれに対して、1つの列回路302が配される。列回路302は、画素信号の増幅、画素信号に対するアナログデジタル変換、画素信号の保持、画素信号のノイズの除去などの動作を行う。水平走査回路303によって、列回路302から画素信号を順次読み出す。メモリ311は、参照画素307の異常に関する情報を保持する。信号処理部312は、参照画素307からの画素信号と、メモリ311に保持された情報とを用いて、故障検知信号の正誤を判断する。
受光画素305は、外部からの光を受けるように構成される。受光画素305は、入射光に応じた画素信号を出力する。OB画素306は、不図示の遮光膜に覆われている。遮光膜は、受光画素305を露出するように配置される。OB画素306は、入射光がない状態に対応したレベル、つまり、ダークレベルの画素信号を出力する。OB画素306の出力する画素信号は、画素ごとに異なるノイズ成分を含みうる。そのため、OB画素306の出力する画素信号が、位置に応じて異なる可能性がある。しかし、ノイズ成分の量は、例えば製造ばらつきや熱雑音に起因するため、ランダムである。したがって、OB画素306からの画素信号は、行や列の位置を特定するための情報ではない。
参照画素307は、故障検知信号を構成するための画素信号を出力する。本実施例には、上述の説明した故障検知信号のいずれかが用いられる。本実施例では、出力制御回路304が、参照画素307の出力する画素信号のレベルを制御する。具体的には、出力制御回路304が、所定の電圧を出力制御線310に供給する。参照画素307は、出力制御線310の電圧に応じたレベルの画素信号を出力する。参照画素307は、不図示の遮光膜に覆われていてもよい。あるいは、参照画素307はフォトダイオードを持たないので、参照画素307は露出していてもよい。
続いて、受光画素305、OB画素306、および、参照画素307の構成を説明する。図2(a)は、受光画素305およびOB画素306の等価回路を示す。図2(b)は、参照画素307の等価回路を示す。
図2(a)が示す通り、受光画素305およびOB画素306は、フォトダイオード(以下、PDと表記する)401を含む。PD401は、光電変換により入射光を電荷に変換する。つまり、PD401は光電変換部の1つの例である。受光画素305のPD401には外部からの光が入射するため、受光画素305のPD401には光電変換により生じた電荷が蓄積される。一方、OB画素306のPD401は遮光されている。そのため、OB画素306のPD401には、暗電流などのノイズとなりうる電荷が蓄積される。なおOB画素306のPD401は省略されてもよい。
図2(b)が示す通り、参照画素307は、PD401を含まない。代わりに、参照画素307は、出力制御線310に接続される。本実施例では、電圧Vaを供給する出力制御線310と、電圧Vaとは異なる電圧Vbを供給する出力制御線310とが、参照画素307に接続される。出力制御回路304が、2つの出力制御線310のどちらに電圧を供給するかを選択する。このような構成により、参照画素307は、電圧Vaに対応したレベルの画素信号と、電圧Vbに対応したレベルの画素信号とを選択的に出力できる。なお、参照画素307が異なるレベルの複数の画素信号を出力しない場合は、参照画素307は、電圧Vaを供給する出力制御線310または電圧Vbを供給する出力制御線310のいずれか一方のみに接続されていればよい。
受光画素305、OB画素306、および、参照画素307は、転送トランジスタ402を含む。受光画素305およびOB画素306の転送トランジスタ402は、PD401の電荷をフローティングディフュージョン(FD)ノードに転送する。一方、参照画素307の転送トランジスタ402は、電圧Vaまたは電圧VbをFDノードに伝達する。転送トランジスタ402のゲートは、駆動信号TXを供給する駆動制御線309に接続される。駆動信号TXによって転送トランジスタ402が制御される。
受光画素305、OB画素306、および、参照画素307は、増幅トランジスタ404を含む。FDノードが、増幅トランジスタ404のゲートに接続される。増幅トランジスタ404は、FDノードの電圧に基づく画素信号を出力線308へ出力する。例えば、増幅トランジスタ404と、出力線308に接続された不図示の電流源とが、ソースフォロア回路を構成する。
受光画素305、OB画素306、および、参照画素307は、リセットトランジスタ403を含む。リセットトランジスタ403は、FDノードの電圧をリセットする。リセットトランジスタ403のドレインはリセット電圧Vresを供給するノードに接続される。本実施例では、リセット電圧Vresとして電源電圧Vddが用いられている。リセットトランジスタ403のゲートは、駆動信号RESを供給する駆動制御線309に接続されている。駆動信号RESにより、リセットトランジスタ403はオンとオフとに制御される。
受光画素305、OB画素306、および、参照画素307は、選択トランジスタ405を含む。増幅トランジスタ404と出力線308との間の電気経路に、選択トランジスタ405が配される。選択トランジスタ405のゲートは、駆動信号SELを供給する駆動制御線309に電気的に接続されている。駆動信号SELに応じて、選択トランジスタ405はオンとオフとに制御される。選択トランジスタ405がオンのときに、対応する増幅トランジスタ404から出力線308に画素信号が出力される。1つの出力線308に接続された複数の画素のうち、一部の画素の選択トランジスタ405がオンし、他の画素の選択トランジスタ405がオフすることにより、画素信号を出力する画素が選択される。1つの出力線308に接続された2つ以上の画素が同時に選択されてもよい。
このような構成により、受光画素305は、入射光に応じた画素信号を出力することができる。OB画素306は、ダークレベルの画素信号を出力することができる。また、参照画素307は、電圧Vaに対応したレベルの画素信号、および、電圧Vbに対応したレベルの画素信号を選択的に出力する。
受光画素305、および、参照画素307の構造を詳細に説明する。図10は、撮像装置の受光画素305、および、参照画素307の平面構造を模式的に示す図である。図2で示した部材と同じ機能を有する部材については、図2で付した符号と同じ符号が図10においても付されている。
電源配線201は、画像取得用の画素に電源電圧VDDを伝送する配線である。受光画素305は、PD401の一部である半導体領域203を有する。半導体領域203は、光電変換によって生じた電荷を蓄積する電荷蓄積部である。ここでは、半導体領域203の導電型はN型であるとする。また、半導体領域203が蓄積する電荷が電子であるとする。
受光画素305は、転送トランジスタ402のゲート204、FDノードの一部である浮遊拡散領域205を有する。なお、図10は、2つの受光画素305が1つの増幅トランジスタ404を共有する構成を示す。そのため、第1の受光画素305Aに含まれる半導体領域203および浮遊拡散領域205の組と、第2の受光画素305Bに含まれる半導体領域203および浮遊拡散領域205の組とが示されている。
受光画素305は、選択トランジスタ405のゲート206(選択ゲート)、増幅トランジスタ404のゲート207(増幅ゲート)、リセットトランジスタ403のゲート208(リセットゲート)を有する。さらに受光画素305は、FD接続コンタクト209、第1のFD接続配線210、および、第2のFD接続配線211を含む。以下、コンタクトをCNTと表す。
半導体領域203は転送ゲート204を介して浮遊拡散領域205に接続されている。半導体領域203に蓄積された電荷は、転送ゲート204を介して浮遊拡散領域205へ転送される。浮遊拡散領域205はFD接続CNT209とFD接続配線210、211とを介して増幅ゲート207に接続される。
浮遊拡散領域205はFD接続CNT209とFD接続配線210、211を介してリセットトランジスタ403に接続される。
参照画素307の一部の構成は、受光画素305と同じである。受光画素305と同じ構造の部分には、受光画素305と同じ符号が付してある。重複する説明は省略する。なお、図10は、2つの参照画素307が1つの増幅トランジスタ404を共有する構成を示す。そのため、第1の参照画素307Aに含まれる半導体領域203および浮遊拡散領域205の組と、第2の参照画素307Bに含まれる半導体領域203および浮遊拡散領域205の組とが示されている。
参照画素307のPD401を構成する半導体領域203は、第1の電圧供給線212または第2の電圧供給線113に接続される。第1の電圧供給線212または第2の電圧供給線113は、出力制御線310を構成する配線である。半導体領域203と電圧供給線212、213との接続は、CNT215、配線214、および、ビア213を介してなされる。ビア213は、電圧供給線212、213と配線214とを接続する。
電圧供給線212と電圧供給線213は、参照画素307のPD401の上部に配されている。換言すれば、受光面に対する平面視において、電圧供給線212とPD401とが重なっており、電圧供給線113とPD401とが重なっている。
参照画素307においては、半導体領域203に電圧供給線212または電圧供給線213より印加された電位が、転送トランジスタ402を介して浮遊拡散領域205へ出力される。
図10で説明した受光画素305、および、参照画素307の構造について、PD401を中心に図11を用いてさらに説明する。図11は、受光画素305と、参照画素307のPD401と、転送トランジスタ402とを示した図である。図10で示した部材と同じ部材については、図10で付された符号と同じ符号が図11でも付されている。
まず、受光画素305について説明する。平面視において、電荷を蓄積する半導体領域203は、P型の半導体領域220と重なっている。図12を用いて後述するが、半導体領域220は、半導体領域203の表面を保護する表面保護層として機能する。以降、半導体領域220を表面保護層として表記することがある。
次に、参照画素307について説明する。平面視において、半導体領域203においてCNT315が接続された部分と、転送ゲート204との間に、P型の半導体領域221が設けられている。
図12(a)は、図11において、線C−Dにおける画素の断面構造を模式的に示す図である。図12(b)は、図11において、線A−Bにおける画素の断面構造を模式的に示す図である。
まず、図12(a)に示した、受光画素305(線C−Dに対応する断面)について説明する。電荷を蓄積する半導体領域203は、P型の半導体領域220の下部に形成されている。これにより、半導体領域220は、半導体領域203の表面を保護する表面保護層として機能する。半導体領域220は、半導体基板の主面250と、半導体領域203との間に形成されている。
次に、図12(b)に示した、参照画素307(線A−Bに対応する断面)について説明する。電荷を蓄積する半導体領域203の一部の領域に、CNT215が接続されている。このCNT215下部には、半導体領域221は形成されていない。また、半導体領域203においてCNT215が接続された部分と、転送ゲート204との間には、半導体領域221が設けられている。また、半導体領域221と半導体領域203が平面視において重なる部分については、半導体領域221の下部に半導体領域203が設けられている。半導体領域221は、半導体基板の主面250と、半導体領域203との間に形成されている。
半導体領域203の導電型がN型であるとすると、半導体領域221の導電型はP型である。このため、半導体領域221は半導体領域203Aに比べて低い電位となっている。つまり、半導体領域221の電位は、転送ゲート204のオフ時の電位と、半導体領域203の電位との間の電位となっている。半導体領域221が形成されていない場合には、転送ゲート204には、転送ゲート204と半導体領域203との間の電位差に対応する電界が印加されている。一方、本実施例では半導体領域221を備えることにより、転送ゲート204には、転送ゲート204と半導体領域221との間の電位差に対応する電界に緩和される。これにより、参照画素307の転送トランジスタ4022の故障を生じにくくさせることができる。つまり、本実施例の画素構成によれば、参照画素307の故障を生じにくくすることができる。
なお、半導体領域203とCNT215との間に、半導体領域203と同じ導電型であって、半導体領域203よりも不純物濃度が高い半導体領域が配されてもよい。このような構成によれば、接続抵抗を下げることができる。
次に、受光画素305、OB画素306、および、参照画素307の動作を説明する。図3は、駆動信号SEL、駆動信号RES、および、駆動信号TXのタイミングチャート図である。駆動信号がハイレベルのときに、対応するトランジスタがオンする。駆動信号がローレベルのときに、対応するトランジスタがオフする。図3は、さらに、FDノードの電圧を示している。
時刻T1に選択トランジスタ405がオンする。この時、リセットトランジスタ403はオンしている。そのため、FDノードの電圧はリセット電圧Vresである。選択トランジスタ405がオンした後、リセットトランジスタ403がオフする。増幅トランジスタ404が、リセット電圧Vresに応じたレベルの画素信号(ノイズ信号)を出力線308に出力する。
時刻T2に転送トランジスタ402がオンする。受光画素305およびOB画素306においては、PD401の電荷がFDノードに転送される。FDノードの電圧が、リセット電圧Vresから信号電圧Vsigに変化する。増幅トランジスタ404が、電圧Vsigに応じたレベルの画素信号を出力線308に出力する。
参照画素307では、転送トランジスタ402がオンすると、出力制御回路304が出力している電圧Vaまたは電圧Vbが、FDノードに供給される。電圧Vaが供給されている場合は、FDノードの電圧が、リセット電圧Vresから電圧Vaに変化する。電圧Vbが供給されている場合は、FDノードの電圧が、リセット電圧Vresから電圧Vbに変化する。増幅トランジスタ404が、電圧Vaまたは電圧Vbに応じたレベルの画素信号を出力線308に出力する。参照画素307から出力された画素信号は、故障検知信号を構成する。
時刻T3に、リセットトランジスタ403がオンし、続いて、選択トランジスタ405がオフする。これにより、1行に含まれる複数の画素305、306、307からの画素信号の読み出し動作が終了する。
列回路302は、リセット時に出力されたノイズ信号を用いて、画素信号の差分処理を行う。これにより、ノイズを低減した画素信号を得ることができる。列回路302は、さらに、必要に応じて、画素信号の保持、AD変換などの処理を行う。
本実施例では、同じ行に含まれる受光画素305、OB画素306、および、参照画素307が、共通の駆動制御線309に接続されている。そのため、受光画素305やOB画素306から画素信号が読み出されるのと並行して、参照画素307から画素信号が読み出される。前述の通り、参照画素307から画素信号は、その属する行を示す故障検知信号を構成する。そのため、このような構成により、指定された行から正常に画素信号が出力されたか否かを判断することができる。なお、同じ行に含まれる受光画素305、OB画素306、および、参照画素307は、それぞれ、電気的に分離された個別の駆動制御線に接続されてもよい。同じ行の受光画素305、OB画素306、および、参照画素307が、共通の駆動制御線309に接続されることは、これらの画素信号を並行して読み出す構成の1つの例である。
参照画素307の出力する画素信号が構成する故障検知信号を詳細に説明する。本実施例の故障検知信号には、デジタル信号が用いられる。すなわち、参照画素307の画素信号は、デジタル信号の各ビットの信号値に相当する。図3が示す通り、電圧Vaに対応したレベルの画素信号が「0」を表し、電圧Vbに対応したレベルの画素信号が「1」を表す。
図4は、図1に示されたX行、Y行、および、Z行から出力される画素信号を模式的に示している。ハッチングされた図形が、参照画素307からの画素信号を示す。白抜きの図形が、受光画素305またはOB画素306の信号を示す。
X行およびY行は、それぞれ、受光画素305、OB画素306、および、参照画素307を含む。そのため、入射光に応じたレベルの画素信号(受光画素305またはOB画素306の画素信号)と、故障検知信号を構成するための画素信号(参照画素307の画素信号)とが、並列に、列回路302に読み出される。その後、水平走査回路303の制御に応じて、まず参照画素307の画素信号が信号処理部312へ出力される。続いて、受光画素305またはOB画素306の画素信号が信号処理部312へ出力される。図4が例示するように、X行を示す故障検知信号は、信号値「010」を持つ。また、Y行を示す故障検知信号は、信号値「110」を持つ。このように、X行の故障検知信号の信号値と、Y行の故障検知信号の信号値とは互いに異なる。Z行は、参照画素307のみを含む。そのため、Z行からは、参照画素307からの画素信号のみ、つまり、故障検知信号のみが出力される。Z行の参照画素307の出力する画素信号は、Z行に対応する故障検知信号と、受光画素305を含む各列に対応する故障検知信号とを構成し得る。
続いて、故障検知信号に基づいて、撮像装置が正常に画素信号を出力しているか否かを判断する方法を説明する。図5は、撮像装置の動作を判断するためのフローチャートである。この判断処理は、例えば、信号処理部312によって行われる。
ステップS500で、X行目の画素信号を取得する。図4で説明したとおり、X行目の画素信号として、受光画素305、OB画素306、および、参照画素307の画素信号が出力される。ステップS501で、各画素信号について、参照画素307から出力されたか否かの判定を行う。読み出された出力された画素信号が、参照画素307からの画素信号でない場合、つまり、受光画素305、または、OB画素306からの画素信号である場合は、読み出された画素信号は故障検知信号を構成しない。そのため、故障の判定を行わない(ステップS502)。読み出された画素信号が、参照画素307からの画素信号である場合は、故障検知信号の正誤を判定する処理を行う。
まず、ステップS503で、参照画素307の異常に関する情報を取得する。本実施例では、異常のある参照画素307の位置を示す情報が、メモリ311に保持されている。続いて、ステップ504では、参照画素307の異常に関する情報を用いて、読み出された画素信号が、異常のある参照画素307から出力されているかを判定する。具体的には、当該参照画素307の位置が、メモリ311に記憶された異常画素の位置に一致するかを判定する。ここで、当該参照画素307の位置が異常画素の位置の情報と一致しない場合は、当該参照画素307には異常がないと判定する。つまり、参照画素307から出力された画素信号により構成される故障検知信号は、正しい信号値を持つと判定する。一方、当該参照画素307の位置が異常画素の位置の情報と一致する場合は、当該参照画素307は異常画素であると判定する。つまり、参照画素307から出力された画素信号により構成される故障検知信号が、誤った信号値を持つと判定する。このように、ステップS504では、信号処理部が、参照画素307から出力された画素信号により構成される故障検知信号が、正しいか、あるいは、誤っているかを判定している。
故障検知信号が誤りである場合は、ステップS505において、故障検知信号が無効であることを示す情報を付加する。図5は、3ビットのデジタル信号の最後のビットが、異常のある参照画素307からの画素信号である例を示している。‘そこで、ステップS505において、無効であることを示す情報として「1」を付与している。なお、故障検知信号を無効化する方法は、これに限定されない。
ステップS506では、前のステップで得られた信号値を持つ故障検知信号を、X行目を示す故障検知信号として生成する。得られた故障検知信号が正しい場合は、画素信号の信号値がそのまま用いられる。得られた故障検知信号が誤っている場合は、無効化された故障検知信号が生成される。
ステップS507では、生成された故障検知信号を、X行目の故障検知信号の期待値と比較する。故障検知信号の信号値が期待値に一致した場合は、ステップS508で撮像装置が正常に動作していると判定する。そして、次の行の読み出し動作に移行する。また、無効化された故障検知信号が生成された場合も、次の行の読み出し動作に移行する。
ステップS507において故障検知信号の信号値が期待値に一致しない場合は、ステップS509で撮像装置の動作に異常があると判定する。つまり、撮像装置に故障が生じたと判断する。この場合は、ステップS510で、撮像装置の動作を停止する、あるいは、撮像装置が故障したことを示す警告を行う。
以上に説明した通り、本実施例では、参照画素307の異常に関する情報を用いて、故障検知信号の正誤を判定している。このような構成により、撮像装置が正常に動作しているにも関わらず、撮像装置が故障していると誤って判断される可能性を低減することができる。結果として、撮像装置の故障を正確に検知することができる。
以上の説明では、各行の故障検知信号を例に挙げたが、各列の故障検知信号を用いて撮像装置の動作の判定を行ってもよい。この場合、明細書中の「行」を「列」に読み替えればよい。
実施例2について説明する。実施例2は、故障検知信号が誤っている場合に別の信号で置換する点で、実施例1と異なる。そこで、以下では主として実施例1と異なる部分を説明し、実施例1と同様の部分についての説明を省略する。
本実施例の撮像装置の構成は、実施例1と同じである。すなわち、図1は、実施例2に係る撮像装置の構成を模式的に示している。詳細な説明は省略する。
本実施例の受光画素305、OB画素306、および、参照画素307の構成および動作は、実施例1と同じである。すなわち、図2は、本実施例の本実施例の受光画素305、OB画素306、および、参照画素307の等価回路を示している。受光画素305、および、参照画素307の構造は図13乃至図15に示されている。また、図3は、本実施例の撮像装置に用いられる駆動信号のタイミングチャート図である。詳細な説明は省略する。
本実施例で用いられる故障検知信号は、実施例1の故障検知信号と同じである。すなわち、図4は、図1に示されたX行、Y行、および、Z行から出力される画素信号を模式的に示している。詳細な説明は省略する。
続いて、故障検知信号に基づいて、撮像装置が正常に画素信号を出力しているか否かを判断する方法を説明する。図6は、撮像装置の動作を判断するためのフローチャートである。この判断処理は、例えば、信号処理部312によって行われる。図5と同様の動作の部分は、図5と同じ符号を付してある。
ステップS500で、X行目の画素信号を取得する。図4で説明したとおり、X行目の画素信号として、受光画素305、OB画素306、および、参照画素307の画素信号が出力される。ステップS501で、各画素信号について、参照画素307から出力されたか否かの判定を行う。読み出された出力された画素信号が、参照画素307からの画素信号でない場合、つまり、受光画素305、または、OB画素306からの画素信号である場合は、読み出された画素信号は故障検知信号を構成しない。そのため、故障の判定を行わない(ステップS502)。読み出された画素信号が、参照画素307からの画素信号である場合は、故障検知信号の正誤を判定する処理を行う。
まず、ステップS503で、参照画素307の異常に関する情報を取得する。本実施例では、異常のある参照画素307の位置を示す情報が、メモリ311に保持されている。続いて、ステップ504では、参照画素307の異常に関する情報を用いて、読み出された画素信号が、異常のある参照画素307から出力されているかを判定する。具体的には、当該参照画素307の位置が、メモリ311に記憶された異常画素の位置に一致するかを判定する。ここで、当該参照画素307の位置が異常画素の位置の情報と一致しない場合は、当該参照画素307には異常がないと判定する。つまり、参照画素307から出力された画素信号により構成される故障検知信号は、正しい信号値を持つと判定する。一方、当該参照画素307の位置が異常画素の位置の情報と一致する場合は、当該参照画素307は異常画素であると判定する。つまり、参照画素307から出力された画素信号により構成される故障検知信号が、誤った信号値を持つと判定する。このように、ステップS504では、信号処理部が、参照画素307から出力された画素信号により構成される故障検知信号が、正しいか、あるいは、誤っているかを判定している。
故障検知信号が誤りである場合は、ステップS601において、メモリ311に保持された正しい故障検知信号を取得する。メモリ311は、参照画素307の異常に関する情報のほかに、異常のある参照画素307からの出力信号の構成すべき故障検知信号を保持している。例えば、メモリ311は全ての故障検知信号を記憶していてもよい。この場合、異常に関する情報に基づいて、関連する故障検知信号を選択する。あるいは、メモリ311は、異常のある参照画素307に関連する故障検知信号のみを保持していてもよい。
続いて、ステップS602で、参照画素307の画素信号によって構成された故障検知信号を、メモリに保持された別の故障検知信号に置換する。
ステップS506では、前のステップで得られた信号値を持つ故障検知信号を、X行目を示す故障検知信号として生成する。得られた故障検知信号が正しい場合は、画素信号の信号値がそのまま用いられる。得られた故障検知信号が誤っている場合は、置換された故障検知信号が生成される。
ステップS507では、生成された故障検知信号を、X行目の故障検知信号の期待値と比較する。故障検知信号の信号値が期待値に一致した場合は、ステップS508で撮像装置が正常に動作していると判定する。そして、次の行の読み出し動作に移行する。また、無効化された故障検知信号が生成された場合も、次の行の読み出し動作に移行する。
ステップS507において故障検知信号の信号値が期待値に一致しない場合は、ステップS509で撮像装置の動作に異常があると判定する。つまり、撮像装置に故障が生じたと判断する。この場合は、ステップS510で、撮像装置の動作を停止する、あるいは、撮像装置が故障したことを示す警告を行う。
以上に説明した通り、本実施例では、参照画素307の異常に関する情報を用いて、故障検知信号の正誤を判定している。このような構成により、撮像装置が正常に動作しているにも関わらず、撮像装置が故障していると誤って判断される可能性を低減することができる。結果として、撮像装置の故障を正確に検知することができる。
以上の説明では、各行の故障検知信号を例に挙げたが、各列の故障検知信号を用いて撮像装置の動作の判定を行ってもよい。この場合、明細書中の「行」を「列」に読み替えればよい。
移動体の実施例について説明する。本実施例の移動体は、車載カメラを備えた自動車である。図7(a)は、自動車100の外観と主な内部構造を模式的に示している。自動車100は、撮像装置102、撮像システム用集積回路(ASIC:Application Specific Integrated Circuit)103、警報装置112、主制御部113を備える。
図8は、本実施例の撮像装置102の構成を模式的に示す。上述の実施例1〜2で説明した撮像装置との相違は、撮像装置102は、図1のメモリ311および信号処理部312を備えていないことである。撮像装置102の他の構成は、図1に示された構成と同じである。そのため、実施例1および実施例2の説明を援用し、ここでは説明の繰り返しを省略する。
警報装置112は、撮像システム、車両センサ、制御ユニットなどから異常を示す信号を受けたときに、運転手へ向けて警告を行う。主制御部113は、撮像システム、車両センサ、制御ユニットなどの動作を統括的に制御する。なお、自動車100が主制御部113を備えていなくてもよい。この場合、撮像システム、車両センサ、制御ユニットが個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う(例えばCAN規格)。
図8(b)は、自動車100のシステム構成を示すブロック図である。自動車100は、第1の撮像装置102と第2の撮像装置102を含む。つまり、本実施例の車載カメラはステレオカメラである。撮像装置102には、光学部114により被写体像が結像される。撮像装置102から出力された画素信号は、画像前処理部115によって処理され、そして、撮像システム用集積回路103に伝達される。画像前処理部115は、S−N演算や、同期信号付加などの処理を行う。
撮像システム用集積回路103は、画像処理部104、メモリ105、光学測距部106、視差演算部107、物体認知部108、異常検出部109、および、外部インターフェース(I/F)部116を備える。画像処理部104は、画素信号を処理して画像信号を生成する。また、画像処理部104は、画像信号の補正や異常画素の補完を行う。メモリ105は、画像信号を一時的に保持する。また、メモリ105は、既知の撮像装置102の異常画素の位置を記憶していてもよい。光学測距部106は、画像信号を用いて被写体の合焦または測距を行う。視差演算部107は、視差画像の被写体照合(ステレオマッチング)を行う。物体認知部108は、画像信号を解析して、自動車、人物、標識、道路などの被写体の認知を行う。異常検出部109は、撮像装置102の故障、あるいは、誤動作を検知する。異常検出部109は、故障や誤動作を検知した場合には、主制御部113へ異常を検知したことを示す信号を送る。外部I/F部116は、撮像システム用集積回路103の各部と、主制御部113あるいは種々の制御ユニット等との間での情報の授受を仲介する。
自動車100は、車両情報取得部110および運転支援部111を含む。車両情報取得部110は、速度・加速度センサ、角速度センサ、舵角センサ、測距レーダ、圧力センサなどの車両センサを含む。
運転支援部111は、衝突判定部を含む。衝突判定部は、光学測距部106、視差演算部107、物体認知部108からの情報に基づいて、物体との衝突可能性があるか否かを判定する。光学測距部106や視差演算部107は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。
運転支援部111が他の物体と衝突しないように自動車100を制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。
自動車100は、さらに、エアバッグ、アクセル、ブレーキ、ステアリング、トランスミッション等の走行に用いられる駆動部を具備する。また、自動車100は、それらの制御ユニットを含む。制御ユニットは、主制御部113の制御信号に基づいて、対応する駆動部を制御する。
本実施例において、撮像システム用集積回路103の異常検出部109は、撮像装置102から画素信号が正常に出力されているかを判断する。そのため、異常検出部109は、撮像装置102から出力される複数の故障検知信号を受け取る。撮像装置102の出力する故障検知信号は、上述の各実施例で説明したものと同じである。また、異常検出部109が撮像装置102の動作を判断する方法は、図5または図6およびその説明箇所に示された方法と同じである。すなわち、実施例1〜2の全ての説明が、本実施例に援用される。
図5および図6が示すように、異常検出部109は、メモリ105に保持された撮像装置の画素の異常に関する情報を用いて、故障検知信号が正しいか誤っているかを判断する。そして、故障検知信号が誤っている場合には、図5に示されるように、故障検知信号を無効にする。あるいは、図8に示されるように、取得した故障検知信号を別の信号に置換する。この場合、置換するための正しい故障検知信号は、メモリ105に保持されている。
このように、実施例1および実施例2において信号処理部312が行っていた撮像装置の故障の判定は、本実施例においては、撮像システム用集積回路103の異常検出部109によって行われる。すなわち、撮像システム用集積回路103は、撮像装置の故障の判定を行う信号処理部として機能している。
本実施例に用いられた撮像システムは、自動車に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
なお、移動体の変形例として、撮像装置102に実施例1または実施例2で説明した撮像装置が用いられてもよい。
以上に説明した通り、本実施例の移動体は、撮像装置の画素の異常に関する情報を用いて、故障検知信号の正誤を判定する信号処理部を備えている。このような構成により、撮像装置が正常に動作しているにも関わらず、撮像装置が故障していると誤って判断される可能性を低減することができる。結果として、撮像装置の故障を正確に検知することができる。
撮像システムの実施例について説明する。撮像システムとして、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星などがあげられる。図9に、撮像システムの例としてデジタルスチルカメラのブロック図を示す。
図9において、1001はレンズの保護のためのバリアである。1002は被写体の光学像を撮像装置1004に結像させるレンズである。1003はレンズ1002を通った光量を可変するための絞りである。撮像装置1004には、図8に示された撮像装置が用いられる。
1007は撮像装置1004より出力された画素信号に対して、補正やデータ圧縮などの処理を行い、画像信号を取得する信号処理部である。そして、図9において、1008は撮像装置1004および信号処理部1007に、各種タイミング信号を出力するタイミング発生部、1009はデジタルスチルカメラ全体を制御する全体制御部である。1010は画像データを一時的に記憶する為のフレームメモリ部である。1011は記録媒体に記録または読み出しを行うためのインターフェース部である。1012は撮像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体である。1013は外部コンピュータ等と通信する為のインターフェース部である。
なお、撮像システムは少なくとも撮像装置1004と、撮像装置1004から出力された画素信号を処理する信号処理部1007とを有すればよい。その場合、他の構成は撮像システムの外部に配される。
本実施例において、信号処理部1007は、撮像装置1004から画素信号が正常に出力されているかを判断する。そのため、信号処理部1007は、撮像装置1004から出力される複数の故障検知信号を受け取る。撮像装置1004の出力する故障検知信号は、上述の各実施例で説明したものと同じである。また、信号処理部1007が撮像装置102の動作を判断する方法は、図5または図6およびその説明箇所に示された方法と同じである。すなわち、実施例1〜2の全ての説明が、本実施例に援用される。
図5および図6が示すように、信号処理部1007は、メモリ1010に保持された撮像装置の画素の異常に関する情報を用いて、故障検知信号が正しいか誤っているかを判断する。そして、故障検知信号が誤っている場合には、図5に示されるように、故障検知信号を無効にする。あるいは、図8に示されるように、取得した故障検知信号を別の信号に置換する。この場合、置換するための正しい故障検知信号は、メモリ1010に保持されている。
このように、実施例1および実施例2において信号処理部312が行っていた撮像装置の故障の判定は、本実施例においては、信号処理部1007によって行われる。
なお、撮像システムの変形例として、撮像装置1004に実施例1または実施例2で説明した撮像装置が用いられてもよい。
以上に説明した通り、本実施例の撮像システムは、撮像装置の画素の異常に関する情報を用いて、故障検知信号の正誤を判定する信号処理部を備えている。このような構成により、撮像装置が正常に動作しているにも関わらず、撮像装置が故障していると誤って判断される可能性を低減することができる。結果として、撮像装置の故障を正確に検知することができる。