JP6509018B2 - 固体撮像装置、撮像システム及び信号処理方法 - Google Patents

Description

本発明は、固体撮像装置、撮像システム及び信号処理方法に関する。

固体撮像装置において、複数の光電変換素子により生成された信号を一つの画素信号として処理する場合がある。特許文献１には、その際に用いられる技術として、複数の光電変換素子間のポテンシャルバリアを下げることによって、複数の光電変換素子間に感度や入射光量の差がある場合にも適切な信号を得られるようにすることが記載されている。

特開２０１３−１４９７４３号公報

しかしながら、上記従来の技術では、光電変換素子間のポテンシャルバリアを下げることによってそれぞれの光電変換素子の飽和信号レベルが低下するため、出力信号のダイナミックレンジが低下することがあった。

本発明の目的は、複数の光電変換素子からの信号に基づいて１つの画像信号を生成する際に、信号の飽和による画質の劣化を抑制しうる固体撮像装置及び撮像システムを提供することにある。

本発明の一観点によれば、１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットと、前記複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号と、前記複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号とを読み出す読み出し回路部と、前記第１の信号が所定の飽和信号レベル及び前記第２の信号よりも大きい場合、前記第１の信号と前記第２の信号とを加算した第３の信号の光量に対する変化率が、前記第１の信号が前記所定の飽和信号レベルよりも小さい場合の前記第３の信号の光量に対する変化率に近づくように、前記第１の信号を、前記第２の信号に基づく所定の信号レベルに補正する信号処理部とを有する固体撮像装置が提供される。

また、本発明の他の一観点によれば、１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットを有する固体撮像装置における信号処理方法であって、前記複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号を読み出し、前記複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号を読み出し、前記第１の信号が所定の飽和信号レベル及び前記第２の信号よりも大きい場合に、前記第１の信号と前記第２の信号とを加算した第３の信号の光量に対する変化率が、前記第１の信号が前記所定の飽和信号レベルよりも小さい場合の前記第３の信号の光量に対する変化率に近づくように、前記第１の信号を、前記第２の信号に基づく所定の信号レベルに補正する信号処理方法が提供される。

また、本発明の更に他の一観点によれば、１つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットと、前記複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号及び前記複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号を読み出す読み出し回路部と、を有する固体撮像装置と、前記第１の信号が所定の飽和信号レベル及び前記第２の信号よりも大きい場合に、前記第１の信号と前記第２の信号とを加算した第３の信号の光量に対する変化率が、前記第１の信号が前記所定の飽和信号レベルよりも小さい場合の前記第３の信号の光量に対する変化率に近づくように、前記第１の信号を前記第２の信号に基づく所定の信号レベルに補正し、補正後の前記第１の信号と前記第２の信号とを加算した前記第３の信号に基づき画像データを生成する信号処理部とを有する撮像システムが提供される。

本発明によれば、複数の光電変換素子からの信号に基づいて画像データを生成する際に、信号の飽和による画質の劣化を抑制することができる。

本発明の第１実施形態による固体撮像装置の構成例を示す概略図である。 本発明の第１実施形態による固体撮像装置を含む撮像ユニットの一例の示す概略断面図である。 本発明の第１実施形態による信号処理を実施する前の入出力特性の一例を示すグラフである。 本発明の第１実施形態による固体撮像装置における信号処理方法を示すフローチャートである。 本発明の第１実施形態による固体信号処理を実施した後の入出力特性の一例を示すグラフである。 本発明の第１実施形態による信号処理を実施する前の入出力特性の一例を示すグラフである。 図６の入出力特性に対して本発明の第１実施形態による信号処理を実施した後の入出力特性の一例を示すグラフである。 本発明の第２実施形態による固体撮像装置における信号処理方法を示すフローチャートである。 本発明の第２実施形態による固体撮像装置における信号処理方法により取得した入出力特性の一例を示すグラフである。 本発明の第３実施形態による撮像システムの概略構成を示すブロック図である。

［第１実施形態］
本発明の第１実施形態による固体撮像装置及び信号処理方法について、図１乃至図５を用いて説明する。

図１は、本実施形態による固体撮像装置の構成例を示す概略図である。図２は、本実施形態による固体撮像装置を含む撮像ユニットの一例の示す概略断面図である。図３は、本実施形態による信号処理を実施する前の入出力特性の一例を示すグラフである。図４は、本実施形態による固体撮像装置における信号処理方法を示すフローチャートである。図５は、本実施形態による信号処理を実施した後の入出力特性の一例を示すグラフである。

はじめに、本実施形態による固体撮像装置の構造について、図１及び図２を用いて説明する。

本実施形態の固体撮像装置、例えばＣＭＯＳイメージセンサは、図１に示すように、複数の光電変換ユニット１０３が行方向及び列方向に沿って２次元アレイ状に配列された撮像領域１００を有している。撮像領域１００は、特に限定されるものではないが、例えば１０８０行×１９２０列の光電変換ユニット１０３のアレイを含むことができる。なお、図１には、これらのうち、４行×４列の光電変換ユニット１０３のアレイを抜き出して示している。

それぞれの光電変換ユニット１０３は、２つの光電変換素子１０１，１０２と、１つのマイクロレンズ１０４と、図示しないカラーフィルタとを含む。各光電変換ユニット１０３において、マイクロレンズ１０４を通過した光は、光電変換素子１０１及び光電変換素子１０２により検出できるようになっている。このような構造にすることによって、光電変換素子１０１から得られた信号と光電変換素子１０２から得られた信号とを用いて位相差方式の焦点検出を行うことができる。また、光電変換素子１０１から得られた信号と光電変換素子１０２から得られた信号とを加算することにより、撮像画像を形成する画素用の信号データを得ることができる。

図１の光電変換素子１０１，１０２内に示している符号ａ，ｂは、それぞれ、左右に瞳分割して得られた色信号であるＡ信号とＢ信号とを意図している。すなわち、光電変換素子１０１がＡ信号を取得するための光電変換素子であり、光電変換素子１０２がＢ信号を取得するための光電変換素子である。また、符号Ｒ，Ｇ，Ｂは、カラーフィルタの色を表しており、Ｒは赤フィルタ、Ｇは緑フィルタ、Ｂは青フィルタである。１つの各光電変換ユニット１０３を構成する２つの光電変換素子１０１，１０２には、同じ色のカラーフィルタが割り当てられている。なお、図１には、いわゆるベイヤ配列によりカラーフィルタを配置した例を示しているが、カラーフィルタの配置は、これに限定されるものではない。

撮像領域１００には、列方向に延在して、複数の信号出力線１０５が配されている。信号出力線１０５は、各列に２本ずつ配置されている。この２本の信号出力線１０５は、一方が列方向に並ぶ光電変換ユニット１０３の光電変換素子１０１からＡ信号を出力するための信号線であり、他方が列方向に並ぶ光電変換ユニット１０３の光電変換素子１０２からＢ信号を出力するための信号線である。なお、Ａ信号及びＢ信号はそれぞれ、光電変換ユニット１０３内に設けられた図示しない画素内読み出し回路を介して、光電変換素子１０１，１０２から信号出力線１０５へと出力される。

それぞれの信号出力線１０５は、列アンプ１０６を介して、ＡＤ変換器（ＡＤＣ）１０７に接続されている。ＡＤ変換器１０７には、デジタル信号処理部（以下、「ＤＳＰ」と表記する）１０８が接続されている。列アンプ１０６及びＡＤ変換器１０７は、撮像領域１００から画素信号を読み出すための読み出し回路部である。ＤＳＰ１０８は、ＡＤ変換器１０７から出力されるデジタルデータから、色信号の飽和を判定し、飽和信号に対しては後述の演算処理を行うものである。このような構成にすることによって、Ｓ／Ｎ比の高い信号を高速に読みだすことが可能となる。撮像画像を形成する画素用の信号データは、ＤＳＰ１０８により演算処理を行った光電変換素子１０１，１０２からの信号データを加算することによって得られる。なお、以降の説明では、列アンプ１０６とＡＤ変換器１０７とを総括して「回路部」と表記することもある。

図２は、本実施形態の固体撮像装置２０１を含む撮像ユニットを示す概略断面図である。撮影レンズの射出瞳２０２を通過した光は、射出瞳距離２０８を隔てて配置された固体撮像装置２０１に入射する。固体撮像装置２０１は、前述のように、２つの光電変換素子２０３，２０４からなる光電変換ユニット２０５及びマイクロレンズ２０６を有する。通常、撮影レンズの射出瞳２０２のサイズはミリメートルオーダーであるのに対し、光電変換ユニット２０５のサイズはマイクロメートルオーダーである。実際の比率で図示すると説明に支障があるので、固体撮像装置２０１の構成要素に関しては、一部を抜き出し拡大して示すものとする。すなわち、図２において、光電変換ユニット２０５−３は像高０の中央部、撮像ユニット２０５−１，２０５−５は左右像高が高い位置、撮像ユニット２０５−２，２０５−４は左右像高が中程度の位置における光電変換ユニット２０５の拡大図である。

撮影レンズの射出瞳２０２は、マイクロレンズ２０６によって光電変換ユニット２０５の表面に射出瞳像２０７を形成する。像高の高い位置において、射出瞳距離２０８とマイクロレンズ２０６のピッチが特定の条件を満たしている場合を除き、射出瞳像２０７の中心と光電変換ユニット２０５の中心とは一致しない。このため、１つの光電変換ユニット２０５に含まれる２つの光電変換素子２０３，２０４の間において、入射光量差、すなわち感度差が発生する。なお、特定の条件とは、射出瞳像２０７の中心と光電変換ユニット２０５の中心とが一致するときの、射出瞳距離２０８とマイクロレンズ２０６のピッチとの関係である。

図２において、光電変換素子２０３，２０４に示した網掛け部分の面積が、各光電変換素子２０３，２０４に蓄積された信号電荷の量によって決まる感度に対応している。この図では、上記特定の条件を満たす場合よりも像高方向（ここでは水平方向）に見たマイクロレンズ２０６のピッチに対する射出瞳距離２０８が短いときの、像高に応じて光電変換素子間の感度差が変化する様子を概念的に示している。なお、射出瞳像２０７の中心位置が変化する要因として、撮像レンズの射出瞳距離２０８と水平像高２０９とがあり、射出瞳像２０７の径が変化する要因として、撮像レンズの瞳径２１０がある。射出瞳像２０７の中心位置と径とによって、光電変換素子２０３と光電変換素子２０４との間の感度差の量が決まる。

前述の通り、撮像画像を形成する画素用の信号データは、光電変換素子２０３からの信号データと光電変換素子２０４からの信号データとを加算することによって得る。光電変換素子２０３と光電変換素子２０４との間に感度差が存在すると、撮像条件によっては一方の光電変換素子の信号が他方の光電変換素子の信号よりも大幅に大きくなり、当該一方の光電変換素子からの信号データのみが飽和することがある。一方の光電変換素子からの信号データに飽和が生じると、撮像画像の明部において入出力特性の線形性が悪化し、色ずれ等の画質劣化を引き起こすことになる。

図３は、相対的に感度の高い光電変換素子２０３の入出力特性３０１、相対的に感度の低い光電変換素子２０４の入出力特性３０２、及び入出力特性３０１，３０２を合成した入出力特性３０３の一例を示すグラフである。横軸が入力光量を示し、縦軸がＡＤ変換後のデジタルデータの信号レベルを示している。

図３の例において、入力光量がある一定の光量Ｉａを超えると、光電変換素子２０３からの出力信号は、回路部で飽和する。回路部で飽和したときの信号レベルが、信号レベルＶ１である。光電変換素子２０４からの出力信号は、光量Ｉａよりも大きい光量Ｉｃを越えると、回路部で飽和する。このような場合、入出力特性３０１，３０２を合成した入出力特性３０３は、図３に示すように、光量Ｉａ以上において傾きが小さくなり、線形性が悪化する。なお、入出力特性３０３は、光量Ｉｃ以上において、光電変換素子２０３からの出力信号の回路飽和信号レベルＶ１と、光電変換素子２０４からの出力信号の回路飽和信号レベルＶ１とを加算した信号レベルＶ２（＝２×Ｖ１）となる。

回路部での飽和としては、一例としてＡＤ飽和が挙げられる。ＡＤ飽和とは、出力信号がデジタル信号の上限値に達していることを意味する。デジタル信号の上限値は、通常、ｎビットであれば２^ｎ−１の信号レベルに相当する。回路部で飽和が生じる信号レベルは、回路部の構成に応じて決定される所定の信号レベルである。なお、以後の説明では、簡略化のために回路部での飽和を「ＡＤ飽和」と表記することもあるが、この表記は回路部での飽和がＡＤ飽和に限定されることを意図するものではない。アナログ信号の場合にも、回路のダイナミックレンジの上限値において電圧飽和することがある。本発明において、回路部での飽和は、ＡＤ飽和のみならずアナログ信号の電圧飽和をも含むものである。

このように、一方の光電変換素子からの出力データにＡＤ飽和が生じると、２つの光電変換素子２０３，２０４からの出力データを加算した画像データの線形性が悪化する。本実施形態による信号処理方法は、一方の光電変換素子の出力データがＡＤ飽和することにより生じる画像データの線形性悪化の改善を図るものである。

次に、本実施形態による信号処理方法について、図４及び図５を用いて説明する。
図４は、本実施形態による信号処理方法を示すフローチャートである。図中、信号ＯＵＴ１は、光電変換ユニット２０５を構成する第１の光電変換素子２０３からＡＤ変換器１０７を経て出力されるデジタル出力信号を表すものとする。また、信号ＯＵＴ２は、光電変換ユニット２０５を構成する第２の光電変換素子２０４からＡＤ変換器１０７を経て出力されるデジタル出力信号を表すものとする。

まず、ステップＳ４００において、信号ＯＵＴ１と信号ＯＵＴ２との大小関係（ＯＵＴ１＞ＯＵＴ２の関係を満たすか否か）を判断する。信号ＯＵＴ１と信号ＯＵＴ２との大小関係は、デジタル信号をリアルタイムで直接比較することにより判断してもよいし、射出瞳像２０７の位置を決める要因である射出瞳距離２０８と水平像高２０９との関係を元に事前に判断してもよい。

ステップＳ４００において、信号ＯＵＴ１が信号ＯＵＴ２より大きいと判断された場合（ステップＳ４００の「ＹＥＳ」）、ステップＳ４０１に移行する。ステップＳ４００において、信号ＯＵＴ２が信号ＯＵＴ１より大きいと判断された場合（ステップＳ４００の「ＮＯ」）には、ステップＳ４０２に移行する。

ステップＳ４０１では、信号ＯＵＴ１がＡＤ飽和しているかどうか、すなわち信号ＯＵＴ１が回路部における飽和信号レベルよりも大きいかどうかを判断する。信号ＯＵＴ１がＡＤ飽和していると判断された場合（ステップＳ４０１の「ＹＥＳ」）には、信号ＯＵＴ１の信号データを、信号ＯＵＴ２の値をｋ倍した信号データで置換し（ステップＳ４０３）、信号ＯＵＴ１として出力する（ステップＳ４０５）。すなわち、信号ＯＵＴ２の信号データをＯＵＴ２、置換後の信号データをＯＵＴ１′とすると、これらは以下の１次式によって記述することができる。
ＯＵＴ１′＝ｋ×ＯＵＴ２

信号ＯＵＴ１がＡＤ飽和していないと判断された場合（ステップＳ４０１の「ＮＯ」）には、信号ＯＵＴ１をそのまま出力する（ステップＳ４０５）。

同様に、ステップＳ４０２では、信号ＯＵＴ２がＡＤ飽和しているかどうかを判断する。信号ＯＵＴ２がＡＤ飽和していると判断された場合（ステップＳ４０２の「ＹＥＳ」）には、信号ＯＵＴ２の信号データを、信号ＯＵＴ１の値をｋ倍した信号データで置換し（ステップＳ４０４）、信号ＯＵＴ２として出力する（ステップＳ４０６）。信号ＯＵＴ２がＡＤ飽和していないと判断された場合（ステップＳ４０２の「ＮＯ」）には、信号ＯＵＴ２をそのまま出力する（ステップＳ４０６）。

ここで、上述の１次式における傾き係数でもある補正係数ｋは、信号ＯＵＴ１と信号ＯＵＴ２との比を決定する要因となる、撮像レンズの射出瞳距離２０８及び瞳径２１０、並びに水平像高２０９に基づいて計算される。補正係数ｋを計算するための計算式は、シミュレーションや実測データをもとに事前に決定しておく。

表１は、補正係数ｋを決めるルックアップテーブルの一例である。

このルックアップテーブルは、撮影レンズの射出瞳距離（ＥＰＤ）と瞳径を決めるＦ値とに基づき、水平像高ｘを変数とする関数ｆを抽出するものである。抽出した関数ｆに、光電変換ユニット２０５の像高ｘを代入することによって、その光電変換ユニット２０５の光電変換素子２０３，２０４の出力に対する補正係数ｋを算出することができる。通常、関数ｆは、３次以下の多項式で定義できることが本発明者らの検討により判っている。このようなルックアップテーブルを用いることにより、補正係数ｋの計算を簡略化することができる。また、像高に対して連続な関数によって補正係数ｋを表すことで、補正係数が不連続な値をとることを防止し、撮像画像に段差が発生することを抑制することもできる。

補正係数ｋを求める関数ｆの事例を以下の式（１）に示す。
ｋ＝f（ｘ）＝ａｘ^３＋Ｂｘ^２＋ｃｘ＋１ …（１）

式（１）において、係数ａ，ｂ，ｃは、センサの画角や瞳距離、マイクロレンズ２０６のシュリンク率、レンズのＦ値などで決まる。また、ｘは水平像高である。像高ｘ＝０（光学中心）での補正係数ｋは、通常は１である。

このように、撮像条件毎に適切な補正係数ｋを計算することによって、撮像領域１００内の総ての光電変換ユニット２０５において、入出力特性の線形性改善の効果を得ることができる。

図５は、図３の入出力特性に対して本実施形態の信号処理方法を実施した後の入出力特性を示すグラフである。図５に示す入出力特性において、光電変換素子２０３からの出力がＡＤ飽和する光量Ｉａ以下の特性は、図３に示す入出力特性と同等である。しかしながら、光量Ｉａ以上では、光電変換素子２０３からの出力信号は、光電変換素子２０４からの出力のデジタルデータのｋ倍の信号レベルに補正され、入出力特性３０１′となる。このことは、光電変換素子２０３からの出力について、ＡＤ飽和する信号レベルＶ１よりもｋ倍大きい信号レベルＶ３まで間接的に測定が可能であることを意味する。この結果、入出力特性３０１′と入出力特性３０２とを合成した入出力特性３０３′の傾きは光量Ｉｃまで一定となり、入出力特性の線形性が改善される。また、入出力特性３０３′の飽和信号レベルも、補正前の信号レベルＶ２より大きな信号レベルＶ４（＝Ｖ１＋Ｖ３）となり、ダイナミックレンジを拡大する効果も得られる。

特許文献１に記載の技術においても、入出力特性の線形性に対しては同様の効果を得ることができる。しかしながら、光電変換素子間のポテンシャルバリアを低くすることによって、光電変換素子における信号電荷の飽和レベルが小さくなる。また、光電変換素子における信号電荷の飽和に対しては効果が得られるが、それ以降の信号処理過程におけるＡＤ飽和に対しては効果が得られないため、効果は限定的である。特に、本実施形態の固体撮像装置のように光電変換ユニット２０５毎に読出し回路を有し、列アンプで増幅して出力する形態では、特許文献１に記載された技術では効果が得られない信号電圧やデジタルデータの飽和が発生しやすい。具体的には、被写体照度が十分で、列アンプで信号増幅する必要がない低ＩＳＯ感度撮影時にしか信号電荷の飽和は発生しないため、特許文献１に記載の技術の効果は極めて限定的になる。

このように、本実施形態によれば、複数の光電変換素子からの信号に基づいて１つの画素信号を生成する際に、回路部における信号の飽和を考慮して入出力特性の線形性を改善するので、撮像画像、特に明部における画質の劣化を抑制することができる。

［第２実施形態］
本発明の第２実施形態による固体撮像装置及び信号処理方法について、図６乃至図９を用いて説明する。図１乃至図５に示す第１実施形態による固体撮像装置及び信号処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

図６は、第１実施形態による信号処理を実施する前の入出力特性の一例を示すグラフである。図７は、図６の入出力特性に対して第１実施形態による信号処理を実施した後の入出力特性の一例を示すグラフである。図８は、本実施形態による固体撮像装置における信号処理方法を示すフローチャートである。図９は、本実施形態による固体撮像装置における信号処理方法により取得した入出力特性の一例を示すグラフである。

第１実施形態では、一方の光電変換素子からの出力にＡＤ飽和が生じた場合に、撮像画像を形成する画素用の信号データの入出力特性の線形性を改善する信号処理方法を説明した。しかしながら、光電変換素子の飽和電荷量によっては、一方の光電変換素子からの出力はＡＤ飽和しておらず、他方の光電変換素子で生成される電荷量がその飽和電荷量を超えている（以下、「ＰＤ飽和」と表記する）ことも想定される。ＰＤ飽和が生じる信号レベルは、光電変換素子の構成に応じて決定される所定の信号レベルである。このような例は、例えば図６に示すグラフを用いて以下のように説明することができる。

図６は、図３と同様、本発明の信号処理を実施する前における光電変換ユニット２０５からの出力のＡＤ変換データの入出力特性を示すグラフである。２つの光電変換素子２０３，２０４のうち、相対的に感度の高い光電変換素子２０３が入出力特性６０１を示し、相対的に感度の低い光電変換素子２０４が入出力特性６０２を示すものとする。入出力特性６０１，６０２を合成したものが、入出力特性６０３である。横軸が入力光量を示し、縦軸がＡＤ変換後のデジタルデータの信号レベルを示している。

ここで、このような光電変換素子２０３，２０４を含む光電変換ユニット２０５に光が入射したとき、光電変換素子２０３の出力は光量ＩａでＡＤ飽和し、光電変換素子２０３は光量ＩｂでＰＤ飽和するものとする。なお、回路部の飽和信号レベルは、図３の場合と同様に、信号レベルＶ１であるものとする。

光電変換素子２０３からの出力信号は、図６に一点鎖線で表した入出力特性６０１で示される。入出力特性６０１は、光量Ｉａまでは光量に比例して増加するが、光量Ｉａ以上ではＡＤ飽和し、信号レベルＶ１となる。なお、ＡＤ飽和がないものとすれば、図６に破線で表した入出力特性６０１ｓで示されるように、光電変換素子２０３のＰＤ飽和信号レベルに対応する光量Ｉｂまで、光量に比例して増加することになる。

光電変換素子２０４からの出力信号は、図６に破線で表した入出力特性６０２で示される。入出力特性６０２は、光量Ｉｂまでは、光量に比例して増加する。光量Ｉｂ以上では、光電変換素子２０３がＰＤ飽和し、光電変換素子２０３から溢れ出た電荷が光電変換素子２０４に流入することで、流入した電荷に相当する信号が加算されるため、傾きが大きくなる。光電変換素子２０４の信号は、光量ＩｃでＡＤ飽和し、信号レベルＶ１となる。

入出力特性６０１と入出力特性６０２とを加算したものが、図６に実線で表した入出力特性６０３である。図６から判るように、入出力特性６０３は、光量Ｉａ以上で傾きが変化しており、線形性が悪化している。図６に示すような入出力特性は、本実施形態の回路構成において、高い頻度で発生しうる。

このような入出力特性に対して第１実施形態の信号処理を実施すると、入出力特性６０１，６０３は、図７に示すような入出力特性６０１′，６０３′となる。すなわち、光電変換素子２０３からの出力データを算出する際に、光電変換素子２０３から溢れ出て光電変換素子２０４に流入した信号電荷に基づく信号をも含めてｋ倍する結果、光量Ｉｂ以上において過剰に補正されてしまい、線形性の改善が十分に図れない。

そこで、本実施形態では、図８に示すフローチャートに従った信号処理を実施する。

まず、ステップＳ８００において、信号ＯＵＴ１と信号ＯＵＴ２との大小関係（ＯＵＴ１＞ＯＵＴ２の関係を満たすか否か）を判断する。ステップＳ８００において、信号ＯＵＴ１が信号ＯＵＴ２より大きいと判断された場合（ステップＳ８００の「ＹＥＳ」）、ステップＳ８０１に移行する。ステップＳ８００において、信号ＯＵＴ２が信号ＯＵＴ１より大きいと判断された場合（ステップＳ８００の「ＮＯ」）には、ステップＳ８０２に移行する。

ステップＳ８０１では、信号ＯＵＴ１が、回路部にてＡＤ飽和しているかどうかを判断する。信号ＯＵＴ１がＡＤ飽和していると判断された場合（ステップＳ８０１の「ＹＥＳ」）には、信号ＯＵＴ１の信号データを、信号ＯＵＴ２の値をｋ倍した信号データで置換し（ステップＳ８０３）、ステップＳ８０５に移行する。

ステップＳ８０５では、信号ＯＵＴ１を出力した光電変換素子への光入力量がＰＤ飽和レベルを超えているかどうか、すなわち光電変換素子がＰＤ飽和しているかどうかを判断する。光電変換素子がＰＤ飽和していると判断された場合（ステップＳ８０５の「ＹＥＳ」）には、信号ＯＵＴ１を光電変換素子の飽和レベルで置換し（ステップＳ８０７）、信号ＯＵＴ１として出力する（ステップＳ８０９）。信号ＯＵＴ１がＡＤ飽和していないと判断された場合（ステップＳ８０１の「ＮＯ」）及び光電変換素子がＰＤ飽和していないと判断された場合（ステップＳ８０５の「ＮＯ」）には、信号ＯＵＴ１をそのまま出力する（ステップＳ８０９）。

同様に、ステップＳ８０２では、信号ＯＵＴ２が、回路部にてＡＤ飽和しているかどうかを判断する。信号ＯＵＴ２がＡＤ飽和していると判断された場合（ステップＳ８０２の「ＹＥＳ」）には、信号ＯＵＴ２の信号データを、信号ＯＵＴ１の値をｋ倍した信号データで置換し（ステップＳ８０４）、ステップＳ８０６に移行する。

ステップＳ８０６では、信号ＯＵＴ２を出力した光電変換素子への光入力量が飽和レベルを超えているかどうか、すなわち光電変換素子がＰＤ飽和しているかどうかを判断する。光電変換素子がＰＤ飽和していると判断された場合（ステップＳ８０６の「ＹＥＳ」）には、信号ＯＵＴ２を光電変換素子の飽和レベルで置換し（ステップＳ８０８）、信号ＯＵＴ２として出力する（ステップＳ８１０）。信号ＯＵＴ２がＡＤ飽和していないと判断された場合（ステップＳ８０２の「ＮＯ」）及び光電変換素子がＰＤ飽和していないと判断された場合（ステップＳ８０６の「ＮＯ」）には、信号ＯＵＴ２をそのまま出力する（ステップＳ８１０）。

このように、本実施形態による信号処理方法と第１実施形態による信号処理方法との違いは、補正係数ｋで補正した後、光電変換素子のＰＤ飽和信号レベルと更に比較している点である。ここで、光電変換素子のＰＤ飽和信号レベルとは、光電変換素子で光電変換された信号電荷が蓄積できる上限に達した際の出力信号レベルである。光電変換素子の飽和レベルは、事前に取得しておく。信号をｋ倍補正した結果、その信号レベルが光電変換素子の飽和レベルを超えていた場合には、光電変換素子のＰＤ飽和信号レベルの信号レベルに置き換える。つまり、光電変換素子の出力信号レベルをＰＤ飽和信号レベルに設定する。こうすることによって、入出力特性が図７に示したように過剰に補正されることを防止することができる。

図９は、図６の入出力特性に対して本実施形態の信号処理を実施した後の入出力特性を示すグラフである。入出力特性６０１″，６０３″は、それぞれ、入出力特性６０１，６０３に対して本実施形態による信号処理を実施した後の入出力特性である。

図９に示すように、光電変換ユニット２０５への入射光量が、光電変換素子２０３においてＰＤ飽和が生じる光量Ｉｂよりも小さいときは、図５に示す第１実施形態による信号処理方法を実施した後の入出力特性と同様である。すなわち、光量Ｉａから光量Ｉｂの間は、光電変換素子２０３の出力信号レベルを、光電変換素子２０４の出力信号レベルに補正係数ｋを乗じたレベルの信号レベルに置き換える。

光電変換ユニット２０５への入射光量が光量Ｉｂを越え、光電変換素子２０３の出力信号レベルがＰＤ飽和信号レベルに相当する信号レベルＶ７を越えたと判断されたときは、光電変換素子２０３の出力信号レベルをＰＤ飽和信号レベル（＝Ｖ７）に置き換える。すなわち、入射光量が光量Ｉｂを越えると、光電変換素子２０３で生成された電荷は隣接する光電変換素子２０４に漏れ出し始める。光電変換素子２０３から漏れ出したこの電荷をも含めて光電変換素子２０４の出力信号レベルから光電変換素子２０３の出力信号レベルを算出すると過剰補正となるため、光電変換素子２０３の出力信号レベルをＰＤ飽和レベルに置き換えるのである。

この結果、光電変換素子２０４においてＡＤ飽和が生じる光量Ｉｃに至るまで、入出力特性６０３″の線形性を改善することができる。また、入出力特性６０３″の飽和信号レベルも、補正前の信号レベルＶ２より大きな信号レベルＶ８（＝Ｖ１＋Ｖ７）となり、線形性の改善だけでなくダイナミックレンジを拡大する効果も得られる。

このように、本実施形態によれば、複数の光電変換素子からの信号に基づいて１つの画素信号を生成する際に、回路部及び光電変換素子における信号の飽和を考慮して入出力特性の線形性を改善するので、撮像画像の画質の劣化を抑制することができる。

［第３実施形態］
本発明の第３実施形態による撮像システムについて、図１０を用いて説明する。図１０は、本実施形態による撮像システムの概略構成を示すブロック図である。図１乃至図９に示す第１及び第２実施形態による固体撮像装置と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

本実施形態による撮像システム１０００は、特に限定されるものではないが、例えば、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星等に適用可能である。

撮像システム１０００は、図１０に示すように、固体撮像装置１００１、レンズ１００２、絞り１００４、バリア１００６、信号処理部１００８、タイミング発生部１０１０、全体制御・演算部１０１２を有している。撮像システム１０００は、また、メモリ部１０１４、記録媒体制御Ｉ／Ｆ部１０１６、外部Ｉ／Ｆ部１０１８を有している。

レンズ１００２は、被写体の光学像を固体撮像装置１００１の撮像領域１００に結像するためのものである。絞り１００４は、レンズ１００２を通った光量を可変するためのものである。バリア１００６は、レンズ１００２の保護のためのものである。固体撮像装置１００１は、先の実施形態で説明した固体撮像装置であって、レンズ１００２により結像された光学像に基づく信号を信号処理部１００８に出力するものである。固体撮像装置１００１から出力される信号には、光電変換ユニット１０３の光電変換素子１０１から出力されるＡ信号と光電変換素子１０２から出力されるＢ信号とが含まれる。

信号処理部１００８は、固体撮像装置１００１より出力される信号に対して、所望の処理、補正、データ圧縮等を行うものである。信号処理部１００８には、固体撮像装置１００１から出力される信号をＡＤ変換するためのＡＤ変換器１０７、ＡＤ変換器から出力されるデジタル信号を処理するＤＳＰ１０８が含まれる。信号処理部１００８により行われる処理には、先の実施形態で説明した信号処理による補正が施された画像データの生成や、Ａ信号及びＢ信号に基づいて被写体までの距離情報を取得する処理などが含まれる。信号処理部１００８は、固体撮像装置１００１と同じ基板に搭載されていてもよいし、別の基板に搭載されていてもよい。また、信号処理部１００８の一部の機能が固体撮像装置１００１と同じ基板に搭載され、信号処理部１００８の他の一部の機能が別の基板に搭載されていてもよい。

タイミング発生部１０１０は、固体撮像装置１００１及び信号処理部１００８に、各種タイミング信号を出力するためのものである。全体制御・演算部１０１２は、撮像システム１０００の全体の駆動や演算処理を司る制御部である。ここで、タイミング信号などは撮像システム１０００の外部から入力されてもよく、撮像システム１０００は、少なくとも固体撮像装置１００１と、固体撮像装置１００１から出力された信号を処理する信号処理部１００８とを有していればよい。

メモリ部１０１４は、画像データを一時的に記憶するためのフレームメモリ部である。記録媒体制御Ｉ／Ｆ部１０１６は、記録媒体１０２０への記録或いは記録媒体１０２０からの読み出しを行うためのインターフェース部である。外部Ｉ／Ｆ部１０１８は、外部コンピュータ等と通信するためのインターフェース部である。記録媒体１０２０は、撮像データの記録又は読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。

このようにして、第１又は第２実施形態による固体撮像装置及び信号処理方法を適用した撮像システム１０００を構成することにより、ダイナミックレンジの広い高品質の画像を取得しうる高性能の撮像システムを実現することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

例えば、上記実施形態では、ＡＤ変換部で回路部の飽和を検出するようにしたが、アナログ信号でも回路のダイナミックレンジの上限値において電圧飽和することがある。本発明は、デジタル出力信号の飽和を検出する代わりに、アナログ信号の電圧飽和を検出するように構成した場合にも適用可能である。

また、上記実施形態では、光電変換ユニット１０３を左右に２分割した光電変換素子１０１，１０２により構成する例を示したが、上下に２分割した光電変換素子により構成するようにしてもよい。その場合の補正係数ｋは、垂直像高の関数として定義される。また、上下と左右の分割を併用してもよいし、分割数が３以上であっても構わない。分割した光電変換素子からの出力信号の用途も、焦点検出に限定されるものではなく、三次元画像や距離検出センサ、ライトフィールドセンサ等への適用も可能である。

また、上記実施形態では、各列に２本ずつの信号出力線１０５を配置し、Ａ信号とＢ信号とを別々の信号出力線１０５を介して出力する構成としたが、各列に１本の信号出力線１０５を配置するように固体撮像装置を構成してもよい。この場合、例えば、Ａ信号とＡ＋Ｂ信号とを別々のタイミングで読み出し、Ａ＋Ｂ信号からＡ信号を減算してＢ信号を算出すればよい。その後の信号処理は、上述の実施形態と同様である。

また、上記第１実施形態では、光電変換素子２０３からの出力信号が回路部で飽和する場合について説明したが、回路部で飽和する前に光電変換素子２０３で飽和が生じる場合においても第１実施形態と同様の信号処理を適用することができる。

また、上記第２実施形態では、光電変換素子２０３から溢れ出た電荷が光電変換素子２０４に流入する構成の光電変換ユニット２０５について説明したが、必ずしも光電変換素子２０３から溢れ出た電荷が光電変換素子２０４に流入する構成である必要はない。この場合、光電変換素子２０３からの出力信号が光電変換素子２０３の飽和電荷量に相当する信号レベルを越えたときにその信号レベルにクリップされる他は、第１実施形態による信号処理方法と同様の処理が行われることになる。

また、多数の画素を有する固体撮像装置では、一部の画素に欠陥が発生することがある。一般的な画素欠陥の補正では、予め欠陥画素のデータを取得しておき、撮影環境に応じて、欠陥画素の周辺の無欠陥画素の信号によって補間するなどの処理が行われている。上記実施形態の信号処理方法を用いれば、ａ信号を出力する画素及びｂ信号を出力する画素のうちの一方が欠陥画素であった場合、先に述べたような補正係数ｋを利用して、他方の画素の信号レベルから当該欠陥画素の信号レベルを算出することも可能である。

本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像領域
１０１，１０２，２０３，２０４…光電変換素子
１０３，２０５…光電変換ユニット
１０４，２０６…マイクロレンズ
１０７…ＡＤ変換器
１０８…ＤＳＰ

Claims (13)

1. １つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットと、
   前記複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号と、前記複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号とを読み出す読み出し回路部と、
   前記第１の信号が所定の飽和信号レベル及び前記第２の信号よりも大きい場合、前記第１の信号と前記第２の信号とを加算した第３の信号の光量に対する変化率が、前記第１の信号が前記所定の飽和信号レベルよりも小さい場合の前記第３の信号の光量に対する変化率に近づくように、前記第１の信号を、前記第２の信号に基づく所定の信号レベルに補正する信号処理部と
   を有することを特徴とする固体撮像装置。
2. 前記飽和信号レベルは、前記読み出し回路部の飽和信号レベルである
   ことを特徴とする請求項１記載の固体撮像装置。
3. 前記信号処理部は、補正後の前記第１の信号が前記光電変換素子の飽和電荷量に対応する信号レベルを越えているときは、前記第１の信号を、前記飽和電荷量に対応する前記信号レベルに設定する
   ことを特徴とする請求項２記載の固体撮像装置。
4. 前記飽和信号レベルは、前記光電変換素子の飽和電荷量に対応する信号レベルである
   ことを特徴とする請求項１記載の固体撮像装置。
5. 前記信号処理部は、前記第１の信号と前記第２の信号とを加算した前記第３の信号を出力する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の固体撮像装置。
6. 前記第１の信号は、欠陥画素の出力信号である
   ことを特徴とする請求項１乃至５のいずれか１項記載の固体撮像装置。
7. 前記信号処理部は、前記第２の信号の信号レベルを変数とする１次式により前記第３の信号の信号レベルを補正する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の固体撮像装置。
8. 前記１次式の傾き係数は、前記光電変換素子の像高を変数とする多項式に基づいて算出される
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記多項式の係数は、前記光電変換素子の水平像高、前記光電変換素子の垂直像高、撮像レンズの射出瞳距離、撮像レンズのＦ値のうちの少なくとも１つに基づいて算出される
   ことを特徴とする請求項８記載の固体撮像装置。
10. 複数の前記光電変換ユニットを有することを特徴とする請求項１乃至９のいずれか１項に記載の固体撮像装置。
11. １つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットを有する固体撮像装置における信号処理方法であって、
    前記複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号を読み出し、
    前記複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号を読み出し、
    前記第１の信号が所定の飽和信号レベル及び前記第２の信号よりも大きい場合に、前記第１の信号と前記第２の信号とを加算した第３の信号の光量に対する変化率が、前記第１の信号が前記所定の飽和信号レベルよりも小さい場合の前記第３の信号の光量に対する変化率に近づくように、前記第１の信号を、前記第２の信号に基づく所定の信号レベルに補正する
    ことを特徴とする信号処理方法。
12. １つのマイクロレンズと複数の光電変換素子とを含む光電変換ユニットと、前記複数の光電変換素子のうちの一の光電変換素子が蓄積した電荷に基づく第１の信号及び前記複数の光電変換素子のうちの他の一の光電変換素子が蓄積した電荷に基づく第２の信号を読み出す読み出し回路部と、を有する固体撮像装置と、
    前記第１の信号が所定の飽和信号レベル及び前記第２の信号よりも大きい場合に、前記第１の信号と前記第２の信号とを加算した第３の信号の光量に対する変化率が、前記第１の信号が前記所定の飽和信号レベルよりも小さい場合の前記第３の信号の光量に対する変化率に近づくように、前記第１の信号を前記第２の信号に基づく所定の信号レベルに補正し、補正後の前記第１の信号と前記第２の信号とを加算した前記第３の信号に基づき画像データを生成する信号処理部と
    を有することを特徴とする撮像システム。
13. 前記信号処理部は、前記第１の信号及び前記第２の信号に基づき、被写体までの距離情報を生成する
    ことを特徴とする請求項１２記載の撮像システム。

Images