JP5168319B2 - 固体撮像装置および固体撮像装置の駆動方法 - Google Patents

Description

本発明は、固体撮像装置および固体撮像装置の駆動方法に関し、特に暗所など非常に光量が少ない環境下で用いて好適な固体撮像装置および当該固体撮像装置の駆動方法に関する。

電荷転送型固体撮像装置、例えばＣＣＤ(Charge Coupled Device)イメージセンサや、ＭＯＳ型イメージセンサ、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサに代表される固体撮像装置は、動画を撮影するビデオカメラや、静止画を撮影する電子スチルカメラ等、各種の映像機器においてその撮像デバイスとして利用されている。

近年、半導体技術の進歩により数百万画素の固体撮像装置が開発され、高解像度が要求されるデジタルスチルカメラや映画用のビデオカメラなどのカメラ装置（撮像装置）においてその撮像デバイスとして利用されている。そのような固体撮像装置を利用したカメラ装置において、近年、夜景などを撮像する場合など、暗い場所で良好な画質を求める声が高まっており、この要求に応えるべく、画素の光電変換素子として、入射した光に対して多くの電子を発生させる光電子増倍膜を用いる技術が提案されている（例えば、特許文献１，２参照）。

特開２００２−２５２３６７号公報 特開２００３−０５１６０８号公報

この光電子増倍膜を用いる技術は、未来の撮像装置技術として非常に期待されている。しかしながら、光電子増倍膜は、暗所など非常に光量が少ない（光強度が弱い）環境下では十分な能力を発揮できるものの、野外や蛍光灯下など、暗所に比べて光量が多い（光強度が強い）環境下では、光電子増倍膜の感度が高すぎるが故に瞬時に飽和領域に達してしまうために、階調をもった出力信号を得ることが困難であり、未だ民生機器に利用されるまでに至っていないのが現状である。このような問題は、光電子増倍膜を用いた光電変換素子に限らず、電荷の蓄積容量が小さく、瞬時に飽和領域に達する光電変換素子全般に言えることである。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、光電子増倍膜など、瞬時に飽和領域に達する光電変換素子を用いた場合において、野外や蛍光灯下など、暗所に比べて光量が多い環境下でも、十分に満足できるレベルでの撮像が可能な固体撮像装置および固体撮像装置の駆動方法を提供することにある。

上記目的を達成するために、本発明では、光電変換素子を含む画素が行列状に配置されてなる画素アレイ部を有する固体撮像装置において、前記画素アレイ部からの信号を受け取ってアナログ・デジタル変換するＡＤ変換部を設け、前記画素アレイ部の各画素から読み出される信号を記憶する全画素分またはそれ以上の記憶手段を前記画素アレイ部と同一の基板上に設け、前記ＡＤ変換部と前記記憶手段の間に配置され、前記ＡＤ変換部と前記記憶手段の両方からの信号を受け取って加算または加算・平均化して、前記記憶手段に格納する演算手段を設け、前記記憶手段から読み出される各画素の信号を前記基板の外部に出力する最終出力段のデータレートよりも高速に前記画素アレイ部の各画素から信号を読み出して前記記憶手段に格納する駆動手段とを備えたことを特徴としている。
本発明の固体撮像装置では、さらに、前記画素アレイ部の各画素ごとに有するカラーフィルタと、前記画素アレイ部の各前記画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する動きベクトル検出手段を備え、前記記憶手段は、１つのアドレスについて、前記カラーフィルタごとに記憶領域を持ち、前記演算手段で加算または加算・平均化する前に、前記動きベクトル検出手段の検出結果に基づいて、前記画素アレイ部から読み出された各画素の信号を前記記憶手段に格納するアドレスの補正が行われ、アドレスの補正後、各前記カラーフィルタにおける出力値及び加算回数が、前記記憶手段に記憶されることを特徴とする。

上記構成の固体撮像装置において、画素アレイ部の各画素の信号を格納する記憶手段を画素アレイ部と同一の基板上に設けることで、当該基板上の最終出力段のデータレートで決まるフレームレートよりも高速なフレームレートで画素アレイ部の各画素から信号を読み出すことが可能になる。そして、当該高速なフレームレートで画素アレイ部の各画素の信号を読み出して記憶手段に格納することで、光電子増倍膜など、瞬時に飽和領域に達する光電変換素子を用いた場合であっても、当該光電変換素子が飽和領域に達する前に何度か繰り返して各画素から信号を読み出して記憶手段に格納することで、十分なダイナミックレンジを確保することができる。

本発明によれば、光電子増倍膜など、瞬時に飽和領域に達する光電変換素子を用いた固体撮像装置において、最終出力段のデータレートで決まるフレームレートよりも高速なフレームレートで画素アレイ部の各画素から信号を読み出して記憶保持することで、野外や蛍光灯下など、非常に光量が多い環境下でも、十分なダイナミックレンジを確保することができるため、十分に満足できるレベルでの撮像が可能となる。

第１形態（本発明に対する参考例）に係る高感度ＣＭＯＳイメージセンサの構成を示すブロック図である。 光電子増倍膜で形成された光電変換素子の原理構造の一例を示す断面図である。 第２形態（本発明の実施形態）に係る手ぶれ補正機能を持つ高感度ＣＭＯＳイメージセンサの構成を示すブロック図である。 加速度センサーの検出結果をアドレス補正に反映させるタイミングを１フレームごとに設定した場合のタイミングチャートである。 加速度センサーの検出結果をアドレス補正に反映させるタイミングを複数フレームごとに設定した場合のタイミングチャートである。 加速度センサーの検出結果をアドレス補正に反映させるタイミングを行ごとに設定した場合のタイミングチャートである。 手ぶれ補正機能を活用することによる解像度向上の説明図である。 手ぶれ補正機能を活用することによる解像度向上の他の例の説明図であり、ある一つのアドレスのデータ例を示している。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

［第１形態（本発明に対する参考例）］
図１は、第１形態（本発明に対する参考例）に係る固体撮像装置、例えば高感度ＣＭＯＳイメージセンサの構成を示すブロック図である。図１に示すように、第１実施形態に係るＣＭＯＳイメージセンサ１０は、画素アレイ部１１、垂直駆動回路１２、カラム信号処理回路１３、記憶手段であるフレームメモリ１４、デジタルアンプ１５、タイミングジェネレータ１６およびＤＳＰ(Digital Signal Processor;デジタル信号処理)回路１７を有する構成となっている。

画素アレイ部１１は、光電変換素子を含む画素１１１が、所定の繰り返し周期で行列状に２次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線１１２が配線された構成となっており、画素１１１の各々において被写体（図示せず）からの入射光を所定の期間だけその光量に応じた電荷量の信号電荷に光電変換する。光電変換素子としては、例えば光電子増倍膜で形成されたものが用いられる。

図２は、光電子増倍膜で形成された光電変換素子２０の原理構造の一例を示す断面図である。図２から明らかなように、本光電変換素子２０は、光電変換層２１、信号電荷加速層２２および信号電荷増倍層２３が光照射側から順に積層され、光電変換層２１と信号電荷増倍層２３とにそれぞれ電極（図示せず）を介して所定の電圧が印加される構成となっている（特に、特許文献１参照）。

光電変換層２１には、水素化アモルファスシリコン膜などが用いられる。信号電荷加速層２２には、シリコン表面が酸化シリコンなどの絶縁膜または水素化アモルファスシリコン膜で覆われた直径数ナノメートルのシリコン結晶粒（シリコンナノ結晶）からなる膜が用いられる。信号電荷増倍層２３には、単結晶シリコン基板などが用いられる。

かかる構成の光電変換素子２０において、光照射を受けた光電変換層２１は、その光量に応じた電荷量の信号電荷を生成する。信号電荷加速層２２は、光電変換層２１で光生成された信号電荷を加速する。信号電荷増倍層２３は、信号電荷加速層２２で加速された信号電荷を増倍する。これらの作用により、上記構成の光電変換素子２０は、入射した光に対して多くの信号電荷を発生させることができる。

画素１１１としては、ここでは図示を省略するが、光電変換素子２０に加えて、当該画素１１１の駆動トランジスタ、例えば、光電変換素子２０で光電変換して得られる信号電荷をフローティングディフュージョン（ＦＤ）に転送する転送トランジスタと、当該フローティングディフュージョンの電位を制御するリセットトランジスタと、フローティングディフュージョンの電位に応じた信号を出力する増幅トランジスタとを有する３トランジスタ構成のものや、画素選択を行うための選択トランジスタをさらに有する４トランジスタ構成のものなどを用いることができる。

垂直駆動回路１２は、シフトレジスタなどによって構成されており、画素１１１の各々を行単位で選択し、当該選択行の画素１１１をリセットしたり、画素１１１から信号を読み出したりする駆動手段である。この垂直駆動回路１２による駆動時には、選択行の画素１１１の各々からは、上記リセットトランジスタによってリセットされたときのフローティングディフュージョンの電位がリセットレベルとして出力され、また転送トランジスタによって光電変換素子２０からフローティングディフュージョンに信号電荷が転送されたときの当該フローティングディフュージョンの電位が信号レベルとして出力される。

カラム信号処理回路１３は、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)回路１３１、ＡＤＣ（アナログ−デジタル変換）回路１３２および加算・平均化回路１３３などの各種の信号処理回路を、例えば画素列ごとに有する構成となっている。

このカラム信号処理回路１３において、ＣＤＳ回路１３１は、垂直駆動回路１２によって選択された行の画素１１１から出力される信号に対してノイズ除去のための処理（ＣＤＳ処理）を行う。具体的には、先述したように、選択行の画素１１１から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。このＣＤＳ回路１３１としては、キャパシタを含むサンプルホールド回路と差動アンプからなる周知の回路構成のものが用いられる。

ＡＤＣ回路１３２は、ＣＤＳ回路１３１でのＣＤＳ処理後の各画素のアナログ信号を列ごとにデジタル信号に変換する。加算・平均化回路１３３は、フレームメモリ１４に既に格納されている各画素の信号と、ＡＤＣ回路１３２でデジタル信号に変換後の各画素の信号とを演算する、例えば加算または加算・平均化する演算手段である。

フレームメモリ１４は、加算・平均化回路１３３で演算（加算または加算・平均化）処理された後の各画素の信号を記憶する。デジタルアンプ１５は、フレームメモリ１４から順に出力されるデジタル画素データを適当なゲインで増幅（減衰を含む）する。タイミングジェネレータ１６は、上記各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。

ここまでに説明した各回路部分、即ち垂直駆動回路１２、カラム信号処理回路１３、フレームメモリ１４、デジタルアンプ１５およびタイミングジェネレータ１６は、画素１１１が行列状に配置されてなる画素アレイ部１１と同じチップ（半導体基板）１８上に集積され、以下に説明する回路部分、即ちＤＳＰ回路１７はチップ１８の外部に設けられている。なお、チップ１８から出力される画像データのフレームレートは、チップ１８上の最終出力段、例えばＩ／Ｏバッファ(図示せず)のデータレートで決まる。

ＤＳＰ回路１７は、チップ１８内のフレームメモリ１４からデジタルアンプ１５を通して上記フレームレートで出力される画像データ（各画素の信号）を、本ＣＭＯＳイメージセンサ１０Ａ外の記憶媒体（例えば、コンパクトフラッシュ（登録商標）やメモリスティック）へ伝送する前に各種の画像処理を行う。

上記構成の本形態に係るＣＭＯＳイメージセンサ１０Ａは、入射光に対して多くの信号電荷を発生させることができる光電子増倍膜で形成された光電変換素子２０を、各画素１１１の受光部として用いた高感度の撮像装置であり、特に暗所など、入射光量が所定の閾値以下の非常に少ない環境下では十分な能力を発揮する。このように、入射光量が非常に少ない環境下で十分な能力を発揮する高感度のＣＭＯＳイメージセンサ１０Ａでは、通常、チップ１８上の最終出力段（例えば、Ｉ／Ｏバッファ）のデータレートで決まる第１のフレームレートによる１フレーム期間の間に光電変換素子が飽和しないように設計される。

ただし、このような高感度のＣＭＯＳイメージセンサ１０Ａは、入射光量が非常に少ない環境下では十分な能力を発揮するものの、野外や蛍光灯下など、入射光量が当該所定の閾値を超える環境（特に、光量が非常に多い環境）下では、光電変換素子２０の感度が高すぎるが故に瞬時に飽和領域に達してしまうために、入射光量が非常に少ない環境下での駆動時と同じような駆動を行ったのでは十分なダイナミックレンジを確保することができないことになる。

そこで、本形態に係るＣＭＯＳイメージセンサ１０Ａでは、フレームメモリ１４を画素アレイ部１１と同じチップ１８上に設けることにより、画素アレイ部１１の各画素１１１からの信号の読み出しを、チップ１８上の最終出力段、例えばＩ／Ｏバッファ（図示せず）のデータレートで決まる第１のフレームレートよりも高速な第２のフレームレートで実現するとともに、第１のフレームレートによる１フレーム期間の間に第２のフレームレートで複数フレーム分の画像データ（各画素の信号）を得て画素ごとに加算することにより、入射光量が非常に多い環境下でも十分なダイナミックレンジの確保を可能としている。

以下に、入射光量が非常に多い環境下における本形態に係る高感度ＣＭＯＳイメージセンサ１０Ａの回路動作について説明する。

垂直駆動回路１２による垂直走査により、画素アレイ部１１の各画素１１１が行単位で順に選択される。すると、その選択行（信号出力行）の各画素１１１において、光電変換素子２０に蓄積された信号電荷（例えば、電子）に応じた信号レベルと、光電変換素子２０をリセットした後のリセットレベル（例えば、０レベル）が、垂直信号線１１２を通して各列のカラム信号処理回路１３に出力される。

なお、図示を省略したが、用途に応じて、垂直駆動回路１２と基本的に同じ構成のシャッタ駆動回路が当該垂直駆動回路１２と並列的に設けられる。このシャッタ駆動回路による走査により、画素アレイ部１１の各画素１１１が行単位で順に選択されると、その選択行（電子シャッタ行）の各画素１１１の光電変換素子がリセットされる。信号出力行を駆動した直後に、同様の駆動パルスで電子シャッタ行の各画素１１１が動作する。電子シャッタ行と信号出力行が一定の間隔で進んで行くとき、信号出力行から出力される信号は、電子シャッタ行から信号出力行まで進んで行く期間に光電変換された光の信号となる。

電子シャッタ行と信号出力行の時間的な間隔を調節することにより、光電変換素子２０への照射時間（信号電荷の蓄積時間）を変更することができる。垂直駆動回路１２および上記シャッタ駆動回路の駆動パルス、即ちスタートパルスおよびクロックパルスは、タイミングジェネレータ１６で生成される。上記照射時間（信号電荷の蓄積時間）の調整は、タイミングジェネレータ１６で生成する駆動パルスのタイミングを調節することによって実行される。

画素１１１の全てから信号を読み出す全画素読出し時には、シャッタ動作および読み出し動作は、画素アレイ部１１の第一行から最終行までを順に選択され、全ての行に対して行われる。ここまでの動作は、従来、一般的に知られているＣＭＯＳイメージセンサと同じ、周知の動作である。

ここで、本形態に係るＣＭＯＳイメージセンサ１０Ａでは、画素アレイ部１１と同じチップ１９上にフレームメモリ１４を搭載（内蔵）した構成を採っている。この構成を採ることにより、チップ１９上の最終出力段、本例ではデジタルアンプ１５のデータレートに律則されることなく、画素アレイ部１１の各画素１１１の信号を、当該データレートで決まる第１のフレームレートよりも高速な第２のフレームレートで読み出してフレームメモリ１４に格納する一方、フレームメモリ１４からは最終出力段のデータレートで決まる第１のフレームレートで画像データ（各画素の信号）を読み出してチップ１８外に出力することが可能になる。

これは、フレームメモリ１４から第１のフレームレートで１フレーム分（１枚分）の画像データを出力する期間（第１のフレームレートによる１フレーム期間）内において、第２のフレームレートで複数フレーム分（複数枚分）の画像データを繰り返して画素アレイ部１１から読み出すことができることを意味する。ここで、十分なダイナミックレンジを確保するためには、画素アレイ部１１の各画素１１１から信号を読み出す際に、光電子増倍膜で形成された光電変換素子２０が飽和領域に達する前に、各画素１１１から信号を繰り返して読み出すことが必要である。

１フレーム目の各画素の信号は、上述した周知の動作と同じ動作により、行単位で順次読み出され、ＣＤＳ回路１３１でＣＤＳ処理され、ＡＤＣ回路１３２でデジタル信号に変換された後、加算・平均化回路１３３を経由してフレームメモリ１４に画素ごとに格納される。２フレーム目の各画素の信号については、行単位で順次読み出され、ＣＤＳ回路１３１でＣＤＳ処理され、ＡＤＣ回路１３２でデジタル信号に変換された後、加算・平均化回路１３３において、既にフレームメモリ１４に格納されている各画素の信号と例えば加算・平均化され、その平均値がフレームメモリ１４に画素ごとに格納される。

加算・平均化回路１３３において加算・平均化処理を行うのは次の理由による。すなわち、フレームメモリ１４に格納される一行分（一回分）の各画素の信号は、ある無視できないランダムノイズ（例えば、熱雑音や電源の揺れ等に起因するノイズ）を持っていることが多い。このランダムノイズを持つ各画素の信号をそのまま用いた場合に、当該ランダムノイズに起因する画質低下を招く懸念もある。そこで、ランダムノイズを抑制するために、加算・平均化回路１３３においては、各画素の信号について各フレーム間において加算・平均化し、その平均値を各画素の信号としてフレームメモリ１４に記憶するようにしている。具体的には、今回のフレームに関するアドレス補正後の各画素の信号と、フレームメモリ１４に既に格納されている各画素の信号（前回の加算・平均値）との加算・平均値を算出して、今回の加算・平均値としてフレームメモリ１４に格納する処理を複数回（複数フレーム）に亘って実行する。

なお、ここでは、複数フレームに亘って各画素の信号を加算・平均化することによってランダムノイズを抑制するとしたが、ランダムノイズについては必ずしも平均化しなくても、各画素の信号を複数フレームに亘って単純に加算するだけでも、ランダムノイズについてはそのまま加算とはならず、信号レベルについてはそのまま加算となるためＳ／Ｎを向上できる。

以降、最終フレームＮまで同様の動作が繰り返される。その結果、フレームメモリ１４には最終的に、Ｎフレーム分の各画素の平均値が画素ごとに格納されることになる。このようにして、フレームメモリ１４に最終的に格納された各画素の平均値は、デジタルアンプ１５で適当なゲインで増幅（減衰を含む）され、第１のフレームレートでチップ１８外へ出力される。

上述したように、光電子増倍膜で形成された光電変換素子２０を含む画素１１１が多数配置されてなる高感度のＣＭＯＳイメージセンサ１０Ａにおいて、フレームメモリ１４を画素アレイ部１１と同じチップ１８上に設けるとともに、チップ１８上の最終出力段（具体的には、Ｉ／Ｏバッファ）のデータレートで決まる第１のフレームレートよりも高速な第２のフレームレートで、画素アレイ部１１の各画素１１１から信号を読み出し、かつ加算してフレームメモリ１４に格納することにより、野外や蛍光灯下など、非常に光量が多い環境下でも、十分なダイナミックレンジを確保することができるため、十分に満足できるレベルでの撮像が可能となる。

ここまでは、野外や蛍光灯下など、入射光量が非常に多い環境下における動作について述べたが、暗所など、入射光量が非常に少ない環境下においても、基本的に同じ動作を実行することにより、高感度化を図ることができる。すなわち、入射光量が非常に少ない環境下での撮像時は、入射光量が非常に多い環境下での撮像時に比べて露光期間が非常に長くなるが、その長い露光期間において、第２のフレームレートでＮフレームよりもさらに多いフレーム数分の画像データを繰り返して画素アレイ部１１から読み出し、かつ加算してフレームメモリ１４に格納することにより、露光期間において光電変換素子２０で光電変換された電荷量に対応する画素値の画像データを得ることができる。

なお、入射光量が非常に少ない環境下において、画素アレイ部１１の各画素１１１から第２のフレームレートで信号を読み出す駆動法を採る場合には、各フレームごとの画素の信号レベルが極めて小さいため、加算・平均化回路１３３では平均化処理を行わずに、単純に加算処理のみを行うことになる。

また、暗所など、入射光量が非常に少ない環境下における別の駆動法として、次のような駆動法を採ることも考えられる。

すなわち、入射光量が非常に少ない環境下での撮像時には、画素アレイ部１１の各画素１１１からの信号の読み出しを、第２のフレームレートで繰り返して行うのではなく、第１のフレームレートで行う駆動法である。所定の露光期間の終了後、各画素１１１から第１のフレームレートで信号を読み出すことで、当該露光期間において光電変換素子２０で光電変換された電荷量に対応する画素値の画像データが得られることは容易に理解できることである。

この駆動方法を採るということは、野外や蛍光灯下など、入射光量が非常に多い環境下での撮像時と、暗所など、入射光量が非常に少ない環境下での撮像時とで駆動方法を切り替えるということである。その切り替えは、手動操作により、あるいは、入射光量が所定の光量閾値を超えたか否かを検知するセンサを搭載し、当該センサの検知出力を用いることにより、切り替え情報をタイミングジェネレータ１６に与えて、画素アレイ部１１の各画素１１１から信号を読み出すタイミングを切り替えることによって容易に実現できる。

このように、入射光量が非常に少ない環境下での撮像時には、画素アレイ部１１の各画素１１１からの信号の読み出しを第１のフレームレートで行う駆動法を採ることにより、露光期間において垂直駆動回路１２やカラム信号処理回路１３などの回路部分を動作させなくて済み、これら回路部分については露光動作が完了した時点で動作を開始させれば良いため、第２のフレームレートで繰り返して信号を読み出し、常に各回路部分を動作させる必要がある場合に比べて消費電力を低減できる利点がある。

［第２形態（本発明の実施形態）］
図３は、第２形態（本発明の実施形態）に係るＭＯＳ型固体撮像装置、例えば手ぶれ補正機能を持つ高感度ＣＭＯＳイメージセンサの構成を示すブロック図である。図３に示すように、第２形態に係るＣＭＯＳイメージセンサ１０Ｂは、画素アレイ部３１、垂直駆動回路３２、カラム信号処理回路３３、記憶手段であるフレームメモリ３４、デジタルアンプ３５、タイミングジェネレータ３６、ＤＳＰ回路３７および動きベクトル検出手段としての例えば加速度センサー３８を有する構成となっている。

画素アレイ部３１は、光電変換素子を含む画素３１１が、所定の繰り返し周期で行列状に２次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線３１２が配線された構成となっており、画素３１１の各々において被写体（図示せず）からの入射光を所定の期間だけその光量に応じた電荷量の信号電荷に光電変換する。光電変換素子としては、第１形態の場合と同様に、例えば光電子増倍膜で形成された光電変換素子２０が用いられる。画素３１１としても、第１形態の場合と同様に、３トランジスタ構成のものや、４トランジスタ構成のものが用いられる。

垂直駆動回路３２は、シフトレジスタなどによって構成されており、画素３１１の各々を行単位で選択し、当該選択行の画素３１１をリセットしたり、画素３１１から信号を読み出したりする。この垂直駆動回路３２による駆動時には、選択行の画素３１１の各々からは、上記リセットトランジスタによってリセットされたときのフローティングディフュージョンの電位がリセットレベルとして出力され、また転送トランジスタによってフォトダイオードからフローティングディフュージョンに信号電荷が転送されたときの当該フローティングディフュージョンの電位が信号レベルとして出力される。

カラム信号処理回路３３は、ＣＤＳ回路３３１、ＡＤＣ（アナログ−デジタル変換）回路３３２、アドレス補正回路３３３および加算・平均化回路３３４などの各種の信号処理回路を、例えば画素列ごとに有する構成となっている。

このカラム信号処理回路３３において、ＣＤＳ回路３３１は、垂直駆動回路３２によって選択された行の画素３１１から出力される信号に対してノイズ除去のための処理（ＣＤＳ処理）を行う。具体的には、先述したように、選択行の画素３１１から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。このＣＤＳ回路３３１としては、キャパシタを含むサンプルホールド回路と差動アンプからなる周知の回路構成のものが用いられる。

ＡＤＣ回路３３２は、ＣＤＳ回路３３１でのＣＤＳ処理後の各画素のアナログ信号を列ごとにデジタル信号に変換する。アドレス補正回路３３３は、ＡＤＣ回路３３２から出力される各画素情報をフレームメモリ３４に記憶する際に、後述する加速度センサー３８の検出結果に基づいてフレームメモリ３４上の格納アドレスの補正を行う。加算・平均化回路３３４は、フレームメモリ３４に既に格納されている各画素の信号と、アドレス補正回路３３３でアドレス補正された各画素の信号とを演算する、例えば加算・平均化する。

フレームメモリ３４は、画素アレイ部３１の画素数以上、または画像形成に実際に機能する有効画素部の画素数以上の画素情報を記憶できる容量を持ち、アドレス補正回路３３３でアドレス補正され、また加算・平均化回路３３４で演算（加算・平均化）処理された後の各画素情報を記憶する。デジタルアンプ３５は、フレームメモリ３４から順に出力されるデジタル画素データを、適当なゲインで増幅（減衰を含む）する。タイミングジェネレータ３６は、上記各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。

ここまでに説明した各回路部分、即ち垂直駆動回路３２、カラム信号処理回路３３、フレームメモリ３４、デジタルアンプ３５およびタイミングジェネレータ３６は、画素３１１が行列状に配置されてなる画素アレイ部３１と同じチップ（半導体基板）３９上に集積され、以下に説明する回路部分、即ちＤＳＰ回路３７および加速度センサー３８は、チップ３９の外部に設けられている。

ＤＳＰ回路３７は、チップ３９内のフレームメモリ３４からデジタルアンプ１５を介して出力される各画素の信号を、本ＣＭＯＳイメージセンサ１０Ｂ外の記憶媒体（例えば、コンパクトフラッシュ（登録商標）やメモリスティック）へ伝送する前に各種の画像処理を行う。加速度センサー３８は、ＣＭＯＳイメージセンサ１０Ｂ自体（装置本体）のぶれ（いわゆる、手ぶれ）に伴う動きベクトル、即ち画素アレイ部３１の各画素３１１から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出し、その検出結果をチップ３９内のアドレス補正回路３３３に与える。

なお、ここでは、動きベクトル検出手段として例えば加速度センサー３８を用いるとしたが、加速度センサー３８に限られるものではなく、時間的に前の画像に対する後の画像の動きベクトルを検出できる構成のものであれば良い。

上記構成の本実施形態に係る高感度ＣＭＯＳイメージセンサ１０Ｂにおける、野外や蛍光灯下など、入射光量が非常に多い環境下での撮像時の動作や、暗所など、入射光量が非常に少ない環境下での撮像時の動作については、基本的に、第１形態に係る高感度ＣＭＯＳイメージセンサ１０Ａの場合と同じであり、ここでは重複するのでその説明を省略するものとする。

ところで、本ＣＭＯＳイメージセンサ１０Ｂをカメラ装置に用いた場合において、夜景や暗い場所で撮像するときには、一般的には、明るい場所での撮像時に比べて長い時間に亘って露光（長時間露光）が行われるため、手で持ったカメラ装置のぶれ（以下、これを「手ぶれ」と呼ぶ）などにより、ノイズ感の高い画像（例えば、ぼやけた画像）となる。また、高倍率のカメラ装置で遠くの被写体を撮像するときは、少しの手ぶれによってもノイズ感の高い画像となる。そこで、本実施形態では、手ぶれを補正して画像を安定化させるために、加速度センサー３８の情報を基に手ぶれ補正を行うようにしている。

次に、上記構成の本実施形態に係る高感度ＣＭＯＳイメージセンサ１０Ｂにおける手ぶれ補正時の動作について説明する。

垂直駆動回路３２による垂直走査により、画素３１１が１行ずつ、あるいは複数行同時に選択され、選択行の各画素３１１から信号が、最終出力段（Ｉ／Ｏバッファ）のデータレートよりも高速に、即ち当該データレートで決まる第１のフレームレートよりも速い第２のフレームレートで読み出される。この読み出された各画素３１１の信号は、カラム信号処理回路３３において列ごとに、ＣＤＳ回路３３１でＣＤＳ処理が行われ、ＡＤＣ回路３３２でデジタル信号に変換された後、１フレーム目の各画素の信号についてはアドレス補正回路３３３および加算・平均化回路３３４を経由してフレームメモリ３４に順次記憶される。

続いて、加速度センサー３８がぶれ量を計測する期間、およびアドレス補正回路１３３に信号を反映するタイミングについて、図４のタイミングチャートを用いて説明する。図４において、Ｈパルスは垂直駆動回路３２を制御するための基準信号であり、Ｖパルスはフレームを制御するための基準信号であり、Ｇパルスは加速度センサー３８から信号を受け取るタイミングを決めるための基準信号である。

Ｖパルスが立ち上がった後、Ｈパルスのある発生回数目から画素行が順次選択され、その選択行の各画素３１１から信号が読み出される。１フレーム目の画像情報の取り込みが終了した時点から２フレーム目の画像情報の取り込みを開始するまでの間（例えば、Ｖ０〜Ｖ１の期間）に、手ぶれによってチップ３９等が動いた場合、加速度センサー３８はその動いた量を検出する。手ぶれによってチップ３９などが動くと、画素アレイ部３１の各画素３１１から読み出される信号に基づく、時間的に前の画像（１フレーム目の画像）に対して後の画像（２フレーム目の画像）が動くことになる。

したがって、手ぶれによってチップ３９などが動いた場合には、加速度センサー３８により、画素アレイ部３１の各画素３１１から読み出される信号に基づく、時間的に前の画像（１フレーム目の画像）に対する後の画像（２フレーム目の画像）の動きベクトルが検出される。２フレーム目の画像情報が順次読み出され、ＣＤＳ回路３３１でＣＤＳ処理が行われ、ＡＤＣ回路３３２でデジタル信号に変換された後、アドレス補正回路３３３において、Ｇ１パルスのタイミングで得た加速度センサー３８の検出結果を基に、１フレーム目の画像に対して２フレーム目の画像が動いた分だけ、２フレーム目の画像情報（各画素１１１の信号）に対して、フレームメモリ３４上の格納アドレスの補正が行われる。

このアドレス補正について、以下により具体的に説明する。ここでは、理解を容易にするために、画素アレイ部３１上の画素３１１のアドレスと、当該画素３１１の信号が格納されるフレーメモリ３４上の格納アドレスとを同一アドレスとして説明するものとする。

ある点Ｐを撮像した１フレーム目の画素（Ｘａ，Ｙｂ）の信号がフレームメモリ３４上の格納アドレス（Ｘａ，Ｙｂ）に格納され、２フレーム目の画像情報を取り込むまでの間に生じた手ぶれにより、２フレーム目の画像では、同じ点Ｐが１フレーム目の画素（Ｘａ，Ｙｂ）と異なる画素（Ｘｃ，Ｙｄ）で撮像されたと仮定したとき、画素（Ｘｃ，Ｙｄ）の信号に対して格納アドレスの補正を行わない場合には、当該画素（Ｘｃ，Ｙｄ）の信号は、１フレーム目の格納アドレス（Ｘａ，Ｙｂ）と異なる格納アドレス（Ｘｃ，Ｙｄ）に格納される。

すなわち、1フレーム目の画素（Ｘａ，Ｙｂ）の信号と２フレーム目の画素（Ｘｃ，Ｙｄ）は、同じ点Ｐの画像情報であるにも拘わらず、フレームメモリ３４上の異なるアドレス位置に格納されることになる。このアドレス位置のずれにより、格納アドレスがずれた分だけ1フレーム目と２フレーム目とで画像がぶれることになり、その結果、ノイズ感の高い画像（例えば、ぼやけた画像）となる。

この手ぶれに伴う画像のぶれを補正するために、アドレス補正回路３３３は、上記の具体例の場合には、加速度センサー３８の検出結果、即ち画素（Ｘａ，Ｙｂ）に対する画素（Ｘｃ，Ｙｄ）の動きベクトルを基に、画素（Ｘｃ，Ｙｄ）の信号の格納アドレスを、格納アドレス（Ｘｃ，Ｙｄ）から画素（Ｘａ，Ｙｂ）の信号と同じ格納アドレス（Ｘａ，Ｙｂ）に補正する処理を行う。このアドレス補正回路３３３でのアドレス補正により、点Ｐについての２フレーム目の画素（Ｘｃ，Ｙｄ）の信号が、同じ点Ｐについての１フレーム目の画素（Ｘａ，Ｙｂ）の信号と同じ格納アドレス（Ｘａ，Ｙｂ）に格納されることになるため、1フレーム目と２フレーム目との間で画像がぶれることはない。

アドレス補正回路３３３でアドレス補正された各画素の信号は、加算・平均化回路３３４において、フレームメモリ３４に格納されている各画素の信号と加算・平均化処理された後、フレームメモリ３４の該当する格納アドレスに格納される。

３フレーム目以降も、２フレーム目の読み出し補正動作と同様の動作が繰り返して実行される。適当な画素値が得られるまで、複数枚（複数フレーム）に亘って各画素の信号を加算し、もしくは加算・平均化した後、フレームメモリ３４から１フレーム分の画像データとしてチップ３９外へ出力する。その後、後段のＤＳＰ回路３７などで所定の信号処理を行って、外部の記憶媒体などに出力される。

加算もしくは加算・平均化するフレーム数（画像枚数）については、画素アレイ部３１の各画素３１１から信号を読み出す速度によって決まる。また、画素アレイ部３１の各画素３１１の蓄積時間については、加算するフレーム数によって決まる。

上述したように、光電子増倍膜で形成された光電変換素子２０を含む画素３１１が多数配置されてなる手ぶれ補正機能を持つ高感度のＣＭＯＳイメージセンサ１０Ｂにおいて、フレームメモリ３４を画素アレイ部３１と同じチップ３８上に設けるとともに、チップ３８上の最終出力段（具体的には、Ｉ／Ｏバッファ）のデータレートで決まる第１のフレームレートよりも高速な第２のフレームレートで、画素アレイ部３１の各画素３１１から信号を読み出し、かつ加算してフレームメモリ３４に格納することにより、第１形態の場合と同様の作用効果、即ち野外や蛍光灯下など、非常に光量が多い環境下でも、十分なダイナミックレンジを確保することができることに加えて、次のような作用効果を得ることができる。

すなわち、画素アレイ部３１の各画素３１１から第２のフレームレートで信号を読み出してフレームメモリ３４に格納する一方、フレームメモリ３４からは第１のフレームレートで画像データを出力することにより、フレームメモリ３４から第１のフレームレートで１枚分の画像データを出力する期間内において、複数フレーム（複数枚）分だけ画素アレイ部３１の各画素３１１から画像データを読み出し、かつ複数フレームの画像間に空間的なずれがあれば、複数フレームごとに手ぶれ補正を行って複数フレームの画像の空間的なアドレスを合わせることができる。したがって、静止画撮像および動画撮像のいずれにおいても、最終出力段のデータレートで決まる第１のフレームレートで読み出される画像データに対して手ぶれ補正を行うのに比べて、よりきめ細かな手ぶれ補正を行うことができるため、低ノイズで撮像することが可能になる。

画素アレイ部３１の各画素３１１から信号を読み出すフレームレートについては、読み出すフレーム（画像データ）間において発生する手ぶれの影響を減らすためには速ければ速い程、手ぶれを防止する効果は大きい。また、最終的に出力する画像データのダイナミックレンジについても、加算するフレーム数を増やすことによって拡大することが可能となる。

なお、本実施形態では、加速度センサー３８の検出結果をアドレス補正回路３３３に反映させるタイミングを１フレームごとに設定するとしたが、図５に示すように、フレームを飛ばして複数フレームごとに上記タイミングを設定するなど、用途に応じて、加速度センサー３８の検出結果をアドレス補正回路３３３に反映するタイミングを適宜変更するようにしても良い。

また、アドレス補正をフレーム単位で行うのではなく、図６に示すように、加速度センサー３８による手ぶれ検出を行ごとに実施するとともに、その都度加速度センサー３８の検出結果をアドレス補正回路３３３に反映させてアドレス補正も行ごとに実施するようにしても良い。アドレス補正を行単位で行うことにより、フレーム単位で行う場合よりも、よりきめ細かな手ぶれ補正の実現が可能になる。

さらに、画素アレイ部３１の各画素を画素単位でアドレス指定することによって各画素の信号を画素単位で読み出し可能なＣＭＯＳイメージセンサにあっては、手振れ検出を画素ごとに実施するとともに、アドレス補正も画素ごとに実施することも可能である。アドレス補正を画素単位で行うことにより、行単位で行う場合よりも、さらにきめ細かな手ぶれ補正の実現が可能になる。

上記構成の実施形態に係るＣＭＯＳイメージセンサ１０Ｂにおいて、フレームメモリ３４として、先述したように、画素アレイ部３１の画素数よりも多い画素数分だけ画素情報を記憶可能な容量を持つメモリを用意し、上記手ぶれ補正の機能を活用することにより、最終的な画像データを、画素アレイ部３１の画素数で決まる解像度よりも高い解像度、広い画角で出力することができる、という作用効果を得ることもできる。このことについて、以下により具体的に説明する。

手ぶれ補正に伴うアドレス補正後の各画素値を、対応する画素の記憶領域に順に記憶する。ここで、手ぶれ補正の際に、画素アレイ部１１からＮ枚（Ｎフレーム）分の画像データが順に読み出され、各画像（フレーム）ごとにアドレス補正が行われるものとすると、当該アドレス補正により、図７に示すように、１フレーム目、２フレーム目、……、Ｎフレーム目の各画像データが、手ぶれによる動きベクトルの分だけずれた状態でフレームメモリ３４に記憶される。

これにより、画素アレイ部３１の画素数で決まる画角よりも広い画角の画素情報がフレームメモリ３４上に格納されることになる。したがって、フレームメモリ３４から画素情報を読み出すときに、画素アレイ部３１の画角よりも広い画角を１枚が画像として、当該画角の画素情報を読み出すことにより、結果として、画素アレイ部３１の画素数が増えたのと等価となるため、最終的な画像データを画素アレイ部３１の画素数で決まる画角よりも広い画角で出力することができる。

ただし、本ＣＭＯＳイメージセンサ１０Ｂが画素アレイ部３１の各画素３１１ごとにカラーフィルタを有するカラー対応の場合には、単純にアドレス補正を行ったのでは混色の問題が発生する。そこで、カラーフィルタの色を合わせるために、アドレス補正回路３３３において、カラーフィルタのカラーコーディングにおける単位パターンの繰り返し画素数の整数倍でアドレス補正を行うようにする。

具体的には、例えば、カラーコーディングの単位パターンが水平方向（Ｘ方向）２画素繰り返し×垂直方向（Ｙ方向）２画素繰り返しのカラーフィルタを持つ場合には、水平方向、垂直方向共に、２の整数倍でアドレス補正を行ってフレームメモリ３４に記憶するようにする。これにより、常に同じ色の画素値がフレームメモリ３４上の同じアドレスに格納され、異なる色の画素値が同じアドレスに格納されることがないため、アドレス補正によって混色が発生することはない。

次に、手ぶれ補正機能を活用することによる解像度向上についての他の例について説明する。

フレームメモリ３４には、１つのアドレス（１つの画素の記憶領域）につきカラーフィルタごとに記憶領域を持たせるとともに、アドレス補正後加算したカラーフィルタ情報をもフレームメモリ１４に記憶させるようにする。具体的には、例えばＲ（赤）Ｇ（緑）Ｂ（青）ベイヤ配列のカラーフィルタを持つ場合を例に挙げると、図８にその一例を示すように、フレームメモリ１４の１画素分のデータ（１つのアドレスのデータ）として、Ｂ，Ｇ，Ｒの各出力値（加算・平均値）に加えて、各色（各カラーフィルタ）ごとの加算回数などを格納しておくようにする。

格納する加算回数については、後でカラーフィルタごとに画素値の平均値を求める際に用いるようにする。ただし、ここで述べた１つのアドレス（１つの画素の記憶領域）につきカラーフィルタごとに記憶領域を持たせる例は一例に過ぎず、これに限られるものではない。

このように、フレームメモリ３４が１つのアドレス（１つの画素の記憶領域）につきカラーフィルタごとに記憶領域を持つことで、アドレス補正後の画素の情報をカラーフィルタごとに別々のフレームメモリ３４に記憶させることができるため、アドレス補正によって混色が発生することはなく、また１つの画素について複数の画素値を読み出すことになり、結果として、画素アレイ部３１の画素数が増えたのと等価となるため、最終的な画像データを画素アレイ部３１の画素数で決まる解像度よりも高い解像度で出力することができる。

なお、上記実施形態では、画素の光電変換素子として、光電子増倍膜で形成された光電変換素子２０を用いてなる高感度ＣＭＯＳイメージセンサに適用した場合を例に挙げて説明したが、多画素化に伴う光電変換素子（例えば、フォトダイオード）の微細化によって電荷の蓄積容量が小さくなり、瞬時に飽和領域に達するような光電変換素子を用いてなるＣＭＯＳイメージセンサにも同様に適用可能である。この適用例によれば、電荷の蓄積容量が小さく、瞬時に飽和領域に達するような光電変換素子を用いても、十分なダイナミックレンジを確保することができることから、画素の微細化による多画素化に大きく寄与できる利点がある。

また、上記実施形態では、ＣＭＯＳイメージセンサに適用した場合を例に挙げて説明したが、本発明はＣＭＯＳイメージセンサへの適用に限られるものではなく、ＭＯＳ型イメージセンサに代表されるＸ−Ｙアドレス型固体撮像装置全般に適用可能である。

また、上記実施形態では、画素を行列状に２次元配置してなるエリアセンサに適用した場合を例に挙げて説明したが、エリアセンサのみならず、画素を直線状に一次元配置してなるリニアセンサ（ラインセンサ）にも同様に適用可能である。リニアセンサの場合には、各画素の信号を格納する記憶手段として、フレームメモリに代えてラインメモリを用いるようにすれば良い。

本発明に係る固体撮像装置は、動画を撮影するビデオカメラや、静止画を撮影する電子スチルカメラ等、各種の映像機器の撮像デバイスとして用いることができる他、カメラ付き携帯電話などの携帯機器の撮像デバイスとしても用いることができ、特に画素の光電変換素子として光電子増倍膜を用いた場合にあっては、暗所など非常に光量が少ない環境下で用いて好適なものとなる。

１０Ａ，１０Ｂ ＣＭＯＳイメージセンサ、１１，３１ 画素アレイ部、１２，３２ 垂直駆動回路、１３，３３ カラム信号処理回路、１４，３４ フレームメモリ、１５，３５ デジタルアンプ、１６，３６ タイミングジェネレータ、１７，３７ ＤＳＰ（デジタル信号処理）回路、３８ 加速度センサー、１１１，３１１ 画素、１１２，３１２ 垂直信号線、１３１，３３１ ＣＤＳ回路、１３２，３２２ ＡＤＣ回路、１３３，３３４ 加算・平均化回路、３３３ アドレス補正回路

Claims (4)

1. 光電変換素子を含む画素が行列状に配置されてなる画素アレイ部と、
   前記画素アレイ部からの信号を受け取ってアナログ・デジタル変換するＡＤ変換部と、
   前記画素アレイ部と同一の基板上に設けられ、前記画素アレイ部の各画素から読み出される信号を記憶する全画素分またはそれ以上の記憶手段と、
   前記ＡＤ変換部と前記記憶手段の間に配置され、前記ＡＤ変換部と前記記憶手段の両方からの信号を受け取って加算または加算・平均化して、前記記憶手段に格納する演算手段と、
   前記記憶手段から読み出される各画素の信号を前記基板の外部に所定のデータレートで出力する最終出力段と、
   前記データレートよりも高速に前記画素アレイ部の各画素から信号を読み出して前記記憶手段に格納する駆動手段と、
   前記画素アレイ部の各画素ごとに有するカラーフィルタと、
   前記画素アレイ部の各前記画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する動きベクトル検出手段を備え、
   前記記憶手段は、１つのアドレスについて、前記カラーフィルタごとに記憶領域を持ち、
   前記演算手段で加算または加算・平均化する前に、前記動きベクトル検出手段の検出結果に基づいて、前記画素アレイ部から読み出された各画素の信号を前記記憶手段に格納するアドレスの補正が行われ、
   前記アドレスの補正後、各前記カラーフィルタにおける出力値及び加算回数が、前記記憶手段に記憶される
   固体撮像装置。
2. 前記光電変換素子は、光電子増倍膜で形成されている請求項１記載の固体撮像装置。
3. 光電変換素子を含む画素が行列状に配置されてなる画素アレイ部と、
   前記画素アレイ部からの信号を受け取ってアナログ・デジタル変換するＡＤ変換部と、
   前記画素アレイ部と同一の基板上に設けられ、前記画素アレイ部の各画素から読み出される信号を記憶する全画素分またはそれ以上の記憶手段と、
   前記ＡＤ変換部と前記記憶手段の間に配置され、前記ＡＤ変換部と前記記憶手段の両方からの信号を受け取って加算または加算・平均化して、前記記憶手段に格納する演算手段と、
   前記記憶手段から読み出される各画素の信号を前記基板の外部に所定のデータレートで出力する最終出力段と、
   前記画素アレイ部の各画素ごとに有するカラーフィルタと、
   前記画素アレイ部の各前記画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する動きベクトル検出手段を備えた固体撮像装置の駆動方法であって、
   前記記憶手段に、１つのアドレスについて、前記カラーフィルタごとに記憶領域を持たせて、
   前記動きベクトル検出手段の検出結果に基づいて、前記画素アレイ部から読み出された各画素の信号を前記記憶手段に格納するアドレスの補正を行い、
   前記アドレスを補正した後、各前記カラーフィルタにおける出力値及び加算回数も、前記記憶手段に記憶させる
   固体撮像装置の駆動方法。
4. 前記光電変換素子は、光電子増倍膜で形成されている請求項３記載の固体撮像装置の駆動方法。

Images