JP3704238B2

JP3704238B2 - 撮像装置

Info

Publication number: JP3704238B2
Application number: JP05252398A
Authority: JP
Inventors: 明鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1997-03-31
Filing date: 1998-03-04
Publication date: 2005-10-12
Anticipated expiration: 2018-03-04
Also published as: DE69838194T2; US6426773B1; EP0869683A3; ES2287962T3; EP0869683B1; JPH10336686A; EP0869683A2; DE69838194D1

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置に関し、詳細には、撮像素子を用いて被写体の高画質なカラー画像情報を入力する撮像装置に関するものである。
【０００２】
【従来の技術】
被写体のカラー画像情報を得るためには、一般的に、Ｒ，Ｇ，Ｂ（原色）またはＹ，Ｍ，Ｃ，Ｇ（補色）等の異なる波長感度の撮像素子が必要である。そこで、従来は一般的に３つに分類される撮像方式がある。
【０００３】
すなわち、第１の撮像方式は、撮影光学系の中にカラーフィルタを内蔵して順時切り換えながら、Ｒ，Ｇ，Ｂ各色のカラー画像情報を得る技法である。図３５はこの第１の撮像方式を用いた撮像装置を概略的に示す構成図である。第１の撮像方式では、図３５に示したように、撮影光学系４０１と撮像素子４０５間にカラーフィルタとしてＲ（レッド）フィルタ４０２，Ｇ（グリーン）フィルタ４０３，Ｂ（ブルー）フィルタ４０４が設置される。
【０００４】
これらＲフィルタ４０２，Ｇフィルタ４０３，Ｂフィルタ４０４を矢印Ｓ方向（図中の垂直方向）に移動させることで、順次カラーフィルタの切り換えが行われる。第１の撮像方式では、この切り替え動作の影響により、カラー画像情報を得るために時間がかかる。
【０００５】
また、第２の撮像方式は、被写体像をダイクロイックプリズム等を用いて３色に色分解してＲ，Ｇ，Ｂそれぞれの色分解された被写体像をそれぞれ３枚の撮像素子を用いて各色のカラー画像情報を得る技法であり、一般的に３ＣＣＤ方式と呼ばれている。図３６はこの第２の撮像方式を用いた撮像装置を概略的に示す構成図である。第２の撮像方式では、図３６に示したように、撮影光学系５０１とＲ撮像素子５０２，Ｇ撮像素子５０３，Ｂ撮像素子５０４間にダイクロックプリズム５０５が設置される。
【０００６】
第２の撮像方式では、前記第１の撮像方式と比べて各色（Ｒ，Ｇ，Ｂ）のカラー画像情報が同時に得られるメリットがあるが、その反面複雑なプリズムを用いたり３枚ものＲ，Ｇ，Ｂ撮像素子５０２，５０３，５０４が必要になるなど、非常に高価な装置となる。
【０００７】
また、第３の撮影方式は、固体撮像素子を用いて受光される各画素毎に異なる波長感度でカラー情報を得る技法である。図３７はこの第３の撮像方式を用いた撮像装置を概略的に示す構成図、図３８は受光素子のカラー配列を示す図、図３９は濃淡のある被写体の一例を示す図、そして、図４０は色に応じた濃度レベルを示す図である。第３の方式では、カラー固体撮像素子６０２は、図３８に示した如く、２次元的に配列された受光素子上にカラーフィルタなどを設け、各画素ごとに異なる波長感度となるように受光素子を配列した構成である。
【０００８】
この第３の撮影方式では、図３７に示したように、撮影光学系６０１を通じてカラー固体撮像素子６０２に受光される各画素毎に異なる波長感度でカラー情報が得られる。この第３の撮影方式では、単板でカラー画像情報が得られるメリットがあるが、その反面異なる波長感度の受光素子を平面的に配列しているため、同一被写体の同一部分の色情報を得ることができなくなる。
【０００９】
このため、図３９のように、１画素毎に濃淡のある被写体像について図３８に示したカラー配列のカラー固体撮像素子によりカラー画像情報を得た場合には、図４０に示したように、Ｒ，Ｇ，Ｂの各色に応じた信号が発生する。このような現象は一般に疑色と呼ばれる。このような現象を防止するには、図３９に示した濃淡のある画像すなわち高周波な画像を入力しないことが必要である。すなわち、一般には撮影光学系６０１に光学的ローパスフィルタを設けることで、画像がぼかされ、そのぼかしを利用して疑色の発生を防止することができる。
【００１０】
ところが、光学的ローパスフィルタにより画像がぼけた場合には、高解像な画像が得られないという問題がある。この問題を解決する方法として、例えば特開平７−３２２１２１号公報による“高画質画像撮像装置”が提案されている。
【００１１】
この公報には、光軸変更装置としてＶＡ（ＶａｒｉａｂｌｅＡｎｇｌｅ）プリズムを用いることで被写体像の位置を撮像素子に対して変位させ、この変位を通じて高画質画像を得るという技術が開示されている。この技術によれば、複数回同一の画像を取り込むことで撮像素子の総画素がｍ画素とした場合には、ｎ種の異なる被写体像を取り込めば、ｎ×ｍ画素相当の画像が得られる。
【００１２】
この公報による技術は、第２の撮像方式と第３の撮像方式とを組み合わせた混合方式となる。図４１及び図４２はこの混合方式をカラー配列で説明する図である。この混合方式は、Ｃ（シアン），Ｙ（イエロー），Ｍ（マゼンタ），Ｇ（グリーン）の補色フィルタのカラー配列（図４１参照）をもつ撮像素子を１画素ピッチだけ左右上下の４方向に変位させ、図４２に示したように４枚のカラー画像情報を得て被写体の同一部分の各Ｃ，Ｙ，Ｍ，Ｇの色情報を得るものである。
【００１３】
【発明が解決しようとする課題】
上記公報のように従来例による高画質画像撮像装置は、被写体像を変位させることで第２の撮像方式を時系列時に行うようにしたので、前述した第３の撮像方式のような疑色の発生はないが、第１の撮像方式と同様に切り替えを行うことから、順時４つのカラー画像情報を得ることになる。それゆえ、疑色の発生を防止する代わりに、撮像に必要以上に時間がかかったり手ブレが生じるなどの問題や、撮像素子を左右上下の４方向に変化させるために２軸（左右方向，上下方向）の変位装置が必要になるなどの問題があった。
【００１４】
この発明は、上述した従来例による問題を解消するため、簡易な構成により疑色や手ブレの発生を防止することが可能な撮像装置を得ることを目的とする。
【００１５】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る撮像装置は、光学的に被写体像を入力する光学的入力手段と、複数の波長感度の受光素子が２次元的に配列され、前記光学的入力手段により入力された被写体像から画像情報を得る撮像手段と、前記撮像手段と前記光学的入力手段に入力された被写体像とを、相対的に変位させる相対位置変位手段と、前記相対的な変位前後で前記撮像手段により得られる同一被写体の複数の画像情報に基づいて、全画素が前記複数の波長感度に対応した画像情報を有する１画面の画像情報を生成する制御手段と、を備え、前記相対的な変位前後で前記撮像手段により得られる同一被写体の複数の画像情報で構成される１画面の画像情報において、全画素が特定の波長感度に対応した画像情報を有するように、前記受光素子を配置するとともに、前記相対位置変位手段を駆動し、前記制御手段は、各画素に不足している他の波長感度に対応した画像情報を、前記不足している他の波長感度に対応した画像情報を有している画素の画像情報と前記特定の波長感度に対応した画像情報から得られる係数を用いて補間処理することを特徴とする。
【００１６】
この請求項１の発明によれば、相対位置変位手段により撮像手段と光学的入力手段により入力される被写体像とを相対的に変位させ、その変位で得られた同一被写体の複数のカラー画像情報に基づき一定の色で１画面分のカラー画像情報を求めてから、その一定の色のカラー画像情報に基づき１画面分のカラー画像情報を求めるようにしたので、色相の変化の分離能力が人間の視覚の特性である輝度の変化の分離能力よりも低いことを利用して、高い周波数での色相の変化は検出せずグレーと感じてしまう所を利用することになり、これによって、簡易な構成により疑色や手ブレの発生を防止することが可能である。
【００１７】
また、請求項２の発明に係る撮像装置は、請求項１の発明において、前記制御手段は、前記不足した波長感度に対応した画像情報を求めるべき注目画素が有している前記特定の波長感度に対応した画像情報と、当該注目画素の周囲にある前記特定の波長感度に対応した画像情報との相関に基づいて、注目画素の前記不足した波長感度に対応した画像情報を求めることを特徴とする。
【００１８】
この請求項２の発明によれば、一定の色の相関に基づいて、注目画素の不足したカラー画像情報を求めているので、不足したカラー画像情報を正確に算出することが可能となる。
【００１９】
また、請求項３の発明に係る撮像装置は、請求項２の発明において、前記制御手段は、前記注目画素が有している前記特定の波長感度に対応した画像情報と、当該注目画素の周囲にある周囲画素が有している前記特定の波長感度に対応した画像情報とを比較し、相関の最も高い周囲画素の前記特定の波長感度に対応した画像情報に基づき、当該注目画素の前記不足した波長感度に対応した画像情報を求めることを特徴とする。
【００２０】
この請求項３の発明によれば、注目画素の一定の色のカラー画像情報と注目画素の周囲にある周囲画素の一定の色のカラー画像情報とを比較し、相関の最も高い周囲画素のカラー画像情報に基づき、注目画素の不足したカラー画像情報を求めているので、不足したカラー画像情報をより正確に算出することが可能となる。
【００２１】
また、請求項４の発明に係る撮像装置は、請求項１〜請求項３のいずれか１つの発明において、前記注目画素の前記不足した波長感度に対応した画像情報を求める際に、当該注目画素の周りにある使用可能な周囲画素が、当該注目画素に対して水平・垂直・斜めのいずれの方向にも少なくとも１画素存在するように前記受光素子を配したことを特徴とする。
【００２２】
この請求項４の発明によれば、受光素子を、注目画素の不足したカラー画像情報を作成する際に、注目画素の周りにある使用可能な周囲画素が、注目画素に対して水平・垂直・斜めのいずれの方向にも少なくとも１画素存在するように配したので、不足したカラー画像情報を正確に算出することが可能となる。
【００２３】
また、請求項５の発明に係る撮像装置は、請求項４の発明において、前記制御手段は、前記注目画素が有している前記特定の波長感度に対応した画像情報と前記使用可能な周囲画素が有している前記特定の波長感度に対応した画像情報とを比較し、相関の最も高い前記使用可能な周囲画素が有している前記特定の波長感度に対応した画像情報に基づき、当該注目画素の不足した前記不足した波長感度に対応した画像情報を求めることを特徴とする。
【００２４】
この請求項５の発明によれば、注目画素の一定の色のカラー画像情報と使用可能な周囲画素の一定の色のカラー画像情報とを比較し、相関の最も高い使用可能な周囲画素のカラー画像情報に基づき、注目画素の不足したカラー画像情報を求めているので、不足したカラー画像情報をより正確に算出することが可能となる。
【００２５】
また、請求項６の発明に係る撮像装置は、請求項１〜請求項５のいずれか１つの発明において、前記相対位置変位手段は前記被写体像と前記撮像手段とのいずれか一方を変位させることを特徴とする。
【００２６】
この請求項６の発明によれば、被写体像と撮像手段とのいずれか一方を変位させるので、相対的位置に変位が生じ、これによって、複数の撮像素子及びミラー光学系を必要としない簡易な構成を得ることが可能である。
【００２７】
また、請求項７の発明に係る撮像装置は、光学的に被写体像を入力する光学的入力手段と、複数の波長感度の受光素子が２次元的に配列され、前記光学的入力手段により入力された被写体像から画像情報を得る撮像手段と、前記撮像手段に対する前記光学的入力手段の結像位置を光学的に変位させる光学的相対位置変位手段と、前記光学的な変位を行うことで前記撮像手段により得られる同一被写体の複数の画像情報に基づいて、全画素が前記複数の波長感度に対応した画像情報を有する１画面の画像情報を生成する制御手段と、を備え、前記光学的な変位を行うことで前記撮像手段により得られる同一被写体の複数の画像情報で構成される１画面の画像情報において、全画素が特定の波長感度に対応した画像情報を有するように、前記受光素子を配置するとともに、前記光学的相対位置変位手段を駆動し、前記制御手段は、各画素に不足している他の波長感度に対応した画像情報を、前記不足している他の波長感度に対応した画像情報を有している画素の画像情報と前記特定の波長感度に対応した画像情報から得られる係数を用いて補間処理することを特徴とする。
【００２８】
この請求項７の発明によれば、光学的入力手段により入力される被写体像を複数の光路に分岐させ、各撮像素子に被写体像と同一の被写体像を受光させるようにしたので、手ブレ等が発生せず動画情報も取得可能であるとともに、３板式撮像装置のように色分解のためのダイクロイックプリズム等の複雑な光学系を必要としない簡易な構成を得ることが可能である。
【００２９】
また、請求項８の発明に係る撮像装置は、請求項１〜請求項７のいずれか１つの発明において、前記撮像手段はＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色フィルタを有し、該３原色フィルタは前記相対位置変位手段の変位ですべての画素位置に前記特定の種類の波長感度に対応する画像情報であるＧ（緑）の原色フィルタが入るようにカラー配列されていることを特徴とする。
【００３０】
この請求項８の発明によれば、Ｒ，Ｇ，Ｂの３原色フィルタを相対位置変位手段の変位ですべての画素位置に一定の色に当たるＧ（緑）の原色フィルタが入るようにカラー配列したので、Ｒ（赤），Ｂ（青）の分光感度に対して双方にオーバラップした広い分光感度を持つことになり、これによって、Ｇのカラー画像情報を１画面全体に取得することで被写体像の情報量が増え、人間の視覚特性に合致させることが可能である。
【００３１】
また、請求項９の発明に係る撮像装置は、請求項１〜６，８のいずれか１つの発明において、前記撮像手段は、電子シャッタとメカシャッタとを有し、被写体像から画像情報を取得する際に一定の蓄積期間毎に複数回の蓄積を行い、前記電子シャッタと前記メカシャッタとの駆動タイミングによって前記複数回の蓄積の内有効な蓄積時間をそれぞれ設定し、前記各蓄積期間中に前記撮像手段の転送動作を完了することを特徴とする。
【００３２】
この請求項９の発明によれば、電子シャッタとメカシャッタとの駆動タイミングに対応させて各カラー画像情報の露光時間の中での有効な蓄積時間を設定し、各露光時間中に撮像手段の転送動作を完了するようにしたので、複数のカラー画像情報を得るための蓄積時間の間隔が短縮され、これによって、手ブレ等の問題を解消することが可能である。
【００３３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る撮像装置の好適な実施の形態を詳細に説明する。なお、以下に説明する実施の形態では、この発明の一実施の形態としてデジタルカメラを例に挙げて説明する。
【００３４】
（実施の形態１）
図１は本発明の実施の形態１によるデジタルカメラの構成を示すブロック図である。デジタルカメラは、図１に示したように、レンズ１０１、オートフォーカス等を含むメカ機構１０２、ＣＣＤ１０３Ａ、アクチュエータ１０３Ｂ、ＣＤＳ（相関２重サンプリング）回路１０４、Ａ／Ｄ変換器１０５、デジタル信号処理部１０６、ＤＣＴ１０７、コーダー１０８、ＭＣＣ１０９、バッファメモリ１１０、ビデオアンプ１１１、内部メモリ１１２、ＣＰＵ１２１、表示部１２２、操作部１２３、パラメータメモリ１２４、モータドライバ１２５、ＳＧ（制御信号生成）部１２６、ストロボ１２７、ＡＦセンサ１２８などを備えている。
【００３５】
レンズユニットは、レンズ１０１、オートフォーカス（ＡＦ）・絞り・フィルタ部を含むメカ機構１０２等からなり、メカ機構１０２のメカニカルシャッターは２つのフィールドの同時露光を行う。ＣＣＤ１０３Ａは、レンズユニットを介して入力した映像を電気信号（アナログ画像データ）に変換する。アクチュエータ１０３Ｂは、ＣＣＤ１０３Ａに取り付けられ、ＣＰＵ１２１の制御に従ってＣＣＤ１０３Ａと被写体との相対的に位置関係を変位させる。
【００３６】
ＣＤＳ回路１０４は、ＣＣＤ型撮像素子に対する低雑音化のための回路である。またＡ／Ｄ変換器１０５は、ＣＤＳ回路１０４を介して入力したＣＣＤ１０３Ａからのアナログ画像データをデジタル画像データに変換する。すなわち、ＣＣＤ１０３の出力信号は、ＣＤＳ回路１０４を通してＡ／Ｄ変換器１０５で最適なサンプリング周波数（例えば、ＮＴＳＣ信号のサブキャリア周波数の整数倍）にてデジタル信号に変換される。
【００３７】
また、デジタル信号処理部１０６は、Ａ／Ｄ変換器１０５から入力したデジタル画像データを色差と輝度に分けて各種処理、補正及び画像圧縮／伸長のためのデータ処理を施す。ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）１０７は、例えばＪＰＥＧ準拠の画像圧縮・伸長の一過程である直交変換を行い、そしてコーダー（ＨｕｆｆｍａｎＥｎｃｏｄｅｒ／ｄｅｃｏｄｅｒ）１０８は、ＪＰＥＧ準拠の画像圧縮・伸長の一過程であるハフマン符号化・複合化等を行う。
【００３８】
またＭＣＣ（ＭｅｍｏｒｙＣａｒｄＣｏｎｔｒｏｌｌｅｒ）１０９は、圧縮処理された画像と図示せぬマイクから取り込まれてデジタル化された音声を一旦蓄え、同時処理して内部メモリ１１２またはメモリカードへの記録・読み出しを行う。ＣＰＵ１２１は、操作部１２３からの指示、或いは図示しないリモコン等の外部動作指示に従い、上記各部の動作を制御する。
【００３９】
表示部１２２は、ＬＣＤ，ＬＥＤ，ＥＬ等で実現されており、撮影したデジタル画像データや伸長処理された記録画像データに基づく画像を表示すると共に、当該デジタルカメラの状態等を表示する。また、操作部１２３は、機能選択、撮影指示、及びその他の各種設定を外部から行うためのボタンを備える。この操作部１２３は、レリーズボタン１２３Ａを有しており、このレリーズボタン１２３Ａの操作によりＣＰＵ１２１へレリーズ信号を出力する。
【００４０】
次に、上記撮像装置の要部について説明する。図２はこの実施の形態１による相対変位機構を示す構成図である。図２において、カラー固体撮像素子であるＣＣＤ１０３Ａは、素子ホルダ１０３Ｃに取り付けられ支持される。相対位置変位手段であるアクチュエータ１０３Ｂは、この素子ホルダ１０３Ｃに接続され、この素子ホルダ１０３Ｃを矢印Ｔで示す方向に移動させる。尚、アクチュエータ１０３Ｂの取り付け角度は、これに限定されるものではなく、ＣＣＤ１０３Ａを変位させる方向に対応した角度に取り付ければ良い。例えば、斜め方向にＣＣＤ１０３Ａを変位させる場合には、素子ホルダ１０３Ｃに対して斜め方向にアクチュエータ１０３Ｂを取り付ければ良い。
【００４１】
図２に示した構成によれば、撮影光学系であるレンズ１０１を通して入射される被写体像はＣＣＤ１０３Ａによる受光で得られるが、ＣＰＵ１２１の制御によりアクチュエータ１０３Ｂを駆動させることで撮影範囲が変化し、ＣＣＤ１０３Ａと被写体との間の複数の異なる相対位置関係で複数枚の被写体像（カラー画像情報）が取得される。
【００４２】
次に、実施の形態１によるカラー画像情報の取得方法について説明する。図３〜図７は実施の形態１による相対変位による受光素子の遷移を説明する図、図８は注目画素のカラー画像情報を説明する図、そして、図９及び図１０は明部と暗部との繰り返しパターンを説明する図である。
【００４３】
図３に示したＣＣＤ１０３Ａには、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の順にマトリクス状に画素を配列させたカラー配列が示されている。Ｒ画素，Ｂ画素，Ｇ画素はそれぞれ赤色，青色，緑色に主に感度を持つ受光部に当たる。ただし、図３に示したＲ，Ｇ，Ｂの各画素の配列は、一般的なＲ，Ｇ，Ｂ市松配列を示したものであり、これに限定されるものではない。
【００４４】
図４を基準となる被写体像のカラー画像情報とした場合、相対位置変位手段であるアクチュエータ１０３Ｂによりカラー固体撮像素子であるＣＣＤ１０３Ａを被写体像に対して相対的に水平方向（図５中の矢印Ｘで示した方向）に１画素変位させると、図５に示したように図４のものとは１画素右に変位したカラー画像情報が得られる。
【００４５】
そこで、基準のカラー画像情報と変位で得られたカラー画像情報とを図４２のように重ねて同一被写体像の対応関係をみる。すなわち、図６に示したように、同一被写体において、基準のカラー画像情報は画面左端をＣＣＤ１０３Ａの第１列（Ｒ，Ｇ，Ｂ…）の配列で受光した被写体像となるが、変位で得られたカラー画像情報は、撮像時に基準の画面左端よりも１画素分右に変位していることから、基準の画面左端よりも１画素右に変位した左端をＣＣＤ１０３Ａの第１列（Ｒ，Ｇ，Ｂ…）の配列で受光した被写体像となる。
【００４６】
このため、例えば基準のＣＣＤ１０３Ａの２行１列の位置にあるＧ画素で撮像した被写体の位置は、変位により撮像する場合には、ＣＣＤ１０３Ａの１行１列の位置にあるＲ画素で撮像することになる。したがって、変位による２回の撮像で得られる同一被写体の同一部分には、図６に示したように、２つの画素が配列される。すなわち、アクチュエータ１０３Ｂを用いて２つのカラー画像情報を得ることで、Ｒ，Ｇの組み合わせ、もしくはＢ，Ｇの組み合わせとの２種のカラーカラー画像情報が取得される。これにより、Ｇ画素のカラー画像情報に注目すると、図７に示した如く、すべての画素位置にＧ（緑色）のカラー画像情報が存在していることになる。
【００４７】
さらに、被写体像のある特定の部分に注目する。図８には、ある列の３行分のカラー画像情報が示されている。１行目の画素位置１はＧ１，Ｒ１の組み合わせ、２行目の画素位置２はＢ２，Ｇ２の組み合わせ、３行目の画素位置３はＧ３，Ｒ３との組み合わせとなっている。このとき、画素位置２を注目部分とすれば、その画素位置２のカラー画像情報は、Ｂ２，Ｇ２の組み合わせでＲ（赤色）のカラー画像情報が不足している。このため、その注目部分については、Ｒ（赤色）のカラー画像情報Ｒ２を求めることができれば、Ｒ２，Ｇ２，Ｂ２の３色のカラー画像情報が求まることになる。
【００４８】
そこで、（Ｒ，Ｇ，Ｂ）の各カラー画像情報を輝度情報と色差情報とで正規化された色情報（ｒ，ｇ，ｂ）で表すと、（Ｒ，Ｇ，Ｂ）＝Ｉ（ｒ，ｇ，ｂ）となる。一般的に、人間の視覚の特性として被写体の輝度の変化に比べて色合いの変化の判別能力が低いことが知られている。このため、テレビジョン等のカラー画像の伝送は輝度信号Ｙ及び色差信号Ｕ，Ｖに対して周波数帯域をＹ：Ｕ：Ｖ＝４：２：２等のように、輝度信号に比べて色差信号の帯域を小さくしている。また、画像圧縮技術においても同様な方式がとられている。
【００４９】
前述の式（Ｒ，Ｇ，Ｂ）＝Ｉ（ｒ，ｇ，ｂ）を変形して、（Ｒ，Ｇ，Ｂ）＝Ｉｇ（ｒ／ｇ，１，ｂ／ｇ）とした場合、人間の視覚の特性により、ｒ／ｇ及びｂ／ｇなどの色調を表す部分のカラー画像情報は、曖昧な情報で問題ない。このため、近傍のカラー画像情報により予測することができる。すなわち、注目部分について考えると（不足のＲ２についてＲ￣で示す）、（Ｒ￣２，Ｇ２，Ｂ２）＝Ｉ２・ｇ２・（ｒ２／ｇ２，１，ｂ２／ｇ２）より、Ｒ￣２＝Ｉ２・ｇ２・（ｒ２／ｇ２）でＩ２・ｇ２＝Ｇ２より、Ｒ￣２＝Ｇ２・（ｒ２／ｇ２）となる。
【００５０】
ここで、前述の特性を利用して、ｒ２／ｇ２＝（ｒ１／ｇ１＋ｒ３／ｇ３）／２とすると、ｒ１／ｇ１＝Ｒ１／Ｇ１，ｒ３／ｇ３＝Ｒ３／Ｇ３より、Ｒ￣２＝Ｇ２・（Ｒ１／Ｇ１＋Ｒ３／Ｇ３）／２となる。これより注目部分の３原色の画像情報がすべて求まり、（Ｒ，Ｇ，Ｂ）＝（Ｇ２・（Ｒ１／Ｇ１＋Ｒ３／Ｇ３）／２，Ｇ２，Ｂ２）となる。
【００５１】
Ｂ（青色）のカラー画像情報が欠けている図８の画素位置３の部分についても同様に、（Ｒ，Ｇ，Ｂ）＝（Ｒ３，Ｇ３，Ｇ３・（Ｂ２／Ｇ２＋Ｂ４／Ｇ４）／２）となる。この例では、欠けているカラー画像情報を上下の部分で予測したが、図７の様なカラー画像情報が得られた場合には、ｒ／ｇ及びｂ／ｇは水平方向には画素ピッチごとに、垂直方向には２画素ごとに並んでいるので、標本化定理より水平方向には画素ピッチのナイキスト周波数まで、垂直方向にはナイキスト周波数の１／２までの変化まで予想が可能である。このため、前述のＹ：Ｕ：Ｖ＝４：２：２に対して十分予測可能である。
【００５２】
続いて、図９に示したように水平方向に明部，暗部の繰り返しパターンが存在する場合について考える。ここで、明部を（Ｒ０，Ｇ０，Ｂ０）とし、暗部を（１／１０）・（Ｒ０，Ｇ０，Ｂ０）とすると、前述の注目部分の画素が明部の場合には、Ｇ，Ｂのカラー画像情報は、それぞれＧ，Ｂの画素が存在するため、Ｇ０，Ｂ０が再現されるのは自明である。
【００５３】
ここでもＲ２について考える。Ｒ￣２＝Ｇ２・（Ｒ１／Ｇ１＋Ｒ３／Ｇ３）／２の式にＧ１＝Ｇ２＝Ｇ３＝Ｇ０，Ｒ１＝Ｒ３＝Ｒ０を代入すると、Ｒ２＝Ｒ０となり、Ｒ￣２は正確に算出される。同様に、暗部についても、Ｇ１’＝Ｇ２’＝Ｇ３’＝（１／１０）Ｇ０，Ｒ１’＝Ｒ３’＝（１／１０）Ｒ０を代入すると、Ｒ￣２’＝（１／１０）Ｒ０と正確に算出される。
【００５４】
続いて、図１０に示したように、垂直方向に繰り返しパターンが存在する場合について説明する。ここでも同様にＢ２＝Ｂ０，Ｇ２＝Ｇ０が再現されるのは自明である。
【００５５】
ここでもＲ２について考える。前式Ｒ￣２＝Ｇ２・（Ｒ１／Ｇ１＋Ｒ３／Ｇ３）／２の式にＲ１＝Ｒ３＝（１／１０）Ｒ０，Ｇ１＝Ｇ３＝（１／１０）Ｇ０，Ｇ２＝Ｇ０を代入すると、Ｒ￣２＝Ｒ０となり、正確に再現される。同様に暗部についても、Ｒ￣２’＝（１／１０）Ｒ０が正確に再現できる。よって疑色が生じない。
【００５６】
すなわち、ｒ／ｇ，ｂ／ｇが前述の条件を満たしていれば基本的に疑色は生じない。また、一般的な被写体の色合いはそのような高い周波数の変化は少なく、仮にそのように変化があっても色調のないグレーに再現されるだけで、人間はグレーにしか感じないので問題ない。
【００５７】
以上説明したように、実施の形態１によれば、色相の変化の分離能力が人間の視覚の特性である輝度の変化の分離能力よりも低いことを利用して、高い周波数での色相の変化は検出せずグレーと感じてしまう所を利用するようにしたので、３板式の様にＲ，Ｇ，Ｂそれぞれ独立してＣＣＤを用いなくてもよく、高い周波数の輝度変化があっても疑色は生じなくなる。
【００５８】
また、被写体像と撮像素子とのいずれか一方を変位させるので、相対的位置に変位が生じ、これによって、複数の撮像素子及びミラー光学系を必要としない簡易な構成を得ることが可能である。
【００５９】
さて、前述の実施の形態１では、相対位置変位手段としてアクチェータ１０３Ｂを設け、そのアクチュエータ１０３ＢによりＣＣＤ１０３Ａを被写体像との間で変位させているが、この相対位置変位手段に一般的に使用される積層圧電素子等の手段を適用してもよい。
【００６０】
また、実施の形態１では、原色フィルタＲ，Ｇ，ＢのＧ色のカラー画像情報は画面全体により取得されるが、他のＲ，Ｇ色や補色配列についても実施することが可能である。しかしながら、図１１のように、人間の視感度やＣＣＤ３０１，３０２では緑（Ｇ）の感度が広く分布しているので、緑（Ｇ）のカラー画像情報を画面全体に取得した方がよくなる。
【００６１】
この場合、Ｒ，Ｇ，Ｂの３原色フィルタを相対位置変位手段の変位ですべての画素位置に一定の色に当たるＧ（緑）の原色フィルタが入るようにカラー配列したので、Ｒ（赤），Ｂ（青）の分光感度に対して双方にオーバラップした広い分光感度を持つことになり、これによって、Ｇのカラー画像情報を１画面全体に取得することで被写体像の情報量が増え、人間の視覚特性に合致させることが可能である。
【００６２】
また、上述した実施の形態１では、市松配列について説明したが、この発明は、図１２のように、Ｇ列，Ｒ列，Ｇ列，Ｂ列，Ｇ列のようにストライプ配列についても適用可能である。
【００６３】
（実施の形態２）
上記した実施の形態１においては、注目画素の不足したカラー画像情報を補間（算出）する際に、注目画素に対して垂直方向に隣接する画素の情報を使用していたが、実施の形態２においては、注目画素に対して隣接する周囲の画素に基づいて、不足したカラー情報を補間（算出）して、不足したカラー情報をより正確に取得する方法を説明する。以下、実施の形態２によるカラー画像情報の取得方法を、図１３〜図１６を参照して説明する。
【００６４】
図１３は注目画素のカラー画像情報を説明する図、図１４は明部と暗部のパターンを説明するための図、図１５は注目画素のカラー画像情報を一般化した図、図１６は注目画素の不足したカラー画像情報の算出手順を説明するための図を示す。
【００６５】
上記図７に示したＣＣＤのカラー画像情報を、例えば、図１３に示すように、（Ｒ１，Ｇ１）、（Ｒ２，Ｇ２）、（Ｒ３，Ｇ３）、（Ｂ４，Ｇ４）、（Ｂ５，Ｇ５）、（Ｂ６，Ｇ６）、（Ｒ７，Ｇ７）、（Ｒ８，Ｇ８）、（Ｒ９，Ｇ９）とする。ここで、注目画素を（Ｂ５，Ｇ５）とする。この注目画素（Ｂ５，Ｇ５）の不足しているカラー情報Ｒ５を作成する方法を以下に説明する。
【００６６】
上記した実施の形態１の方法では、注目画素（Ｂ５，Ｇ５）の不足しているカラー情報Ｒ５を作成するため、注目画素（Ｂ５，Ｇ５）に対して、垂直方向に隣接する画素（Ｇ２，Ｒ２）、（Ｇ８、Ｒ８）の情報を使用していたが、実施の形態２においては、注目画素（Ｂ５，Ｇ５）に対して周囲に存在する画素のＧ情報（Ｇ１、Ｇ２、Ｇ３、Ｇ７、Ｇ８、Ｇ９）の中で最もＧ５に相関の高い画素のカラー画像情報を使用する。
【００６７】
例えば、図１４に示すような、明暗のパターンが存在する場合には、Ｇ５は、Ｇ２、Ｇ３、Ｇ８、Ｇ９と近い値となる。そこで、Ｇ５と最も相関の高い値をＧ２であるとした場合、この情報（Ｇ２、Ｒ２）を使用して、不足したＲ５の情報を、Ｒ５＝Ｒ２・（Ｇ５／Ｇ２）として算出する。
【００６８】
つぎに、上記算出方法を一般化した場合を説明する。上記図１３のカラー配列を一般化すると、図１５の如く表すごとできる。図１５においては、注目画素のＧ情報をＧmn、その他のカラー画像情報（Ｒ又はＢ情報）をＣと表現している。注目画素の不足したカラー画像情報の算出手順を、図１６のフローチャートに示す。
【００６９】
図１６において、まず、注目画素Ｇm,n と｛Ｇm-1,n-1 、Ｇm,n-1 、Ｇm+1 ，n-1 、Ｇm-1,n+1 、Ｇm,n+1 、Ｇm+1 ，n ＋1 ｝のそれぞれとの相関を比較し、｛Ｇm-1,n-1 、Ｇm,n-1 、Ｇm+1 ，n-1 、Ｇm-1,n+1 、Ｇm,n+1、Ｇm+1,n+1｝の中で、Ｇm,n と最も差の小さいもの、すなわち相関が最も高い情報をＧ’とする（ステップＳ１）。ついで、Ｇ’と同じ画素位置にあるＣ情報をＣ’とする（ステップＳ２）。そして、求めるべき情報Ｘとした場合、求めるべき情報Ｘは、Ｘ＝Ｃ’・（Ｇm ，n ／Ｇ’）により算出することができる（ステップＳ３）。
【００７０】
以上説明したように、本実施の形態２においては、注目画素の不足したカラー画像情報を取得する場合に、注目画素に対して隣接する周囲の画素のうち、注目画素のカラー画像情報と最も相関の高い画素のカラー画像情報に基づいて、不足したカラー画像情報を算出することとしたので、不足したカラー画像情報を正確に取得することが可能となる。
【００７１】
（実施の形態３）
実施の形態３においては、本実施の形態では、注目画素において不足したカラー画像情報をより正確に取得するためのＣＣＤのカラー画素配列及びその画素ずらし方向について説明する。以下、実施の形態３によるカラー画像情報の取得方法を、図１７〜図２７を参照して説明する。
【００７２】
図１７は明部と暗部のパターンを説明するための図、図１８は受光素子（ＣＣＤ）のカラー配列を示す図、図１９はＣＣＤの移動方向（画素ずらし方向）を説明するための図、図２０〜図２３は相対変位による図１８に示す受光素子の遷移を説明するための図、図２４は受光素子の他のカラー配列を示す図、図２５〜図２７は相対変位による図２４に示す受光素子の遷移を説明するための図である。
【００７３】
上記実施の形態１においては、ＣＣＤを図３に示すように、Ｒ，Ｇ，Ｂの市松配列とし、図５に示すように水平方向に１画素ずらし、図７に示すようなカラー画像情報を得ていた。このカラー画像情報で、図１７に示すように、水平方向に暗部がある場合について考える。ここで注目画素（Ｂ５，Ｇ５）とした場合、不足しているカラー画像情報Ｒ５を算出するためには、周囲の画素（Ｒ１，Ｇ１）、（Ｒ２，Ｇ２）、（Ｒ３，Ｇ３）、（Ｒ７，Ｇ７）、（Ｒ８，Ｇ８）、（Ｒ９，Ｇ９）のカラー画像情報を使用しなければならない。この場合、水平方向に暗部があるので、注目画素（Ｂ５，Ｇ５）と周囲の画素（Ｒ１，Ｇ１）、（Ｒ２，Ｇ２）、（Ｒ３，Ｇ３）、（Ｒ７，Ｇ７）、（Ｒ８，Ｇ８）、（Ｒ９，Ｇ９）とでは、相関が余りない。
【００７４】
そこで、ＣＣＤ１０３Ａの画素のカラー配列を、図１８に示す如く、（Ｇ、Ｇ、Ｇ、Ｇ、・・・）、（Ｒ、Ｂ、Ｒ、Ｂ、・・・）、（Ｇ、Ｇ、Ｇ、Ｇ、・・・）、（Ｂ、Ｒ、Ｂ、Ｒ、・・・）、・・・・として、Ｇ列を１行おきにトライプ状に配列させ、それ以外の各行については、それぞれＲとＢの画素を交互に配置する。そして、相対位置変位手段であるアクチュエータ１０３Ｂにより、図１８の如くカラー配列させたＣＣＤ１０３Ａを、図１９に示すように、被写体像に対して相対的に斜め方向（図１９中の矢印Ａで示した方向）に１画素変位させ、移動前の画素のカラー情報と移動後の画素のカラー情報とを合成すると、図２０に示すようなカラー画像情報が得られる。
【００７５】
この図２０に示すカラー画像情報で、注目画素の不足したカラー画像情報を、上記実施の形態２で説明した方法と同じ方法で取得する場合を考える。図２０において、注目画素（Ｇ、Ｂ）のＲ情報を、周囲の画素から算出するとした場合には、図２１で斜線で示した画素が補間に使用できる画素である。これをさらに分かり易く示すと、使用できる周囲画素は図２２に示す方向に存在することになる。逆に、注目画素と同じカラー配列となる部分を簡潔に示すと図２３の如くなる。
【００７６】
すなわち、図２２に示すように、注目画素に対して、水平・垂直・斜めのいずれの方向にも補間に使用できる周囲画素が少なくとも１画素存在することになる。これにより、例えば、注目画素に対して、水平方向・垂直方向・斜め方向のいずれかが暗部となる場合においても、周囲画素で相関性の高い画素が存在することになる。
【００７７】
従って、図２０に示すようなカラー画像情報では、注目画素の水平方向、垂直方向、若しくは斜め方向のいずれかが暗部となる場合においても、注目画素にたいして相関の高い周囲画素が存在することになり、上記で示した方法と同様な方法により、注目画素の不足したカラー情報を作成する場合に、周囲で相関の高い画素のカラー情報に基づいて、不足したカラー情報を作成する。これにより、不足したカラー情報を正確に得ることが可能となる。
【００７８】
以上説明したように、実施の形態３においては、Ｇ画素のみからなるＧ画素列と、Ｒ画素とＢ画素を交互に配置したＲＧ画素列とを交互に配置したＣＣＤを、斜め方向に１画素変位させ、注目画素のカラー画像情報と相関の高いカラー画像情報の画素が周囲に存在する確率を高くすることとしたので、注目画素の不足したカラー画像情報を取得する場合において、注目画素に対して隣接する周囲の画素のうち、注目画素のカラー画像情報と最も相関の高い画素のカラー画像情報に基づき不足したカラー画像情報を算出する場合に、不足したカラー画像情報をより正確に取得することが可能となる。
【００７９】
尚、ＣＣＤの画素のカラー配列は、上記図１８に示したものに限られるものではなく、例えば、図２４の如きカラー配列としても良い。図２４に示す例では、（Ｇ、Ｇ、Ｇ、Ｇ、・・・）、（Ｒ、Ｂ、Ｒ、Ｂ、・・・）、（Ｇ、Ｇ、Ｇ、Ｇ、・・・）、（Ｒ、Ｂ、Ｒ、Ｂ、Ｒ、・・・）、・・・・として、Ｇ列とＲＢの繰り返し列とを交互に配置している。図２４の配列が図１８の配列と異なっている点は、ＲとＢの繰り返しパターンを各行とも同じにした点である。
【００８０】
図２４に示すカラー配列のＣＣＤ１０３Ａを、アクチュエータ１０３Ｂにより、図１９に示すように、被写体像に対して相対的に斜め方向（図１９中の矢印Ａで示した方向）に１画素変位させ、移動前の画素のカラー情報と移動後の画素のカラー情報とを合成すると、図２５に示すようなカラー画像情報が得られる。ここで、注目画素を（Ｇ、Ｂ）として、不足したＲの画像情報を取得する場合に、使用できる画素は、図２６に示す如くとなり、これをさらに分かり易く示すと、使用できる周囲画素は図２７に示す方向に存在することになる。
【００８１】
（実施の形態４）
さて、前述した実施の形態１では、ＣＣＤ１０３Ａを相対位置変位手段であるアクチェータ１０３Ｂで変位させているが、以下に説明する実施の形態４のように、手ブレ等の被写体像の変化を利用し、被写体像の結像位置をプリズム等の相対位置変位手段により変位させてもよい。
【００８２】
図２８はこの発明の実施の形態４による撮像装置の相対変位機構を示す構成図である。実施の形態２では、図２８に示したように、撮影光学系であるレンズ１０１と撮像素子であるＣＣＤ１０３Ａとの間にプリズム２０１が設置される。全体の構成を図１に示したブロック構成とした場合には、相対変位機構を図２の構成に代わって図２８の構成とすることで、ＣＰＵ１２１からプリズム２０２に矢印Ｗで示す方向に回転指示を与えれば、被写体の撮影範囲が変化して、ＣＣＤ１０３Ａと被写体との相対的位置関係が変位する。
【００８３】
この実施の形態４においても、前述の実施の形態１と同様の効果を得ることができる。
【００８４】
（実施の形態５）
さて、前述した実施の形態１及び４では、アクチュエータやプリズムを駆動させて多くの相対的位置関係を取得するようにしていたが、以下に説明する実施の形態４のように、ひとつの被写体像を複数の被写体像に複製して相対的位置関係を取得するようしてもよい。なお、全体構成は実施の形態１の図１に示したブロック構成を採用するため、以下に相違する構成についてのみ説明する。
【００８５】
図２９はこの発明の実施の形態５による撮像装置の相対変位機構を示す構成図である。実施の形態３による撮像装置は、図２９に示したように、レンズ１０１の光路に光が透過するハーフミラー３０３を固定して、そのハーフミラー３０３の後段に透過する光を受光するＣＣＤ３０１を設け、そのハーフミラー３０３の下方（図中）に反射光を受光するＣＣＤ３０２を設けた構成である。
【００８６】
図２９に示した構成によれば、レンズ１０１を通りハーフミラー３０３に入射された光は、ひとつは透過してＣＣＤ３０１に受光され、もうひとつは反射してＣＣＤ３０２に受光される。このため、被写体に対して異なる相対位置関係をもつ２つの被写体像が取得される。
【００８７】
この実施の形態５によれば、光学的入力手段であるレンズ１０１により入力される被写体像をハーフミラー３０３により複数の光路に分岐させ、各撮像素子に被写体像と同一の被写体像を受光させるようにしたので、手ブレ等が発生せず動画情報も取得可能であるとともに、３板式撮像装置のように色分解のためのダイクロイックプリズム等の複雑な光学系を必要としない簡易な構成を得ることが可能である。
【００８８】
次に、上述した各実施の形態に適用可能な変形例について説明する。なお、以下に説明する変形例は、１つもしくは２つ以上組み合わせて各実施の形態に適用してもよい。
【００８９】
ところで、カラー固体撮像素子としてエリアＣＣＤが使用された場合には、図３０に示したように、電子シャッタを使用しても蓄積時間（露光時間）は短くなるが、蓄積時間の間隔は、その間隔の間に画像の転送時間が入ることから、一定となって短くならない。すなわち、転送パルス，電子シャッタ信号，蓄積時間ｔ１，ｔ２…のタイミングで動作している際に、必ず各蓄積時間ｔ１，ｔ２…に転送時間Ｔｒ１，ｔｒ２…が含まれる。
【００９０】
そこで、図３１に示したように、ＣＣＤ全面にメカシャッタ等の遮光シャッタを設けて、電子シャッタと遮光シャッタとで２つの蓄積時間を設け、２つの蓄積時間の間隔を短くしてもよい。すなわち、電子シャッタ信号がオンして最初の転送パルスが立ち上がるまでに最初の転送（転送時間ｔｒ１）を完了させ、最初の転送パルスが立ち上がり遮光シャッタ信号により遮光シャッタが作動する迄の間に次の転送（転送時間ｔｒ２）を終えるようにする。
【００９１】
この場合、電子シャッタとメカシャッタとの駆動タイミングに対応させて各カラー画像情報の露光時間の中での有効な蓄積時間を設定し、各露光時間中に撮像素子の転送動作を完了するようにしたので、複数のカラー画像情報を得るための蓄積時間の間隔が短縮され、これによって、手ブレ等の問題を解消することが可能である。
【００９２】
また、複数のカラー画像情報を得るためには２回の露光を行うため、外光の変化や蓄積時間のばらつきが生じて露光がばらつく可能性がある。これを補正する方法としては、第１の露光と第２の露光とで緑（Ｇ）のカラー画像情報を得て、その全体または一部分の平均により露光のばらつきを検出し、その補正のための係数を第１または第２のカラー画像情報（Ｇ）に乗ずれば、補正することが可能である。
【００９３】
この場合、少なくとも複数のカラー画像情報の蓄積時間の差を補正するようにしたので、複数のカラー画像情報を取得するときの露光ムラがあっても高画質な画像を取得することが可能である。
【００９４】
また、前述した実施の形態では、変位により２種類つの被写体像（カラー画像情報）を得ることで説明してきたが、他の半画素ずらし等の手法と組み合わせてもなんら効果が低下するものではない。
【００９５】
また、画素ずらしにおける画素を変位させる回数は一回に限られるものではなく、複数回行うことにしても良い。図３２〜図３４は画素を３回変位させる例を示している。例えば、図３２に示すようなカラー配列の画素を、図３３に示すように、水平方向に２画素、右上斜め方向・右下斜め方向にそれぞれ１画素変位させると、図３４に示すようなカラー画像情報を得ることができる。図３４において、△の部分は補間により画像情報を算出することにすれば良い。
【００９６】
さて、前述の実施の形態では、デジタルカメラを一例として説明したが、この発明は、これに限定されるものではなく、ビデオカメラ，デジタルビデオカメラ，カラースキャナ，カラー複写機，カラーファクシミリ装置などへも種々変形可能である。
【００９７】
【発明の効果】
以上説明したように、請求項１の発明によれば、相対位置変位手段により撮像手段と光学的入力手段により入力される被写体像とを相対的に変位させ、その変位で得られた同一被写体の複数のカラー画像情報に基づき一定の色で１画面分のカラー画像情報を求めてから、その一定の色のカラー画像情報に基づき１画面分のカラー画像情報を求めるようにしたので、色相の変化の分離能力が人間の視覚の特性である輝度の変化の分離能力よりも低いことを利用して、高い周波数での色相の変化は検出せずグレーと感じてしまう所を利用することになり、これによって、簡易な構成により疑色や手ブレの発生を防止することが可能な撮像装置が得られるという効果を奏する。
【００９８】
また、請求項２の発明によれば、、一定の色の相関に基づいて、注目画素の不足したカラー画像情報を求めているので、不足したカラー画像情報を正確に算出することが可能となる。
【００９９】
また、請求項３の発明によれば、注目画素の一定の色のカラー画像情報と注目画素の周囲にある周囲画素の一定の色のカラー画像情報とを比較し、相関の最も高い周囲画素のカラー画像情報に基づき、注目画素の不足したカラー画像情報を求めているので、不足したカラー画像情報をより正確に算出することが可能となる。
【０１００】
また、請求項４の発明によれば、注目画素の不足したカラー画像情報を作成する際に、当該注目画素の周りにある使用可能な周囲画素が、当該注目画素に対して水平・垂直・斜めのいずれの方向にも少なくとも１画素存在するように受光素子を配したので、不足したカラー画像情報を正確に算出することが可能となる。
【０１０１】
また、請求項５の発明によれば、注目画素の一定の色のカラー画像情報と使用可能な周囲画素の一定の色のカラー画像情報とを比較し、相関の最も高い使用可能な周囲画素のカラー画像情報に基づき、注目画素の不足したカラー画像情報を求めているので、不足したカラー画像情報をより正確に算出することが可能となる。
【０１０２】
また、請求項６の発明によれば、被写体像と撮像手段とのいずれか一方を変位させるので、相対的位置に変位が生じ、これによって、複数の撮像素子及びミラー光学系を必要としない簡易な構成を得ることが可能な撮像装置が得られるという効果を奏する。
【０１０３】
また、請求項７の発明によれば、光学的入力手段により入力される被写体像を複数の光路に分岐させ、各撮像素子に被写体像と同一の被写体像を受光させるようにしたので、手ブレ等が発生せず動画情報も取得可能であるとともに、３板式撮像装置のように色分解のためのダイクロイックプリズム等の複雑な光学系を必要としない簡易な構成を得ることが可能な撮像装置が得られるという効果を奏する。
【０１０４】
また、請求項８の発明によれば、Ｒ，Ｇ，Ｂの３原色フィルタを相対位置変位手段の変位ですべての画素位置に一定の色に当たるＧ（緑）の原色フィルタが入るようにカラー配列したので、Ｒ（赤），Ｂ（青）の分光感度に対して双方にオーバラップした広い分光感度を持つことになり、これによって、Ｇのカラー画像情報を１画面全体に取得することで被写体像の情報量が増え、人間の視覚特性に合致させることが可能な撮像装置が得られるという効果を奏する。
【０１０５】
また、請求項９の発明によれば、電子シャッタとメカシャッタとの駆動タイミングに対応させて各カラー画像情報の露光時間の中での有効な蓄積時間を設定し、各露光時間中に撮像手段の転送動作を完了するようにしたので、複数のカラー画像情報を得るための蓄積時間の間隔が短縮され、これによって、手ブレ等の問題を解消することが可能な撮像装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態１によるデジタルカメラの構成を示すブロック図である。
【図２】この実施の形態１による相対変位機構を示す構成図である。
【図３】実施の形態１による相対変位による受光素子の遷移を説明する図である。
【図４】実施の形態１による相対変位による受光素子の遷移を説明する図である。
【図５】実施の形態１による相対変位による受光素子の遷移を説明する図である。
【図６】実施の形態１による相対変位による受光素子の遷移を説明する図である。
【図７】実施の形態１による相対変位による受光素子の遷移を説明する図である。
【図８】実施の形態１において、注目画素のカラー画像情報を説明する図である。
【図９】実施の形態１において、明部と暗部との繰り返しパターンを説明する図である。
【図１０】実施の形態１において、明部と暗部との繰り返しパターンを説明する図である。
【図１１】一変形例において波長と感度との関係をグラフ化して示す図である。
【図１２】他の変形例においてストライプ配列の一例を示す図である。
【図１３】実施に形態２において、注目画素のカラー画像情報を説明する図である。
【図１４】実施の形態２において、明部と暗部のパターンを説明するための図である。
【図１５】実施の形態２において、注目画素のカラー画像情報を一般化した図である。
【図１６】実施の形態２において、注目画素の不足したカラー画像情報の算出手順を説明するための図である。
【図１７】実施の形態３において、明部と暗部のパターンを説明するための図である。
【図１８】実施の形態３において、図１８は受光素子（ＣＣＤ）のカラー配列を示す図である。
【図１９】実施の形態３において、ＣＣＤの移動方向（画素ずらし方向）を説明するための図である。
【図２０】実施の形態３において、相対変位による図１８に示す受光素子の遷移を説明するための図である。
【図２１】実施の形態３において、相対変位による図１８に示す受光素子の遷移を説明するための図である。
【図２２】実施の形態３において、相対変位による図１８に示す受光素子の遷移を説明するための図である。
【図２３】実施の形態３において、相対変位による図１８に示す受光素子の遷移を説明するための図である。
【図２４】実施の形態３において、受光素子の他のカラー配列を示す図である。
【図２５】実施の形態３において、相対変位による図２４に示す受光素子の遷移を説明するための図である。
【図２６】実施の形態３において、相対変位による図２４に示す受光素子の遷移を説明するための図である。
【図２７】実施の形態３において、相対変位による図２４に示す受光素子の遷移を説明するための図である。
【図２８】実施の形態４による撮像装置の相対変位機構を示す構成図である。
【図２９】実施の形態５による撮像装置の相対変位機構を示す構成図である。
【図３０】一変形例において電子シャッタを適用した場合のタイミングチャートである。
【図３１】他の変形例において電子シャッタと遮光シャッタとを適用した場合のタイミングチャートである。
【図３２】他の変形例において画素を３回変位させる例を説明するための図である。
【図３３】他の変形例において画素を３回変位させる例を説明するための図である。
【図３４】他の変形例において画素を３回変位させる例を説明するための図である。
【図３５】従来技術を示し、第１の撮像方式を用いた撮像装置を概略的に示す構成図である。
【図３６】従来技術を示し、第２の撮像方式を用いた撮像装置を概略的に示す構成図である。
【図３７】従来技術を示し、第３の撮像方式を用いた撮像装置を概略的に示す構成図である。
【図３８】従来技術を示し、受光素子のカラー配列を示す図である。
【図３９】従来技術を示し、濃淡のある被写体の一例を示す図である。
【図４０】従来技術を示し、色に応じた濃度レベルを示す図である。
【図４１】従来技術を示し、混合方式をカラー配列で説明する図である。
【図４２】従来技術を示し、混合方式をカラー配列で説明する図である。
【符号の説明】
１０１レンズ
１０３Ａ，３０１，３０２ＣＣＤ
１０３Ｂアクチュエータ
１２１ＣＰＵ
２０１プリズム
３０１ハーフミラー

Claims

光学的に被写体像を入力する光学的入力手段と、
複数の波長感度の受光素子が２次元的に配列され、前記光学的入力手段により入力された被写体像から画像情報を得る撮像手段と、
前記撮像手段と前記光学的入力手段に入力された被写体像とを、相対的に変位させる相対位置変位手段と、
前記相対的な変位前後で前記撮像手段により得られる同一被写体の複数の画像情報に基づいて、全画素が前記複数の波長感度に対応した画像情報を有する１画面の画像情報を生成する制御手段と、
を備え、
前記相対的な変位前後で前記撮像手段により得られる同一被写体の複数の画像情報で構成される１画面の画像情報において、全画素が特定の波長感度に対応した画像情報を有するように、前記受光素子を配置するとともに、前記相対位置変位手段を駆動し、
前記制御手段は、
各画素に不足している他の波長感度に対応した画像情報を、前記不足している他の波長感度に対応した画像情報を有している画素の画像情報と前記特定の波長感度に対応した画像情報から得られる係数を用いて補間処理することを特徴とする撮像装置。
前記制御手段は、前記不足した波長感度に対応した画像情報を求めるべき注目画素が有している前記特定の波長感度に対応した画像情報と、当該注目画素の周囲にある前記特定の波長感度に対応した画像情報との相関に基づいて、注目画素の前記不足した波長感度に対応した画像情報を求めることを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記注目画素が有している前記特定の波長感度に対応した画像情報と、当該注目画素の周囲にある周囲画素が有している前記特定の波長感度に対応した画像情報とを比較し、相関の最も高い周囲画素の前記特定の波長感度に対応した画像情報に基づき、当該注目画素の前記不足した波長感度に対応した画像情報を求めることを特徴とする請求項２記載の撮像装置。
前記注目画素の前記不足した波長感度に対応した画像情報を求める際に、当該注目画素の周りにある使用可能な周囲画素が、当該注目画素に対して水平・垂直・斜めのいずれの方向にも少なくとも１画素存在するように前記受光素子を配したことを特徴とする請求項１〜３のいずれか１つに記載の撮像装置。
前記制御手段は、前記注目画素が有している前記特定の波長感度に対応した画像情報と前記使用可能な周囲画素が有している前記特定の波長感度に対応した画像情報とを比較し、相関の最も高い前記使用可能な周囲画素が有している前記特定の波長感度に対応した画像情報に基づき、当該注目画素の不足した前記不足した波長感度に対応した画像情報を求めることを特徴とする請求項４記載の撮像装置。
前記相対位置変位手段は前記被写体像と前記撮像手段とのいずれか一方を変位させることを特徴とする請求項１〜５のいずれか１つに記載の撮像装置。
光学的に被写体像を入力する光学的入力手段と、
複数の波長感度の受光素子が２次元的に配列され、前記光学的入力手段により入力された被写体像から画像情報を得る撮像手段と、
前記撮像手段に対する前記光学的入力手段の結像位置を光学的に変位させる光学的相対位置変位手段と、
前記光学的な変位を行うことで前記撮像手段により得られる同一被写体の複数の画像情報に基づいて、全画素が前記複数の波長感度に対応した画像情報を有する１画面の画像情報を生成する制御手段と、
を備え、
前記光学的な変位を行うことで前記撮像手段により得られる同一被写体の複数の画像情報で構成される１画面の画像情報において、全画素が特定の波長感度に対応した画像情報を有するように、前記受光素子を配置するとともに、前記光学的相対位置変位手段を駆動し、
前記制御手段は、
各画素に不足している他の波長感度に対応した画像情報を、前記不足している他の波長感度に対応した画像情報を有している画素の画像情報と前記特定の波長感度に対応した画像情報から得られる係数を用いて補間処理することを特徴とする撮像装置。
前記撮像手段はＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色フィルタを有し、該３原色フィルタは前記相対位置変位手段の変位ですべての画素位置に前記特定の種類の波長感度に対応する画像情報であるＧ（緑）の原色フィルタが入るようにカラー配列されていることを特徴とする請求項１〜７のいずれか１つに記載の撮像装置。
前記撮像手段は、電子シャッタとメカシャッタとを有し、
被写体像から画像情報を取得する際に一定の蓄積期間毎に複数回の蓄積を行い、
前記電子シャッタと前記メカシャッタとの駆動タイミングによって前記複数回の蓄積の内有効な蓄積時間をそれぞれ設定し、
前記各蓄積期間中に前記撮像手段の転送動作を完了することを特徴とする請求項１〜６、８のいずれか１つに記載の撮像装置。