JP2002262301A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 動いている被写体に対しても広ダイナミック
レンジかつ高解像度な画像を得ることができる撮像装置
を提供する。 【解決手段】 光学系１により結像される被写体像は、
プリズム系２により分割され、一方は第１ＣＣＤ４に、
他方は画素ずらしして配置された第２ＣＣＤ７にＮＤフ
ィルタ５を介して入射する。各映像信号は、適正露光抽
出部１２により適正露光域を抽出してから統合部１３に
より統合された後に、分離部１５により輝度信号と色信
号に分離される。輝度信号補間部１６は輝度信号を補間
し、相関係数算出部１７は補間された輝度信号を用いて
相関係数を算出し、色信号補間部１８は該相関係数に基
づき色信号を補間する。そして、補間された輝度信号お
よび色信号が合成部１９により合成されて、広ダイナミ
ックレンジかつ高解像度な画像が生成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置、より詳
しくは、複数の撮像素子から得られた信号を合成補間処
理して広ダイナミックレンジで高解像度な一枚の画像を
生成する撮像装置に関する。

【０００２】

【従来の技術】被写体を電子的に撮像する撮像装置は、
従来より種々のものが提案されており、例えば電子カメ
ラが一例として挙げられる。

【０００３】このような撮像装置に用いられている一般
的なＣＣＤ等の撮像素子は、階調に関するダイナミック
レンジが、従来の銀塩カメラに使用されている銀塩フィ
ルムに比べて狭いという特性があるために、明暗差の大
きい被写体を撮像した場合、例えば炎天下における日向
と日陰を同時に撮像した場合に、何れか一方が適切な露
光となるように撮像すると、他方は黒つぶれするかまた
は白つぶれ（白飛び）した画像となってしまうことがあ
る。

【０００４】このような明暗差の大きい撮影シーンで
も、明部と暗部の何れもが適切に再現されるように、露
光量の異なる複数の画像を合成して、一の広ダイナミッ
クレンジ画像を生成する技術が提案されている。

【０００５】一方、撮像装置においては、単一の撮像素
子により画像を撮像するいわゆる単板式と、２枚または
３枚の撮像素子により画像を撮像するいわゆる二板式ま
たは三板式とが知られている。これらの内の二板式また
は三板式の撮像装置においては、一つの撮像素子の位置
を他の撮像素子に対して画素位置が重ならないように相
対的にずらすことにより、単一の撮像素子の場合よりも
高解像度の画像を得ることができる画素ずらしという手
段が知られている。

【０００６】さらに、上述したような広ダイナミックレ
ンジ画像を得る技術に、この画素ずらしの技術を合わせ
て用いることにより、広ダイナミックレンジかつ高解像
度の画像を得る技術が提案されている。

【０００７】このような技術の一例として、特開平８−
３７６２８号公報には、画素ずらしを行いながら複数回
の撮像を行い、複数回の撮像の内の少なくとも１回は露
光量を変えて撮像することにより、広ダイナミックレン
ジかつ高解像度な画像を得る技術が記載されている。

【０００８】また、特開平１０−４２１８２号公報に
は、第一の位置で露光量の異なる複数枚の画像を得て広
ダイナミックレンジ画像を合成し、その後に、画素ずら
しを行った第二の位置で露光量の異なる複数枚の画像を
得て広ダイナミックレンジ画像を合成し、これら第一の
広ダイナミックレンジ画像と第二の広ダイナミックレン
ジ画像とを合成することにより、広ダイナミックレンジ
かつ高解像度な画像を得る技術が記載されている。

【０００９】このように、上述したような従来の技術で
は、広ダイナミックレンジかつ高解像度な画像を得るた
めには、複数回の撮像を行うことが必要となっていた。

【００１０】

【発明が解決しようとする課題】しかしながら、上述し
たような複数回の撮像を行う従来の技術では、複数回の
撮像の間に時間差が発生することは避けられないため
に、動いている被写体に対しては適用することができな
い場合が生じてしまう。

【００１１】本発明は上記事情に鑑みてなされたもので
あり、動いている被写体に対しても広ダイナミックレン
ジかつ高解像度な画像を得ることができる撮像装置を提
供することを目的としている。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明による撮像装置は、原色系または補色
系の色フィルタを前面に配置した複数の撮像素子を有し
これらの内の少なくとも一つの撮像素子の光学的な位置
を他の撮像素子の光学的な位置に対して相対的にずらし
てなる入力手段と、上記複数の撮像素子の内の少なくと
も一つの撮像素子の感度特性を変更する変更手段と、上
記複数の撮像素子からそれぞれ得られた信号を合成補間
処理して一枚の画像を生成する生成手段と、を備えたも
のである。

【００１３】また、第２の発明による撮像装置は、上記
第１の発明による撮像装置において、上記変更手段が、
上記撮像素子に入射する光の光路中に配置されていて、
該光の光量を変更することにより同撮像素子の感度特性
を変更する光学フィルタ手段を有してなるものである。

【００１４】さらに、第３の発明による撮像装置は、上
記第１の発明による撮像装置において、上記変更手段
が、上記撮像素子から出力される信号を処理することに
より該撮像素子の感度特性を変更する電気回路手段と、
上記撮像素子の撮像動作を制御することにより該撮像素
子の感度特性を変更する電気回路手段と、の少なくとも
一方を有してなるものである。

【００１５】第４の発明による撮像装置は、上記第１の
発明による撮像装置において、上記生成手段が、上記複
数の撮像素子からそれぞれ得られる信号に関して適正露
光域にある信号を抽出する抽出手段と、この抽出手段に
より抽出された適正露光域にある複数の撮像素子からの
信号を統合する統合手段と、この統合手段により統合さ
れた信号に基づき該統合された信号中の欠落する信号を
補間する補間手段と、を有してなるものである。

【００１６】第５の発明による撮像装置は、上記第４の
発明による撮像装置において、上記補間手段が、上記統
合された信号から輝度信号に相当する輝度相当信号と色
信号に相当する色相当信号とを分離する分離手段と、こ
の分離手段により分離された輝度相当信号を補間する輝
度信号補間手段と、所定領域内の輝度相当信号と色相当
信号とに基づき該所定領域内における輝度相当信号と色
相当信号との相関関係を示す相関係数を求める相関係数
算出手段と、上記輝度信号補間手段により補間された輝
度相当信号と上記相関係数算出手段により算出された相
関係数とに基づき上記分離手段により分離された色相当
信号を補間する色信号補間手段と、を有してなるもので
ある。

【００１７】第６の発明による撮像装置は、上記第１の
発明による撮像装置において、上記複数の撮像素子を上
記変更手段により感度特性が変更される撮像素子群と感
度特性が変更されない撮像素子群とに分類した場合に、
各撮像素子群は、原色系または補色系で要する全ての色
フィルタを群全体として有してなるものである。

【００１８】第７の発明による撮像装置は、上記第６の
発明による撮像装置において、上記複数の撮像素子は２
つの撮像素子でなり、これらの内の一方の撮像素子は上
記変更手段により感度特性が変更される撮像素子群に属
し、他方の撮像素子は該変更手段により感度特性が変更
されない撮像素子群に属するものである。

【００１９】第８の発明による撮像装置は、上記第６の
発明による撮像装置において、上記撮像素子群が有する
色フィルタは、輝度信号に相当する色フィルタの数がそ
れ以外の任意の一色に係る色フィルタの数よりも多くな
るように構成されている。

【００２０】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１から図５は本発明の第１の実
施形態を示したものであり、図１は撮像装置の構成を示
すブロック図、図２はＣＣＤフィルタにおける色フィル
タの配列と位置関係を示す図、図３は適正露光抽出部と
統合部における処理の様子を示す図、図４は輝度信号補
間部における処理の様子を示す図、図５は色信号補間部
における処理の様子を示す図である。

【００２１】この第１の実施形態の撮像装置は、例え
ば、電子カメラとして構成されたものとなっている。

【００２２】まず、図１を参照して、この第１の実施形
態の撮像装置の構成について説明する。

【００２３】この撮像装置は、被写体像を後述する第１
ＣＣＤ４および第２ＣＣＤ７に結像させるためのレンズ
群１ａおよび該レンズ群１ａを通過する光束の通過範囲
を規定する絞り１ｂを有してなる入力手段たる光学系１
と、この光学系１を通過する光束を分割するものであ
り、第１プリズム２ａと第２プリズム２ｂとを半透過反
射面２ｃで接合してなる入力手段たるプリズム系２と、
上記半透過反射面２ｃで反射され上記第１プリズム２ａ
から射出される光束から不要な高周波ノイズを除去する
ローパスフィルタ３と、このローパスフィルタ３を通過
した後に結像された光像を光電変換してアナログの電気
信号として出力するものであり例えば電子シャッタ機能
を備えた色フィルタを有する撮像素子であって入力手段
たる第１ＣＣＤ４と、上記半透過反射面２ｃを透過して
上記第２プリズム２ｂから射出される光束の光量を減光
させる変更手段であり光学フィルタ手段たるＮＤ（Neut
ralDensity）フィルタ５と、このＮＤフィルタ５を通過
した光束から不要な高周波ノイズを除去するローパスフ
ィルタ６と、このローパスフィルタ６を通過した後に結
像された光像を光電変換してアナログの電気信号として
出力するものであって例えば電子シャッタ機能を備えた
色フィルタを有する撮像素子でなり上記第１ＣＣＤ４の
光学的位置に対して水平方向および垂直方向に各１／２
画素だけずれて配置された入力手段たる第２ＣＣＤ７
と、上記第１ＣＣＤ４から出力されるアナログの映像信
号をデジタル信号に変換するＡ／Ｄ変換器８と、このＡ
／Ｄ変換器８から出力される画像データを蓄積する第１
画像用バッファ１０と、上記第２ＣＣＤ７から出力され
るアナログの映像信号をデジタル信号に変換するＡ／Ｄ
変換器９と、このＡ／Ｄ変換器９から出力される画像デ
ータを蓄積する第２画像用バッファ１１と、上記第１画
像用バッファ１０から読み出される画像データと上記第
２画像バッファ１１から読み出される画像データとに含
まれる適正露光域をそれぞれ抽出する生成手段であり抽
出手段たる適正露光抽出部１２と、この適正露光抽出部
１２により抽出された各適正露光域を統合して広ダイナ
ミックレンジ画像を生成する統合部１３と、この統合部
１３により統合された画像データを蓄積する作業用バッ
ファ１４と、この作業用バッファ１４から画像データを
読み出して輝度信号に相当する信号（輝度相当信号）と
色信号に相当する信号（色相当信号）とに分離する生成
手段、補間手段、分離手段を兼ねた分離部１５と、この
分離部１５により分離された輝度相当信号を補間して高
解像度の輝度相当信号を生成する生成手段、補間手段、
輝度信号補間手段を兼ねた輝度信号補間部１６と、上記
分離部１５により分離された色相当信号と上記輝度信号
補間部１６により補間された輝度相当信号とに基づき後
述するように相関係数を算出する生成手段、補間手段、
相関係数算出手段を兼ねた相関係数算出部１７と、上記
輝度信号補間部１６により補間された輝度相当信号と上
記相関係数算出部１７により算出された相関係数とに基
づき上記分離部１５により分離された色相当信号を補間
して高解像度の色相当信号を生成する生成手段、補間手
段、色信号補間手段を兼ねた色信号補間部１８と、上記
輝度信号補間部１６により補間された輝度相当信号およ
び上記色信号補間部１８により補間された色相当信号を
合成して広ダイナミックレンジかつ高解像度の一画像を
生成する生成手段であり補間手段たる合成部１９と、こ
の合成部１９により生成された画像データをＪＰＥＧな
どの公知の手段により圧縮する圧縮部２０と、この圧縮
部２０により圧縮された画像データを例えばメモリカー
ドやハードディスク等の記録媒体、あるいは外部の装置
等に出力する出力部２１と、上記適正露光抽出部１２、
統合部１３、分離部１５、相関係数算出部１７、色信号
補間部１８、合成部１９、出力部２１を含むこの撮像装
置内の各回路を統括的に制御する例えばマイクロコンピ
ュータ等でなる制御手段たる制御部２２と、を有して構
成されている。

【００２４】次に、このように構成された撮像装置の作
用を、図１に示したような信号の流れに沿って、図２か
ら図５を参照しながら説明する。

【００２５】上記光学系１およびプリズム系２を介して
入射する被写体の光学像は、上記第１ＣＣＤ４と第２Ｃ
ＣＤ７の２つの撮像素子によりそれぞれ電気信号に変換
される。

【００２６】このときに、上述したように第２ＣＣＤ７
の前面にはＮＤフィルタ５が配置されているために、第
１ＣＣＤ４と第２ＣＣＤ７は異なる露光量で撮像される
ことになる。ここにＮＤフィルタ５としては、第１ＣＣ
Ｄ４と第２ＣＣＤ７との露光量比が、例えば１：１／４
〜１：１／１６程度に調整されるようなものを用いてい
る。

【００２７】ここで、図２を参照して、上記第１ＣＣＤ
４と第２ＣＣＤ７における色フィルタの配列と光学的な
位置関係について説明する。

【００２８】第１ＣＣＤ４は、図２（Ａ）に示すよう
に、赤（Ｒ），緑（Ｇ），青（Ｂ）でなる原色系フィル
タを、ベイヤー（Ｂａｙｅｒ）方式に配列して構成され
ている。

【００２９】また、第２ＣＣＤ７は、図２（Ｂ）に示す
ように、同様にして、赤（ｒ），緑（ｇ），青（ｂ）で
なる原色系フィルタを、ベイヤー（Ｂａｙｅｒ）方式に
配列して構成されている。なお、第１ＣＣＤ４の色フィ
ルタと第２ＣＣＤ７の色フィルタとを区別し易くするた
めに、第１ＣＣＤ４では大文字のＲ，Ｇ，Ｂを、第２Ｃ
ＣＤ７では小文字のｒ，ｇ，ｂを用いている。

【００３０】上記ベイヤー（Ｂａｙｅｒ）方式のフィル
タ配列は、輝度信号に相当する緑（Ｇまたはｇ）の色フ
ィルタの数が、それ以外の色信号に相当する色フィルタ
の数の２倍となる特徴を有しており、つまり、緑（Ｇま
たはｇ）フィルタは赤（Ｒまたはｒ）フィルタの２倍の
数となっており、同様に、緑（Ｇまたはｇ）フィルタは
青（Ｂまたはｂ）フィルタの２倍の数となっている。

【００３１】さらに、上記第２ＣＣＤ７は、上記第１Ｃ
ＣＤ４に対して、光学的に等価な結像面上において、水
平方向および垂直方向に、それぞれ１／２画素（より正
確には、画素ピッチの１／２）だけ画素ずらしを行って
配置されている。

【００３２】これにより、第１ＣＣＤ４により得られる
映像信号と、第２ＣＣＤ７により得られる映像信号とを
統合することによって、図２（Ｃ）に示すような、画素
が高密度に配列された高精細な映像信号を得ることがで
きるようになっている。

【００３３】上述したような第１ＣＣＤ４と第２ＣＣＤ
７とからそれぞれ出力されるアナログの映像信号は、上
記Ａ／Ｄ変換器８とＡ／Ｄ変換器９とによってデジタル
信号に各々変換された後に、第１画像用バッファ１０と
第２画像用バッファ１１とに転送されてそれぞれ記憶さ
れる。

【００３４】上記適正露光抽出部１２は、これら第１画
像用バッファ１０と第２画像用バッファ１１とに各記憶
されている映像信号を読み出して、上記制御部２２の制
御に基づき、それぞれの画像から適正露光域にある信号
のみを抽出する。

【００３５】上記第１画像用バッファ１０に記憶されて
いる映像信号は、通常の露光量により撮像された信号で
あるために、明部が飽和して白つぶれとなっている可能
性がある。このために、適正露光抽出部１２は、予め定
められた第１の閾値ＴＨ１と各画素の信号レベルとを比
較して、該第１の閾値ＴＨ１よりも信号レベルの小さい
画素を適正露光と見なし、この条件に合致する画素の信
号のみを上記統合部１３へ転送するようになっている。

【００３６】一方、上記第２画像用バッファ１１に記憶
されている映像信号は、上述したように、ＮＤフィルタ
５により減光されたものであるために、暗部が黒つぶれ
している可能性がある。このために、適正露光抽出部１
２は、予め定められた第２の閾値ＴＨ２と各画素の信号
レベルとを比較して、該第２の閾値ＴＨ２よりも信号レ
ベルの大きい画素を適正露光と見なし、この条件に合致
する画素の信号のみを上記統合部１３へ転送するように
なっている。

【００３７】ここに、この適正露光抽出部１２において
用いられる上記第１の閾値ＴＨ１および第２の閾値ＴＨ
２は、上記Ａ／Ｄ変換器８とＡ／Ｄ変換器９により変換
されるデジタル出力信号が例えば１０ｂｉｔの信号であ
る場合には、第１の閾値ＴＨ１として９２０程度の値を
用い、第２の閾値ＴＨ２として１００程度の値を用いる
ようになっている。

【００３８】上記統合部１３は、制御部２２の制御に基
づいて、適正露光抽出部１２により抽出された信号が上
記第１画像用バッファ１０からのものである場合には、
そのまま、一方、第２画像用バッファ１１からのもので
ある場合には、上記ＮＤフィルタ５により減光された量
に見合う増幅率だけ増幅するとともに水平方向および垂
直方向に１／２画素だけシフトさせてから、作業用バッ
ファ１４へ転送する。ここに、上記第２画像用バッファ
１１からの出力に対して適用される増幅率は、上記ＮＤ
フィルタ５による減光が例えば１／４である場合には、
４倍となる。

【００３９】ここで、図３を参照して、上記適正露光抽
出部１２の動作および上記統合部１３の動作について説
明する。

【００４０】まず図３（Ａ）は、撮影シーンの一例を示
すものであり、画面内の上側２／３程度を窓が占める室
内のほぼ中央部に主要被写体である人物が存在するシー
ンとなっている。この撮影シーンは、窓を介して比較的
輝度の高い外の風景が観察されるために、いわゆる逆光
シーンに相当している。

【００４１】このような撮影シーンを、上述したような
第１ＣＣＤ４を用いて撮像し、上記適正露光抽出部１２
により適正露光域にある信号のみを抽出した結果は、図
３（Ｂ）に示すようになっている。すなわち、通常の露
光量で撮像した第１ＣＣＤ４からの映像信号の場合に
は、輝度の高い窓の外の風景は、飽和して白つぶれとな
り上記第１の閾値ＴＨ１よりも信号レベルが大きくなる
ために、適正露光とは見なされず上記統合部１３に対し
ては出力されていない。

【００４２】一方、上記図３（Ａ）に示したような撮影
シーンを、上述したような第２ＣＣＤ７を用いて撮像
し、上記適正露光抽出部１２により適正露光域にある信
号のみを抽出した結果は、図３（Ｃ）に示すようになっ
ている。すなわち、ＮＤフィルタ５を介して減光して撮
像した第２ＣＣＤ７からの映像信号の場合には、室内の
下部などの暗部は黒つぶれとなり上記第２の閾値ＴＨ２
よりも信号レベルが小さくなるために、適正露光とは見
なされず上記統合部１３に対しては出力されていない。

【００４３】このようにして入力された適正露光域に係
る各映像信号を、上記統合部１３が統合すると、図３
（Ｄ）に示すような映像信号が得られる。

【００４４】すなわち、主要被写体である人物は自動露
光の対象となるために、上記第１ＣＣＤ４と第２ＣＣＤ
７の何れにおいても適正露光域となり、両方からの画素
情報が得られて統合されるために、より高解像度の画像
を得ることができる。

【００４５】一方、明部となる窓外の風景や暗部となる
室内などの背景情報は、この例では何れか一方のＣＣＤ
からの情報しか得られていない。しかし、主要被写体で
はない背景は、画像を観察する人間にとってさほど重要
ではなく、画質に対する主観的な影響は小さい。従っ
て、背景が高解像度の画像でなくても、主要被写体であ
る人物が高解像度の画像として得られれば、ユーザーが
高画質であると評価する満足度の高い画像となり得るの
である。

【００４６】続いて、上記分離部１５は、上記制御部２
２の制御に基づいて、上記作業用バッファ１４に蓄積さ
れている統合された映像信号から、輝度信号に相当する
Ｇ信号のみを読み出して輝度信号補間部１６へ転送す
る。

【００４７】この輝度信号補間部１６は、統合された映
像信号中の欠落しているＧ信号を、公知の線形補間によ
り補間して、これを上記相関係数算出部１７と色信号補
間部１８と合成部１９とへそれぞれ転送する。

【００４８】ここで、図４を参照して、上記輝度信号補
間部１６におけるＧ信号の補間方法について説明する。

【００４９】上記図３（Ｄ）に示したように統合された
映像信号において、輝度信号に相当するＧ信号のみを分
離すると、図４（Ａ）に示すような原信号が得られる。
このＧ信号に係る原信号は、上記分離部１５から上記輝
度信号補間部１６に出力される信号である。

【００５０】このＧ信号は、図示のように、明部と暗部
において不規則に欠落している。そこで、まず図４
（Ｂ）において黒く塗りつぶした画素として示すよう
に、左上から右下に向かう斜め方向のライン上において
欠落している画素を、該ライン上での近傍画素２つを用
いて補間する。

【００５１】次に、図４（Ｃ）において黒く塗りつぶし
た画素として示すように、斜め方向のライン同士の間に
おいて欠落しているラインの各画素を、隣接する２本の
ラインの各画素を用いて補間する。

【００５２】さらに、図４（Ｄ）において黒く塗りつぶ
した画素として示すように、市松模様に欠落している画
素を、上下左右に隣接する４つの画素から補間する。

【００５３】こうして最終的に、図４（Ｅ）に示すよう
な、全画面で欠落することなく配列されるＧ信号を得る
ことができる。

【００５４】上述したように、第１ＣＣＤ４および第２
ＣＣＤ７は、ベイヤー方式のカラーフィルタ配列のもの
を用いており、Ｇ信号は、他のＲ信号やＢ信号に比べて
２倍の数が得られるために、このような線形補間を行っ
ても、高画質な画像を得ることが可能となっている。

【００５５】次に、上記相関係数算出部１７は、上述し
たような輝度信号補間部１６から線形補間されたＧ信号
を受け取るとともに、上記分離部１５からＲ信号とＢ信
号を受け取って、これらに基づき、Ｇ信号とＲ信号の間
の相関係数およびＧ信号とＢ信号の間の相関係数を、所
定サイズ、例えば５×５画素単位のブロック毎に求め
る。

【００５６】上記色信号補間部１８は、上記分離部１５
からＲ信号とＢ信号を受け取るとともに、上記輝度信号
補間部１６からＧ信号を受け取り、さらに上記相関係数
算出部１７から相関係数を受け取って、これらに基づ
き、欠落するＲ信号およびＢ信号を補間する。

【００５７】ここで、図５を参照して、相関係数算出部
１７と色信号補間部１８におけるＲ，Ｂ信号の補間方法
について説明する。

【００５８】Ｒ信号とＢ信号は、構成する画素数がＧ信
号に比べて１／２しかないために、明部や暗部では上記
図３（Ｄ）に示したように粗な配置となり、通常の線形
補間では画質劣化が生じてしまう可能性がある。

【００５９】これに対処するために、相関係数算出部１
７では、構成画素数が多いＧ信号に対するＲ信号、Ｂ信
号の相関係数を所定サイズのブロック単位でそれぞれ求
めて、これらの相関係数に基づき、色信号補間部１８が
Ｒ信号とＢ信号の補間を行うようになっている。

【００６０】まず、相関係数算出部１７は、図５
（Ａ）、図５（Ｂ）に示すように、所定サイズ（この例
では５×５画素）のブロック内にある補間後のＧ信号の
平均値ＧAVを求めるとともに、同ブロック内にある分離
されたＲ信号，Ｂ信号の平均値ＲAV，ＢAVをそれぞれ求
めて、Ｇ信号の平均値に対するＲ信号の平均値の比ＲAV
／ＧAVをとることによりＧ，Ｒ間の相関係数を算出し、
同様に、Ｇ信号の平均値に対するＢ信号の平均値の比Ｂ
AV／ＧAVをとることによりＧ，Ｂ間の相関係数を算出す
る。

【００６１】こうして求められた相関係数に基づき、色
信号補間部１８では、所定サイズのブロック内における
画素配列のｘｙ座標が（ｉ，ｊ）となる画素の内の、Ｒ
信号に係る欠落する画素Ｒijと、Ｂ信号に係る欠落する
画素Ｂijとを、補間されたＧ信号に係る画素Ｇijを用い
て例えば次のように算出する。 Ｒij＝（ＲAV／ＧAV）×Ｇij Ｂij＝（ＢAV／ＧAV）×Ｇij

【００６２】Ｇ信号は、輝度信号補間部１６によって全
ての画素が既に求められているために、この式を用いる
ことにより、欠落する全てのＲ信号およびＢ信号を算出
することができる。こうして、Ｇ信号の変化に基づいて
Ｒ信号およびＢ信号を求めているために、より高精度な
信号を算出することが可能となっている。

【００６３】なお、この方法では所定サイズのブロック
内に複数の色が混在する場合は精度が低下する可能性が
ある。この対策として、計算量が増加するが、本出願人
が特開２０００−２２４６０１号公報において提案して
いるように、均一な色領域に分割してから処理を行うよ
うにしても良い。

【００６４】続いて、上記合成部１９は、上記輝度信号
補間部１６により補間されたＧ信号と、上記色信号補間
部１８により補間されたＲ信号およびＢ信号と、をそれ
ぞれ入力し、これらを統合して１枚の画像を作成する。

【００６５】作成された画像は、上記制御部２２の制御
に基づき、合成部１９から圧縮部２０へ転送され、圧縮
部２０が、ＪＰＥＧなどの公知の圧縮処理を行う。

【００６６】こうして圧縮された画像は、上記制御部２
２の制御に基づいて、出力部２１により記録媒体等へ転
送されて保存される。

【００６７】なお、上述したような構成例では、露光量
を変化させるためにＮＤフィルタを用いたが、これに限
らず、例えば、液晶フィルタなどの透過率を変化させ得
るフィルタを用いて、撮影シーンに合わせて外部から適
応的に露光量比を決めるようにしても構わない。あるい
は、上記プリズム系２における半透過反射面２ｃの反射
率と透過率の比を異ならせることにより、異なる露光量
を実現することも可能である。

【００６８】また、上述では、Ｒ，Ｇ，Ｂの原色系のフ
ィルタを用いたが、勿論これに限定されるものはなく、
補色系のフィルタを用いることも可能であり、さらに
は、色フィルタの配列についても種々のタイプのものを
採用することができる。

【００６９】このような第１の実施形態によれば、１回
の撮像によって広ダイナミックレンジかつ高解像度な画
像を得ることができるために、被写体が動体である場合
にも適用することが可能となる。

【００７０】このとき、画素ずらしによる高解像度化
は、自動露光の対象となる主要被写体に制限される場合
もあり得るが、上述したように、実用上の問題となるこ
とはない。

【００７１】また、露光量の異なる複数の画像を得るた
めに必要となる要素は、ＮＤフィルタ等の安価な部材で
あるために、製造コストや製品価格をほとんど上昇させ
ることなく、システムを構成することができる。

【００７２】さらに、輝度相当信号と色相当信号とを分
離して欠落画素を補間するようにしているために、高精
度な補間を行うことが可能となる。特に、ＣＣＤ前面に
配置した色フィルタを、輝度信号に相当するＧ信号が多
いものとしたために、輝度相当信号と色相当信号とを分
離して補間するのに適した構成となっていて、より高精
細な画像を得ることができる。

【００７３】そして、２つのＣＣＤは、カラー撮像に係
る全ての色フィルタを有しているために、画面内のある
領域が明部または暗部となっていて、何れか一方のＣＣ
Ｄからの信号しか使えない場合でも、カラー画像を生成
することが可能である。

【００７４】図６から図９は本発明の第２の実施形態を
示したものであり、図６は撮像装置の構成を示すブロッ
ク図、図７はＣＣＤフィルタにおける色フィルタの配列
と位置関係を示す図、図８は適正露光抽出部と統合部に
おける処理の様子を示す図、図９は色信号補間部におけ
る処理の様子を示す図である。

【００７５】この第２の実施形態において、上述の第１
の実施形態と同様である部分については同一の符号を付
して説明を省略し、主として異なる点についてのみ説明
する。

【００７６】この第２の実施形態の撮像装置は、図６に
示すように、３つのＣＣＤを備える三板式のタイプとな
っている。

【００７７】まず、光学系１を介して入射する被写体光
を分割するプリズム系３１は、第１プリズム３１ａと第
２プリズム３１ｂとを半透過反射面３１ｄにより接合す
るとともに、第２プリズム３１ｂと第３プリズム３１ｃ
とを半透過反射面３１ｅにより接合して構成されてい
る。

【００７８】上記第１プリズム３１ａの出射側には、ロ
ーパスフィルタ３２を介して色フィルタを有する撮像素
子であり入力手段たる第１ＣＣＤ３３が配置され、上記
第２プリズム３１ｂの出射側には、ローパスフィルタ３
６を介して上記第１ＣＣＤ３３の光学的位置に合致させ
て色フィルタを有する撮像素子であり入力手段たる第３
ＣＣＤ３７が配置され、上記第３プリズム３１ｃの出射
側には、ローパスフィルタ３４を介して上記第１ＣＣＤ
３３および第２ＣＣＤ３５の光学的位置に対して水平方
向および垂直方向に各１／２画素だけずらされて色フィ
ルタを有する撮像素子であり入力手段たる第２ＣＣＤ３
５が配置されている。

【００７９】これら第１ＣＣＤ３３、第２ＣＣＤ３５、
第３ＣＣＤ３７からそれぞれ出力される映像信号は、変
更手段であり電気回路手段たるアンプ３８，３９，４０
を介してそれぞれ増幅され、Ａ／Ｄ変換器４１，４２，
４３によりそれぞれデジタル信号に変換された後に、第
１画像用バッファ４４、第２画像用バッファ４５、第３
画像用バッファ４６にぞれぞれ蓄積されるようになって
いる。

【００８０】なお、上述した第１の実施形態において
は、露光量を変化させるために一つのＣＣＤの前方にＮ
Ｄフィルタ５を設けたが、この第２の実施形態において
は設けられていない。

【００８１】次に、このように構成された撮像装置の作
用を、図６に示したような信号の流れに沿って、図７か
ら図９を参照しながら説明する。

【００８２】この第２の実施形態の撮像装置における信
号の流れは、基本的に、上述した第１の実施形態と同様
となっている。

【００８３】すなわち、上記光学系１およびプリズム系
３１を介して入射する被写体の光学像は、上記第１ＣＣ
Ｄ３３、第２ＣＣＤ３５、第３ＣＣＤ３７の３つの撮像
素子によりそれぞれ電気信号に変換される。

【００８４】ここで、図７を参照して、上記第１ＣＣＤ
３３、第２ＣＣＤ３５、第３ＣＣＤ３７における色フィ
ルタの配列と光学的な位置関係について説明する。

【００８５】まず、第１ＣＣＤ３３は、図７（Ａ）に示
すように、緑（Ｇ）のみでなる原色系フィルタを、正方
格子状に配列して構成されている。

【００８６】また、第２ＣＣＤ３５は、図７（Ｂ）に示
すように、赤（ｒ），緑（ｇ），青（ｂ）でなる原色系
フィルタを、ベイヤー（Ｂａｙｅｒ）方式に配列して構
成されている。

【００８７】さらに、第３ＣＣＤ３７は、図７（Ｃ）に
示すように、赤（Ｒ）と，青（Ｂ）でなる原色系フィル
タを、市松状に配列して構成されている。

【００８８】上記第１ＣＣＤ３３と第３ＣＣＤ３７は、
上述したように、光学的に等価な結像面上において、画
素位置を一致させて配置されている一方で、上記第２Ｃ
ＣＤ３５は、これら第１ＣＣＤ３３と第３ＣＣＤ３７に
対して、水平方向および垂直方向に、それぞれ１／２画
素だけ画素ずらしを行って配置されている。このとき、
画素ずらしされている第２ＣＣＤ３５とその他のＣＣＤ
の色フィルタを区別し易くするために、第１ＣＣＤ３３
および第３ＣＣＤ３７では大文字のＲ，Ｇ，Ｂを、第２
ＣＣＤ３５では小文字のｒ，ｇ，ｂを用いている。

【００８９】上述したような３つのＣＣＤにより得られ
る映像信号を統合することによって、図７（Ｄ）に示す
ような、画素が高密度に配列された高精細な映像信号を
得ることができるようになっている。

【００９０】上述したような第１ＣＣＤ３３、第２ＣＣ
Ｄ３５、第３ＣＣＤ３７から出力される映像信号は、上
記アンプ３８、アンプ３９、アンプ４０によって、それ
ぞれ所定の倍率で増幅される。

【００９１】本実施形態においては、上記第２ＣＣＤ３
５の出力を増幅するアンプ３９の増幅率が、他のアンプ
とは異なる増幅率となるように設定されており、これに
よって、異なる露光量での撮像を実現するようになって
いる。

【００９２】具体的には、アンプ３８およびアンプ４０
の増幅率とアンプ３９の増幅率との比が、例えば１：１
／４〜１：１／１６程度となるように調整され、アンプ
３９の増幅率の方が小さくなるように設定されている。

【００９３】これらアンプ３８，アンプ３９，アンプ４
０により増幅された各映像信号は、、上記Ａ／Ｄ変換器
４１，Ａ／Ｄ変換器４２，Ａ／Ｄ変換器４３によってデ
ジタル信号に各々変換された後に、第１画像用バッファ
４４，第２画像用バッファ４５，第３画像用バッファ４
６へ転送されてそれぞれ記憶される。

【００９４】上記適正露光抽出部１２は、これら第１画
像用バッファ４４，第２画像用バッファ４５，第３画像
用バッファ４６に各記憶されている映像信号を読み出し
て、上記制御部２２の制御に基づき、それぞれの画像か
ら適正露光域にある信号のみを抽出する。

【００９５】上記第１画像用バッファ４４と第３画像用
バッファ４６とに記憶されている映像信号は、通常の露
光量により撮像された信号であるために、明部が飽和し
ている可能性がある。このために、適正露光抽出部１２
は、予め定められた第１の閾値ＴＨ１と各画素の信号レ
ベルとを比較して、該第１の閾値ＴＨ１よりも信号レベ
ルの小さい画素を適正露光と見なし、この条件に合致す
る画素の信号のみを上記統合部１３へ転送するようにな
っている。

【００９６】一方、第２画像用バッファ４５に記憶され
ている映像信号は、通常の露光量よりも低い露光量とな
るような増幅が行われているために、暗部がつぶれてい
る可能性がある。

【００９７】このために、適正露光抽出部１２は、予め
定められた第２の閾値ＴＨ２と各画素の信号レベルとを
比較して、該第２の閾値ＴＨ２よりも信号レベルの大き
い画素を適正露光と見なし、この条件に合致する画素の
信号のみを上記統合部１３へ転送するようになってい
る。

【００９８】上記統合部１３は、制御部２２の制御に基
づいて、適正露光抽出部１２により抽出された信号が上
記第１画像用バッファ４４または上記第３画像用バッフ
ァ４６からのものである場合には、そのまま、一方、上
記第２画像用バッファ４５からのものである場合には、
上記アンプ３９の増幅量を補うだけ増幅するとともに水
平方向および垂直方向に１／２画素だけシフトさせてか
ら、作業用バッファ１４へ転送する。ここに、上記第２
画像用バッファ４５からの出力に対して適用される増幅
率は、上記アンプ３８，４０の増幅率と上記アンプ３９
の増幅率との比が例えば１：１／４である場合には、４
倍となる。

【００９９】ここで、図８を参照して、上記適正露光抽
出部１２の動作および上記統合部１３の動作について説
明する。

【０１００】まず、図８（Ａ）は、撮影シーンの一例を
示すものであり、上述した第１の実施形態における図３
（Ａ）に示したものと同様の、いわゆる逆光シーンとな
っている。

【０１０１】このような撮影シーンを、上述したような
第１ＣＣＤ３３を用いて撮像し、上記適正露光抽出部１
２により適正露光域にある信号のみを抽出した結果は、
図８（Ｂ）に示すようになっている。すなわち、通常の
露光量で撮像した第１ＣＣＤ３３からの映像信号の場合
には、輝度の高い窓の外の風景は、飽和して白つぶれと
なり上記第１の閾値ＴＨ１よりも信号レベルが大きくな
るために、適正露光とは見なされず上記統合部１３に対
しては出力されていない。

【０１０２】また、該撮影シーンを、上述したような第
３ＣＣＤ３７を用いて撮像し、上記適正露光抽出部１２
により適正露光域にある信号のみを抽出した結果は、図
８（Ｄ）に示すようになっていて、上記図８（Ｂ）に示
したものとほぼ同様の適正露光の分布となっている。

【０１０３】一方、上記撮影シーンを、上述したような
第２ＣＣＤ３５を用いて撮像し、上記適正露光抽出部１
２により適正露光域にある信号のみを抽出した結果は、
図８（Ｃ）に示すようになっている。すなわち、第２Ｃ
ＣＤ３５からの映像信号はアンプ３９により通常の露光
量よりも低い露光量となるように増幅されていて、室内
の下部などの暗部は黒つぶれとなり上記第２の閾値ＴＨ
２よりも信号レベルが小さくなるために、適正露光とは
見なされず上記統合部１３に対しては出力されていな
い。

【０１０４】このようにして入力された適正露光域に係
る各映像信号を、上記統合部１３が統合すると、図８
（Ｅ）に示すような映像信号が得られる。

【０１０５】すなわち、主要被写体である人物は自動露
光の対象となるために、上記第１ＣＣＤ３３、第２ＣＣ
Ｄ３５、第３ＣＣＤ３７の何れにおいても適正露光域と
なり、両方からの画素情報が得られて統合されるため
に、より高解像度の画像を得ることができる。

【０１０６】一方、明部となる窓外の風景や暗部となる
室内などの背景情報は、この例では、第１ＣＣＤ３３と
第３ＣＣＤ３７とでなる撮像素子群か、または第２ＣＣ
Ｄ３５でなる撮像素子群かの何れか一方からの情報しか
得られていないが、上述したように、背景であるために
実質的な影響はほぼない。

【０１０７】このように統合部１３により統合された映
像信号は、作業用バッファ１４に記憶された後に、上述
した第１の実施形態と同様に、上記分離部１５により輝
度相当信号であるＧ信号と色相当信号であるＲ信号およ
びＢ信号とに分離され、上記輝度信号補間部１６により
輝度相当信号の補間が行われ、上記相関係数算出部１７
により相関係数の算出が行われ、上記色信号補間部１８
により色相当信号の補間が行われる。

【０１０８】ここで、図９を参照して、相関係数算出部
１７と色信号補間部１８におけるＲ，Ｂ信号の補間方法
について説明する。

【０１０９】まず、相関係数算出部１７は、所定サイズ
のブロックを単位として、図９（Ｃ）に示すように、該
ブロック内にある画素ずらしをされていない第１ＣＣＤ
３３および第３ＣＣＤ３７からの信号に基づき、Ｇ，Ｒ
間の相関係数およびＧ，Ｂ間の相関係数を算出する。算
出元となる信号は、同一画素上に２つの色相当信号が存
在するものであるために、より精度の高い相関係数を算
出することが可能である。

【０１１０】Ｇ，Ｒ間の相関係数ｋGRとＧ，Ｂ間の相関
係数ｋGBは、このブロック内にあるＲ信号の総和ΣＲ、
Ｇ信号の総和ΣＧ、Ｂ信号の総和ΣＢをそれぞれ求め
て、ΣＧに対する比を計算することにより、 ｋGR＝ΣＲ／ΣＧ ｋGB＝ΣＢ／ΣＧ として求められる。このように、第１ＣＣＤ３３および
第３ＣＣＤ３７からの信号を用いることにより、信号の
加算と、各１回ずつの除算とを行うだけの簡単な演算
で、相関係数を求めることができる。

【０１１１】こうして求められた相関係数ｋGR，ｋGBに
基づき、色信号補間部１８では、図９（Ｂ）に示すよう
な所定サイズのブロック内における画素配列のｘｙ座標
が（ｉ，ｊ）となる画素の内の、Ｒ信号に係る欠落する
画素Ｒijと、Ｂ信号に係る欠落する画素Ｂijとを、図９
（Ａ）に示すような補間されたＧ信号に係る画素Ｇijを
用いて、次のように算出する。 Ｒij＝ｋGR×Ｇij Ｂij＝ｋGB×Ｇij

【０１１２】続いて、上記合成部１９は、上記輝度信号
補間部１６により補間されたＧ信号と、上記色信号補間
部１８により補間されたＲ信号およびＢ信号と、をそれ
ぞれ入力し、これらを統合して１枚の画像を作成する。

【０１１３】作成された画像は、上記制御部２２の制御
に基づき、合成部１９から圧縮部２０へ転送され、圧縮
部２０が、ＪＰＥＧなどの公知の圧縮処理を行う。

【０１１４】こうして圧縮された画像は、上記制御部２
２の制御に基づいて、出力部２１により記録媒体等へ転
送されて保存される。

【０１１５】なお、上述したような構成例では、露光量
を変化させるためにアンプを用いたが、これに限らず、
例えば、ＣＣＤの電子シャッタ速度を制御する回路を用
いて、特定のＣＣＤのシャッタ速度のみを異ならせるこ
とにより、露光量を変えるようにしても構わない。

【０１１６】また、上述では、Ｒ，Ｇ，Ｂの原色系のフ
ィルタを用いたが、勿論これに限定されるものはなく、
補色系のフィルタを用いることも可能であり、さらに
は、色フィルタの配列についても種々のタイプのものを
採用することができる。

【０１１７】さらに、上述では、第３プリズム３１ｃに
ｒ，ｇ，ｂの３色フィルタを備えた第２ＣＣＤ３５を配
置したために、第１プリズム３１ａと第２プリズム３１
ｂの接合面と、第２プリズム３１ｂと第３プリズム３１
ｃの接合面との両方が３色の光を透過させる半透過反射
面である必要があったが、第１プリズム３１ａに第２Ｃ
ＣＤ３５を配置し、第２プリズム３１ｂに例えばＧフィ
ルタを備えた第１ＣＣＤ３３を配置し、第３プリズム３
１ｃにＲ，Ｂフィルタを備えた第３ＣＣＤ３７を配置す
れば、第２プリズム３１ｂと第３プリズムの接合面をダ
イクロイック面とすることができるために、光学系１か
ら入射する被写体光をより有効に利用することが可能と
なる。このときには、第１プリズム３１ａと第２プリズ
ム３１ｂとの接合面である半透過反射面３１ｄの反射率
と透過率の比を異ならせることにより、入射光をさらに
有効に利用することも可能である。

【０１１８】このような第２の実施形態によれば、１回
の撮像によって広ダイナミックレンジかつ高解像度な画
像を得ることができるために、被写体が動体である場合
にも適用することが可能となる。

【０１１９】また、三板方式の撮像系を用いているため
に、自動露光の対象となる主要被写体には３つのＣＣＤ
の情報が割り当てられることになり、より高精度な画像
を得ることができる。

【０１２０】さらに、露光量の異なる複数の画像を得る
ための要素として、アンプや電子シャッタ速度の制御手
段等を用いているために、撮影シーンに合わせて適応的
に露光量比を決めて変更することも可能となる。

【０１２１】そして、輝度相当信号と色相当信号とを分
離して欠落画素を補間するようにしているために、高精
度な補間を行うことが可能となる。特に、ＣＣＤ前面に
配置した色フィルタを、輝度信号に相当するＧ信号が多
いものとしたために、輝度相当信号と色相当信号とを分
離して補間するのに適した構成となっていて、より高精
細な画像を得ることができる。

【０１２２】また、画素ずらしされた撮像素子群と、画
素ずらしされていない撮像素子群とは、何れの群もカラ
ー撮像に係る全ての色フィルタを群全体として有してい
るために、画面内のある領域が明部または暗部となって
いて、何れか一方の撮像素子群からの信号しか使うこと
ができない場合でも、カラー画像を生成することが可能
となる。

【０１２３】なお、本発明は上述した実施形態に限定さ
れるものではなく、発明の主旨を逸脱しない範囲内にお
いて種々の変形や応用が可能であることは勿論である。

【０１２４】［付記］以上詳述したような本発明の上記
実施形態によれば、以下のごとき構成を得ることができ
る。

【０１２５】（１） 原色系または補色系の色フィルタ
を前面に配置した複数の撮像素子を有し、これらの内の
少なくとも一つの撮像素子の光学的な位置を、他の撮像
素子の光学的な位置に対して相対的にずらしてなる入力
手段と、上記複数の撮像素子の内の少なくとも一つの撮
像素子の感度特性を変更する変更手段と、上記複数の撮
像素子からそれぞれ得られた信号を合成補間処理して一
枚の画像を生成する生成手段と、を具備したことを特徴
とする撮像装置。

【０１２６】（２） 上記変更手段は、上記撮像素子に
入射する光の光路中に配置されていて、該光の光量を変
更することにより同撮像素子の感度特性を変更する光学
フィルタ手段を有してなるものであることを特徴とする
付記（１）に記載の撮像装置。

【０１２７】（３） 上記変更手段は、上記撮像素子か
ら出力される信号を処理することにより該撮像素子の感
度特性を変更する電気回路手段と、上記撮像素子の撮像
動作を制御することにより該撮像素子の感度特性を変更
する電気回路手段と、の少なくとも一方を有してなるも
のであることを特徴とする付記（１）に記載の撮像装
置。

【０１２８】（４） 上記光学フィルタ手段は、ＮＤ
（Neutral Density）フィルタであることを特徴とする
付記（２）に記載の撮像装置。

【０１２９】（５） 上記光学フィルタ手段は、カラー
バランスを変化させることなく光の透過率を変化させ得
る液晶フィルタであることを特徴とする付記（２）に記
載の撮像装置。

【０１３０】（６） 上記撮像素子から出力される信号
を処理することにより該撮像素子の感度特性を変更する
上記電気回路手段は、該撮像素子から出力される信号の
ゲインを増幅するものであることを特徴とする付記
（３）に記載の撮像装置。

【０１３１】（７） 上記撮像素子の撮像動作を制御す
ることにより該撮像素子の感度特性を変更する上記電気
回路手段は、該撮像素子の電子シャッタ速度を制御する
ものであることを特徴とする付記（３）に記載の撮像装
置。

【０１３２】（８） 上記生成手段は、上記複数の撮像
素子からそれぞれ得られる信号に関して適正露光域にあ
る信号を抽出する抽出手段と、この抽出手段により抽出
された適正露光域にある複数の撮像素子からの信号を統
合する統合手段と、この統合手段により統合された信号
に基づき、該統合された信号中の欠落する信号を補間す
る補間手段と、を有してなるものであることを特徴とす
る付記（１）に記載の撮像装置。

【０１３３】（９） 上記補間手段は、上記統合された
信号から輝度信号に相当する輝度相当信号と色信号に相
当する色相当信号とを分離する分離手段と、この分離手
段により分離された輝度相当信号を補間する輝度信号補
間手段と、所定領域内の輝度相当信号と色相当信号とに
基づき、該所定領域内における輝度相当信号と色相当信
号との相関関係を示す相関係数を求める相関係数算出手
段と、上記輝度信号補間手段により補間された輝度相当
信号と上記相関係数算出手段により算出された相関係数
とに基づき、上記分離手段により分離された色相当信号
を補間する色信号補間手段と、を有してなるものである
ことを特徴とする付記（８）に記載の撮像装置。

【０１３４】（１０） 上記相関係数算出手段は、上記
輝度信号補間手段により補間された輝度相当信号と、上
記分離手段により分離された色相当信号とに基づいて、
所定領域内の相関係数を求めるものであることを特徴と
する付記（９）に記載の撮像装置。

【０１３５】（１１） 上記複数の撮像素子を、上記変
更手段により感度特性が変更される撮像素子群と、感度
特性が変更されない撮像素子群と、に分類した場合に、
各撮像素子群は、原色系または補色系で要する全ての色
フィルタを群全体として有してなるものであり、上記相
関係数算出手段は、少なくとも一方の撮像素子群から得
られる輝度相当信号と色相当信号とに基づいて、所定領
域内の相関係数を求めるものであることを特徴とする付
記（９）に記載の撮像装置。

【０１３６】（１２） 原色系または補色系の色フィル
タを前面に配置した２つの撮像素子を有する撮像装置で
あって、一つの撮像素子が他の撮像素子に対して相対的
にずらされて配置されている入力手段と、上記撮像素子
の一方の感度特性を変更する変更手段と、上記各撮像素
子から得られた信号を合成補間処理して一枚の画像を生
成する生成手段と、を具備したことを特徴とする撮像装
置。

【０１３７】（１３） 原色系または補色系の色フィル
タを前面に配置した複数の撮像素子を有する撮像装置で
あって、少なくとも一つの撮像素子が他の撮像素子に対
して相対的にずらされて配置されている入力手段と、上
記撮像素子の少なくとも一つの撮像素子の感度特性を変
更する変更手段と、上記各撮像素子から得られた信号を
合成補間処理して一枚の画像を生成する生成手段と、を
具備したことを特徴とする撮像装置。

【０１３８】

【発明の効果】以上説明したように請求項１による本発
明の撮像装置によれば、動いている被写体に対しても広
ダイナミックレンジかつ高解像度な画像を得ることが可
能となる。

【０１３９】また、請求項２による本発明の撮像装置に
よれば、光学フィルタ手段を用いて少なくとも一つの撮
像素子の感度特性を変更しているために、低コストで請
求項１に記載の発明と同様の効果を奏することができ
る。

【０１４０】さらに、請求項３による本発明の撮像装置
によれば、請求項１に記載の発明と同様の効果を奏する
とともに、電気回路手段を用いて少なくとも一つの撮像
素子の感度特性を変更しているために、撮影シーンに応
じて適応的に露光量を制御することが可能となる。

【０１４１】請求項４による本発明の撮像装置によれ
ば、複数の撮像素子により撮像された画像中の適正露光
域を統合して補間することにより、請求項１に記載の発
明と同様の効果を奏することができる。

【０１４２】請求項５による本発明の撮像装置によれ
ば、請求項４に記載の発明と同様の効果を奏するととも
に、輝度相当信号と色相当信号とを分離して、それぞれ
を補間するとともに、色相当信号を補間する際には所定
領域毎の相関係数を用いているために、補間の精度が高
く、高精細な画像を得ることが可能となる。

【０１４３】請求項６による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、感度特性が変更される撮像素子群と、感度特性が変
更されない撮像素子群と、の何れもが、全ての色フィル
タを群全体として有しているために、何れか一方の撮像
素子群から出力される映像信号しか使えない領域が存在
しても、カラー画像を生成することができる。

【０１４４】請求項７による本発明の撮像装置によれ
ば、撮像素子が２つである場合にも、請求項６に記載の
発明と同様の効果を奏することができる。

【０１４５】請求項８による本発明の撮像装置によれ
ば、請求項６に記載の発明と同様の効果を奏するととも
に、撮像素子群が有する色フィルタは、輝度信号に相当
する色フィルタの数が、それ以外の任意の一色に係る色
フィルタの数よりも多いために、視覚的に劣化の少ない
高精細な画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における撮像装置の構
成を示すブロック図。

【図２】上記第１の実施形態のＣＣＤフィルタにおける
色フィルタの配列と位置関係を示す図。

【図３】上記第１の実施形態の適正露光抽出部と統合部
における処理の様子を示す図。

【図４】上記第１の実施形態の輝度信号補間部における
処理の様子を示す図。

【図５】上記第１の実施形態の色信号補間部における処
理の様子を示す図。

【図６】本発明の第２の実施形態における撮像装置の構
成を示すブロック図。

【図７】上記第２の実施形態のＣＣＤフィルタにおける
色フィルタの配列と位置関係を示す図。

【図８】上記第２の実施形態の適正露光抽出部と統合部
における処理の様子を示す図。

【図９】上記第２の実施形態の色信号補間部における処
理の様子を示す図。

【符号の説明】

１…光学系（入力手段） ２，３１…プリズム系（入力手段） ４，３３…第１ＣＣＤ（撮像素子、入力手段、色フィル
タを有する） ５…ＮＤフィルタ（変更手段、光学フィルタ手段） ７，３５…第２ＣＣＤ（撮像素子、入力手段、色フィル
タを有する） １２…適正露光抽出部（生成手段、抽出手段） １３…統合部（生成手段、統合手段） １５…分離部（生成手段、補間手段、分離手段） １６…輝度信号補間部（生成手段、補間手段、輝度信号
補間手段） １７…相関係数算出部（生成手段、補間手段、相関係数
算出手段） １８…色信号補間部（生成手段、補間手段、色信号補間
手段） １９…合成部（生成手段、補間手段） ２２…制御部 ３７…第３ＣＣＤ（撮像素子、入力手段、色フィルタを
有する） ３８，３９，４０…アンプ（変更手段、電気回路手段）

Claims (8)

【特許請求の範囲】
1. 【請求項１】 原色系または補色系の色フィルタを前面
   に配置した複数の撮像素子を有し、これらの内の少なく
   とも一つの撮像素子の光学的な位置を、他の撮像素子の
   光学的な位置に対して相対的にずらしてなる入力手段
   と、 上記複数の撮像素子の内の少なくとも一つの撮像素子の
   感度特性を変更する変更手段と、 上記複数の撮像素子からそれぞれ得られた信号を合成補
   間処理して一枚の画像を生成する生成手段と、 を具備したことを特徴とする撮像装置。
2. 【請求項２】 上記変更手段は、上記撮像素子に入射す
   る光の光路中に配置されていて、該光の光量を変更する
   ことにより同撮像素子の感度特性を変更する光学フィル
   タ手段を有してなるものであることを特徴とする請求項
   １に記載の撮像装置。
3. 【請求項３】 上記変更手段は、上記撮像素子から出力
   される信号を処理することにより該撮像素子の感度特性
   を変更する電気回路手段と、上記撮像素子の撮像動作を
   制御することにより該撮像素子の感度特性を変更する電
   気回路手段と、の少なくとも一方を有してなるものであ
   ることを特徴とする請求項１に記載の撮像装置。
4. 【請求項４】 上記生成手段は、 上記複数の撮像素子からそれぞれ得られる信号に関して
   適正露光域にある信号を抽出する抽出手段と、 この抽出手段により抽出された適正露光域にある複数の
   撮像素子からの信号を統合する統合手段と、 この統合手段により統合された信号に基づき、該統合さ
   れた信号中の欠落する信号を補間する補間手段と、 を有してなるものであることを特徴とする請求項１に記
   載の撮像装置。
5. 【請求項５】 上記補間手段は、 上記統合された信号から輝度信号に相当する輝度相当信
   号と色信号に相当する色相当信号とを分離する分離手段
   と、 この分離手段により分離された輝度相当信号を補間する
   輝度信号補間手段と、 所定領域内の輝度相当信号と色相当信号とに基づき、該
   所定領域内における輝度相当信号と色相当信号との相関
   関係を示す相関係数を求める相関係数算出手段と、 上記輝度信号補間手段により補間された輝度相当信号と
   上記相関係数算出手段により算出された相関係数とに基
   づき、上記分離手段により分離された色相当信号を補間
   する色信号補間手段と、 を有してなるものであることを特徴とする請求項４に記
   載の撮像装置。
6. 【請求項６】 上記複数の撮像素子を、上記変更手段に
   より感度特性が変更される撮像素子群と、感度特性が変
   更されない撮像素子群と、に分類した場合に、各撮像素
   子群は、原色系または補色系で要する全ての色フィルタ
   を群全体として有してなるものであることを特徴とする
   請求項１に記載の撮像装置。
7. 【請求項７】 上記複数の撮像素子は２つの撮像素子で
   なり、これらの内の一方の撮像素子は上記変更手段によ
   り感度特性が変更される撮像素子群に属し、他方の撮像
   素子は該変更手段により感度特性が変更されない撮像素
   子群に属するものであることを特徴とする請求項６に記
   載の撮像装置。
8. 【請求項８】 上記撮像素子群が有する色フィルタは、
   輝度信号に相当する色フィルタの数が、それ以外の任意
   の一色に係る色フィルタの数よりも多くなるように構成
   されていることを特徴とする請求項６に記載の撮像装
   置。