Nothing Special   »   [go: up one dir, main page]

JP2000184386A - 固体撮像装置および信号処理方法 - Google Patents

固体撮像装置および信号処理方法

Info

Publication number
JP2000184386A
JP2000184386A JP11001613A JP161399A JP2000184386A JP 2000184386 A JP2000184386 A JP 2000184386A JP 11001613 A JP11001613 A JP 11001613A JP 161399 A JP161399 A JP 161399A JP 2000184386 A JP2000184386 A JP 2000184386A
Authority
JP
Japan
Prior art keywords
data
pixel data
color
pixel
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11001613A
Other languages
English (en)
Other versions
JP4607265B2 (ja
JP2000184386A5 (ja
Inventor
Masaru Osada
勝 長田
Takashi Misawa
岳志 三沢
Masashi Kantani
正史 乾谷
Kenkichi Hayashi
健吉 林
Satoru Okamoto
悟 岡本
Osamu Saito
理 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP00161399A priority Critical patent/JP4607265B2/ja
Publication of JP2000184386A publication Critical patent/JP2000184386A/ja
Publication of JP2000184386A5 publication Critical patent/JP2000184386A5/ja
Application granted granted Critical
Publication of JP4607265B2 publication Critical patent/JP4607265B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 画素数の増加を抑えながら、より高解像度の
画像を容易に得ることのできる固体撮像装置およびその
信号処理方法の提供。 【解決手段】 固体撮像装置10は、受光素子の配設位置
が互いにずれた２次元のハニカム配置された撮像部11か
らの信号をカラー信号処理部12のガンマ変換処理部12a
に供給した後、A/D 変換部12b でディジタル信号（以
下、データという）に変換する。このデータは記録再生
部12c に格納され、この記録再生部12cから面データと
して読み出し、信号処理部12に供給する。信号処理部12
は、供給される面データの中で受光素子の空領域を仮想
画素とし、隣接する受光素子からの画素データを基に正
確な色再現重視、および水平方向および／または垂直方
向の解像度の重視する項目に対応した信号処理をそれぞ
れ行って、最終的に出力される信号を高品質にしてい
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、開口部を介して入
射する光を撮像し、撮像により得られた信号に信号処理
を施して広帯域な信号にする固体撮像装置および信号処
理方法に関し、特に、被写体画像を取り込んで信号処理
を行うディジタルスチルカメラや画像処理装置等に用い
て好適なものである。
【０００２】
【従来の技術】被写体を画像として取り込む画像入力装
置として固体撮像装置が広く利用されている。固体撮像
装置には、小型化、高解像度の画像等の要求が市場等か
ら寄せられている。この要求を満足させるには、単板固
体撮像素子を用いた固体撮像装置において、たとえば、
正方格子型の撮像素子の数、すなわち画素数を単純に増
加させる方法が当初から検討されてきている。この場
合、光電変換を行う固体撮像素子（受光素子）は画素数
の増加に伴って１個あたりの受光単位面積が小さくなる
ため感度低下が無視できなくなっている。このように画
素数を増やす方法には得られる解像度に限界がある。
【０００３】一方、この方法と別な観点から高解像度の
画像を得る新たな方法がいくつか検討されている。固体
撮像装置において画素の配設位置を互いにずらして受光
させるように構成する例が提案されている。
【０００４】まず第１の方式の提案は、画素ずらしおよ
び３板撮像素子を用いた構成である。この提案には、た
とえば、島田等、「窓明きCCD による空間絵素ずらしカ
ラーカメラ」、映像情報メディア学会（旧テレビジョン
学会）のテレビジョン方式・回路研究会における資料TB
S 36-2号, pp. 1-19, （1977）がある。この方式は、色
フィルタを３枚用いた３板画素ずらしが基本方式であ
る。この方式は、この画素ずらしにより解像度を向上さ
せることを目的にしている。
【０００５】第２の方式の提案は、画素ずらしおよび線
順次の２板撮像素子を用いた構成である。この提案の例
としては、たとえば、村田等、「線順次方式2CCDカラー
カメラ」、映像情報メディア学会（旧テレビジョン学
会）のテレビジョン学会技術報告TEBS 60-2 号, pp27-3
2,（1980）がある。この報告では、水平方向の解像度を
向上させるためNTSC方式で緑(G) と線順次に配された赤
(R)/青(B) の色フィルタを用いた２板式の撮像方式とカ
メラ構成および撮像特性について発表がされている（以
下での三原色の表現は単にR,G,B で表す）。
【０００６】次に第３の方式は、画素ずらしおよび画素
ずらしを考慮した信号処理を駆使する方法である。この
提案には、たとえば、特開平7-298275号公報のビデオカ
メラの信号処理回路等がある。特開平7-298275号公報の
ビデオカメラの信号処理回路は、アパーチャ信号の作成
時に高域を制限せずに鮮鋭度の高い画質を得るため、ベ
イヤー単板方式により得られるＧ信号を用いて水平・垂
直方向の高解像度化を図っている。
【０００７】最後に第４の方式は、３板構成であり、か
つＧ色を画素ずらしした２枚のCCDに供給している。こ
の方式の例としては、森本等、「３- ＣＣＤデジタルス
チルカメラ」、日本写真学会70周年記念高品質画像シン
ポジウム、ミノルタRD175, pp.73-76 という学会発表資
料がある。このディジタルカメラは、３板方式において
Ｇ色を互いの画素位置の関係が画素ずらしされた２枚の
CCD に割り振って得られた信号に信号処理を施して高解
像度化を図っている。
【０００８】この高解像度化とは異なるが、画素ずらし
された撮像素子から得られる信号を他の装置に供給して
この装置に不具合なく正しい画像を表示させる提案が特
開平8-340455号公報にある。特開平8-340455号公報に記
載された画像処理装置は、非格子状の画素配列の撮像素
子を用いて得られた画像データをコンピュータに対応し
た画像データに信号処理することを目的としている。
【０００９】また、固体撮像装置が有する固体撮像素子
が従来と異なる形状の画素で形成された素子が提案され
ている。このような素子としては、たとえば、米国特許
第4441123 号公報があり、各画素により画像が形成され
るように行列配列したフィルタ位置に対応して六角形の
形状をした同じサイズの画素を配して画像に生じるモア
レを消去している。さらに、たとえば、特開平6-77450
号公報には、画素の通常の形状と異なり、かつ画素ずら
しも行った固体撮像素子が提案されている。この固体撮
像素子は、画素の各辺を垂直方向に対し略々45°の角度
にすることによって菱形状にして画素をずらし、全画素
読出し方式を行う場合、垂直解像度を高めている。
【００１０】この他、画素ずらしを行う方式は、原色フ
ィルタに限定されるものでなく、補色フィルタを用いて
も行われている。たとえば、特開昭58-31688号公報で
は、MOS （Metal-Oxide Semiconductor ）型画素ずらし
方式による固体カラー撮像装置が提案されている。
【００１１】
【発明が解決しようとする課題】ところで、前述した各
方式や提案等について順にそれぞれ検討すると、第１の
方式は、画素ずらしによって高解像度を実現できるが、
信号処理はムービ方式の水平解像度重視型を用いてい
る。この方式では、CCD 撮像素子を３枚用いるため画素
ずらしの精度を向上させる必要性が生じる。このために
カラーカメラは組立て工程等が上述した要求に合わせて
増加する。この結果、カラーカメラの光学系のコストが
アップしてしまう。
【００１２】第２の方式は、第１の方式と同様に解像度
の向上を達成しているが、垂直方向の解像度を犠牲にし
ている。この方式の提案例には、ムービ（インターライ
ン転送）方式の垂直解像度が走査線数で制限される特徴
がある。したがって、この方式は、全画素読出しを前提
とする装置、たとえば、ディジタルカメラ等には適用で
きない。また、この例では２板に対応する色の関係が互
いに補色関係になるので、カラーカメラは色再現性にお
いて劣ってしまう。この方式も複数の板（すなわち、２
板）を用いているので、第１の方式と同様に画素ずらし
の精度向上が問題となる。
【００１３】第３の方式は、水平・垂直の両方向に対し
て高解像度を達成している。しかしながら、この方式
は、この両方向に対する相関値検出を行って補間処理を
行っているため、相関値の精度を高める際に信号処理回
路にかかる負荷が大きく負担になってしまう。この方式
は、負担の増加に対する精度向上に限界が存在する。
【００１４】第４の方式は、単板の固体撮像素子に比べ
て３板を用いていることから構成の簡略化が難しく、画
素ずれに対応した配置を行う際の配置精度の向上に伴う
製造工程の繁雑化からも免れられない。
【００１５】また、特開平8-340455号公報の画像信号処
理装置は、信号処理により高解像度化を目指している点
で第３の方式の画素ずらし配置および画素ずらしを考慮
した信号処理と同じ範疇に含まれる。ここでの画素ずら
し配置はΔ配列を用いていることから、２次元視認解像
度限界を大きくできることが知られている。しかしなが
ら、画素数の増加を抑えつつ画素ずらしを行ってより一
層の解像度の向上を図った結果、画像信号処理装置は、
一枚の画像を記録媒体に記録する際、記録容量が画素数
の増加に伴って増加するので、記録媒体への記録枚数を
低下させてしまう。
【００１６】さらに、米国特許第4441123 号公報や特開
平6-77450 号公報に記載された固体撮像装置では、高解
像度化に伴って画素数を増加させても、前述した受光面
積の減少によって使用する受光素子の感度が低下してし
まう。さらに、単位画素のピッチもレンズの色収差や光
学的な回折現象等が悪影響を及ぼす縮小限界に近づいて
きている。
【００１７】最後に、特開昭58-31688号公報に記載され
た補色方式による固体カラー撮像装置では、隣接する３
つの受光素子の和がほぼ輝度信号に対応するように配置
されている。この提案は、入射光の利用効率を上げて受
光素子の感度を向上させることを目的にしている。しか
しながら、用いている方式が補色であることから色再現
性および解像度の向上という観点でみると、この固体カ
ラー撮像装置ではこれらの観点の項目をそれほど向上さ
せることが期待できない。
【００１８】本発明はこのような従来技術の欠点を解消
し、画素数の増加を抑えながら、より高解像度の画像を
容易に得ることのできる固体撮像装置および信号処理方
法を提供することを目的とする。
【００１９】
【課題を解決するための手段】本発明は上述の課題を解
決するために、開口部を介して入射する光を撮像し、撮
像により得られた信号に信号処理を施して広帯域な信号
にする固体撮像装置であって、この装置に開口部を介し
て入射する光を光電変換する受光素子に隣接した受光素
子が垂直方向および／または水平方向にずらされて２次
元配置された受光部と、この受光部の前面に形成された
開口部を迂回するように配置され、かつ受光素子からの
信号を取り出す電極と、この電極を介して供給される信
号を受光部の垂直または水平方向に順番に転送する各方
向に対応した転送レジスタとを有する撮像手段と、受光
素子の各開口部上に配される異なる分光感度特性を有す
る複数の色フィルタと、撮像手段から供給される信号を
ディジタルデータに変換するディジタル変換手段と、こ
のディジタル変換手段からの出力を記録再生する記録再
生手段とを備え、さらに、ディジタル変換されたディジ
タルデータの面データにおいて受光素子のずらし配置に
伴う受光素子の空領域を仮想受光素子とし、隣接する受
光素子からのデータを基に正確な色再現重視、および水
平方向および／または垂直方向の解像度の重視と各項目
に応じた信号処理をそれぞれ施す信号処理手段を有する
ことを特徴とする。
【００２０】ここで、開口部は、開口形状を正方格子あ
るいは多角形にするとともに、それぞれ、開口部に対応
して配置される受光素子の間隔を画素ピッチとすると
き、開口部が一列ごとに垂直方向にあるいは一行ごとに
水平方向に画素ピッチ分だけ移動させて２次元配置され
ているか、あるいは正方格子を45°回転させた開口形状
あるいは多角形の開口形状の開口部が２次元配置されて
いるとよい。これにより、２次元平面内において開口部
を有効に配置することができる。
【００２１】色フィルタには、三原色をR,G,B で表す
と、受光素子のずらし配置に対応して三原色R,G,B の原
色フィルタを用いてずれを有するG 正方格子とこのG 正
方格子に対してピッチの半分の距離だけずらしたRB完全
市松パターンが形成されることが望ましい。
【００２２】信号処理手段は、受光素子のずらし配置に
伴う受光素子の空領域を仮想受光素子とし、隣接する受
光素子からのデータを基に正確な色再現重視、ならびに
水平方向および／または垂直方向の解像度の重視と各項
目に応じて演算処理が施される演算処理手段と、この演
算処理手段から出力される色再現が考慮された成分信号
と解像度を重視した成分信号が擬似周波数的に加算され
る擬似加算手段と、この演算処理手段で水平方向および
垂直方向の解像度が重視された各信号に共通した周波数
帯が含まれている場合、共通した周波数帯の重複を防止
する重複防止手段とを備えることが望ましい。これによ
り、各信号を項目に対応してその信号品質を向上させる
とともに、周波数領域の重複による、たとえば、モアレ
等の発生を避けることができ、信号における成分を一層
高い品質にすることができる。
【００２３】また、擬似加算手段は、演算処理手段から
供給される解像度が重視される周波数帯までの第１の成
分信号を一端側に減算入力させ他端側に第１の成分信号
の周波数帯よりも低域の色再現を考慮した第２の成分信
号を加算入力させる第１の加算手段と、この第１の加算
手段の出力と第１の成分信号にそれぞれ生じる折り返し
歪みを防ぐ処理を施すフィルタリング手段と、このフィ
ルタリング手段からの各出力が加算入力される第２の加
算手段とを有することが望ましい。
【００２４】重複防止手段は、擬似加算手段から出力さ
れる信号のうち、一方の信号の共通した周波数帯に対し
て帯域制限を施すフィルタ手段と、このフィルタ手段か
らの出力と共通した周波数帯を含む他方の信号とを加算
する加算処理手段とを備えていることが好ましい。
【００２５】この他にプレーン補間による信号処理にお
いて、信号処理手段は、三原色R,G,B の各色に着目し仮
想受光素子の位置の色データも含めた面データとして色
再現を考慮して３つの成分信号にそれぞれ補間展開させ
るプレーン補間展開手段と、このプレーン補間展開手段
から得られる３つの成分信号を基に色差信号および輝度
信号を生成する色差マトリクス手段と、プレーン補間展
開手段に供給される前のデータから解像度を重視した成
分信号を輪郭強調させる信号として生成する輪郭信号発
生手段と、この輪郭信号発生手段の出力と色差マトリク
スからの輝度信号をそれぞれ加算入力する輪郭強調手段
とを有するようにしてもよい。実際に受光素子のない仮
想受光素子の位置での色データが補間され、空間的な画
素データの数を飛躍的に増加させられるので、この画素
データを用いることにより、解像度を上げることができ
る。さらに、輪郭強調することにより、より一層高い解
像度の画像として提供することができる。
【００２６】輪郭信号発生手段は、G 色だけのデータか
ら相関検出補間を行って解像度を重視した成分信号を輪
郭強調する信号として生成させてもよい。
【００２７】また、固体撮像装置は、記録再生手段に対
して、互いに一定間隔毎にずらした配置の開口部直下に
位置する受光素子から得られる画素データを正方格子状
の面データと同等にみなせる配置に書込み／読出し制御
を行う書込み／読出し制御手段と、記録再生手段から供
給される面データを基に信号処理手段で演算処理して得
られる成分信号を擬似周波数的に加算させ、さらに周波
数帯域が共通する成分信号がある場合には、周波数帯域
の重複を防止して信号を広帯域化させて得られた画素位
置の信号を基に前記仮想受光素子の位置のデータ補間展
開を行うデータ補間展開手段とを有するようにしてもよ
い。
【００２８】さらに、固体撮像装置は、開口部がハニカ
ム配置された各開口部直下に受光素子が画素として設け
られている複数の受光部と、この受光部に同一被写体か
らの入射光を分光させる分光手段とを備え、受光部の直
前にそれぞれ開口部と対応させて一列ごとに垂直方向に
あるいは一行ごとに水平方向に画素を画素ピッチ分だけ
の移動させるかあるいは正方格子を45°回転させた配置
の色フィルタを組み合わせて固着させる固着させるよう
にしてもよい。
【００２９】受光部が２つの場合、色フィルタの組み合
わせた結果、G 正方格子とこのG 正方格子に対してピッ
チの半分の距離だけずらしたRB完全市松パターン、ベイ
ヤパターン、あるいは一行毎にG の色フィルタ位置にB
あるいはR の色フィルタが重複するパターンを形成する
ことが好ましい。
【００３０】また、受光部が３つの場合、ハニカム配置
パターンの第１の色フィルタと、ハニカム配置から画素
ピッチ分ずらされた配置パターンで、かつ第１の色フィ
ルタの色と同色の第２の色フィルタと、この第２の色フ
ィルタの配置パターンで、かつ第２の色フィルタの色と
異なる色の第３の色フィルタとを備え、第２の色フィル
タと第３の色フィルタを組み合わせて固着させてもよ
い。
【００３１】そして、ハニカム配置の互いに異なる３つ
の色フィルタの一の色フィルタに対して残りの２つの色
フィルタをともに画素ピッチ分だけずらして重複した空
間配置の色フィルタを形成するようにしてもよい。
【００３２】さらに、受光部が４つの場合、ハニカム配
置のパターンの第１の色フィルタと、この第１の色 フ
ィルタと画素ピッチ分だけずらして相補的な配置パター
ンにした第１の色フィルタに同色の第２の色フィルタと
を組み合わせて得られる正方格子状の配置パターンと、
第１の色フィルタと異なる色のハニカム配置のパターン
の第３の色フィルタと、この第３の色フィルタと画素ピ
ッチ分だけずらして相補的な配置パターンにし、かつ第
１および第３の色フィルタの色と異なる色の第４の色フ
ィルタとを組み合わせて得られる正方格子状の配置パタ
ーンを形成させるようにしてもよい。
【００３３】そして、固体撮像装置は、開口部がハニカ
ム配置された受光部と、この受光部を２次元平面内で縦
横に移動させる移動手段と、この移動手段による移動完
了毎に受光部で受光した被写体の画像情報を記録再生す
る記録再生手段と、受光部と被写体の間に配設される複
数の色フィルタの中から選択された色フィルタに切り換
える色フィルタ切換手段とを備え、この色フィルタ切換
手段は移動手段の移動中に色フィルタを切り換え、記録
再生手段は受光部が受光した画像情報を色フィルタの切
換え毎に記録し、記録された画像情報を用いて面順次的
に被写体の画像を生成することが望ましい。
【００３４】前述したようにハニカム配置の一構成とし
て、固体撮像装置は、被写界像を撮像面に投影させる光
学系と、この光学系を経た入射光を３つの原色がそれぞ
れの配列された単板による色フィルタ手段と、この色フ
ィルタ手段の直下に配された光電変換を行う受光素子
と、この受光素子からの撮像信号に基づいて受光素子の
空隙位置に対応する画素データを補間する信号処理を施
すとともに、補間された画素データを含む画素データか
ら輝度データおよび色データを生成するデータ処理手段
とを含み、色フィルタ手段の各色フィルタと前記受光素
子とを対応させるとともに、受光素子の幾何学的な撮像
面形状の中心同士の間隔をピッチとする際に受光素子が
相互に行方向および列方向にそれぞれピッチの半分ずら
した位置関係に配置される固体撮像装置において、デー
タ処理手段は、G 正方格子とこのG正方格子に対してピ
ッチの半分の距離だけずらしたRB完全市松パターンの色
フィルタ手段を介して得られるRGB の撮像信号をディジ
タル信号に変換するディジタル変換手段と、このディジ
タル変換手段からの出力に基づいて受光素子の存在する
位置における輝度データを作成する第１の輝度演算手段
と、この輝度演算手段からの水平および／または垂直方
向に位置する輝度データに基づいて受光素子の空領域を
仮想受光素子とした際にこの仮想受光素子における輝度
データを作成する第２の輝度演算手段と、この第２の輝
度演算手段で作成された輝度データと受光素子から得ら
れたRGB の各色データを用いて各色における画面全体の
プレーンデータを作成するプレーン演算手段と、このプ
レーン演算手段により作成されたプレーンデータを用い
て輝度データ、色差データを生成するマトリクス手段
と、このマトリクス手段からの出力に帯域制限を施すフ
ィルタ処理手段と、このフィルタ処理手段からの出力の
うちで輝度データに対して輪郭強調処理を施すアパーチ
ャ調整手段とを含むこと特徴とする。
【００３５】この構成により、装置の簡略化を図りなが
ら、信号処理を施すことによって得られる画像の品質を
一層高めることができる。
【００３６】ここで、第１の輝度演算手段は、作成する
対象の輝度データを画素データG と作成する対象の輝度
データをこの対象の輝度データの周囲に位置する画素デ
ータR, Bを用いた演算による算出あるいは水平方向およ
び垂直方向の色境界の判断による適応処理が考慮された
演算による算出が行われることが好ましい。
【００３７】また、第２の輝度演算手段は、供給される
輝度データにローパスフィルタ処理を施す手段を用いて
前記仮想受光素子のデータを生成することが望ましい。
これにより、実際の演算処理をハードウェアの素子に画
素データを流す処理で実現させることができる。従来の
演算処理に比べて装置の負担を軽減させることができ
る。
【００３８】より具体的な２板式の固体撮像装置では、
前述した固体撮像装置の構成にしながら、光学系は、被
写界像を少なくとも、２つの撮像面にそれぞれ投影さ
せ、撮像面を形成する受光素子を行方向と列方向で２次
元配列されるとともに、撮像面に投影された同一の被写
界像を空間的に重ね合わせた際に一方の２次元配列され
た受光素子と他方の２次元配列された受光素子の対応す
る幾何学的な撮像面形状の中心が行方向および列方向に
半ピッチずつずれた関係に配設し、色フィルタ手段は、
受光素子に対応してこの受光素子の前面に配置され、空
間的に重ね合わせた際に三原色RGB の色フィルタとなる
色配列が用いられていることが好ましい。
【００３９】より具体的な面順次方式の固体撮像装置で
は、前述した固体撮像装置の構成にしながら、被写界像
を一つの撮像面に投影させる光学系と、この光学系と受
光素子が２次元配列された受光素子との間に挿入される
色フィルタ手段を切り換える色フィルタ切換手段と、受
光素子が２次元配列された受光部を撮像面に平行な２次
元平面内で移動させる移動手段と、この移動手段により
受光部を複数回にわたって移動させながら、この移動の
都度、撮影した画像を面順次に記録する記録手段とを含
み、移動の都度、撮影した画像が一つ前に撮影した画像
に対して幾何学的な撮像面形状の中心を行方向および列
方向に半ピッチずつずらした関係が得られることが望ま
しい。
【００４０】本発明の固体撮像装置は、記録再生手段か
らの面データにおいて受光素子のずらし配置に伴う受光
素子の空領域を仮想受光素子とし、隣接する受光素子か
らのデータを基に正確な色再現重視、ならびに水平方向
および／または垂直方向の解像度の重視と各項目に応じ
た信号処理をそれぞれ信号処理手段で行って、個々の画
素データがもつ信号を生成する際の要素を質的に向上さ
せ、仮想受光素子を含めて画素データを増やして画素配
置を正方格子状に展開することにより、実際、従来より
少ない受光素子数でありながら、それぞれの重視した項
目に応じて容易に信号を高品質にできる。この高品質化
させた信号を用いた補間により、従来の限界と言われて
いた解像度以上の画像を提供する可能性を高めている。
【００４１】また、本発明は、入射光を異なる分光感度
特性を有する複数の色フィルタを介して受光素子に送る
ように開けられた開口部が２次元配列されているとき、
開口形状が正方格子あるいは多角形に形成された開口部
を一列ごとに垂直方向にあるいは一行ごとに水平方向に
ずらされた開口部、あるいは正方格子を45°回転させた
開口形状あるいは多角形の開口形状を有する開口部を介
して受光素子で受光し、受光素子を画素として扱い、受
光によって得られた２次元の画素データを基に画像信号
にしこの画像信号に信号処理を施す信号処理方法であっ
て、受光素子により得られた信号にガンマ変換を施すガ
ンマ変換工程と、このガンマ変換工程での処理を受けた
信号をディジタルデータに変換するディジタル変換工程
と、このディジタル変換工程後の画素データを記憶する
データ記憶工程とを含み、さらに、データ記憶工程で記
憶された画素データを読み出し、かつ読み出した画素デ
ータに対して受光素子のずらし配置に伴う受光素子の空
領域を仮想受光素子とし、隣接する受光素子からの画素
データを基に水平方向および／または垂直方向に正確な
色再現重視、ならびに解像度の重視と各項目に応じた画
素データをそれぞれ生成する画素データ生成工程と、こ
の画素データ生成工程で得られる成分信号を基に求めた
画像信号を広帯域化させる広帯域化工程とを有すること
を特徴とする。
【００４２】ここで、画素データ生成工程は、受光素子
のずらし配置に伴う受光素子からの画素データを基に水
平方向および／または垂直方向に正確な色再現を重視し
て演算処理を施す色再現重視工程と、画素データを基に
水平方向および／または垂直方向の解像度を重視して演
算処理を施す解像度重視工程とを含ませるとよい。
【００４３】広帯域化工程は、色再現が考慮された成分
信号と解像度を重視した成分信号を擬似周波数的に加算
する擬似加算処理工程と、この画素データ生成工程で水
平方向および垂直方向の両解像度を重視する際に共通す
る周波数帯の重複を防止する帯域重複防止工程とを含ま
せるとよい。
【００４４】擬似加算処理工程は、画素データ生成工程
で生成された解像度が重視される周波数帯までの第１の
成分信号から前記第１の成分信号の周波数帯よりも低域
の色再現を考慮した第２の成分信号を減算する減算工程
と、この減算工程からの出力と第１の成分信号に対して
それぞれ折り返し歪みを防ぐ処理を施す歪み防止工程
と、この歪み防止工程を経た各出力を加算する第２の加
算工程とを含ませることが望ましい。
【００４５】帯域重複防止工程は、水平方向および垂直
方向の成分信号内のいずれか一方の成分信号の共通する
周波数帯に対して帯域制限を施す帯域制限工程と、この
帯域制限工程で帯域制限された出力と共通した周波数帯
を含む他方向の成分信号とを加算する加算処理工程とを
含むことが好ましい。
【００４６】画素データ生成工程は、データ記憶工程で
記憶された画素データを読み出して色フィルタの色に対
応して演算処理する際に、３行２列のエリアにある画素
データからRBあるいはGG間の仮想受光素子位置の画素デ
ータを補間し、かつ５行２列のエリアにある画素データ
からR あるいはB の画素データを算出するとともに、G
の画素はそのままの画素データを用いる低域成分を生成
する色再現重視工程と、５行１列のエリアにある画素デ
ータに重み付け演算を行ってエリア中央に位置する画素
データを算出し、かつ３行１列のエリアにある画素デー
タからエリア中央の仮想受光素子位置の画像データの補
間を行うとともに、G の画素はそのままの画素データを
用いて水平方向の高域成分を生成する水平解像度重視工
程と、記憶された画素データの読み出しを組み換えて読
み出された画素データに対して水平方向の高域成分と同
じ補間処理を施して垂直方向の高域成分を生成する垂直
解像度重視工程とを含むことが好ましい。
【００４７】水平／垂直解像度重視工程は、画素データ
のうちで前記色フィルタのR,B に対応する画素データを
そのまま用い、仮想受光素子位置の画素データを隣接す
る行あるいは列の画素データに重み付けして補間処理を
行うことが望ましい。
【００４８】また、解像度重視工程は、画素データのう
ちで色フィルタのG に対応する４つの画素データだけを
用いて画素データに対する相関を検出する第１の相関検
出工程と、この第１の相関検出工程により得られる相関
値の大きい画素データを用いて直線補間する第１の直線
補間工程とを繰り返し、さらに、第１の直線補間工程で
得られた画素データを含めた３つの画素データで囲まれ
る仮想受光素子の位置の画素データに対する相関検出を
行う第２の相関検出工程と、この第２の相関検出工程の
処理結果に応じて直線補間を行う第２の直線補間工程と
を繰り返すとよい。
【００４９】第２の直線補間工程には、第１の直線補間
工程で得られた画素データを含めた３つの画素データで
囲まれる仮想受光素子の位置の画素データに対して４つ
の画素データを平均して補間を行う平均補間工程を用い
てもよい。
【００５０】画素データ生成工程は、水平方向および／
または垂直方向の高域成分を生成する解像度重視工程
と、色フィルタに対応する三原色R,G,B の各色に着目し
仮想受光素子の位置の色データも含めた面データとして
色再現を考慮してそれぞれ補間展開する際に、水平方向
の補間には三原色R,G,B の着目対象の色を含む行に対し
て画素データを重み付け平均して補間し、かつ着目対象
の色と異なる色を含む行に対して隣接する行の画素デー
タを平均して補間する水平プレーン補間展開工程と、垂
直方向の補間には前記三原色R,G,B の着目対象の色を含
む列に対して画素データを重み付け平均して補間し、か
つ着目対象の色と異なる色を含む列に対して隣接する列
の画素データを平均して補間する垂直プレーン補間展開
工程とを含み、さらに、水平および／または垂直プレー
ン補間展開工程の展開結果に基づいて色差および輝度デ
ータを生成する色差マトリクス生成工程と、この色差マ
トリクス工程で生成された輝度データに前記水平方向お
よび／または垂直方向の解像度の重視の高域処理工程か
ら生成された輪郭を強調する成分信号を加算する輪郭強
調工程とを含むようにしてもよい。
【００５１】また、信号処理方法には、広帯域化工程の
後に復調された三原色R,G,B の信号を用いて補間処理を
行う展開補間工程を含ませるようにしてもよい。
【００５２】画素データ生成工程は、R あるいはB にお
いて既知の２点の画素データと補間するR あるいはB の
画素データで形成する三角形に同じ位置関係にG の画素
データがあり、かつそれぞれ３つの画素データの重み付
き平均を等しいとして補間するR あるいはB の画素デー
タを求めてもよい。
【００５３】より好ましい信号処理方法としては、被写
界像を用意した光学系により撮像面に投影させ、この光
学系を経た入射光を単板内に配列された色フィルタによ
り３つの原色に色分解して、この色分解された透過光を
光電変換させて撮像信号を求めた後、この撮像信号に基
づいて予め用意された受光素子に対してその空隙位置で
の画素データを補間する信号処理を施すとともに、補間
された画素データを含む画素データから輝度データおよ
び色データを生成するデータ処理工程とを含み、色フィ
ルタと受光素子とを対応させるとともに、受光素子の幾
何学的な撮像面形状の中心同士の間隔をピッチとする際
に受光素子が相互に行方向および列方向にそれぞれピッ
チの半分ずらした位置関係で得られる画素データに施す
信号処理方法において、データ処理工程は、G 正方格子
とこのG 正方格子に対してピッチの半分の距離だけずら
したRB完全市松パターンの色フィルタを介して得られる
RGB の撮像信号をディジタル信号に変換するディジタル
変換工程と、このディジタル変換工程により得られた画
素データに基づいて受光素子の存在する位置における輝
度データを作成する第１の工程と、この第１の工程によ
り得られた輝度データに基づいて受光素子の空領域を仮
想受光素子とした際にこの仮想受光素子における輝度デ
ータを水平・垂直方向あるいは垂直・水平方向の順に作
成する第２の工程と、この第２の工程で作成された輝度
データと受光素子から得られたRGB の各色データを用い
て各色における画面全体のプレーンデータを作成するプ
レーン作成工程と、このプレーン作成工程により作成さ
れたプレーンデータを用いて輝度データ、色差データを
生成するマトリクス生成工程と、このマトリクス生成工
程から得られた輝度データ、色差データに帯域制限を施
すフィルタ処理工程と、このフィルタ処理工程で処理さ
れた輝度データに対して輪郭強調処理を施すアパーチャ
調整工程とを含むことを特徴とする。
【００５４】ここで、第１の工程は、G 正方格子とこの
G 正方格子に対してピッチの半分の距離だけずらしたRB
完全市松パターンにより得られるG の画素データを含
み、Gの画素データの周囲から得られるR の画素データ
とB の画素データから輝度データを作成する際に、R の
画素データとB の画素データのいずれか一方の画素デー
タを輝度データの作成対象にする場合、この作成対象の
画素データを半分にした作成対象の半値データと、この
作成対象の周囲に最も近傍、かつ等距離に位置する他方
の画素データを加算し、この加算結果を加算した画素デ
ータの個数を倍した値で割った周囲画素データとから実
際に用意された受光素子の位置における輝度データを算
出することが好ましい。
【００５５】また、第２の工程は、仮想画素受光素子に
対応する位置の画素データを水平方向に関して補間する
際に、補間する画素データに対応する乗算係数を乗算す
る第０段の水平工程を行うとともに、この補間する画素
データの左右両側に隣接するデータを加算し、この加算
結果に乗算係数を乗算する第１段の水平工程と、各段で
第１段の工程と同様にこの補間する画素データから水平
方向に等距離に位置する画素データに対応する乗算係数
を乗算する水平工程をｎ段繰り返し、第０段の水平工
程、第１段の水平工程以降に繰り返された乗算結果すべ
てを加算して補間画素データを生成する水平補間工程
と、この水平補間工程により得られた画素データを用い
て対象とする位置の画素データを生成する際に、垂直方
向に位置する画素データに対応する乗算係数を乗算し、
得られた乗算結果をすべて加算して垂直方向のローパス
処理を行う垂直処理工程とを含むことが望ましい。
【００５６】さらに、第１の工程は、輝度データの算出
処理を行う前に、水平方向および垂直方向の第１相関値
をそれぞれ算出し、第１の所定の値と各算出結果をそれ
ぞれ比較し、この比較した結果が水平方向に相関がある
と判断した際に、輝度データの算出を水平方向の画素デ
ータを用いて加算し、この加算結果を加算した画素デー
タの個数を倍した値で割って周囲画素データとする水平
輝度算出工程と、この比較した結果が垂直方向に相関が
あると判断した際に、輝度データの算出を垂直方向の画
素データを用いて加算し、この加算結果を加算した画素
データの個数を倍した値で割って周囲画素データとする
垂直輝度算出工程と、この比較した結果が水平方向の相
関値および垂直方向の相関値が所定の値より小さいと
き、周囲画素データをこの作成対象の周囲に最も近傍、
かつ等距離に位置する他方の画素データを加算し、この
加算結果を加算した画素データの個数を倍した値で割っ
て算出する平均輝度算出工程とを含み、作成対象の画素
データの半値と、水平輝度算出工程、垂直輝度算出工
程、および平均輝度算出工程のいずれか一つから得られ
る周囲画素データとから輝度データのパターンを作成す
ることが有利である。
【００５７】また、輝度データの算出処理にあたり、第
１の工程は、輝度データの算出処理を行う前に、水平方
向および垂直方向の第１相関値をそれぞれ算出し、第１
の所定の値と各算出結果をそれぞれ比較し、この比較結
果に応じて水平輝度算出工程あるいは垂直輝度算出工程
を行うとともに、画素データR あるいは画素データBの
うち、一方の画素データを作成対象の輝度データとした
際に、この作成対象の輝度データを介して水平方向に位
置する他方の画素データとこの作成対象の輝度データを
用いてそれぞれ得られた相関値を加算し、水平方向およ
び垂直方向の第２相関値をそれぞれ算出し、第２の所定
の値と各算出結果をそれぞれ比較し、この比較した結果
が水平方向に相関があると判断に応じて行う水平輝度算
出工程と、この比較した結果が垂直方向に相関があると
判断に応じて行う垂直輝度算出工程と、この比較した結
果がいずれの相関とも異なる際に行う平均輝度算出工程
とを含み、作成対象の半値データと、水平輝度算出工
程、垂直輝度算出工程、および平均輝度算出工程のいず
れか一つから得られる周囲画素データとから輝度データ
のパターンを作成することが有利である。
【００５８】上述した方法において、さらに第１の工程
には、画素データG の対角位置の画素データを加算し、
この加算結果の差の絶対値により得られた値が第３の所
定の値以上の場合、周囲画素データの算出を平均輝度算
出工程で行うとよい。
【００５９】第１の工程は、輝度データの算出処理を行
う前に、輝度データを算出する画素データに対して対角
位置に位置する同色の画素データの差からそれぞれ右斜
め方向および左斜め方向の第１相関値を算出し、第４の
所定の値と各算出結果をそれぞれ比較し、この比較した
結果が右斜め方向に相関があると判断した際に、右斜め
方向の第１相関値の算出に用いた画素データを加算し、
この加算結果を加算した画素データの個数を倍した値で
割って周囲画素データとする右斜め輝度算出工程と、こ
の比較した結果が左斜め方向に相関があると判断した際
に、左斜め方向の第１相関値の算出に用いた画素データ
を加算し、この加算結果を加算した画素データの個数を
倍した値で割って周囲画素データとする左斜め輝度算出
工程と、この比較した結果が前記右斜め方向の第１相関
値および左斜め方向の第１相関値が第４の所定の値より
小さいとき、相関値の算出に用いた同色の画素データを
すべて加算し、この加算結果を加算した画素データの個
数を倍した値で割って算出する平均輝度算出工程とを含
み、作成対象の画素データの半値と、右斜め輝度算出工
程、左斜め輝度算出工程、および平均輝度算出工程のい
ずれか一つから得られる前記周囲画素データとの加算か
ら輝度データのパターンを作成することが好ましい。
【００６０】また、第１の工程は、輝度データの算出処
理を行う前に、第４の所定の値と右斜め方向および左斜
め方向の第１相関値の算出結果をそれぞれ比較し、作成
対象の画素データの半値と、右斜め輝度算出工程および
左斜め輝度算出工程のいずれか一方の算出したデータと
を加算する場合と、さらに、この場合に加えて、輝度デ
ータを算出する画素データに対して対角位置に位置する
異色の画素データの差からそれぞれ右斜め方向および左
斜め方向の第２相関値を算出し、新たに設定する第５の
所定の値と右斜め方向および左斜め方向の第２相関値の
算出結果をそれぞれ比較し、この比較した結果が右斜め
方向に相関があると判断した際に、右斜め方向の第２相
関値の算出に用いた異色の画素データで演算し、この演
算結果を演算に用いた画素データの個数を倍した値で割
って周囲画素データとする右斜め輝度演算工程と、この
比較した結果が左斜め方向に相関があると判断した際
に、左斜め方向の第２相関値の算出に用いた異色の画素
データで演算し、この演算結果を演算に用いた画素デー
タの個数を倍した値で割って周囲画素データとする左斜
め輝度演算工程と、この比較した結果が右斜め方向の第
２相関値および左斜め方向の第２相関値が前記第５の所
定の値より小さいとき、第２相関値の算出に用いた異色
の画素データで演算し、該演算結果を演算に用いた画素
データの個数を倍した値で割って算出する平均輝度演算
工程とを含み、作成対象の画素データの半値と、右斜め
輝度演算工程、左斜め輝度演算工程、および平均輝度演
算工程のいずれか一つから得られる前記周囲画素データ
との加算から輝度データのパターンを作成することがよ
り好ましい。
【００６１】さらに規定する用語を説明する。前述した
水平および垂直方向の第１相関値は、それぞれ輝度デー
タ作成対象画素を挟んで水平方向に配される異色の画素
データ同士の差の絶対値および輝度データ作成対象画素
を挟んで垂直方向に配される異色の画素データ同士の差
の絶対値で表すことができる。また、水平方向および垂
直方向の第２相関値は、それぞれ輝度データ作成対象画
素を挟んで水平方向に配される一方の異色の画素データ
とこの作成対象画素の輝度データとの差の絶対値および
他方の異色の画素データと該作成対象画素の輝度データ
との差の絶対値の加算値ならびに輝度データ作成対象画
素を挟んで垂直方向に配される一方の異色の画素データ
との差の絶対値および他方の異色の画素データとこの作
成対象画素の輝度データとの差の絶対値の加算値で表す
ことができる。
【００６２】そして、右斜め方向および左斜め方向の第
１相関値ならびに第２相関値は、供給される各画素位置
を算出の前に45°回転させた位置に回転移動させた後に
水平方向および垂直方向の第１相関値ならびに第２相関
値として算出し、所定の値との比較をそれぞれ行って対
応する輝度データの算出を行い、この算出の後に、得ら
れた輝度データを回転移動前の位置に戻すようにしても
よい。
【００６３】第２相関値は、第１相関値の算出に用いた
画素データよりも作成対象画素に近い位置の画素データ
を算出に用いることが好ましい。
【００６４】第１の工程は、光学系により被写界像を少
なくとも、受光素子が２次元配列された受光部で形成さ
れる２つの撮像面にそれぞれ投影させ、行方向と列方向
で２次元配列に配置した受光素子が形成する撮像面の配
設を一方の２次元配列された受光素子と他方の２次元配
列された受光素子において対応する幾何学的な撮像面形
状の中心が行方向および列方向に半ピッチずつずれた関
係にし、この受光素子に対応してこの受光素子の前面に
用意する三原色RGB に色分解するフィルタの色配列を介
してこの２つの撮像面に投影された同一の被写界像を空
間的に重ね合わせる工程により得られた画素データを用
いることが有利である。
【００６５】第１の工程は、用意した２次元配列された
受光素子との間に色分解するフィルタを切り換えるフィ
ルタ切換工程と、受光素子が２次元配列された受光部で
形成される撮像面に平行な２次元平面内を複数回にわた
って移動させる移動工程と、この移動工程による移動毎
に得られる被写界像を面順次に記録する記録工程とを行
ってこれらの手順により得られる画素データを用い、移
動の都度、撮影した画像が一つ前に撮影した画像に対し
て幾何学的な撮像面形状の中心を行方向および列方向に
半ピッチずつずらした関係が得られることが好ましい。
【００６６】プレーン作成工程は、ディジタル変換工程
によりG 正方格子とこのG 正方格子に対してピッチの半
分の距離だけずらしたRB完全市松パターンにおける実在
の受光素子に対応して得られた各色の画素データと、第
２の工程により作成された輝度データを用い、画素デー
タのG のプレーン補間には、補間対象画素に対して水平
方向および／または垂直方向に隣接して存在する実際に
得られた画素データGの平均と補間対象画素に対して水
平方向および／または垂直方向に隣接している輝度デー
タの加算平均との差に補間対象画素の位置に対応する輝
度データを加算して得られる工程と、画素データのR の
プレーン補間には、補間対象画素に対して斜め方向に隣
接して存在する実際に得られた画素データR の平均と補
間対象画素に対して斜め方向と同方向に隣接している輝
度データの加算平均との差に補間対象画素の位置に対応
する輝度データを加算して得られる第１のR 工程と、補
間対象画素の残る色R に対する画素データR をこの第１
のR 工程により得られた、等距離に位置する画素データ
の加算平均とこの等距離に位置する輝度データの加算平
均との差に補間対象画素の残る色R に対する輝度データ
を加算して得られる第２のR 工程と、さらに補間対象画
素の残る色R に対する画素データR を最近傍に位置する
第１、第２の工程および実際に得られた画素データR の
加算平均とこの加算平均に用いた画素に対応する輝度デ
ータの加算平均との差に補間対象画素の位置に対応する
輝度データを加算して得られる第３のR 工程とを含み、
さらに、画素データのB のプレーン補間には、補間対象
画素に対して斜め方向に隣接して存在する実際に得られ
た画素データB の加算平均と補間対象画素に対して斜め
方向と同方向に隣接している輝度データの加算平均との
差に補間対象画素の位置に対応する輝度データを加算し
て得られる第１のB 工程と、補間対象画素の残る色B に
対する画素データB をこの第１のB 工程により得られ
た、等距離に位置する画素データの加算平均とこの等距
離に位置する輝度データの加算平均との差に補間対象画
素の残る色B に対する輝度データを加算して得られる第
２のB 工程と、さらに補間対象画素の残る色B に対する
画素データB を最近傍に位置する第１、第２の工程およ
び実際に得られた画素データB の加算平均とこの加算平
均に用いた画素に対応する輝度データの加算平均との差
に補間対象画素の位置に対応する輝度データを加算して
得られる第３のB 工程とを含むことが好ましい。
【００６７】本発明の信号処理方法は、隣接する受光素
子からの画素データを基に正確な色再現重視、および水
平方向および／または垂直方向の解像度の重視と各項目
に応じた画素データをそれぞれ生成し（画素データ生成
工程）、生成した成分信号を基に画素データの広帯域化
を図り（広帯域化工程）、得られたデータを基に仮想受
光素子の画素データを補間して正方格子状に画素データ
を増やすことにより、実際、従来より少ない受光素子数
でありながら、それぞれの重視した項目に応じて容易に
信号を高品質にできる。この高品質化させた信号を用い
て補間することにより、解像度限界以上の画像提供の可
能性を高めている。
【００６８】また、別な表現によれば、以下のように特
徴付けられる。本発明の固体撮像装置は、被写体像を撮
像面に投影させる光学系と、光学系を介して供給される
入射光を三原色RGB に色分解する原色フィルタが所定の
配置に配された単板の色分解手段からの透過光を撮像面
を形成する複数の受光素子での受光により光電変換を行
う撮像手段と、この撮像手段から全画素読出しされた撮
像信号をディジタルに変換した後、この変換された画素
データに信号処理を施して輝度信号を生成する信号処理
手段とを有する固体撮像装置において、色分解手段の前
記原色フィルタと受光素子とが個々に対をなし、かつ受
光素子は、同一の行および列方向に配される受光素子と
ともに、この受光素子間のピッチに対してそれぞれ半ピ
ッチずれた位置に前記受光素子の幾何学的な中心部が配
され、所定の配置には、色G の４つで正方格子を形成
し、この正方格子の一の色G に対してその周囲に色R, B
が市松状に配されたG 正方RB完全市松パターンを用い、
信号処理手段は、色G に対応して得られた画素データを
輝度データにそのまま用い、色R, Bには、色R, Bの画素
データを用いるとともに、これらの画素データの加算平
均の関係から求める色の輝度データを算出する第１演算
手段と、この第１演算手段で得られた輝度データを基に
受光素子間の幾何学的な中央に位置する仮想画素に対す
る輝度データの補間および三原色RGB のうち、存在する
受光素子から得られる色の他の２つの色に対する補間を
行う第２演算手段とを含むことを特徴とする。
【００６９】ここで、第１演算手段は、色R, Bの画素デ
ータを用いて色R, Bのいずれか一方の色の輝度データを
求める際に、算出する色を一方の色としてその半値を算
出し、この半値と、他方の色と同色のこの一方の色の周
囲に配される４つの画素データの平均値の半値とを加算
から求める色の輝度データを算出することが好ましい。
【００７０】また、第１演算手段は、色G の正方格子の
中心に位置する色R, Bの輝度データを算出する際に、こ
の算出する輝度データの色と同色の４つの画素データの
うち、水平方向の画素データの差分値の絶対値と、垂直
方向の画素データの差分値の絶対値とを基に演算を行い
この演算結果と所定の第１判定値から水平方向および垂
直方向のいずれか一方の方向に相関があるか検出する第
１相関検出手段と、色G の正方格子を用いて、一方の水
平方向の画素データの差分値の絶対値および他方の水平
方向の画素データの差分値の絶対値の加算値と、一方の
垂直方向の画素データの差分値の絶対値および他方の垂
直方向の画素データの差分値の絶対値の加算値との差に
基づいて演算を行いこの演算結果と所定の第２判定値か
ら水平方向および垂直方向のいずれか一方の方向に相関
があるか検出する第２相関検出手段とを含み、第１およ
び第２相関検出手段の結果に応じて求める色の輝度デー
タを算出することが望ましい。
【００７１】相関検出は、水平方向や垂直方向に限ら
ず、斜め方向に行ってもよく、第１演算手段は、色G の
正方格子の中心に位置する色R, Bの輝度データを算出す
る際に、この算出する輝度データの色と同色の４つの画
素データのうち、右斜め方向の画素データの差分値の絶
対値と、左斜め方向の画素データの差分値の絶対値とを
基に演算を行いこの演算結果と所定の第３判定値の比較
からどちらの斜め方向に相関があるか検出する第３相関
検出手段と、色G の正方格子を用いて、輝度算出画素を
挟んで右斜め方向の両端に位置する色G の画素データの
差分値の絶対値と、輝度算出画素を挟んで左斜め方向の
両端に位置する色G の画素データの差分値の絶対値との
差分値とを算出し、この算出した値と所定の第４判定値
の比較からどちらの斜め方向に相関があるか検出する第
４相関検出手段とを含み、第３および第４相関検出手段
の結果に応じて求める色の輝度データを算出することが
好ましい。
【００７２】ところで、撮像手段は、撮像信号の読出し
をインターレースまたはX,Y アドレス方式で読み出すよ
うにしてもよい。
【００７３】この固体撮像装置は、光学系からの入射光
を複数の方向に分光する分光手段と、この分光手段が分
光する方向の数に応じて複数の種類の三原色RGB の色フ
ィルタ配置を各撮像手段の前に配するとともに、各原色
フィルタ配置を重ね合わせた際にG 正方RB完全市松パタ
ーンとなる色分解手段とを含むことが好ましい。これに
より、２板方式の固体撮像装置を提供する。
【００７４】また、面順次方式の固体撮像装置は、受光
素子が該受光素子の幾何学的な中心がすべて行および列
方向に正方配置された撮像手段と、この撮像手段を空間
的に行および／または列方向に移動させる移動手段と、
この移動手段による撮像手段の移動に伴い撮像手段の前
面に配される色分解手段の色フィルタを切り換えるフィ
ルタ切換手段と、移動手段の移動およびフィルタ切換手
段の切換え毎に信号処理手段から供給される信号を被写
体像の画像として記録する記録手段とを含み、フィルタ
切換手段の切換え毎に得られる被写体像を空間的に重ね
合わせた際にG正方RB完全市松パターンで得られた画像
になる面順次方式を用いることが好ましい。
【００７５】これら固体撮像装置の構成は、被写界像を
光学系および前記撮像手段を介して撮像して得られた画
像データまたはこの画像データが記録された記録媒体か
らの再生データを基に信号処理手段の第１および第２演
算手段により輝度データの生成を行う画像処理装置に用
いて有利である。これらの受光素子の開口形状は、信号
電荷の有効な転送路を確保するために従来から主に用い
られてきている正方格子状にはならない可能性が大き
い。
【００７６】さらに、色フィルタの配置パターンに依存
する信号処理の点に着目すると、前述した信号処理は、
G ストライプRB完全市松パターンの色フィルタが適用し
た際にも有効であることが判る。この場合の受光素子の
開口形状は、正方格子状になる。このようなことに鑑み
て、新たな固体撮像装置を提案する。本発明の固体撮像
装置は、被写体像を撮像面に投影させる光学系と、光学
系を介して供給される入射光を三原色RGB に色分解する
原色フィルタが所定の配置に配された単板の色分解手段
からの透過光を前記撮像面を形成する複数の受光素子で
の受光により光電変換を行う撮像手段と、この撮像手段
から全画素読出しされた撮像信号をディジタルに変換し
た後、この変換された画素データに信号処理を施して輝
度信号を生成する信号処理手段とを有する固体撮像装置
において、色分解手段の原色フィルタと受光素子とが個
々に対をなし、かつ受光素子は、行および列方向に正方
配置で２次元的に配され、所定の配置には、色G が列方
向にストライプを形成し、このストライプの色G の間に
色R, Bが交互に配されて完全な市松状を形成するGスト
ライプRB完全市松パターンを用い、信号処理手段は、色
G に対応して得られた画素データを輝度データにそのま
ま用い、色R, Bには、色R, Bの画素データを用いるとと
もに、これらの画素データの加算平均の関係から求める
色の輝度データを算出する第３演算手段と、この第３演
算手段で得られた輝度データを基に三原色RGB のうち、
存在する受光素子から得られる色の他の２つの色に対す
る補間を行う第４演算手段とを含むことを特徴とする。
【００７７】ここで、第３演算手段は、色R, Bの画素デ
ータを用いて色R, Bのいずれか一方の色の輝度データを
求める際に、算出する色を一方の色としてその半値を算
出し、この半値と、他方の色およびこの一方の色と同色
の周囲に配される４つの画素データの平均値の半値とを
加算から求める色の輝度データを算出することが好まし
い。
【００７８】第３演算手段は、色R またはB が形成する
格子の画素データを用いてこの格子の中心に位置する輝
度データを算出する際に、この算出する輝度データの色
と４つの画素データのうち、水平方向の異色の画素デー
タの差分値の絶対値と、垂直方向の同色の画素データの
差分値の絶対値とを基に演算を行いこの演算結果と所定
の第５判定値から水平方向および垂直方向のいずれか一
方の方向に相関があるか検出する第５相関検出手段と、
色G の正方格子を用いて、一方の水平方向の画素データ
の差分値の絶対値および他方の水平方向の画素データの
差分値の絶対値の加算値と、一方の垂直方向の画素デー
タの差分値の絶対値および他方の垂直方向の画素データ
の差分値の絶対値の加算値との差に基づいて演算を行い
この演算結果と所定の第６判定値から水平方向および垂
直方向のいずれか一方の方向に相関があるか検出する第
６相関検出手段とを含み、第５および第６相関検出手段
の結果に応じて求める色の輝度データを算出することが
望ましい。
【００７９】また、第３演算手段は、色G が形成する正
方格子の中心に位置する色R, Bの輝度データを算出する
際に、この算出する輝度データの色と異色の４つの画素
データのうち、右斜め方向の画素データの差分値の絶対
値と、左斜め方向の画素データの差分値の絶対値とを基
に演算を行いこの演算結果と所定の第７判定値の比較か
らどちらの斜め方向に相関があるか検出する第７相関検
出手段と、色G が形成する正方格子を用いて、輝度算出
画素を挟んで右斜め方向の両端に位置する色Gの画素デ
ータの差分値の絶対値と、輝度算出画素を挟んで左斜め
方向の両端に位置する色G の画素データの差分値の絶対
値との差分値とを算出し、この算出した値と所定の第８
判定値の比較からどちらの斜め方向に相関があるか検出
する第８相関検出手段とを含み、第７および第８相関検
出手段の結果に応じて求める色の輝度データを算出する
ことが好ましい。
【００８０】撮像手段は、撮像信号の読出しをインター
レースまたはX,Y アドレス方式で読み出すとよい。
【００８１】この固体撮像装置は、光学系からの入射光
を複数の方向に分光する分光手段と、この分光手段が分
光する方向の数に応じて複数の種類の三原色RGB の色フ
ィルタ配置を各撮像手段の前に配するとともに、各原色
フィルタ配置を重ね合わせた際にG ストライプRB完全市
松パターンとなる色分解手段とを含むことが望ましい。
これにより、２板式固体撮像装置が提供される。
【００８２】面順次方式の固体撮像装置は、受光素子が
この受光素子の幾何学的な中心がすべて行および列方向
に正方配置された撮像手段と、この撮像手段を空間的に
行および／または列方向に移動させる移動手段と、この
移動手段による撮像手段の移動に伴い撮像手段の前面に
配される色分解手段の色フィルタを切り換えるフィルタ
切換手段と、移動手段の移動および前記フィルタ切換手
段の切換え毎に信号処理手段から供給される信号を被写
体像の画像として記録する記録手段とを含み、フィルタ
切換手段の切換え毎に得られる被写体像を空間的に重ね
合わせた際にGストライプRB完全市松パターンで得られ
た画像にすることができる。
【００８３】これら固体撮像装置の構成は、被写界像を
光学系および撮像手段を介して撮像して得られた画像デ
ータまたはこの画像データが記録された記録媒体からの
再生データを基に信号処理手段の第３および第４演算手
段により輝度データの生成を行う画像処理装置に用いて
もよい。
【００８４】
【発明の実施の形態】次に添付図面を参照して本発明に
よる固体撮像装置および信号処理方法の実施例を詳細に
説明する。
【００８５】本発明の固体撮像装置は、たとえば、全画
素読出しが行われるディジタルスチルカメラ、ビデオカ
メラ等の画像入力装置に用いて好適で、特に、撮像によ
り得られた信号を広帯域な信号にして提供する特徴を有
している。この固体撮像装置の複数の実施例について図
１〜図64を参照しながら説明する。
【００８６】第１の実施例の固体撮像装置10は、図示し
ない光学系を介して供給される入射光を電気信号に変換
する撮像部11、および撮像部11からの信号にカラー信号
処理を施すカラー信号処理部12を有している（図１を参
照）。
【００８７】本実施例において、撮像部11は、入射する
光を光電変換する受光素子PDに隣接した受光素子PDが垂
直方向および／または水平方向にずらされて２次元配置
された受光部11a と、この受光部11a の前面に形成され
た開口部APを迂回するように配置され、かつ受光素子PD
からの信号を取り出す電極ELと、この電極ELを介して供
給される信号を受光部11の垂直方向に順次転送する垂直
転送レジスタVTrR1 〜VTrR4 とを備えている。
【００８８】垂直転送レジスタVTrR1 〜VTrR4 は、供給
される垂直転送駆動信号V1〜V4に応じて信号を転送して
いる。撮像部11の受光素子PDの各開口部上には異なる分
光感度特性の複数の色フィルタCFが備えられている（図
６を参照）。撮像部11からの信号読出しは、２線の並列
読出しで行う。色フィルタCFおよび開口部APについては
後段で詳述する。
【００８９】カラー信号処理部12は、ガンマ変換部12a,
A/D変換部12b,および信号処理部12c を備えている。ガ
ンマ変換部12a は、撮像部11の複数の垂直転送レジスタ
からそれぞれ得られる信号にガンマ補正、いわゆるガン
マ変換を施す。A/D 変換部12b はガンマ変換部12a から
の出力をディジタルデータに変換する。固体撮像装置10
においてA/D 変換部12b 以後で取り扱う信号は、すべて
ディジタルデータである。本発明の実施例では、便宜
上、信号や成分信号という語句を用いるがディジタルで
ある。A/D 変換部12b は、変換した２次元のディジタル
データを面データとして信号処理部12c に出力する。
【００９０】信号処理部12c は、供給される面データの
内、隣接する受光素子からのデータを基に正確な色再現
重視、ならびに水平方向および／または垂直方向の解像
度の重視と各項目に応じた信号処理をそれぞれ行ってい
る。これらの信号処理を行うため、信号処理部12c は、
図２に示すように演算処理部121,擬似周波数加算部122,
および周波数重複防止部123 を備えている。
【００９１】演算処理部121 は、受光素子のずらし配置
に伴う受光素子の空領域を仮想受光素子（以下、仮想画
素という）とし、隣接する受光素子からのデータを基に
正確な色再現重視、ならびに水平方向および／または垂
直方向の解像度の重視と各項目に応じて演算処理を行っ
ている。このため、演算処理部121 には、高域成分生成
機能部121a, 低域成分生成機能部121b, および低域色差
成分生成機能部121c,121dが備えられている。ここで、
色再現が考慮された成分信号(YL)は、解像度を重視した
成分信号(YH)に比べて周波数的に低い低域成分になって
いる。この演算処理部121 は、たとえば、Yh・Ylow 作成
法を用いて生の画素データから各画素のデータYh, Ylow
をそれぞれ生成する。このデータYh, Ylowの生成時に正
方格子状に画素の展開を行って、入力データの空な仮想
画素についての補間処理も行っている。演算処理部121
は、低域色差信号生成機能部121c, 121dで色差信号(R-
Y)L, (B-Y)Lについての演算処理も行う。このようにし
て得られたデータは、上述した２つの成分信号(YH, YL)
および低域の色差信号(R-Y)L, (B-Y)Lとして擬似周波数
加算部122 に出力される。演算処理部121 におけるこの
演算処理については後段で詳述する。
【００９２】擬似周波数加算部122 は、図３に示すよう
に、加算器122a, アンチエリアシングフィルタ部122b,
および加算器122cを備えている。加算器122aには、演算
処理部121 から供給される成分信号(YH)を一端側に減算
入力させ他端側に成分信号(YL)を加算入力させてアンチ
エリアシングフィルタ部122bに出力する。アンチエリア
シングフィルタ部122bには、加算器122aの他に高域成分
の信号(YH)、低域色差信号生成部121b, 122cから低域の
色差信号(R-Y)L, (B-Y)Lがそれぞれ供給されている。
【００９３】アンチエリアシングフィルタ部122bは、供
給される成分信号にそれぞれ折り返し歪みが生じないよ
うにディジタルフィルタを適用してローパスフィルタ処
理を施している。また、アンチエリアシングフィルタ部
122bは、図３に示すように低域の色差信号(R-Y)L, (B-
Y)Lに対してもディジタルフィルタを用いてローパスの
フィルタ処理を行っている。アンチエリアシングフィル
タ部122bは、ローパスフィルタ処理された高域成分信号
(YH)と低域成分信号(YL)を加算器122cに加算入力する。
【００９４】擬似周波数加算部122 は、周波数アロケー
ションを図４に示すと、加算器122aの出力(YL-YH)
low（図４(a) を参照）と供給される高域成分信号(YH)
（図４(b)を参照）とを加算器122cに供給して加算する
ことにより、加算器122cからの出力を(YL-YH)low+YH
（図４(c) を参照）にしている。ここで、(YL-YH)lowで
の添字「low 」は、ローパスフィルタを通ったことを示
している。擬似周波数加算部122 は、演算処理部121 か
ら出力される成分信号(YL), (YH)とを擬似周波数的に加
算している。この加算により、輝度信号の広帯域化が図
られる。図２や図３の擬似周波数加算部122 に供給され
る各成分信号は、それぞれ画像の水平方向／垂直方向に
も方向成分を分けて供給されている。
【００９５】周波数重複処理（輝度プロセス）部123
は、演算処理部121 で水平方向および垂直方向の両解像
度が重視された成分信号に共通した周波数帯が含まれて
いる場合、共通した周波数帯の重複を防止するように輝
度信号(YL-YH)low+YH における水平方向と垂直方向の一
方の成分信号において共通した周波数帯を帯域制限し、
この信号と他方の成分信号とを加算する。この処理のた
め、周波数重複防止部123 は、図５に示すように、選択
スイッチSW1 、切換スイッチSW2 、フィルタ部123a、お
よび加算器123bを備えている。
【００９６】周波数重複防止部123 は、選択スイッチSW
1 で擬似周波数加算部122 からの出力を両方向あるいは
一方向の解像度重視かに応じて切り換えている。両方向
の解像度重視の場合、選択スイッチSW1 は端子b を介し
て選択された信号を切換スイッチSW2 に供給する。切換
スイッチSW2 は供給される信号の内、水平／垂直方向の
解像度重視の信号を切り換える。ここで、切換スイッチ
SW2 は、端子a を介して、たとえば、垂直方向の解像度
重視の信号をフィルタ部123aに送る。フィルタ部123a
は、たとえば、垂直方向の解像度重視の信号の中で水平
方向の解像度重視の信号に共通して含まれる周波数帯に
対して帯域制限を施している。フィルタ部123aはハイパ
スフィルタである。加算器123bは、フィルタ部123aから
の出力と切換スイッチSW2 の端子b から出力される、た
とえば、水平方向の解像度重視の信号とを加算してい
る。
【００９７】ここで、選択スイッチSW1 は、水平方向あ
るいは垂直方向の一方だけしか解像度を重視しないと
き、たとえば、CPU 等の制御部（図示しない）から供給
される選択信号によって端子a に切り換えられて、この
端子a を介して信号が出力フィルタ部123a、加算器123b
を迂回して周波数重複処理部123 から出力させている。
また、切換スイッチSW2 もこの制御部から供給される水
平／垂直切換信号に応じて切り換えられている。
【００９８】周波数重複防止部123 は、上述したような
輝度プロセス処理により輝度信号(YL-YH)low+YH を水平
／垂直方向の信号を合成しても異常が生じない輝度信号
(Y)にしてマトリクス部126 に供給している。また、ア
ンチエリアシングフィルタ部122bからの低域の色差信号
(R-Y), (B-Y)には、利得制御部124, 125でゲイン調整が
施されてマトリクス部126 に供給される。マトリクス部
126 は、供給された信号を基にこの内部の信号処理によ
って色再現、解像度の向上した三原色RGB を出力する。
【００９９】なお、本実施例では、A/D 変換部12b から
のディジタルデータを直接信号処理部12c に供給させた
が、そのディジタルデータを一旦、書込み／読出しが行
えるバッファメモリを介して信号処理部12c に供給する
ようにしてもよい。また、再生装置に適用する場合、記
録媒体として、たとえば、ディスクストレージを適用す
るようにしてもよい。A/D 変換部12b からの２次元のデ
ータには、たとえば、インデックス画像が付加した形式
を用いてもよい。
【０１００】この固体撮像装置10の動作を説明する前
に、撮像部11と色フィルタCFについて説明する。図６
は、撮像部11の撮像面を示している。撮像部11に形成さ
れた開口部APは、六角形のハニカム形状に形成されてい
る。開口形状は、一般的に正方格子であるがこのように
多角形でもよく、この他の例としては、正方格子を45°
回転させた開口形状として、たとえば、菱形等があり、
さらに八角形等がある。
【０１０１】開口部APは、図６に示すように各開口部AP
を覆う色フィルタCFの直下にそれぞれ対応して配置され
る受光素子PDの間隔を各方向毎の画素ピッチPPとすると
き、開口部APの配列は、一列毎に垂直方向にあるいは一
行毎に水平方向に画素ピッチPP分だけ移動させた２次元
配置になっている。四角形以上の多角形を用いる場合、
開口形状に合わせて開口部APを隙間なく、隣接する開口
部APが稠密な配置に配置にさせてもよい。図６のように
六角形の場合、稠密な配置は、水平・垂直方向とも上述
した画素ピッチPPの半分だけずらした配置により形成で
きる。このように稠密な配置を得るには開口部APの形状
に依存する。
【０１０２】ここで、撮像部11が一般的に用いられる正
方格子状の場合とハニカム形状の場合の配置関係を比較
すると、ハニカム形状の配置は、図７(a) に示すように
画素ピッチPPがそれぞれN(μm)の正方格子状の配置をそ
れぞれ45°回転させた図７(b) に示す配置と等価であ
る。また、ハニカム形状の配置と等価な色フィルタCF
は、図８に示すように模式的に表すと、受光素子のずら
し配置に対応して三原色R,G, B の原色フィルタがそれ
ぞれずれを有するG ストライプRB完全市松のパターンに
なる。破線の正方形は受光素子のない仮想画素を示して
いる。このパターンはR, Bが入れ替わっても構わない。
なお、色フィルタCFは三原色RGB の原色フィルタに限定
されるものでなく、補色フィルタでもよい。
【０１０３】また、ここで、ハニカム形状の配置は、正
方格子状の配置における水平／垂直方向の隣接画素間距
離｜PP｜= N(μm)を基準にしてN*(2)-1/2 と隣接画素間
距離｜PP｜より短くなる（図９(a) を参照）。したがっ
て、ハニカム形状の配置は、正方格子状の配置よりも画
素が稠密に配置されるので、原理的に水平・垂直方向の
解像度を(2)1/2倍に向上させることができる。また、ハ
ニカム形状の配置から出力形態に見合う正方格子状の配
置に展開する場合、図９(b) の○が示す仮想画素は、隣
接する画素●に基づいて演算処理部121 で補間処理が行
われる。この補間処理を行いながら正方格子状に展開す
ると、解像度は、単に正方格子状に受光素子PDを配置し
たときより高くできることがわかる。
【０１０４】次に固体撮像装置10の処理手順を図10〜図
16を参照しながら順次説明する。固体撮像装置10は、図
10に示すメインルーチンのステップS10 で撮像を行う。
固体撮像装置10には、異なる分光感度特性を有する前述
したような２次元配列された色フィルタCF、開口部APを
介して撮像部11の受光素子PDに入射光が射し込む。受光
素子PDは、入射光を光電変換して得られた信号を電極E
L、垂直転送レジスタVTrRを介し複数の水平転送レジス
タHTrR（図示しない）から同時に読み出してカラー信号
処理部12に出力する。
【０１０５】ステップS11 ではカラー信号処理部12のガ
ンマ変換部12a で供給された信号にガンマ補正としてガ
ンマ変換を施してステップS12 に進む（ガンマ変換工
程）。なお、本実施例でガンマ変換部12a は、撮像部11
の後に配されている。しかしながら、図示しないが後段
の信号処理部12c 内の出力直前の位置にガンマ変換部12
a を配し、ここでガンマ変換（補正）処理を行うように
してもよい。
【０１０６】ステップS12 ではガンマ変換部12a から出
力される信号をA/D 変換部12b でディジタルデータに変
換された画素データを演算処理部121 に供給してサブル
ーチンSUB1に進む（ディジタル変換工程）。
【０１０７】サブルーチンSUB1では、演算処理部121 で
読み出した画素データを基にYh・Ylow 作成法を適用して
（生の）画素データから各画素でのYh・Ylow を算出して
低域および高域の成分の信号をそれぞれ生成してサブル
ーチンSUB2に移行する。
【０１０８】サブルーチンSUB2ではサブルーチンSUB1で
求められた各信号が広域化するように信号処理を施す。
この信号処理によって色解像度と白黒の解像度が向上さ
せられたデータが生成される。これらのデータは、たと
えば、仮想画素も含む各画素が正方格子型に配置されて
いる。この後、ステップS13 に戻る。
【０１０９】ステップS13 では、サブルーチンSUB2で生
成された信号をユーザの要望に応じた出力形式の信号、
たとえば、原色信号、補色信号、または色差信号と輝度
信号等の信号に出力形式を調整する信号処理を行ってい
る。このように動作させることにより、撮像された被写
体像を高解像度な画像にすることができる。
【０１１０】次にサブルーチンSUB1について図11〜図13
を用いて説明する。サブルーチンSUB1では、演算処理部
121 にて、たとえば、A/D 変換12b 供給される（生の）
画素データにYh・Ylow 作成法を適用する（画素データ生
成工程）。Yh・Ylow 作成法は、演算処理部121 の低域成
分生成機能部121bで読み出された画素データを色フィル
タの色に対応したYlow処理により色再現重視した低域成
分の信号生成に必要な画素データと、高域成分生成機能
部121aでYh処理により解像度重視した高域成分の信号生
成に必要な画素データとの生成に関わる演算処理が図11
および図12のフローチャートに従って行われる。
【０１１１】この処理の説明において図13に示すよう
に、たとえば、５行４列を基本配列とするハニカム形状
の２次元配置の場合について検討する。ここで、図13
(a) の中のRGB は色フィルタCFの色であり、その添字は
行列表示による位置を示し、実線の正方形を実際の画
素、破線の正方形を仮想画素で表している。この演算処
理は画素および仮想画素を含めた各位置00〜44、計20の
位置でYhとYlowの値を求める。以下の説明ではその計算
をいくつか具体的に例示しながら説明する。
【０１１２】図11のサブステップSS10では、Ylow処理に
おいて水平解像度を重視するか判断する。水平解像度を
重視するとき（Yes ）、サブステップSS11に進む。ま
た、水平解像度を重視しないとき（No）、サブステップ
SS12に移行する。
【０１１３】サブステップSS11では、Ylow処理において
図13(b) の３行２列のエリアlowG3(一点鎖線), lowRB3
(二点鎖線) 内にある画素データからRBあるいはGG間の
仮想画素位置の画素データを補間し、かつ５行２列のエ
リア lowRB5(破線) にある画素データからR あるいはB
の画素データを算出するとともに、G の画素はそのまま
の画素データを用いて低域成分の信号を生成する。具体
的には、たとえば、G 行の仮想画素Ylow10を求めると
き、画素データR00, G11, B20 を用いて仮想画素Ylow10
は、
【０１１４】
【数１】 Ylow10=0.3*R00+0.59*G11+0.11*B20 ・・・(1) から得られ、R あるいはB 行の画素データYlow22は、
【０１１５】
【数２】 Ylow22=0.3*R22+0.295*(G13+G33)+0.055*(B02+B42) ・・・(2) から得られる。得られた画素データはメモリ等に記憶さ
せておく。
【０１１６】サブステップSS12では、Ylow処理において
垂直解像度を重視するか判断する。垂直解像度を重視す
るとき（Yes ）、サブステップSS13に進む。また、垂直
解像度を重視しないとき（No）、サブステップSS15に移
行する。
【０１１７】サブステップSS13では、前述した基本配列
から読み出す画素データを組み換えて読み出す（画素デ
ータの組換え読出し）。この読出しの一例として元の基
本配列に対して90°回転させた画素位置から画素データ
を読み出してもよい。この画素データの読み出した後、
サブステップSS14に進む。
【０１１８】サブステップSS14では、読み出された画素
データを基にサブステップSS11での画素位置と同じ関係
を見い出す処理を行ってサブステップSS11と同じ演算処
理を施すとともに、得られた画素データを読出し位置に
対応させて格納する。上述した読出し位置を回転させた
例の場合、得られた画素データの配列を再び逆方向に回
転または -90°回転させて元の基本配列の状態にした
後、各画素と対応するメモリ等にデータを格納するよう
にしてもよい。
【０１１９】次にサブステップSS15では、Yh処理におい
て水平解像度を重視するか判断する。水平解像度を重視
するとき（Yes ）、サブステップSS16に進む。また、水
平解像度を重視しないとき（No）、接続子A を介して図
12のサブステップSS17に移行する。
【０１２０】サブステップSS16では、図13(c) の５行１
列のエリアhRB5（一点鎖線）にある画素データに重み付
け演算を行ってエリア中央に位置する画素データの算
出、かつ３行１列のエリアhG3, hRB3(破線) にある画素
データからエリア中央の仮想画素位置の画像データの補
間を行うとともに、G の画素はそのままの画素データを
用いて水平方向の高域成分を生成する。このYh処理は、
水平方向の解像度重視する処理である。具体的には、た
とえば、R, Bの単独画素Yh20を求めるとき、垂直方向５
ラインの画素データR00, B20, B40 を用いて画素データ
Yh20は、
【０１２１】
【数３】 Yh20=0.5*B20+0.25*(R00+R40) ・・・(3) から得られ、データ算出対象の仮想画素Y10 に隣接する
R あるいはB 行の画素データR00, B20を用いると、仮想
画素Y10 は、
【０１２２】
【数４】 Yh10=0.5*(R00+B20) ・・・(4) から得られる。また、仮想画素Y21 を求める場合、仮想
画素Y21 の上下に隣接する画素データG11, G31を用いる
と、仮想画素Y21 は、
【０１２３】
【数５】 Yh21=0.5*(G11+G31) ・・・(5) から得られる。G が単独で存在する画素データに対して
はそのままの画素データを用いる。したがって、たとえ
ば、画素データY11 は、G11 をそのまま用いる。このよ
うな処理を撮像面全体に対して繰り返すことにより、水
平解像度に関する撮像面の画素データおよび仮想画素デ
ータが求められる。この後、接続子A を介して図12のサ
ブステップSS17に進む。
【０１２４】サブステップSS17ではYh処理において垂直
解像度を重視するか判断する。垂直解像度を重視すると
き（Yes ）、サブステップSS18に進む。また、垂直解像
度を重視しないとき（No）、リターンに移行する。
【０１２５】サブステップSS18では、前述した基本配列
から読み出す画素データの読出しを組み換える。この場
合もサブステップSS13の例と同様に読み出す画素位置を
組み換えて読み出す。読出し組換え方法の一例には基本
配列を90°回転させて読み出す方法がある。この処理の
後、サブステップSS19に進む。
【０１２６】サブステップSS19では回転させられた画素
データを基にサブステップSS16での画素位置と同じ関係
を見い出してサブステップSS16と同じ演算処理を施すと
ともに、得られた画素データの配列を、たとえば、読出
し組換えに対応して -90°回転させて元の基本配列の状
態にしてからメモリ等に格納する。一般的に、画素デー
タの組換え読出しは、図13(d), (e)の破線に示すように
読出し位置（あるいはエリア）を変えて読み出して水平
／垂直方向の解像度重視処理が行われる。
【０１２７】なお、このフローチャートでは、１つの基
本配列に対する演算処理について説明したが、撮像部11
から得られる画面の画像全体に対して演算処理する場合
は、基本配列のエリアを水平および／または垂直方向に
少しずつずらしながら、前述したエリアとの一致性をチ
ェックし、かつこの処理手順を用いて演算を行う。ま
た、ここで詳述しないが、このとき、画面の周辺領域に
対する演算には、予め設定しておいた境界条件に応じて
値を求めるとよい。
【０１２８】このように処理した後、処理をリターンに
移行してサブルーチンSUB1を終了する。この終了の後、
メインルーチンに戻る。このサブルーチンSUB1のデータ
処理により、水平・垂直方向に色・白黒（輝度）を重視
した信号処理が行われ水平・垂直方向の低域および高域
の成分信号YL, YHが生成される。このとき、このデータ
処理により、仮想画素の補間処理も同時に行っているの
で、正方格子状の展開処理もここで行われることにな
る。
【０１２９】次にサブルーチンSUB2について図14〜図16
を参照しながら説明する。サブルーチンSUB2では、サブ
ルーチンSUB1で得られた低域および高域の成分信号を基
に輝度信号を広帯域化させる（広帯域化工程）。この広
域化には、擬似加算処理工程と帯域重複防止工程が含ま
れている。図14のフローチャートに従いサブルーチンSU
B2を開始してサブステップSS20に進む。
【０１３０】サブステップSS20では、サブルーチンSUB1
で生成された低域成分の信号YLから解像度を重視した高
域成分の信号YHを減算して(YL-YH)lowを得る（減算工
程）。図３に示したように加算器122aでの信号処理が対
応している。この処理の後、サブステップSS21に進む。
【０１３１】サブステップSS21では、加算器122aからの
出力(YL-YH)lowと高域成分の信号(YH)に対してアンチエ
リアシングフィルタ部122bでそれぞれ折り返し歪みを防
ぐ処理を施す（歪み防止工程）。アンチエリアシングフ
ィルタ部122bには、この他、低域の色差信号(R-Y), (B-
Y)も同様に処理されている。この信号処理の後にサブス
テップSS22に進む。
【０１３２】サブステップSS22では、出力(YL-YH)lowと
高域成分の信号(YH)を加算する（第２の加算工程）。こ
の加算処理が擬似周波数的に加算処理である。これによ
り、図４に示した周波数アロケーションから明らかなよ
うに輝度信号（Y=(YL-YH)low+YH ）を広帯域化する。し
たがって、擬似加算処理工程は、サブステップSS20〜SS
22までの処理とみなすことができる。
【０１３３】次にサブステップSS23では、サブルーチン
SUB1で水平および垂直方向の両方に対して解像度を重視
した処理が施されたか判断する。両方に対して解像度を
重視した処理が施されていたとき（Yes ）、サブステッ
プSS24に進む。また、一方に対してしか解像度を重視し
た処理が施されていないとき（No）、リターンに移行す
る。この選択が選択スイッチSW1 によって行われる。
【０１３４】サブステップSS24では、サブステップSS22
までに行われた両方向の解像度重視した信号に共通した
周波数帯の内、垂直方向の解像度重視した信号の共通し
た周波数帯を帯域制限する（帯域制限工程）。たとえ
ば、図５に示すように垂直方向の高域成分の信号に帯域
制限を施すとき、この成分信号が、図５の周波数重複処
理部123 のフィルタ部（HPF ）123aに供給するように切
換スイッチSW2 が水平／垂直方向の信号を切り換えてい
る。フィルタ部123aは、垂直方向の解像度重視した信号
において水平方向の解像度重視した信号と共通した周波
数帯以外の周波数だけを通すハイパスフィルタである。
水平／垂直方向の解像度重視した信号は、それぞれ、横
軸を周波数軸f(h), f(v)、縦軸をレスポンスレベルR
(h), R(v)で図15(a), (b)に示すように表される。フィ
ルタ部123aを通した後、垂直方向の解像度重視した信号
は、図15(c) に示すような周波数分布になる。
【０１３５】次にサブステップSS25では、フィルタ部12
3aからの出力と共通した周波数帯を含む他方向、すなわ
ち、水平方向の高域成分の信号を加算する（加算処理工
程）。水平／垂直方向の成分信号を水平／垂直方向の周
波数軸(fh, fv)上に表すと、図15(a) の信号と図15(c)
の信号を加算器123bで加算することにより、図15(d)に
示す周波数分布が得られる。これにより、両方向の画像
信号を重ねて画像信号を広帯域化させても得られた画像
に異常を来すことなく、高解像度な画像を供給すること
ができるようになる。この後、リターンに進み、サブル
ーチンSUB2を終了する。さらに、この後ステップS13 に
進む。
【０１３６】上述した帯域重複防止工程には、サブステ
ップSS24, SS25での処理に相当している。画素に対応し
た成分信号の広帯域化は、水平／垂直の周波数分布でチ
ェックできる。この比較として図16に正方格子をG 正方
格子とこのG 正方格子に対してピッチの半分の距離だけ
ずらしたRB完全市松パターン（以下、単板画素ずらし型
G 正方RB完全市松フィルタパターンという）に配置した
際の周波数分布と高域の成分信号(YH)を作成したときの
周波数分布をそれぞれ示す。ここで、比較基準として従
来の150 万正方格子G ストライプRB市松パターン配置の
場合、RGB のパターンは、図16(a) のように水平／垂直
周波数軸fh/fv をそれぞれ2 と1 の位置を切る周波数分
布で表される。
【０１３７】このパターンから高域の成分信号(YH)を生
成した際の周波数分布は、図16(b)に示すように水平／
垂直周波数軸fh/fv をそれぞれ2 と2 をそれぞれ切るの
で、正方形になる。画素数を倍の300 万画素に増やす
と、図16(c) の周波数分布は、比較基準に対し(2)1/2倍
に大きく、すなわち水平／垂直周波数軸fh/fv 上で1.4
と2.8 をそれぞれ取ることになる。したがって、高域の
成分信号(YH)の周波数分布は、図16(d) のように帯域が
広がる。
【０１３８】本発明の非正方格子（ハニカム形状）を単
板画素ずらし型G 正方RB完全市松フィルタパターンに配
置した画素数300 万の場合、図16(e) に示す周波数分布
は、水平／垂直周波数軸fh/fv 上で2 と2 を切る分布に
なる。高域の成分信号(YH)の周波数分布は、図16(f) の
ように水平方向と垂直方向の各成分が交差する点では、
擬似加算処理のため、4 になる。このような周波数特性
を得るには、画素数を倍の600 万個に増やして水平／垂
直周波数軸fh/fv 上での値を4 と2 にしたときの高域の
成分信号(YH)の周波数分布に相当している（図16(g),
(h)を参照）。
【０１３９】固体撮像装置10は、少ない画素数でありな
がら、このように画素の配置およびその配置の受光素子
からの（生の）画素データに信号処理を施して得られた
成分信号の周波数帯域を広帯域化することにより、得ら
れる画像を高品質なものにしている。
【０１４０】また、サブルーチンSUB1でのYh・Ylow 作成
法による演算に限定されるものでなく、水平／垂直方向
の解像度を重視したYhの画素データの生成には、画素デ
ータのうちで色フィルタCFのR,B に対応する画素データ
をそのまま用い、仮想画素位置の画素データを隣接する
行（すなわち、上下の画素データ）あるいは列（すなわ
ち、左右の画素データ）の画素データに重み付けして補
間処理を行ってもよい。図13に示すハニカム基本配列の
パターン配置では、R, Bの画素データをそのまま用い、
上下の画素データから補間すると、画素、および仮想画
素位置のYhは、たとえば、
【０１４１】
【数６】 Yh00=R00, Yh01=0.5*G11+0.5*G11*Yh02, Yh02=B02, Yh03=0.5*G13+0.5*G13, Yh10=0.5*R00+0.5*B20, Yh11=G11, Yh12=0.5*B02+0.5*R22, Yh13=G13,・・・・ ・・・(6) として求めることができる。R, Bの画素データをそのま
ま用い、左右の画素データから補間するとき、上述した
Yh00, Yh01, Yh02, Yh03, Yh11, Yh13の算出方法は同じ
であるが、Yh10とYh12はYh10=0.5*G11+0.5*G11, Yh12=
0.5*G11+0.5*G13から求める。
【０１４２】この他、Yhの作成には、たとえば、Yh22を
算出する際にYh22に隣接する上下左右斜めに位置する色
フィルタのG に対応する４つの画素データG11, G13, G
21, G23だけを用いて相関検出を行って相関値｜G11-G33
｜と｜G13-G31 | を算出する（第１の相関検出工
程）。次に、得られた相関値の大きい方の画素データを
用いて直線補間を行ってYh22の値を算出する（第１の直
線補間工程）、この位置関係にある同じ配置の画素デー
タについてYhの計算を繰り返す。さらに、ここで求めた
Yhの値を用い他の画素を算出する。このとき、第１の直
線補間工程で得られた画素データを含めた３つの画素デ
ータで囲まれる仮想画素の位置の画素データを求めるよ
うに相関検出を行う（第２の相関検出工程）。この相関
検出の処理結果に応じて直線補間を行って（第２の直線
補間工程）繰り返し処理することにより、パターン全面
の画素および仮想画素のYhを算出している。また、第２
の直線補間工程の代わりに第１の直線補間工程で得られ
た画素データを含めた３つの画素データで囲まれる仮想
画素の位置の画素データに対して４つの画素データを用
いて加重平均するようにしてもよい。
【０１４３】なお、この実施例では、画像データを生成
する段階で正方格子状の展開処理も行ったが、受光素子
からの画素データだけに対して広帯域化し、得られた広
帯域な画素データを基に仮想画素位置の画素データを補
間して画素データを増やし正方格子状の配列になるよう
に展開処理を行うようにしてもよい。
【０１４４】次に固体撮像装置10の第２の実施例につい
て図17〜図23を参照しながら説明する。データは、撮像
部11の開口部APがハニカム状の開口形状をした非正方格
子状の画素から得られる。また、撮像された生データに
は、インデックス画が一緒に付加してもよい。図示しな
い撮像部11は、前述の実施例と同様にカラー信号処理部
12のガンマ変換部12a に撮像信号を供給する。図17に示
すようにガンマ変換部12a は、ガンマ変換( 補正) を施
した後、A/D 変換部12b に信号を出力する。A/D 変換部
12b は、供給されたアナログ信号をディジタル変換して
信号処理部12cに供給する。図17の信号処理部12c は前
述の実施例の構成と異なっている。図17に示す信号処理
部12c は、演算処理部121 内のプレーン補間展開機能部
121P、色差マトリクス部127 、輪郭信号発生部128 、お
よび加算器129 を備えている。
【０１４５】ガンマ変換部12a は、ガンマ変換されたデ
ータを演算処理部121 のプレーン補間展開機能部121Pお
よび輪郭信号発生部129 に供給している。
【０１４６】プレーン補間展開機能部121Pは、三原色R,
G,B の各色に着目し仮想画素の位置の色データも含めた
面データとして色再現を考慮して３つの成分信号にそれ
ぞれ補間展開させる演算処理部である。プレーン補間展
開機能部121Pは、三原色RGBに対応したR プレーン補間
展開機能部121A、G プレーン補間展開機能部121B、およ
びB プレーン補間展開機能部121Cを備えている。これら
各部の処理については後段の処理手順で詳細に説明す
る。
【０１４７】色差マトリクス部127 は、プレーン補間展
開部121Pから得られる３つの成分信号を基に色差信号お
よび輝度信号を生成する。
【０１４８】輪郭信号発生部128 は、輪郭強調データ生
成機能部128aと、周波数重複防止部128bとを備えてい
る。輪郭強調データ生成機能部128aは、プレーン補間展
開部121Pに供給される前のデータから解像度を重視した
高域成分信号(YH)の基となる画素データを生成する。こ
の画素データの生成は、たとえば、Yh・Ylow 法の内Yhの
算出方法を用いて供給される画素データから生成してい
る。この画素データの生成時、輪郭強調データ生成機能
部128aは、データを正方格子状に展開生成し周波数重複
防止部128bに供給する。周波数重複防止部128bは、たと
えば、水平および垂直方向の解像度重視した信号が供給
され、水平・垂直方向の信号内、一方の方向の信号と他
方の信号とに共通の周波数帯が存在するとき、たとえ
ば、一方の信号に対して共通の周波数帯を帯域制限し、
この信号と他方の信号とを合成して加算器129 に出力す
る。この出力信号は、前述した第１の実施例の高域の成
分信号(YH)で輪郭強調させる信号として用いられる。
【０１４９】加算器129 は、輪郭信号発生部128 からの
出力と色差マトリクス部127 からの輝度信号をそれぞれ
加算入力する。この加算により輝度信号の輪郭が強調さ
れるようになる。
【０１５０】ところで、この第２の実施例の変形例とし
て、輪郭信号発生部128 は、G 色だけの画素データから
相関検出を行いこの相関検出の高い方のデータを用いて
補間を行い、得られたデータから解像度を重視した成分
信号を生成してもよい（後段の図22を参照）。このよう
に生成された成分信号を輝度信号に加えると、この信号
を適用した画像は輪郭強調される。
【０１５１】次に信号処理部12c の信号処理の手順につ
いて図18〜図20のフローチャートおよび図21のパターン
配置図を参照しながら説明する。信号処理部12c は、演
算処理部121 で色フィルタCFに対応する三原色R, G, B
の各色に着目し仮想画素の位置の色データも含めた面デ
ータとして色再現を考慮してそれぞれ補間展開する。こ
の補間処理をプレーン補間展開という。このプレーン補
間は三原色R, G, B の着目対象の色を含む行（水平）あ
るいは列（垂直）に対して画素データを重み付け平均し
て補間し、かつ着目対象の色と異なる色を含む行に対し
て隣接する行あるいは列の画素データを平均して行う。
【０１５２】この実施例においては図18のフローチャー
トが示すように、まずステップS20では、撮像部11から
供給される撮像信号にガンマ変換部12a でガンマ変換
（補正）処理を施す。この処理の後、ステップS21 に進
む。
【０１５３】ステップS21 では、ガンマ変換部12a から
の出力にA/D 変換部12b でA/D 変換処理を施す。この処
理の後、次にサブルーチンSUB3に移行する。このサブル
ーチンSUB3では、RGB の各色についてのプレーン補間展
開およびこの展開後の各位置に対するYlowの値を算出
し、さらにこの値に対応する信号を出力する。
【０１５４】ステップS22 では、供給された信号を基に
色差マトリクス部127 で色差信号(B-Y), (R-Y)および輝
度信号Y を生成してサブルーチンSUB4に移行する。
【０１５５】サブルーチンSUB4では、輝度信号Y に輪郭
強調処理を施している。この処理を行うことによって撮
像された画素データは高品質の信号として出力させるこ
とができるようにする。
【０１５６】前述したサブルーチンSUB3の処理につい
て、図19を参照しながら説明する。サブルーチンSUB3に
移行すると、すぐにサブステップSS30に進む。サブステ
ップSS30では、R プレーンについて水平方向に補間展開
を行う。この補間は、原色R の着目対象の色を含む行に
対して画素データを重み付け平均して補間し、かつ着目
対象の色と異なる色を含む行、すなわち、R 画素のない
行に対して隣接する行の画素データを用い平均して補間
する。具体的に図21の基本配列（５行５列）を基に説明
すると、R プレーン補間展開機能部121Aは、たとえば、
【０１５７】
【数７】 Rlow00H=R00, Rlow01H=(3*R00+R04)/4, Rlow02H=(2*R00+2*R04)/4, Rlow03H=(R00+3*R04)/4, Rlow04H=R04,・・・・ ・・・(7) 等の演算を行ってサブステップSS31に進む。
【０１５８】サブステップSS31では、G プレーンについ
て水平方向に補間展開を行う。この補間は原色G の着目
対象の色を含む行に対して画素データを重み付け平均し
て補間し、かつ着目対象の色と異なる色を含む行、すな
わち、G 画素のない行に対して隣接する行の画素データ
を用い平均して補間する。具体的に図21のハニカム基本
配列を基に説明すると、G プレーン補間展開機能部121B
は、たとえば、
【０１５９】
【数８】 Glow00H=G11/3, Glow01H=G11/2, Glow02H=(G11+G13)/4, Glow03H=G13/2, Glow04H=G13/3, Glow10H=G11/2, Glow11H=G11, Glow12H=(G11+G13)/2, Glow13H=G13, Glow14H=G13/3,・・・・ ・・・(8) 等の演算を行ってサブステップSS32に進む。
【０１６０】サブステップSS32では、B プレーンについ
て水平方向に補間展開を行う。この補間は原色B の着目
対象の色を含む行に対して画素データを重み付け平均し
て補間し、かつ着目対象の色と異なる色を含む行、すな
わち、B 画素のない行に対して隣接する行の画素データ
を用い平均して補間する。具体的に図21のハニカム基本
配列を基に説明すると、B プレーン補間展開機能部121C
は、たとえば、
【０１６１】
【数９】 Blow00H=B02/3, Blow01H=B02/2, Blow02H=B02, Blow03H=B02/2, Blow04H=B02/3, Blow10H=(3*B20+B02)/4, Blow11H=(3*B20+2*B02)/4, Blow12H=B02/2, Blow13H=(2*B02+3*B24/4, Blow14H=2*B02/3,・・・・ ・・・(9) 等の演算を行ってサブステップSS33に進む。
【０１６２】サブステップSS33以降では、垂直方向のプ
レーン補間展開を行う。この補間は、三原色R, G, B の
着目対象の色を含む列に対して画素データを重み付け平
均して補間し、かつ着目対象の色と異なる色を含む行に
対して隣接する列の画素データを平均して補間を行う。
サブステップSS33では、R プレーンについて垂直方向に
補間展開を行う。この補間は、原色R の着目対象の色を
含む列に対して画素データを重み付け平均して補間し、
かつ着目対象の色と異なる色を含む列、すなわち、R 画
素のない列に対して隣接する列の画素データを用い平均
して補間する。具体的に図13のハニカム基本配列を基に
説明すると、R プレーン補間展開機能部121Aは、たとえ
ば、
【０１６３】
【数１０】 Rlow00V=R00, Rlow10V=(3*R00+R40)/4, Rlow20V=(2*R00+2*R40)/4, Rlow30V=(R00+3*R40)/4, Rlow40V=R40,・・・・ ・・・(10) 等の演算を行ってサブステップSS34に進む。
【０１６４】サブステップSS34では、G プレーンについ
て垂直方向に補間展開を行う。この補間は原色G の着目
対象の色を含む列に対して画素データを重み付け平均し
て補間し、かつ着目対象の色と異なる色を含む列、すな
わち、G 画素のない列に対して隣接する列の画素データ
を用い平均して補間する。具体的に図21のハニカム基本
配列を基に説明すると、G プレーン補間展開機能部121B
は、たとえば
【０１６５】
【数１１】 Glow00V=G11/3, Glow10V=G11/2, Glow20V=(G11+G31)/4, Glow30V=G31/2, Glow40V=G31/3, Glow01V=G11/2, Glow11V=G11, Glow21V=(G11+G31)/2, Glow31V=G31, Glow41V=G31/3,・・・・ ・・・(11) 等の演算を行ってサブステップSS35に進む。
【０１６６】サブステップSS35では、B プレーンについ
て垂直方向に補間展開を行う。この補間は原色B の着目
対象の色を含む列に対して画素データを重み付け平均し
て補間し、かつ着目対象の色と異なる色を含む列、すな
わち、B 画素のない列に対して隣接する列の画素データ
を用い平均して補間する。具体的に図21のハニカム基本
配列を基に説明すると、B プレーン補間展開機能部121C
は、たとえば、
【０１６７】
【数１２】 Blow00V=B20/3, Blow10V=B20/2, Blow20V=B20, Blow30V=B20/2, Blow40V=B20/3, Blow01V=(3*B02+B20)/4, Blow11V=(3*B02+3*B20)/4, Blow21V=B20/2, Blow31V=(3*B20+3*B42)/4, Blow41V=B42/2,・・・・ ・・・(12) 等の演算を行ってサブステップSS36に進む。
【０１６８】サブステップSS36では、演算処理部121 内
において正確な色再現を重視した水平方向の輝度信号(Y
LH) としてのデータを生成する。ここで、輝度信号
(YLH) 、すなわちYlowは、これまで求めた各位置でのR
low, Glow, Blowを用いて、
【０１６９】
【数１３】 Ylow=0.3*Rlow+0.5*Glow+0.11*Blow ・・・(13) によって計算する。この生成にあたり、水平方向の解像
度を重視した輝度信号(YLH)は、サブステップSS30〜SS3
2でプレーン補間されたR, G, B を用いて算出される。
【０１７０】次にサブステップSS37では、式(13)を用い
て演算処理部121 内において正確な色再現を重視した垂
直方向の輝度信号(YLV) として生成する。この生成にあ
たり、垂直方向の解像度を重視した輝度信号(YLV) は、
サブステップSS33〜SS35でプレーン補間されたR, G, B
を用いて算出される。このようにして算出されたデータ
が色差マトリクス部127 に出力される。これらの演算処
理の後、リターンに移行してサブルーチンSUB3を終了す
る。このように処理することにより、RGB プレーン補間
展開するとともに、隣接するRGB 間の仮想画素位置のデ
ータも算出されたことになる。サブルーチンSUB3では水
平／垂直方向のプレーン補間展開をそのまま行うように
説明したが、サブステップSS30とSS33の前にそれぞれプ
レーン補間展開の演算処理を行うかどうか判断させるよ
うにしてもよい。
【０１７１】前述したようにステップS22 では、プレー
ン補間展開機能部121Pから供給される水平および垂直プ
レーン補間展開の展開結果に基づいて色差(B-Y), (R-
Y)、および輝度データY を生成する。この処理は、色差
マトリクス部127 が担っている。この処理の後、サブル
ーチンSUB4に移行する。
【０１７２】サブルーチンSUB4では、図20に示す手順に
従って、水平方向および／または垂直方向の高域成分の
信号(YH)を生成する処理を行う。この処理は輪郭信号発
生部128 で行われている。サブルーチンSUB4では、まず
サブステップSS40に進む。
【０１７３】サブステップSS40では、水平方向の高域成
分に対応する画素データを生成する。このデータ生成に
は前述したサブルーチンSUB1で用いたYh・Ylow 法のう
ち、Yhを算出する手順だけしか含まれていない。実際の
手順は第１の実施例と同じなので説明を省略する（図13
(c) を参照）。この後サブステップSS41に進む。
【０１７４】サブステップSS41では、垂直方向の高域成
分に対応する画素データを生成してサブステップSS42に
進む。
【０１７５】サブステップSS42では、サブステップSS41
までに水平および垂直方向の信号が得られたとき、共通
の周波数帯が重複することを防止するため一方の信号に
帯域制限を施し、この信号と他方の信号を加算して加算
器129 に出力する。
【０１７６】次にサブステップSS43では、輪郭強調処理
を行う（輪郭強調工程）。この処理のために加算器129
が用いられる。加算器129 は、一端側に色差マトリクス
部127 からの輝度信号Y を加算入力させ、他端側には輪
郭信号発生部128 からの水平方向および／または垂直方
向の解像度の重視の高域成分の信号を加算入力させてい
る。この両信号を加算することにより、出力される輝度
信号は輪郭が強調された信号になる。この一連の処理に
よってRGB の各色毎にプレーン展開して得られた輝度信
号に輪郭強調を施している。この輪郭強調が終了する
と、リターンに移行してサブルーチンSUB4の処理を終了
する。第２の実施例では、このような一連の処理によっ
てRGB の各色毎にプレーン展開して得られた輝度信号に
輪郭強調を施している。
【０１７７】また、輪郭強調は、上述した手順に限定さ
れるものでなく、たとえば、輪郭信号発生部128 に供給
されるG プレーン補間展開機能部121Bからの出力を基に
輪郭強調する信号を生成させてもよい。この場合、輪郭
信号発生部128 は、図22に示すように最初にG 色だけの
画素データを用いて相関検出を行う。ここで、図22で
は、図17と共通する部分に、同じ参照番号を付してい
る。輪郭信号発生部128 では、次に得られた相関検出の
高い方のデータを用いて補間処理を行う。この補間処理
は、正方格子状に仮想画素の位置についても画素データ
の補間を行っている。これら一連の補間処理は、演算処
理部121 の処理手順において説明した相関処理の場合と
同じである。このようにして得られた画素データが周波
数重複防止部128bに供給される。周波数重複防止部128b
は、水平および垂直方向の解像度を重視した高域の信号
成分を含む信号を生成する。このように生成された信号
が図22に示す加算器129 に供給される。加算器129 は、
前述したサブルーチンのサブステップSS43と同様の処理
を行って輝度信号Y を輪郭強調させることになる。
【０１７８】そして、撮像部11で検出した（生の）画素
データからプレーン補間展開する他の処理方法には、原
色G を用いて他の原色R, Bの展開を行う方法がある。一
般的に、原色G の信号のレベル変化が映像信号における
輝度の変化に大きく影響することが知られている。この
方法は、この影響が他の原色R,B の展開に反映させるこ
とに基づいて行われる。図23を用いて簡単に原理を説明
する。この一例は、Rプレーン補間展開で図23に示す未
知のR11 を求める場合である。この際に、G20,G11,
G22, R20, R22 の既知の信号レベルを用いる。この補間
処理には、G20, G22の加重平均値ΔG とR20, R22の加重
平均値ΔR が等しいと近似されると仮定を用いる（ΔG
＝ΔR ）。この関係を用いれば、加重平均する際の各重
み係数も既知の値であるから、未知の画素データR11 は
容易に算出される。この手順を繰り返してR プレーン補
間展開してもよい。原色B 信号の補間も同様に行うこと
ができる。このようにしてR, B展開補間させることがで
きる。
【０１７９】なお、RGB のプレーン補間展開を行いマト
リクス処理を行うが、輪郭強調が施されないような処理
の場合、固体撮像装置10は、別途、この輪郭強調に相当
する高域の成分信号を生成するようにYh・Ylow 法により
各画素のデータ(Yh)を求めるように第１の実施例で行っ
た処理を施して信号の広帯域化を図って画像の解像度を
向上させてもよい。
【０１８０】次に固体撮像装置10の第３の実施例につい
て説明する。本実施例の撮像部11は、開口部APが互いに
一定間隔毎にずらした配置、すなわちハニカム配置され
ている。カラー信号処理部12は、図24に示すように、第
１の実施例と同様のガンマ変換部12a, A/D変換部12b,お
よび信号処理部12c を有するとともに、さらにデータ配
置変換部12d およびデータ補間展開部12e を備えてい
る。
【０１８１】ここで、新たに備えたデータ配置変換部12
d は、信号処理部12c でハニカム配置の受光素子PDから
得られる画素データを斜め45°から見た正方格子状のベ
イヤ配置の面データと同等にみなせる関係が得られるよ
うにデータの書込み／読出し制御を行っている。このよ
うなデータの書込み／読出しが可能になるように信号処
理部12c の演算処理部121 には、配置変換用にバッファ
メモリを備えている（図示せず）。演算処理部121 で
は、前述の第１および第２の実施例において行われたよ
うな補間処理を行わず、単にデータ配置変換部12d の制
御に応じて供給される受光素子PDからの信号だけについ
て信号処理を施している。
【０１８２】実際に施される信号処理の内容は、供給さ
れるハニカム配置のデータがベイヤ配置に配置変換さ
れ、このベイヤ配置のデータに前述の実施例で説明した
と同様の演算処理が施され、これらのデータから得られ
る成分信号を擬似周波数的に加算させ、さらに得られた
成分信号に周波数帯域が共通する成分がある場合には、
加算による周波数帯域の重複を防止してこの信号を広帯
域化させる処理を行う。また、データ配置変換部12d
は、データ補間展開部12e の動作も後述するように制御
している。
【０１８３】データ補間展開部12e は、図25に示すよう
に、信号処理部12c から得られた画素に対する信号（画
素データ）を基に正方格子状に展開するとき、仮想画素
についてのデータ補間展開を行う。このためデータ補間
展開部12e は、バッファメモリ12f1, 12f2, 12f4, およ
び補間演算処理部12f3を備えている。
【０１８４】信号処理部12c から処理された画素データ
がバッファメモリ12f1に供給される。バッファメモリ12
f1には、斜め45°から見た正方格子状のベイヤ配置の面
データとしてディジタルデータが一時的に保存される。
バッファメモリ12f1からのデータは、バッファメモリ12
f2をデータ配置変換部12d のアドレス制御によりハニカ
ム配置に配列を変更してバッファメモリ12f2に格納す
る。
【０１８５】そして、補間演算処理部12f3は、バッファ
メモリ12f2からのデータに補間処理を施してバッファメ
モリ12f4に供給する。補間演算処理部12f3のデータ補間
には、たとえば、均等補間や適応型補間等が適用され
る。仮想画素を加えてデータ補間することにより、面デ
ータが正方格子の２次元配列データに展開される。バッ
ファメモリ12f4は、格納されたデータを、たとえば、マ
トリクス部126 に供給する。マトリクス部126 は供給さ
れた信号から三原色RGB を出力する（図示せず）。これ
により、固体撮像装置10は、高解像度で、かつ擬色軽減
された画像の出力が可能になる。
【０１８６】本実施例の固体撮像装置10のカラー信号処
理部12の処理手順として図27および図28のフローチャー
トを参照しながら説明する。ここで、ハニカム配置は、
前述したように正方格子配置の画素を45°回転させた配
置と等価である（図７を参照）。この関係は正方格子配
置の画素を斜め45°から見た配置とも考えることができ
る。図26(a) の、たとえば、隣接する画素に画素ずらし
を伴うG ストライプRB完全市松パターンのハニカム配置
（単板画素ずらし型G 正方RB完全市松フィルタパター
ン）は、図26(b) に示すように斜め45°から見て回転の
ない正方格子配置の画素としてその画素の色フィルタの
パターンに着目すると、正方格子状のベイヤ配置とみな
すことができる。データ配置変換部12e は、この点を考
慮したデータの書込み／読出しによりデータ配列の変換
処理を行っている。
【０１８７】図27に示したメインルーチンにおいてステ
ップS10 〜ステップS12 までの処理は、図10について行
った説明と同じことからこの説明を省略し、ステップS1
2Aの処理から説明する。ステップS12Aでは、信号処理部
12c が供給されるハニカム配置の画素データを正方格子
状のベイヤ配置とみなすことができるようにデータ配置
変換部12e の制御を受ける。信号処理部12c でのこのデ
ータ配置変換処理の後、サブルーチンSUB1に進む。
【０１８８】サブルーチンSUB1では、このような画素デ
ータを用いて対応する画素位置だけに信号処理を施して
信号を生成している。したがって、このサブルーチンSU
B1は、補間展開をしない演算処理を行っている。すなわ
ち、第１および第２の実施例のように仮想画素位置のデ
ータは算出されない。この演算処理には、前述した実施
例と同様にYh・Ylow 法を用いている。この後、すぐにサ
ブルーチンSUB2に進む。
【０１８９】サブルーチンSUB2では、得られた信号を広
帯域化させるとともに、水平／垂直方向の解像度処理が
施された信号の周波数帯域に共通帯域が存在するとき、
重複防止のため一方の信号の周波数帯域に帯域制限を施
してこの信号と他方の信号を合成させている。サブルー
チンSUB2を終了した後、ステップS13 に進む。
【０１９０】ステップS13 では、サブルーチンSUB2で生
成された各画素（仮想画素は含まない）に対応したベイ
ヤ配置から得られた信号をユーザの要望に応じた出力形
式の信号、たとえば、原色信号、補色信号、または色差
信号と輝度信号等の信号にして出力するように信号処理
を行ってサブルーチンSUB5に進む。
【０１９１】サブルーチンSUB5は、ステップS13 で得ら
れたベイヤ配置の各信号を正方格子状に変換するととも
に、画素補間処理を行う（データ補間展開工程）。すな
わち、正方格子状への変換は、図26(b) の斜め45°に回
転させて見た配置を逆に45°回転させることによって図
26(a) のハニカム配置に配置を戻している。換言すれ
ば、この回転処理は、画素の読出し組換えを行うことに
他ならない。さらに、サブルーチンSUB5では、この配置
から得られる信号を基に画素補間処理を行って結果的に
正方格子状の配置となるように展開処理を行っている。
このように処理することにより、固体撮像装置10は、撮
像によって得られる信号を高画質の画像信号として出力
している。
【０１９２】上述したサブルーチンSUB5の処理について
図28のフローチャートを用いて説明する。サブルーチン
SUB5はまず処理を開始してサブステップSS51に進む。サ
ブステップSS51では、この処理を行うためまず、得られ
た画素データがバッファメモリ12f1に格納される。
【０１９３】次にサブステップSS52では、バッファメモ
リ12f1から画素データを読み出すとき、たとえば、CPU
等の制御によって画素データをハニカム配置に戻す処理
が行われて得られた結果がバッファメモリ12f2に格納さ
れる。
【０１９４】次にサブステップSS53では、補間演算処理
部12f3でバッファメモリ12f2からの画素データを用い
て、たとえば、周辺画素の画素データからの均等補間、
あるいは相関検出した結果に応じた適応型の補間処理等
を行う。この処理によって、図26(a) に示したように配
置を戻すと、画素が１画素毎にしか信号がないことが理
解できる。このとき、対応画素のない仮想画素の信号を
補間して与えると、固体撮像装置10は、元々の画素数に
比べて２倍の画素が正方格子状に展開されること（以
下、正方格子展開という）と同等になる。
【０１９５】次にサブステップSS54では、サブステップ
SS53において正方格子展開された画素データをバッファ
メモリ12f4に格納してリターンに移行してサブルーチン
SUB5を終了する。この終了後、メインルーチンも終了す
る。このような手順で動作させることにより、結果とし
て固体撮像装置10は撮像した被写体の画像を高解像度の
信号にして出力させることを可能にしている。
【０１９６】なお、本実施例と同様にハニカム配置の画
素配列を正方格子配置の画素配列と等価にみなし、かつ
信号処理を第２の実施例、すなわち演算処理部121 で三
原色R,G,B に対するプレーン展開を行い、輪郭信号発生
部126 で、たとえば、高域を補正する補正信号（すなわ
ち解像度を重視した信号）をG 色だけのデータから相関
検出に基づいて生成させてもよい。この補正信号Ghを色
差マトリクス部125 からの輝度信号Y に補正信号Ghを加
算して出力しても、固体撮像装置10は高解像度の信号の
出力が可能である。
【０１９７】このように処理することにより、固体撮像
装置10は、高解像度の信号の出力が可能になるととも
に、ローパスフィルタを通した際に得られる効果と同等
の効果も得られるようになる。
【０１９８】これまでの説明から明らかなように固体撮
像装置10は、正方格子状に画素を配置した際の画素数に
比べてこの画素数よりも少ない画素数であってもハニカ
ム配置を用い、かつ信号処理を行うことによって、得ら
れる画像の色再現および解像度等の特性を向上させるこ
とができることがわかった。一方、従来の固体撮像装置
は、上述した特性等を向上させるため画素数を増加させ
た結果、単位画素の占める受光面積も小さく（すなわ
ち、画素ピッチの縮小限界にまで達するように）なり素
子の感度低下が発生してしまう。画素が小さいことや得
られる信号の特性改善を図るため画素ずらしを行う際
に、従来の固体撮像装置では組立て工程において画素数
の増加に伴って画素ずらしの精度向上がクローズアップ
されるてきている。この精度要求は、特に、カラーカメ
ラの組立て工程等の作業が困難なものになり、この結
果、カラーカメラ装置の光学系のコストをアップさせて
きた。しかしながら、固体撮像装置10は撮像部11および
色フィルタCFに画素ずらしを伴ったハニカム配置を用い
ているので、画素数が従来の固体撮像装置に比べて、た
とえば、半分程度になっている。このようなハニカム配
置を用いることにより、光学系の撮像部11および色フィ
ルタCFの組立ておよびそれに伴う調整工程の作業が比較
的に容易に行うことができるようになる。
【０１９９】ハニカム配置を用いた複数組み合わせた多
板の色フィルタについて具体例を挙げて説明する。ま
ず、光学系には分光手段として複数のプリズム（図示せ
ず）を接合してレンズからの透過光が撮像部11の各受光
部に送られる。この各受光部の前には色フィルタCFが配
設されている。ここで、受光部が２つの２板式の場合、
色フィルタCFは、色フィルタCF1 および色フィルタCF2
を用いる。
【０２００】第１の色フィルタCFの場合、図29(a) に示
す色フィルタCF1 の色の空間配置は、G1とR の色を１行
毎に交互に配したハニカム配置にする。図29(b) に示す
色フィルタCF2 の色の空間配置は、G2とB の色を１行毎
に交互に用い、かつ色フィルタCF1 のG1の色の行にB の
色を配したハニカム配置にする。たとえば、色フィルタ
CF1 に対して色フィルタCF2 を行方向に１画素ピッチ分
ずらして貼り合わせると、図29(c) に示す色フィルタCF
を容易にG ストライプRB完全市松パターンにすることが
できる。
【０２０１】また、第２の色フィルタCFの場合、図29
(d) に示すようにハニカム配置の色フィルタCF1 をG の
色だけで構成し、色フィルタCF2 の色の空間配置は、図
29(e)に示すようにR とB の色を１行毎に交互に配した
ハニカム配置にする。この場合も、たとえば、色フィル
タCF1 に対して色フィルタCF2 を行方向に１画素ピッチ
分ずらして貼り合わせる。この貼り合わせにより、第２
の色フィルタCFを容易にベイヤパターンにすることがで
きる（図29(f) を参照）。
【０２０２】そして、第３の色フィルタCFは、前述した
第１の色フィルタの色フィルタCF1,CF2を用いる（図30
(a), (b)を参照）。第３の色フィルタCFは色フィルタCF
1, CF2の画素位置を完全に一致させて貼り合わせること
により、図30(c) に示すハニカム配置のパターンを形成
する。
【０２０３】次にハニカム配置を用いた３板DG方式の色
フィルタの空間配置について説明する。色フィルタCF
は、色フィルタCF1, CF2, CF3 を用いる（図31(a),(b),
(c) を参照）。図31(a),(b) の色フィルタCF1, CF2はハ
ニカム配置で互いに画素ピッチ分ずれた位置関係にあ
る。色フィルタCF1, CF2は、同色のG1, G2色に設定して
いる。また、図31(c) の色フィルタCF3 は、色フィルタ
CF2 と同じ画素配置のハニカム配置であるとともに、配
色をR およびB 色に設定している。色フィルタを固着さ
せる際には、同じ画素配置関係にある色フィルタCF2 と
色フィルタCF3 を組み合わせて貼り合わせる。これによ
り、色フィルタは、図31(d) の同色G1, G2が交互に配さ
れる正方格子状の配列と図31(e) の異色R, Bがハニカム
配置された配列を作ることができる。
【０２０４】また、図32(a), (b), (c) のように、色フ
ィルタCF1, CF2, CF3 を同じハニカム配置の関係に形成
する。これらの色フィルタCF1, CF2, CF3 には、それぞ
れR,G,B の色が対応している。色フィルタCF2 に対して
色フィルタCF1, CF3は、ともに画素ピッチ分だけずらし
て重ね合わせる。このよう重ね合わせると色フィルタ
は、色のG と重ねた色R, Bが交互に得られる配列を作る
ことができる（図32(d)を参照）。
【０２０５】この他にもハニカム配置においてそれぞれ
従来から用いられている開口形状が正方格子の場合、図
33(a) のRGB 画素ずらし方式および図33(b) に示すよう
にDG画素ずらし方式等でも３板式の色フィルタを構成で
きる。この際に、図33(b) のDG画素ずらし方式で補間画
素の位置は、図33(c) の破線の四角形内に（補）が記さ
れている位置に対応する。この補間は、周囲の色G1, G2
から得られる画素データを基に行う。具体的には、たと
えば、図33(d) に示すように補間画素G の周辺に隣接す
る上下左右の画素G1U, G1B, G2L, G2Rを用いる。演算処
理には、これらの画素データが用いられる。演算の具体
例としては、演算を
【０２０６】
【数１４】 G=(G2L+G2R)/2, ・・・ (14a) G=(G1U+G1B)/2 ・・・ (14b) あるいは0 から1 の範囲内の係数 Kを用いて
【０２０７】
【数１５】 G=K*(G2L+G2R)/2+(1-K)*(G1U+G1B)/2 ・・・(15) によって行う。
【０２０８】このように色フィルタを配することによ
り、たとえば、図33(b) のようにハニカム配置の色G1,
G2, R 縦ストライプ,B縦ストライプを合わせて正方格子
型にすると、色RBのプレーン展開時の色G に関する信号
の精度を向上させることができる。
【０２０９】次にハニカム配置を用いた４板DG方式の色
フィルタの空間配置について説明する。色フィルタCF
は、図34(a) 〜(d) に示す色フィルタCF1, CF2, CF3, C
F4を用いる。色フィルタCF1 には、ハニカム配置のパタ
ーンで色G1が配されている。また、図34(b) の色フィル
タCF2 は、図34(a) の色フィルタCF1 の画素配置と画素
ピッチ分ずれた配置関係にある。色フィルタCF2 は、色
フィルタCF1 と同色で区別するためG2で表している。こ
の場合、色フィルタCF3 には、図34(c) に示すように色
フィルタCF2 と同じハニカム配置が適用され色R が配さ
れている。一方、図34(d) の色フィルタCF4 は、色フィ
ルタCF1 と同じハニカム配置が適用され色B が配されて
いる。色フィルタCF1, CF2を互いが相補的な関係となる
ように貼り合わせると、図34(e) に示す色G1, G2および
図34(f) に示す色R, Bの正方格子状の配列がそれぞれ得
られる。
【０２１０】このように構成することにより、前述した
３板方式に比較して色R,B の色解像度を高くすることが
できる。これまで説明してきたようにハニカム配置の色
フィルタを多板構成にすることにより、貼り合わせ後、
空間上の画素配置が倍密になり、正方格子等で構成でき
る。
【０２１１】なお、前述した中で色G1, G2に対応して供
給される画素データは、合成および補間等の信号処理を
受けて各部に供給されている。
【０２１２】次に本発明の固体撮像装置10を適用した面
順次単板方式のカラー撮像装置について簡単に説明す
る。この面順次単板方式のカラー撮像装置は、静止した
被写体の撮影に好適なものである。一般的に、面順次単
板方式は、撮像、受像とも白黒のデバイスで良好なこと
が知られている。ここで、固体撮像装置10と共通する部
分については同じ参照番号を付して説明を省略する。
【０２１３】この方式のカラー撮像装置は、受光素子PD
が２次元的に並べられた撮像部11と、撮像部11の撮像面
に平行な２次元平面内を、たとえば、横(X) 方向と縦
(Y) 方向とに移動させる移動機構と、被写体と撮像部11
との光路間、たとえば、撮像部11の直前に配されるハニ
カム配置の複数の色フィルタCFと、複数の色フィルタCF
から１枚の色フィルタを選択して光路間への挿入を切り
換える色フィルタ切換機構と、撮像部11からの出力を記
録する記録再生部と、撮像部11および記録再生部の出力
に信号処理を施すカラー信号処理部12とを備えている。
【０２１４】ここで、撮像部11、複数の色フィルタCFお
よびカラー信号処理部12は、前述した実施例で説明した
構成と同じように構成されている。特に、色フィルタCF
は、移動機構により撮像部11が移動させられるので、こ
の移動にしても撮像面がカバーされるように撮像面積よ
り大きく形成されている。
【０２１５】移動機構は、撮像部11の微小な移動を使用
する色フィルタCFの種類に応じて行う。すなわち、移動
は色フィルタCFの画素ずらし分に対応して行う。微小な
制御が難しい場合、ずらす画素ピッチの関係には周期性
があるので適当な移動量に設定して調整するようにして
もよい。この移動機構としては、X-Y 方向にそれぞれ精
度よく撮像部11を移動させるため、たとえば、ステッピ
ングモータ等の駆動部と、この駆動部からの駆動力を伝
達する歯車と、この歯車と噛合させて歯車の回転運動を
並進運動に変換するラックと、ステッピングモータの駆
動部の動作を制御する並進制御部とを用い、このラック
上に撮像部11を載置する。撮像部11は、移動させても信
号の入出力が可能になるようにフレキシブル基板等を介
して並進制御部、記録再生部およびカラー信号処理部12
と接続している。このように構成することにより、色フ
ィルタCFの種類に応じた移動を撮像部11にさせることが
できる。
【０２１６】色フィルタ切換機構は、複数の色フィルタ
CFをフィルタ枚数を考慮して一定の角度毎に、かつ透過
可能なようにフィルタ開口部を円盤の同一半径位置に設
けた色フィルタ設置部と、円盤を回転中心の回りに回転
させる回転駆動部としてのモータと、モータの動作を制
御する回転制御部とを用いる。色フィルタ設置部のフィ
ルタ開口面は、撮像面と平行状態を保つように配設させ
るとよい。また、モータに取り付けられている回転軸は
色フィルタ設置部の円盤中心に開けられた貫通口に挿通
する。回転軸は、たとえば、接着剤等を貫通口に塗布し
て円盤と固着させている。回転制御部は、一定の角度毎
の回転駆動を行うように回転開始および回転終了を制御
する。このように制御することにより、色フィルタCFを
要求に応じて切り換えることができるようになる。
【０２１７】記録再生部には、たとえば、SCSIインター
フェース等を介して画素データが供給される。記録再生
部は色フィルタ切換機構および移動機構の動作の組合せ
に応じてその都度、撮像部11から得られる信号が画素デ
ータにされて記録される。したがって、一枚の画像を作
成するために撮像が複数回行われる。このように得られ
た画素データが記録再生部に記録されこの記録再生部か
ら再生した画素データがカラー信号処理部12に供給され
ると、前述した実施例のいずれかを行って色再現・解像
度が重視された高品質な画像が得られる。このようにカ
ラー撮像装置は、ハニカム配置の色フィルタCFおよび撮
像部11を用いるので製造工程での複雑な配置および調整
を回避することができ、撮像素子（受光素子）上に配設
していたオンチップカラーフィルタを設ける必要性をな
くすことができる。
【０２１８】また、単板式に限定されることなく、カラ
ー撮像装置は、ハニカム配置の色フィルタおよび撮像部
を２セット用いた２板式でもよく、このとき撮像部を白
黒の正方格子配置の高解像度撮像部とする面順次方式の
カラー撮像装置とみなすことができる。
【０２１９】これまで、本発明の固体撮像装置および信
号処理方法における前述した基本的な概念を用いた実施
例を説明してきたが、次にさらにより一層の効果をもた
らす固体撮像装置および信号処理方法の関係について説
明する。この関係には、固体撮像装置が単板方式で、受
光素子の配置がハニカム配置、すなわち受光素子を上方
から見た際にその受光素子の幾何学的な形状の中心が行
方向および列方向にピッチが半分ずらして配置されてい
る。また、色分解に用いるフィルタは三原色R,G, B で
ある。そして、得られた撮像信号をディジタル変換して
信号処理を施す上で、前述した信号処理を適切に組み合
わせて適応信号処理を行う。
【０２２０】このような概念が適用された固体撮像装置
30について図35〜図58を参照しながら第４の実施例を説
明する。図35に示す固体撮像装置30において光学系（図
示せず）からの入射光の撮像に用いるカラーフィルタC
F、撮像部31は、前述した実施例と同じ構成である。撮
像部31の受光素子は、たとえば、正方形状でハニカム配
置されている。固体撮像装置30には、カラーフィルタC
F、撮像部31の他にカラー信号処理部32が備えられてい
る。カラー信号処理部32には、図35のガンマ変換部32a
、A/D 変換部32b 、信号処理部32c が含まれている。
この構成は、前述した図１の構成と基本的に同じもので
ある。ガンマ変換部32a およびA/D 変換部32bは、同じ
機能を有するものである。
【０２２１】信号処理部32c には、データ演算部320 、
マトリクス部322 、アンチエリアシングフィルタ部324
およびアパーチャ調整部326 が備えられている。データ
演算部320 は、A/D 変換部32b を介して供給される画素
データに演算処理を施す各種の演算部がある。ところ
で、これら演算部に的確な画素データを供給するため前
述した撮像部31の受光素子が電荷結合素子（CCD ）を用
いている場合、データの非破壊型のバッファメモリ320a
を配設するとよい。また、撮像部31の受光素子がMOS 型
の撮像素子の場合、本来１回の信号読出しでデータがな
くならない非破壊型であることからバッファメモリ320a
を不要にできる。この場合、駆動信号により出力する画
素データを制御できる。
【０２２２】データ演算処理部320 には、図35に示すよ
うに、バッファメモリ320a、輝度データ作成部320b、高
域輝度データ作成部320cおよびプレーン補間展開部320d
が備えられている。データ演算処理部320 は、図示しな
いがシステム制御部から供給される制御信号によって制
御されている。バッファメモリ320aは、画素データRGB
をそれぞれ輝度データ作成部320bおよびプレーン補間展
開部320dに供給している。輝度データ作成部220bは、市
松状に配されていることから、この市松パターンの各対
象位置での輝度データY を演算処理によって作成する。
【０２２３】高域輝度データ作成部320cは、輝度データ
作成部320bで作成された輝度データY を用いてフィルタ
処理を行うディジタルフィルタである。このディジタル
フィルタはローパスフィルタで、実際に受光素子が対応
しない位置、すなわち仮想画素に対して補間を行うとと
もに、得られる輝度データの周波数帯域を高域にする。
この結果、高域輝度データ作成部220cは、高域輝度デー
タYhをプレーン補間展開部320dに出力する。
【０２２４】プレーン補間展開部320dには、図36に示す
ようにR 補間展開部3200、G 補間展開部3202およびB 補
間展開部3204が備えられている。これら各部は、演算部
である。R 補間展開部3200、G 補間展開部3202およびB
補間展開部3204には、それぞれ一端側に高域輝度データ
Yhが供給され、もう一つの端子側から補間する色に対応
する画素データ、すなわちR データ、G データ、B デー
タが供給されている。このプレーン補間展開を行う際
に、演算処理により得られた画素データを用いてさらに
周辺に位置する対象の色に対する仮想画素を求めてい
る。この算出の手順は、後段で詳述する。
【０２２５】マトリクス部322 は、補間展開されたRGB
データから輝度データY と色差データCr, Cbを生成す
る。マトリクス部322 には、これらのデータを生成する
ように演算部（図示せず）が含まれている。マトリクス
部322 は、演算処理により輝度データY に式(13)を用
い、色差データCr=R-Yh, Cb=B-Yhを生成する。また、ア
ンチエリアシングフィルタ部324 は、前述した実施例と
同様に高域成分を含むように調整されたディジタルフィ
ルタで構成されている。アパーチャ調整部326 には、輝
度データに対してアパーチャ効果、たとえば、輪郭強調
等を従来の構成を用いる。本実施例の固体撮像装置30は
このように構成されている。この構成には、後述するよ
うに輝度データの高域化を図る際に周波数が重複するこ
とがないので、周波数重複防止部が不要になる。このよ
うに構成することにより、データ演算処理部320 を設け
て演算処理を行わせ、マトリクス部222 以降に配設され
ている各部は、従来の構成およびその処理をそのまま利
用できるので、装置のコストパフォーマンスを一層高め
ることができる。
【０２２６】次に固体撮像装置30の動作について説明す
る。固体撮像装置30は、図37に示すようにメインフロー
チャートに従って動作する。固体撮像装置30に電源を投
入した後に、システム制御部（図示せず）によって各種
の初期設定が行われ、ステップS10 に進む。
【０２２７】ステップS10 では、撮像、すなわち供給さ
れる駆動信号に応じて撮像信号の読出しを撮像部31で行
う。この読み出された信号に対して、ステップS11 で
は、ガンマ変換（補正）処理をカラー信号処理部32のガ
ンマ変換部32a で施す。ここで、変換された信号がA/D
変換部32b に送出される。A/D 変換部32b は、ステップ
S12 で供給された信号をディジタル信号（すなわち、画
素データ）に変換を行う。この変換により以後の信号処
理をディジタル処理で行う。この一連のステップS10 〜
S12 までの動作は、図10を基に説明した動作と同じもの
である。また、変換された画素データを色別に供給する
上で、前述したように特に、CCD イメージセンサを用い
た際にバッファメモリ320aが用いられる。バッファメモ
リ320aは、システム制御部から供給される書込み／読出
しイネーブル信号やアドレス信号等の制御信号に応じて
RGB それぞれの画素データを輝度データ作成部320bおよ
びプレーン補間展開部320dに供給する。この後、サブル
ーチンSUB6に進む。
【０２２８】サブルーチンSUB6では、実際に存在する画
素データを基に輝度データY （図41を参照）や単板方式
のため色フィルタの実在する色以外の色に対する画素デ
ータ等の補間処理を行う（図38を参照）。この補間処理
により画像全体に対するRGBの画素データを生成する。
この画素データの生成は、データ演算処理部320 の輝度
データ作成部320b、高域輝度データ作成部320cおよびプ
レーン補間展開部320dが順次動作させる。生成された画
素データは、プレーン補間展開部320dからマトリクス部
322 に供給される。
【０２２９】次にサブルーチンSUB7で、供給されたRGB
それぞれの画素データから輝度データY 、色差データ
Cr, Cbの生成、生成された各データに対する帯域制限お
よび輝度データY に対するアパーチャ調整を行う。これ
らの処理を行うマトリクス部322 、アンチエリアシング
フィルタ部324 およびアパーチャ調整部326 は、従来か
ら固体撮像装置に用いられている構成で済ませることが
できる。
【０２３０】得られた輝度データY 、色差データCr, Cb
は、図35に図示していないが表示部や圧縮処理部にそれ
ぞれ供給される。表示部では、高品質な画像データが供
給されることにより、一層高い品質の表示画像や印刷を
提供できる。ステップS14 では、画素データに圧縮処理
を施して情報量を減少させて半導体メモリ、光記録媒
体、磁気記録媒体、または光磁気記録媒体に記録させて
いる。この処理の後、ステップS15 に進む。ステップS1
5 では、撮影を終了するか判断している。撮影を継続す
る場合（No）、ステップS10 に戻って、前述の動作を繰
り返す。また、撮影を終了する場合（Yes ）、終了に進
んで、たとえば、電源スイッチをオフにして動作を終了
させる。
【０２３１】次にデータ演算処理部320 の動作について
説明する。データ演算処理部320 は、図38に示すサブル
ーチンSUB6の手順に従って動作する。すなわち、サブル
ーチンSUB8、SUB9およびSUB10 の順に動作する。サブル
ーチンSUB8では実在する受光素子の位置に対応して得ら
れる色を考慮した輝度データY を作成する。この作成に
より輝度データは市松状に得られる。サブルーチンSUB8
では、予め設定されたモードに従って後述するように輝
度データY を算出する。サブルーチンSUB9では、得られ
た輝度データY に基づいて対応する受光素子のない、仮
想画素での輝度データを生成するとともに、輝度データ
を周波数帯域で見た際にこの輝度データを高域化する。
この高域化された輝度信号をYhで表す。また、サブルー
チンSUB10 は、輝度データYhおよび供給されるG, R, B
をそれぞれ用いて補間することによりRGB のプレーン展
開を行っている。
【０２３２】各サブルーチンSUB8、SUB9およびSUB10 の
動作を説明する。図39に示すサブルーチンSUB8において
サブステップSS800 では、まず、モードが適応処理モー
ドであるかどうかの判別を行う。適応処理モードの場合
（Yes ）、図39のサブステップSS802 に進む。また、モ
ードが適応処理モードでなかった場合（No）、接続子B
を介して図41のサブステップSS804 に進む。
【０２３３】次にサブステップSS802 では、斜め相関処
理を行うかどうか選択を行う。斜め相関処理を行う場合
（Yes ）、サブステップSS806 に進む。また、斜め相関
処理を行わない場合（No）、接続子C を介してサブステ
ップSS808 に進む。サブステップSS808 では、相関処理
を行うかどうかの判定を行う。
【０２３４】ところで、上述したサブステップSS804 で
は、適応処理モードと関係なく輝度データの算出が行わ
れる。この処理を行うにあたり撮像部31のCCD イメージ
センサが本来図42(a) に示すように２次元配列されてい
る。ここで、添字は、各受光素子の画素としての位置を
行列表現で表した際の位置である。また、実在する受光
素子の画素は、実線で仮想受光素子に対応する画素は、
破線で表している。基本的に輝度データY は、画素デー
タG と画素データR, Bを用いて（0.5*R+0.5B）で算出で
きることが知られている。この場合も画素データG は、
そのまま輝度データとみなして扱われる（画素データG=
輝度データ）。また、画素データR, Bによる輝度データ
は、実在する受光素子の位置に対応する色がG でなくR/
B の場合に、たとえば、図42(a) の画素データR22 の位
置に対する輝度データY22 は、画素データR22 とその周
囲に位置する画素データB の４画素、すなわち画素デー
タB02, B20, B24, B42を用いて
【０２３５】
【数１６】 Y22=R22/2+(B02+B20+B24+B42)/8 ・・・(16) から得られる。また、画素データB24 の位置に対応する
輝度データY24 は、画素データB24 とその周囲に位置す
る画素データR の４画素、すなわち画素データR04,
R22, R26, R44を用いて
【０２３６】
【数１７】 Y24=B24/2+(R04+R22+R26+R44)/8 ・・・(17) から得られる。周囲の画素を用いて補正する補正量はこ
れら４つの画素の総和を画素数を倍した数、すなわち 4
×2=8 で割った値を作成対象画素の半値に加算して求め
ている。これは、算出した平均値に係数0.5 を掛けてい
ることと同じである。各画素に対してこの演算を行って
輝度データY が求められている。このようにして得られ
た結果、図42(b) に示す輝度データの市松状のパターン
が得られる。なお、このような演算は、後述するように
斜め方向、垂直方向および水平方向に相関がないときに
も行われる。
【０２３７】次にサブステップSS806 では、この斜め処
理を行う場合段階を踏んで行うかどうかの判定を行う。
斜め処理を複数の段階を踏まえて行うと判定したとき
（Yes）、サブステップSS810 に進む。また、斜め処理
を複数の段階を経て行わないとするとき（No）、サブス
テップSS812 に進む。
【０２３８】ここで、サブステップSS810 では、比較デ
ータの算出を行う。算出に用いる画素データには、作成
対象の画素データの色と同色の画素データを用いる。比
較データARS は、たとえば、その対象の画素データがR
22 の場合、周囲の画素データR00, R44, R04, R40を用
いて、
【０２３９】
【数１８】 ARSL= ｜R00-R44 ｜ ・・・(18) ARSR= ｜R04-R40 ｜ ・・・(19) から得られる。添字“L ”, “R ”は、それぞれ斜め
（S ）の傾斜が左斜めと右斜めにあることを示してい
る。図42(a) の配列を反時計方向に45°回転させた場
合、水平方向と垂直方向に対応する。算出した比較デー
タARSLとARSRの値を用いてさらに相関値（ARSL-ARS
R ）, （ARSR-ARSL ）が算出される。
【０２４０】次にサブステップSS814 では、算出した相
関値（ARSL-ARSR ）と新たに設けられた所定の判定基準
値J0よりも相関値が大きいとき（Yes ）、 ARSR の値が
小さいことを示し、換言すると用いた画素データの値が
似ていることを意味する。これにより、右斜め方向に相
関があると判断してサブステップSS816 に進む。また、
上述した条件が満たされないとき（相関値（ARSL-ARS
R ）＜J0）（No) 、この作成対象画素に対する右斜め相
関がないとしてサブステップSS818 に進む。サブステッ
プSS816 では、この場合、輝度データY22 が
【０２４１】
【数１９】 Y22=R22/2+(R00+R44)/4 ・・・(20) から得られる。
【０２４２】サブステップSS818 では、算出した相関値
（ARSR-ARSL ）と所定の判定基準値J0よりも相関値が大
きいとき（Yes ）、左斜め方向に相関があると判断して
サブステップSS820 に進む。また、上述した条件が満た
されないとき（相関値（ARSR-ARSL ）＜J0）（No) 、こ
の作成対象画素に対する左斜め相関がないと判定してサ
ブステップSS822 に進む。サブステップSS820 では、こ
の場合、輝度データY22 が
【０２４３】
【数２０】 Y22=R22/2+(R04+R40)/4 ・・・(21) から得られる。サブステップSS816 とサブステップSS82
0 の輝度データ算出後は、接続子D を介して図41のサブ
ステップSS824 に進む。
【０２４４】次にサブステップSS822 では、新たな比較
データの算出を行う。ここで、算出に用いる画素データ
は、作成対象画素データの色と異なっている。たとえ
ば、色G を用いて比較データを算出する。比較データAG
S は、たとえば、その対象の画素データがR22 の場合、
比較データAGS は、周囲の画素データG11, G33, G13, G
31を用いて、
【０２４５】
【数２１】 AGSL= ｜G11-G33 ｜ ・・・(22) AGSR= ｜G13-G31 ｜ ・・・(23) から得られる。このサブステップでは算出した比較デー
タAGSLとAGSRの値を用いてさらに相関値（AGSL-AGS
R ）,（AGSR-AGSL ）も算出される。この処理後、接続
子E を介して図40のサブステップSS826 に進む。
【０２４６】次にサブステップSS826 では、算出した相
関値（AGSL-AGSR ）と、たとえば、新たに設けられた所
定の判定基準値J0a よりも相関値が大きいとき（Yes
）、ここでもAGSRの値が小さいことから、用いた画素
データの値が似ていることを推定する。これにより、右
斜め方向に相関があると判断してサブステップSS828 に
進む。また、上述した条件が満たされないとき（相関値
（AGSL-AGSR ）＜J0a ）（No) 、この作成対象画素に対
する右斜め相関がないと判定してサブステップSS830 に
進む。サブステップSS828 では、この場合、輝度データ
Y22 が
【０２４７】
【数２２】 Y22=R22/2+(G11+G33)/4 ・・・(24) から得られる。また、輝度データY22 は、式(20)から算
出してもよい。
【０２４８】サブステップSS830 では、算出した相関値
（AGSR-AGSL ）と所定の判定基準値J0a よりも相関値が
大きいとき（Yes ）、左斜め方向に相関があると判断し
てサブステップSS832 に進む。また、上述した条件が満
たされないとき（相関値（AGSR-AGSL ）＜J0a ）（No)
、この作成対象画素に対する左斜め相関がないとして
サブステップSS808 に進む。サブステップSS832 では、
この場合、輝度データY22 が
【０２４９】
【数２３】 Y22=R22/2+(G13+G31)/4 ・・・(25) から得られる。また、輝度データY22 は、式(21)でもよ
い。サブステップSS828とサブステップSS832 の輝度デ
ータ算出後は、接続子D を介して図41のサブステップSS
824 に進む。
【０２５０】ところで、サブステップSS806 において簡
易的な斜め処理を選んだ場合、サブステップSS812 に進
むことはすでに述べた。このサブステップSS812 では、
比較データの算出を行う。比較データは、たとえば、適
応処理を施す対象の画素データを中心にしてその周囲の
画素データがどの方向に相関しているかの判別に用い
る。たとえば、その対象の画素データがR22 の場合、比
較データAGは、周囲の画素データG11, G13, G31, G33を
用いて、
【０２５１】
【数２４】 AG= ｜G11+G33-(G13+G31) ｜ ・・・(26) から得られる。画素データが色R の場合について説明し
ているが、色B の場合も周囲の画素データG から算出す
る。この算出により、左右のいずれか一方に傾きを有す
る大きい方の値が比較データAGとして得られることにな
る。この演算の後、サブステップSS834 に進む。
【０２５２】サブステップSS834 では、対象の画素デー
タを挟んで斜めに位置する画素データに相関（すなわ
ち、斜め相関）があるかどうか判定を行う。この判定に
は、判定基準値として新たにJ1が設定されている。比較
データAGが判定基準値J1以上に大きいとき（Yes ）、サ
ブステップSS836 に進む。また、比較データAGが判定基
準値J1よりも小さいとき（No）、接続子C を介して図40
のサブステップSS808 に進む。
【０２５３】サブステップSS836 では、比較データAGの
算出に用いた４つの画素データG を平均して輝度データ
Y を算出する。作成対象の画素に対して複数の段階や簡
易的な斜め方向に配された画素が相関しているかという
判定により、少なくとも、図43(a) 〜(f) の６パターン
が、たとえば、画素データR=R22 に対して判別されるこ
とになる。ところで、一般的に、図43(a) 〜(f) の斜線
部分と斜線のない領域の近傍には偽色が発生してしまう
虞れがある。しかしながら、境界近傍に位置する画素デ
ータR における輝度データY が、上述した演算により算
出されると、画像全体として見た際に色境界での偽色の
発生を良好に抑圧することができる。具体的な説明を省
略するが画素データB=B24 に対してもサブステップSS81
4 〜SS820 、SS82〜SS832 およびSS834 からSS836 と同
様に比較データを算出し斜め相関の有無に基づいた適応
的な輝度データY を作成することができる。
【０２５４】サブステップSS836 の処理の後、接続子D
を介して図41のサブステップSS824に進む。これによ
り、一連の斜め処理が終了する。サブステップSS834 で
斜め処理を行わない場合（No）、接続子C を介してサブ
ステップSS808 に進む。このサブステップ以降、作成対
象画素に対する水平・垂直方向の相関の有無に応じたデ
ータ処理である。サブステップSS808 では相関処理をす
るかどうかの判定を行う。相関処理を受光素子（または
色フィルタ）の広い範囲に関して他の方向、すなわち水
平・垂直方向の相関を行う場合の判定である。この判定
を行うとき（Yes）、サブステップSS838 に進む。この
判定をしないとき（No）、接続子B を介してサブステッ
プSS804 に進む。
【０２５５】サブステップSS838 では、比較データを算
出する。ここでも画素データR=R22に対する一例を挙げ
て説明する。この処理では画素データR=R22 に対する垂
直方向の比較データABRVと水平方向の比較データABRHを
周囲に配置されているもう一方の色の画素データ、すな
わち画素データB を用いて式(27)、式(28)
【０２５６】
【数２５】 ABRV= ｜B02-B42 ｜ ・・・(27) ABRH= ｜B20-B24 ｜ ・・・(28) により算出する。算出した比較データABRV, ABRHの値を
用いてさらに相関値（ABRH-ABRV ）,（ABRV-ABRH ）が
算出された際に、新たに設けられた所定の判定基準値J2
に対する各方向の相関値の大きさを比較して相関の有無
を判定する手順を説明する。
【０２５７】サブステップSS840 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ2a が設定されている。比較デー
タABRHと比較データABRVの差が判定基準値J2a 以上に大
きいとき（Yes ）、垂直相関があると判定してサブステ
ップSS842 に進む。また、比較データの差(ABRH-ABRV)
が判定基準値J2a よりも小さいとき（No）、垂直相関が
ないものとみなしサブステップSS844 に進む。
【０２５８】サブステップSS842 では、相関のあるとい
うことは画素データ同士の値が近いことを意味するか
ら、画素データB02, B42を用いて輝度データY を算出す
る。この場合、輝度データY22 は、
【０２５９】
【数２６】 Y22=R22/2+(B02+B42)/4 ・・・(29) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子D を介
して図41のサブステップSS824 に進む。
【０２６０】次にサブステップSS844 では、対象の画素
データを挟んで水平に位置する画素データに相関（すな
わち、水平相関）があるかどうか判定を行う。この判定
には、判定基準値として前述したJ2b を用いる。比較デ
ータABRVと比較データABRHの差が判定基準値J2b 以上に
大きいとき（Yes ）、水平相関があると判定してサブス
テップSS846 に進む。また、比較データの差(ABRV-AB
RH) が判定基準値J2b よりも小さいとき（No）、水平相
関がないと判定し、サブステップSS848 に進む。
【０２６１】サブステップSS846 では、相関のあるとし
て画素データB20, B24を用いて輝度データY を算出す
る。この場合、輝度データY22 は、
【０２６２】
【数２７】 Y22=R22/2+(B20+B24)/4 ・・・(30) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子D を介
してサブステップSS824 に進む。
【０２６３】次にサブステップSS848 では、たとえば、
作成対象画素である色R の画素に対する周囲の色B の画
素の相関判定を行うかどうかを選択する。色R の画素が
周囲の色B の画素の中央位置に配されているので、サブ
ステップSS840, SS844における画素間の距離が短い。す
なわち、たとえば、垂直方向において、画素R22 - 画素
B02 、画素R22 - 画素B42 は、画素B02-画素B42 の半分
の距離である。この関係は、作成対象画素と水平方向に
位置する画素においても言える。したがって、前述した
水平・垂直方向の相関判定に比べてより受光素子（また
は色フィルタ）の狭い範囲に対する相関の有無判定が以
後の処理で行われることが判る。この相関判定を行う場
合（Yes ）、サブステップSS850 に進む。また、この相
関判定を行わない場合（No）、接続子B を介してサブス
テップSS804 に進む。この場合、先の判定基準値J2と異
なる判定基準値J2a, J2bのいずれの基準を満たさなかっ
たものと判定される。なお、以後の処理を行わない処理
手順にしてもよい。
【０２６４】サブステップSS850 では、再び比較データ
を算出する。この場合の比較データは、対象の画素デー
タと周囲の画素データの各相関を求め、得られた各相関
値を加算することにより垂直方向および水平方向に対す
る算出がされる。前述の場合と同様に画素データR22 に
対する輝度データY の算出は、垂直方向の比較データAC
RVと水平方向の比較データACRHを周囲に配置されている
もう一方の色の画素データ、すなわち画素データB を用
いて、式(31)、式(32)
【０２６５】
【数２８】 ACRV= ｜B02-R ｜+ ｜B42-R ｜ ・・・(31) ACRH= ｜B20-R ｜+ ｜B24-R ｜ ・・・(32) により算出する。この処理の後、サブステップSS812 に
進む。この比較データを用いることにより、より一層画
素データの距離を作成対象の画素データと近づけて相関
値が求められることになるので、先のサブステップSS84
0 〜SS846 の手順での相関判定の範囲よりも狭い範囲に
関して相関の有無を調べることができる。この算出後、
サブステップSS852 に進む。
【０２６６】サブステップSS852 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ3が設定されている（ここで、判
定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよ
い）。比較データACRHと比較データACRVの差が判定基準
値J3以上に大きいとき（Yes ）、垂直相関があると判定
してサブステップSS854 に進む。また、比較データの差
(ACRH-ACRV) が判定基準値J3よりも小さいとき（No）、
垂直相関がないと判定してサブステップSS856 に進む。
【０２６７】サブステップSS854 では、前述したサブス
テップSS842 での処理と同じ処理を行う。したがって、
演算には式(29)が用いられる。また、サブステップSS85
6 では、対象の画素データを挟んで水平に位置する画素
データに相関（すなわち、水平相関）があるかどうかの
判定を行う。この判定にも判定基準値J3が用いられる。
【０２６８】サブステップSS856 において、比較データ
の差(ACRV-ACRH) が判定基準値J3以上のとき（Yes ）、
水平相関があると判定してサブステップSS858 に進む。
この場合、サブステップSS858 での輝度データY は、サ
ブステップSS846 で前述したように画素データを用い、
式(30)に基づいて算出される。この後、サブステップSS
824 に進む。また、サブステップSS856 で比較データの
差(ACRV-ACRH) が判定基準値J3より小さいとき（No）、
水平相関がないと判定して接続子B を介して図41のサブ
ステップSS804 に進む。サブステップSS804 では、式(1
6)により対象の画素データと周囲のもう一方の色の画素
データ（この場合、画素データB ）を加算平均し0.5 の
係数を乗算して輝度データY を算出している。この算出
後、サブステップSS824 に進む。
【０２６９】サブステップSS824 では、市松状の輝度デ
ータのデータ作成が１フレーム分、完了したかどうかの
判定を行っている。この判定は、たとえば、算出した輝
度データY の個数をカウントし、このカウント値と受光
素子の数とが一致するかどうかで容易に行うことができ
る。カウント値が受光素子の数より小さい値のとき（N
o）、まだ処理が完了していないと判定する。この結
果、輝度データY の算出処理を接続子F を介して図39の
サブステップSS800 にまで戻して、これまでの一連の処
理を繰り返す。また、カウント値が受光素子の数に一致
したとき（Yes ）、処理をリターンに移行させる。この
リターンを経て処理をサブルーチンSUB9に移行させる。
このようにして輝度データY を算出することにより、図
42(b) のように市松状の受光素子が実在する位置にデー
タが作成される。
【０２７０】ところで、図43および図44に示すような色
境界を含む画像は、色境界の方向を相関の方向から推定
することができる。ただし、図45に示すように輝度デー
タの算出対象の画素R(=R22) に対して周囲の画素データ
B02, B20, B24, B42から算出する場合、水平方向または
垂直方向の相関を特定することはできない。
【０２７１】次にサブルーチンSUB9の動作を説明する
（図46を参照）。サブルーチンSUB9の動作は、前述した
ように高域輝度データ作成部320cのディジタルフィルタ
の構成に基づいて行われサブステップSS90では、このデ
ィジタルフィルタの特徴であるローパスフィルタ処理を
施すとともに、仮想受光素子の位置における画素データ
を生成してデータ補間を行う。この関係を簡単に図47に
示す。図47でも実在する受光素子に対応する画素d(-3),
d(-1), d(1), d(3)は実線で示し、仮想受光素子に対応
する画素は破線で示し、実在する４つの受光素子（既存
の画素）の間に配した関係になっている。仮想受光素子
に対応する画素dn(-4), dn(-2), dn(0), dn(2), dn(4)
には、実在する受光素子との対応を考慮すると、何もデ
ータが入っていない状態と同じ関係として扱う。すなわ
ち、これらの画素には、ゼロが予め設定されている。た
とえば、図47(a) に示すように画素dn(0) を水平方向に
補間するとき、ディジタルフィルタのタップ係数をk0,
k1, k2, k3, k4,・・・,kn として整理すると、高域成分を
含む輝度データYh(0) が式(33)
【０２７２】
【数２９】 Yh(0)=k0*dn(0)+k1*(d(1)+ d(-1))+k2*(dn(-2)+dn(2)+k3*(d(-3)+d(3)) +k4*(dn(-4)+dn(4))+・・・kn*(dn(-n)+dn(n)) ・・・(33) で表されるように得られる。ただし、この場合、図47
(a) から明らかなように、ゼロのデータが交互に入るの
で、係数は２倍になる。この関係は、図47(a) における
この他の補間対象の画素dn(-4), dn(-2), dn(2), dn(4)
に対しても当てはめる。これらの補間処理が施されるこ
とにより、高域成分を含む輝度データYh(-4), Yh(-2),
Yh(2), Yh(4)が得られる（図47(b) を参照）。
【０２７３】また、垂直方向に対してもローパスフィル
タ処理を高域輝度データ作成部320cでディジタルフィル
タにより行う。この場合、既に水平方向の補間処理によ
って仮想受光素子に対応する画素のデータが補間されて
いるので、画素データは密に入っている。したがって、
ローパスフィルタの係数は通常と同じにして済ませるこ
とができる。このようにして得られた高域成分を含む輝
度データを図42(b) に示したように行列表現で表すと、
図48に示すように高域成分を含む輝度データYhが作成さ
れる。高域成分を含む輝度データYhは、以下の記載にお
いて高域輝度データと呼ぶ。
【０２７４】次にサブルーチンSUB10 の動作について説
明する。サブルーチンSUB10 は、図36に示すようにプレ
ーン補間展開部320dで行われる。プレーン補間展開部32
0dには、サブルーチンSUB9で作成された高域輝度データ
Yhとこの高域輝度データYhに対応した補間対象の色の画
素データがそれぞれの演算処理部に供給されている。高
域輝度データYhは、図36から明らかなようにR 補間展開
部3200, G 補間展開部3202, およびB 補間展開部3204に
共通して供給されている。これらの供給される画素デー
タを用いて色毎にそれぞれの仮想受光素子の画素におけ
る画素データを図49に示すフローチャートに従って補間
する。この場合、画素データG の補間処理をサブステッ
プSS100 で最初に行う。このとき、図50に示すように単
板画素ずらし型G 正方RB完全市松のパターンを用いてい
ることから、既存の画素データGを有する画素は、実線
の正方格子で表す。また、画素データG を持たない画
素、すなわち、仮想受光素子の対応する画素および既存
の画素データを有していながら、色G と異なる色の画素
は、破線の正方格子で表す。この画素データG を持たな
い画素を仮想画素と呼ぶ。補間処理には、４つずつ既存
の画素データを用いる。
【０２７５】この関係を具体的に図50に示す。図50のパ
ターンが示すように、仮想画素G12,G14, G16, G21〜 G
26の一行, G32, G34, G36 を補間する場合、補間処理は
隣接する４つずつの画素データG11, G13, G31, G33や画
素データG13, G15, G33, G35等を用いる。また、補間に
用いる画素データG に対応する図48の高域輝度データも
用いて演算する。たとえば、補間対象である仮想画素の
画素データG21 の補間は、同一の列方向の２つの画素に
対応する既存データおよび高域輝度データならびに補間
対象位置の高域輝度データを用いて、式(34)
【０２７６】
【数３０】 G21=(G11+G31)/2-(Yh11+Yh31)/2+Yh21 ・・・(34) から得られる。式(34)の計算式を用いると、仮想画素G
23 を補間することができる。また、仮想画素G12 の補
間は、同一の行方向の２つの画素に対応する既存データ
および高域輝度データならびに補間対象位置の高域輝度
データを用いて、式(35)
【０２７７】
【数３１】 G12=(G11+G13)/2-(Yh11+Yh13)/2+Yh12 ・・・(35) から得られる。式(35)の計算式を用いると、仮想画素G
32 を補間することができる。そして、４つずつの画素
データG11, G13, G31, G33の中心に位置する画素データ
G22 は、これら４つの位置の画素データおよび高域輝度
データを用いて、式(36)
【０２７８】
【数３２】 G22=(G11+G13+G31+G33)/4-(Yh11+Yh13+Yh31+Yh33)/4+Yh22 ・・・(36) から得られる。式(36)の計算式を用いると、仮想画素G
23 を補間することができる。画素データG13, G15,
G33, G35を４つを一組のデータとみなして補間する場
合、すでに画素データG23 は算出されているので、残る
画素データG14, G34, G25 を算出すればよい。この処理
を繰り返し行うことにより、画素データG のプレーン画
像を作成する。ただし、プレーン画像の最外縁は、この
ような関係にならないので、厳密に補間を行う場合、境
界値として設定しておくとよい。また、有効画面を考慮
すると、この周辺部のデータは有効画面の範囲外にある
ので算出しなくても構わない。
【０２７９】次に画素データR の算出をサブステップSS
102 で行う。この場合も既存データおよび演算によって
算出された画素データに対応する画素は、実線の正方格
子で表し、仮想画素は破線の正方格子で表す。画素デー
タR における既存の画素データは、図51に示すようにR
00, R04, R22, R26, R40, R44しかない。この場合、サ
ブステップSS102 では、補間対象の仮想画素に対して斜
めに隣接している画素データとこの位置に対応する図48
の高域輝度データを用いる。たとえば、画素データR11
は、画素データR00, R22ならびに高域輝度データYh00,
Yh22およびYh11を用いて、
【０２８０】
【数３３】 R11=(R00+R22)/2-(Yh00+Yh22)/2+Yh11 ・・・(37) によって算出される。同様に、仮想画素R13, R31, R33
は、式(37)と同じ関係にあるそれぞれ画素データR04, R
22、画素データR40, R22および画素データR44 ，R22を
適用して算出する。既存の画素データR26 も考慮して算
出すると、隣接斜め補間処理により仮想画素R15, R35も
作成することができる。この結果が図52に示されてい
る。
【０２８１】次にサブステップSS104 では、一つ前のサ
ブステップSS102 で算出された画素によって囲まれた画
素を補間対象の画素とし、補間に際して算出されたこれ
ら４つの画素データおよびその位置の高域輝度データを
用いて補間処理を行う。たとえば、画素データR24 を中
心に図52から判るように、その周囲の画素データR13,R
15, R33, R35の位置のデータを用いて、式(38)
【０２８２】
【数３４】 R24=(R13+R15+R33+R35)/4-(Yh13+Yh15+Yh33+Yh35)/4+Yh24 ・・・(38) によって算出される。式(38)に用いる画素データと同等
の配置関係が周辺の画素から得られるとき、この補間を
施すことによって、図53に示すように画素データR02, R
20, R42 が得られる。換言すると、補間対象の画素から
見れば、補間に使用する画素データはすべて斜めに位置
している。
【０２８３】次にサブステップSS106 では、これまでに
得られた画素データを用いるとともに、これらの画素の
内、補間対象の画素に対して上下左右に位置する画素デ
ータから補間を行う。たとえば、画素データR12 を中心
に上下左右の４つの画素データおよびその位置の高域輝
度データを用いて、式(39)
【０２８４】
【数３５】 R12=(R02+R11+R13+R22)/4-(Yh02+Yh11+Yh13+Yh22)/4+Yh12 ・・・(39) によって算出される。同様の位置関係にある、たとえ
ば、画素データR14, R32,R34 は、式(38)に用いた画素
データの位置関係に対応するデータを代入すると算出で
きる。さらに、図53の右側に画素が継続していると、画
素データR16, R36も算出することができる。
【０２８５】なお、図54に示すように周辺部には未補間
の仮想画素が残ってしまうので、この仮想画素に対して
周囲を囲む、たとえば３つの画素から補間するようにし
てもよい。この補間の場合も前述した補間の手法を用い
ると、仮想画素の画素データR01 は、
【０２８６】
【数３６】 R01=(R00+R02+R11)/3-(Yh00+Yh02+Yh11)/3+Yh01 ・・・(40) によって算出される。このようにしてこの他、画素デー
タR03, R05, R10, R30,R41, R43, R45 が補間される。
最終的に画素データR に関するプレーン画面全体が補間
される。
【０２８７】次に画素データB に対する補間処理がサブ
ステップSS108, SS110, SS112 で行われる。サブステッ
プSS108, SS110, SS112 は、それぞれ、画素データB に
おける隣接斜め補間処理、４つの補間データによる中央
補間処理および上下左右の４画素による中央補間処理で
ある。これらの補間処理は、前述した画素データR の補
間処理（すなわち、サブステップSS102, SS104, SS106
）に準拠している。これは、図51の画素データR と図5
5の画素データB の画素配置の関係から判る。すなわ
ち、図55の画素データB の画素配置は、各色の添字に表
される行列表示から、図51の画素データR を水平（すな
わち、行）方向に２列ずつ全体にシフトした配置になっ
ている。このことから、これまで式(37)〜式(40)までの
式を適用して仮想画素を補間する場合、行列表示で列の
数字が２以上の右側で各画素データの添字の列の数字に
+2だけ加算した関係で算出を行うとよい。たとえば、画
素データB13 や画素データB33 は、式(37)の色R を色B
に置換し、画素データR00, R31の位置関係を画素データ
B02, B33にして
【０２８８】
【数３７】 B11+2=(B00+2+B22+2)/2-(Yh00+2+Yh22+2)/2+Yh11+2 B13=(B02+B24)/2-(Yh02+Yh24)/4+Yh13 ・・・(41) B31+2=(B22+2+B40+2)/2-(Yh22+2+Yh40+2)/4+Yh31+2 B33=(B24+B42)/2-(Yh24+Yh42)/4+Yh33 ・・・(42) のように演算処理することにより算出される。また、画
素データの行列表示における列の数字が２より小さい左
側で各画素データの補間処理を行う場合には、画素デー
タR04, R22を用いて画素データR13 を算出する関係を用
い、添字の数字から-2だけ減算させて算出するとよい。
たとえば、画素データB11 は、
【０２８９】
【数３８】 B13-2=(B04-2+B22-2)/2-(Yh04-2+Yh22-2)/2+Yh13-2 B11=(B02+B20)/2-(Yh02+Yh20)/4+Yh11 ・・・(43) から得られる。他の式(38)〜式(40)においても同様の関
係が成立している。この関係に注意してサブステップSS
110, SS112で補間処理を行うと、画素データB に関する
プレーン補間展開を行うことができる。この処理の後、
サブステップSS114 に進む。
【０２９０】サブステップSS114 では、プレーン補間展
開が各色毎にすべて終了したかどうかの判定を行う。一
連の処理がまだ終了していないとき（No）、サブステッ
プSS100 に戻って処理を繰り返す。なお、各色毎にこの
確認処理をおこなってもよい。また、一連の処理が終了
したとき（Yes ）、リターンに移行する。この移行後、
サブルーチンSUB6の処理が終了し、サブルーチンSUB7に
進む。
【０２９１】ここで、サブルーチンSUB6の処理により得
られた各データ等を信号が持つ周波数帯域として図56に
表す。横軸は水平方向の周波数軸（fh）で縦軸は垂直方
向の周波数軸（fv）である。図56のハニカム配置におけ
る空間周波数表示から、市松状で、かつ完全に交互にR/
B が入れ換わるパターンで配される関係により実線RBの
分布で表される。これに対して、画素G は、画素ずらし
を含んだ４画素でストライプパターンに配されたことに
より周波数が高く、画素R/B の周波数が範囲内に含まれ
るようになる。画素G の空間周波数は、ほぼfs/4で水平
方向および垂直方向の周波数軸を通っている。補間処理
により得られた高域輝度信号Yhは、画素G, R/Bを含み、
帯域をfs/2まで延ばしている。
【０２９２】また、各処理毎の周波数帯域について図57
を用いて説明する。図57の横軸は、水平方向の空間周波
数軸で縦軸は、信号レベルを表している。図57(a) の信
号RBは、画素RBの撮像信号をディジタル変換した際の帯
域を表している。図57(b) の高域輝度信号Yhは、高域輝
度データ作成部320cで作成されたデータに対して信号と
してみた場合の帯域を表している。この信号は高周波数
側の遮断周波数がfs/2の近傍になっている。プレーン補
間展開部320dでは、図57(a) および図57(b) を合成した
と同じ補間処理が行われることにより、図57(c) に示す
水平方向の空間周波数帯域にすることができる。このよ
うにして得られるRGB それぞれのプレーン画像を高域成
分のデータにしている。
【０２９３】次にサブルーチンSUB7の動作を図58を用い
て説明する。サブステップSS70では、信号処理部32c か
ら出力されたRGB データを用いてマトリクス処理をマト
リクス部322 で行う。このマトリクス処理により輝度デ
ータY 、色差データ(R-Y), (B-Y)が生成される。この処
理後、サブステップSS72に進む。サブステップSS72で
は、広帯域にわたるLPF 処理を施す。この処理によって
折り返し歪みの発生を抑制している。この処理は、アン
チエリアシングフィルタ部324 で行う。この処理を経て
色差データ信号(R-Y)=Cr, (B-Y)=Cbが得られる。また、
輝度データY には、さらにアパーチャ調整が施される。
この処理がサブステップSS74で行われる。アパーチャ調
整は、図35のアパーチャ調整部326 で行われている。こ
のように処理されて輝度データY が得られる。この処理
の後、リターンに進み、サブルーチンSUB7を終了して固
体撮像装置30のメインルーチンに戻る。
【０２９４】このように前述した処理を行うことによっ
て、得られた撮像信号を本来の解像度に比べて高解像度
の信号（データ）にすることができるとともに、色境界
で生じていた偽信号を良好に抑圧することができる。こ
れにより、得られる画像の画質をよりよい画質にするこ
とができる。
【０２９５】この固体撮像装置30は、多板方式にも適用
することができる。たとえば、光学系によって被写界像
が少なくとも、２つの撮像面にそれぞれ投影させる２板
式の場合について説明する。ここで、撮像面を形成する
受光素子を行方向と列方向で２次元配列されるととも
に、撮像面に投影された同一の被写界像を空間的に重ね
合わせた際に一方の２次元配列された受光素子と他方の
２次元配列された受光素子の対応する幾何学的な撮像面
形状の中心が行方向および列方向に半ピッチずつずれた
関係に配設されている。このとき使用されている色フィ
ルタCFは、受光素子に対応してこの受光素子の前面に配
置され、空間的に重ね合わせた際に三原色RGB の色フィ
ルタとなる色配列となっている。このような関係にある
撮像信号に前述した信号処理を施すと、同様の効果、す
なわち高画質、かつ偽色の抑制された画像が得られる。
【０２９６】また、固体撮像装置30は面順次方式に用い
てもよい。固体撮像装置30において信号処理を行う前段
までの構成は、被写界像を一つの撮像面に投影させる光
学系（図示せず）と、この光学系と受光素子が２次元配
列された撮像部との間に挿入される色フィルタCFを切り
換える色フィルタ切換部と、受光素子が２次元配列され
た撮像部を撮像面に平行な２次元平面内で移動させる移
動部と、この移動部により撮像部を複数回にわたって移
動させながら、この移動の都度、撮影した画像を面順次
に記録する記録部とを含んでいる。移動の都度、撮影し
た画像が一つ前に撮影した画像に対して幾何学的な撮像
面形状の中心を行方向および列方向に半ピッチずつずら
した関係が得られるようにしている。この場合も供給さ
れる撮像信号に前述の信号処理を施して高画質、かつ偽
色の抑制された画像を生成している。
【０２９７】ところで、本発明の請求項48〜54により規
定された固体撮像装置は、前述した単板画素ずらし型G
正方RB完全市松パターンの固体撮像装置30の構成に対応
している。特に、信号処理部32c の輝度データ作成部32
0bが第１演算手段に、高域輝度データ作成部320cおよび
プレーン補間展開部320dが第２演算手段に対応してい
る。輝度データ作成部320bには、具体的に図示しないが
適応処理を行う場合、水平方向・垂直方向に相関の有無
の検討を行うように第１および第２相関検出手段として
の演算部がそれぞれ備えられている。演算部に２つの相
関検出手段を設けているのは、相関検出の範囲を２段階
にしてなるべく何らかの相関検出が得られるように考慮
しているからである。この演算手順は、サブルーチンSU
B6の手順に同じである。また、この適応処理には、輝度
データ作成部320bに備えられた斜め方向の相関の有無の
検討を２段階で行い、このための第３および第４相関検
出手段としての演算部（図示せず）が設けられている。
手順は、サブルーチンSUB6の斜め相関処理に対応してい
る。
【０２９８】撮像部31は、これまで全画素読出しで撮像
信号の読出しを行うと述べてきたが、撮像部31はこの撮
像信号の読出しに限定されるものでなく、インターレー
スまたはX,Y アドレス方式で読み出すようにしてもよ
い。X,Y アドレス方式による信号読出しは、MOS 型の撮
像素子を複数備えた撮像部でよく用いられている。この
場合、読み出した画像データが半分とか一部の場合があ
るので、これらの供給される情報を格納して１画像分ま
とめてから信号処理する場合、メモリを用いるとよい。
提案する固体撮像装置が、前述した固体撮像装置30と同
じことから詳細に説明しないが、この構成を２板式の固
体撮像装置や面順次方式の固体撮像装置に適用できるこ
とは明らかである。
【０２９９】固体撮像装置30の構成は、ディジタルスチ
ルカメラのような装置に適用可能なわけではなく、被写
界像を光学系および撮像部を介して撮像して得られた画
像データまたはこの画像データが記録された記録媒体か
らの再生データを基に信号処理部の各演算部により輝度
データの生成を行う画像処理装置に適用してもよい。ま
た、画像データは、通信により供給されてもよい。この
ように構成することにより、従来の生成で得られる輝度
信号よりも高域に延びた輝度信号を短時間に得ることが
できる。
【０３００】これまで撮像部の２次元配置した受光素子
およびこの撮像部の被写体側に受光素子と色フィルタ
（G 正方RB完全市松パターン）がそれぞれ対をなすよう
に配置されたハニカム配置で受光した撮像信号に信号処
理を施す構成およびその動作について説明してきた。と
ころで、G 正方RB完全市松パターンという色フィルタ配
置は、G ストライプRB完全市松パターンに画素ずらしを
加えて新たに提案されたパターンである。そこで、画素
ずらしのないG ストライプRB完全市松パターンで得られ
た撮像信号に信号処理を施した場合を考察すると、施す
信号処理は、ハニカム対応としての構成がほぼそのまま
にしようできることが判る。G ストライプRB完全市松パ
ターンとその信号処理の点に着目して説明する。ここ
で、この場合の提案する固体撮像装置の構成も前述した
固体撮像装置30と同じ構成になる。このため、詳細な構
成の説明を省略し、構成要件との対応関係だけを説明す
ることにする。G ストライプRB完全市松パターンの色フ
ィルタが適用しているので、この場合の受光素子の開口
形状は、正方格子状になる。
【０３０１】本発明の固体撮像装置における実施例とし
ては、信号処理部32c の輝度データ作成部320bが第３演
算手段に、高域輝度データ作成部320cおよびプレーン補
間展開部320dが第４演算手段に対応している。輝度デー
タ作成部320bには、具体的に図示しないが適応処理を行
う場合、水平方向・垂直方向に相関の有無の検討を行う
ように第５および第６相関検出手段としての演算部がそ
れぞれ備えられている。２つ設けているのは、相関検出
の範囲を２段階にしてなるべく何らかの相関検出が得ら
れるように考慮しているからである。この演算手順は、
サブルーチンSUB6の手順に同じである。また、この適応
処理には、輝度データ作成部320bに備えられた斜め方向
の相関の有無の検討を２段階で行い、このための第７お
よび第８相関検出手段としての演算部（図示せず）が設
けられている。手順は、サブルーチンSUB6の斜め相関処
理に対応している。ただし、画素ずらしによって考察さ
れていた仮想画素を考慮する必要がなくなることから、
信号処理はハニカムにおける処理よりも簡便になる。特
に、この処理の簡便さは、プレーン補間処理での影響が
大きい。また、画素ずらし分がなくなることから、各信
号処理における配置関係、すなわち式に適用した行列表
示の対応にずれが生じる。このことを鑑みて、後段でサ
ブルーチンSUB6での式をG ストライプRB完全市松パター
ンでの適用が可能なものにして説明する。
【０３０２】ハニカム配置でない固体撮像装置であって
も撮像部31は、これまで述べてきた全画素読出しで撮像
信号の読出しに限定されるものでなく、インターレース
またはX,Y アドレス方式で読み出すようにしてもよい。
この場合も、読み出した画像データが半分とか一部の場
合があるので、１画像分まとめてから信号処理する場
合、メモリを用いるとよい。提案する固体撮像装置が、
前述した固体撮像装置30と同じことから詳細に説明しな
いが、この構成を２板式の固体撮像装置や面順次方式の
固体撮像装置に適用できることは明らかである。
【０３０３】固体撮像装置30の構成は、ディジタルスチ
ルカメラのような装置に適用可能なわけではなく、被写
界像を光学系および撮像部を介して撮像して得られた画
像データまたはこの画像データが記録された記録媒体か
らの再生データを基に信号処理部の各演算部により輝度
データの生成を行う画像処理装置に適用してもよい。ま
た、画像データは、通信により供給されてもよい。
【０３０４】次にG ストライプRB完全市松パターンにお
ける固体撮像装置について図38のサブルーチンSUB6の手
順に従って動作を説明する。すなわち、サブルーチンSU
B8、およびSUB9の順に動作させる。しかしながら、これ
らの処理の後、サブルーチンSUB10 を行う代わりにサブ
ルーチンSUB11 を用いる。それぞれの処理の概略を説明
すると、まず、サブルーチンSUB8では実在する受光素子
の位置に対応して得られる色を考慮した輝度データY を
作成する。この作成により輝度データは実存する受光素
子すべてで得られる。サブルーチンSUB8では、たとえ
ば、適応処理を行うかどうかなどのように予め設定され
たモードに従って後述するように輝度データY を算出す
る。サブルーチンSUB9では、得られた輝度データY に基
づいて輝度データを周波数帯域で見た際にこの輝度デー
タを高域化する。この高域化された輝度信号をYhで表
す。また、撮像部31の配置が異なることによりサブルー
チンSUB10 の処理の代わりにサブルーチンSUB11 を用い
る。サブルーチンSUB11 は、輝度データYhおよび供給さ
れるG, R, B をそれぞれ用いて補間することによりRGB
のプレーン展開を行っている。
【０３０５】各サブルーチンSUB8、SUB9およびSUB11 の
動作を説明する。ここで、信号処理の手順が前述した通
りほぼ同じなので同じ参照符号を用いて各サブステップ
の処理を説明する。図39に示すサブルーチンSUB8におい
てサブステップSS800 では、まず、モードが適応処理モ
ードであるかどうかの判別を行う。適応処理モードの場
合（Yes ）、図39のサブステップSS802 に進む。また、
モードが適応処理モードでなかった場合（No）、接続子
B を介して図41のサブステップSS804 に進む。
【０３０６】次にサブステップSS802 では、斜め相関処
理を行うかどうか選択を行う。斜め相関処理を行う場合
（Yes ）、サブステップSS806 に進む。また、斜め相関
処理を行わない場合（No）、接続子C を介してサブステ
ップSS808 に進む。サブステップSS808 では、相関処理
を行うかどうかの判定を行う。
【０３０７】ところで、上述したサブステップSS804 で
は、適応処理モードと関係なく輝度データの算出が行わ
れる。この処理を行うにあたり撮像部31のCCD イメージ
センサが本来図59(a) に示すように２次元配列されてい
る。ここで、添字は、各受光素子の画素としての位置を
行列表現で表した際の位置である。基本的に輝度データ
Y は、画素データG と画素データR, Bを用いて（0.5*R+
0.5B）で算出できることが知られている。この場合も画
素データG は、そのまま輝度データとみなして扱われる
（画素データG=輝度データ）。また、画素データR, Bに
よる輝度データは、受光素子の位置に対応する色がG で
なくR/B の場合に、たとえば、図59(a)の画素データR33
の位置に対する輝度データY33 は、画素データR33 と
その周囲に位置する画素データR を２画素および画素デ
ータB を２画素の計、４画素、すなわち画素データR13,
B31, B35, R53を用いて
【０３０８】
【数３９】 Y33=R33/2+(R13+B31+B35+R53)/8 ・・・(44) から得られる。また、画素データB23 の位置に対応する
輝度データY23 は、画素データB23 とその周囲に位置す
る画素データR, Bの計４画素、すなわち画素データB03,
R21, R25, B43を用いて
【０３０９】
【数４０】 Y23=B23/2+(R03+R21+R25+R43)/8 ・・・(45) から得られる。周囲の画素を用いて補正する補正量はこ
れら４つの画素の総和を画素数を倍した数、すなわち 4
×2=8 で割った値を作成対象画素の半値に加算して求め
ている。各画素に対してこの演算を行って輝度データY
が求められている。このようにして得られた結果、図59
(b) に示す輝度データのパターンが得られる。なお、こ
のような演算は、後述するように斜め方向、垂直方向お
よび水平方向に相関がないときにも行われる。
【０３１０】次にサブステップSS806 では、この斜め処
理を行う場合段階を踏んで行うかどうかの判定を行う。
斜め処理を複数の段階を踏まえて行うと判定したとき
（Yes）、サブステップSS810 に進む。また、斜め処理
を複数の段階を経て行わないとするとき（No）、サブス
テップSS812 に進む。
【０３１１】ここで、サブステップSS810 では、比較デ
ータの算出を行う。算出に用いる画素データには、作成
対象の画素データの色と同色の画素データを用いる。比
較データABRSは、たとえば、その対象の画素データがR
33 の場合、周囲の画素データB11, B55, B15, B51を用
いて、
【０３１２】
【数４１】 ABRSL=｜B11-B55 ｜ ・・・(46) ABRSR=｜B15-B51 ｜ ・・・(47) から得られる。添字“L ”,“R ”は、それぞれ斜めの
傾斜が左斜めと右斜めにあることを示している。図59
(a) の配列を反時計方向に45°回転させた場合、水平方
向と垂直方向に対応する。算出した比較データABRSL と
ABRSR の値を用いてさらに相関値（ABRSL-ABRSR ）,（A
BRSR-ABRSL ）が算出される。
【０３１３】次にサブステップSS814 では、算出した相
関値（ABRSL-ABRSR ）と新たに設けられた所定の判定基
準値J0よりも相関値が大きいとき（Yes ）、 ABRSRの値
が小さいことを示し、換言すると用いた画素データの値
が似ていることを意味する。これにより、右斜め方向に
相関があると判断してサブステップSS816 に進む。ま
た、上述した条件が満たされないとき（相関値（ABRSL-
ABRSR ）＜J0）（No) 、この作成対象画素に対する右斜
め相関がないとしてサブステップSS818 に進む。サブス
テップSS816 では、この場合、輝度データY33 が
【０３１４】
【数４２】 Y33=R33/2+(B11+B55)/4 ・・・(48) から得られる。
【０３１５】サブステップSS818 では、算出した相関値
（ABRSR-ABRSL ）と所定の判定基準値J0よりも相関値が
大きいとき（Yes ）、左斜め方向に相関があると判断し
てサブステップSS820 に進む。また、上述した条件が満
たされないとき（相関値（ABRSR-ABRSL ）＜J0）（No)
、この作成対象画素に対する左斜め相関がないと判定
してサブステップSS822 に進む。サブステップSS820 で
は、この場合、輝度データY33 が
【０３１６】
【数４３】 Y33=R33/2+(B15+B51)/4 ・・・(49) から得られる。サブステップSS816 とサブステップSS82
0 の輝度データ算出後は、接続子D を介して図41のサブ
ステップSS824 に進む。
【０３１７】次にサブステップSS822 では、新たな比較
データの算出を行う。ここで、算出に用いる画素データ
は、作成対象画素データの色と異なっている。たとえ
ば、色G を用いて比較データを算出する。比較データAG
S は、たとえば、その対象の画素データがR33 の場合、
比較データAGS は、周囲の画素データG22, G24, G42, G
44を用いて、
【０３１８】
【数４４】 AGSL= ｜G22-G44 ｜ ・・・(50) AGSR= ｜G24-G42 ｜ ・・・(51) から得られる。このサブステップでは算出した比較デー
タAGSLとAGSRの値を用いてさらに相関値（AGSL-AGS
R ）, （AGSR-AGSL ）も算出される。この処理後、接続
子E を介して図40のサブステップSS826 に進む。
【０３１９】次にサブステップSS826 では、算出した相
関値（AGSL-AGSR ）と、たとえば、新たに設けられた所
定の判定基準値J0a よりも相関値が大きいとき（Yes
）、ここでもAGSRの値が小さいことから、用いた画素
データの値が似ていることを推定する。これにより、右
斜め方向に相関があると判断してサブステップSS828 に
進む。また、上述した条件が満たされないとき（相関値
（AGSL-AGSR ）＜J0a ）（No) 、この作成対象画素に対
する右斜め相関がないと判定してサブステップSS830 に
進む。サブステップSS828 では、この場合、輝度データ
Y33 が
【０３２０】
【数４５】 Y33=R33/2+(G22+G44)/4 ・・・(52) から得られる。また、輝度データY33 は、式(48)から算
出してもよい。
【０３２１】サブステップSS830 では、算出した相関値
（AGSR-AGSL ）と所定の判定基準値J0a よりも相関値が
大きいとき（Yes ）、左斜め方向に相関があると判断し
てサブステップSS832 に進む。また、上述した条件が満
たされないとき（相関値（AGSR-AGSL ）＜J0a ）（No)
、この作成対象画素に対する左斜め相関がないとして
サブステップSS808 に進む。サブステップSS832 では、
この場合、輝度データY33 が
【０３２２】
【数４６】 Y33=R33/2+(G24+G42)/4 ・・・(53) から得られる。また、輝度データY33 は、式(49)でもよ
い。サブステップSS828とサブステップSS832 の輝度デ
ータ算出後は、接続子D を介して図41のサブステップSS
824 に進む。
【０３２３】ところで、サブステップSS806 において簡
易的な斜め処理を選んだ場合、サブステップSS812 に進
むことはすでに述べた。このサブステップSS812 では、
比較データの算出を行う。比較データは、たとえば、適
応処理を施す対象の画素データを中心にしてその周囲の
画素データがどの方向に相関しているかの判別に用い
る。たとえば、その対象の画素データがR33 の場合、比
較データAGは、周囲の画素データG22, G24, G42, G44を
用いて、
【数４7 】 AG= ｜G22+G44-(G24+G42) ｜ ・・・(54) から得られる。画素データが色R の場合について説明し
ているが、色B の場合も周囲の画素データG から算出す
る。この算出により、左右のいずれか一方に傾きを有す
る大きい方の値が比較データAGとして得られることにな
る。この演算の後、サブステップSS834 に進む。
【０３２４】サブステップSS834 では、対象の画素デー
タを挟んで斜めに位置する画素データに相関（すなわ
ち、斜め相関）があるかどうか判定を行う。この判定に
は、判定基準値として新たにJ1が設定されている。比較
データAGが判定基準値J1以上に大きいとき（Yes ）、サ
ブステップSS836 に進む。また、比較データAGが判定基
準値J1よりも小さいとき（No）、接続子C を介して図40
のサブステップSS808 に進む。
【０３２５】サブステップSS836 では、比較データAGの
算出に用いた４つの画素データG を平均して輝度データ
Y を算出する。作成対象の画素に対して複数の段階や簡
易的な斜め方向に配された画素が相関しているかという
判定により、具体的に図示しないが少なくとも、図43
(a) 〜(f) の６パターンと同等のパターンが、たとえ
ば、画素データR=R33 に対して判別されることになる。
このパターンでも、図43(a) 〜(f) の斜線部分と斜線の
ない領域の近傍には偽色が発生してしまう虞れがある。
しかしながら、境界近傍に位置する画素データR におけ
る輝度データY が、上述した演算により算出されると、
画像全体として見た際に色境界での偽色の発生をこの場
合も良好に抑圧することができる。具体的な説明を省略
するが、たとえば、画素データB=B23 に対してもサブス
テップSS814 〜SS820 、SS82〜SS832およびSS834 からS
S836 と同様に比較データを算出し斜め相関の有無に基
づいた適応的な輝度データY を作成することができる。
【０３２６】サブステップSS836 の処理の後、接続子D
を介して図41のサブステップSS824に進む。これによ
り、一連の斜め処理が終了する。サブステップSS834 で
斜め処理を行わない場合（No）、接続子C を介してサブ
ステップSS808 に進む。このサブステップ以降、作成対
象画素に対する水平・垂直方向の相関の有無に応じたデ
ータ処理である。サブステップSS808 では相関処理をす
るかどうかの判定を行う。相関処理を受光素子（または
色フィルタ）の広い範囲に関して他の方向、すなわち水
平・垂直方向の相関を行う場合の判定である。この判定
を行うとき（Yes）、サブステップSS838 に進む。この
判定をしないとき（No）、接続子B を介してサブステッ
プSS804 に進む。
【０３２７】サブステップSS838 では、比較データを算
出する。ここでも画素データR=R22に対する一例を挙げ
て説明する。この処理では画素データR=R33 に対する垂
直方向の比較データARRVと水平方向の比較データABRHを
周囲に配置されているもう一方の色の画素データ、すな
わち画素データB を用いて式(55)、式(56)
【０３２８】
【数４８】 ARRV= ｜R13-R53 ｜ ・・・(55) ABRH= ｜B31-B35 ｜ ・・・(56) により算出する。算出した比較データARRV, ABRHの値を
用いてさらに相関値（ABRH-ARRV ）, （ARRV-ABRH ）が
算出された際に、新たに設けられた所定の判定基準値J2
に対する各方向の相関値の大きさを比較して相関の有無
を判定する手順を説明する。
【０３２９】サブステップSS840 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ2a が設定されている。比較デー
タABRHと比較データARRVの差が判定基準値J2a 以上に大
きいとき（Yes ）、垂直相関があると判定してサブステ
ップSS842 に進む。また、比較データの差(ABRH-ARRV)
が判定基準値J2a よりも小さいとき（No）、垂直相関が
ないものとみなしサブステップSS844 に進む。
【０３３０】サブステップSS842 では、相関のあるとい
うことは画素データ同士の値が近いことを意味するか
ら、画素データR13, R53を用いて輝度データY を算出す
る。この場合、輝度データY33 は、
【０３３１】
【数４９】 Y33=R33/2+(R13+R53)/4 ・・・(57) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子D を介
して図41のサブステップSS824 に進む。
【０３３２】次にサブステップSS844 では、対象の画素
データを挟んで水平に位置する画素データに相関（すな
わち、水平相関）があるかどうか判定を行う。この判定
には、判定基準値として前述したJ2b を用いる。比較デ
ータARRVと比較データABRHの差が判定基準値J2b 以上に
大きいとき（Yes ）、水平相関があると判定してサブス
テップSS846 に進む。また、比較データの差(ARRV-AB
RH) が判定基準値J2b よりも小さいとき（No）、水平相
関がないと判定し、サブステップSS848 に進む。
【０３３３】サブステップSS846 では、相関のあるとし
て画素データB31, B35を用いて輝度データY を算出す
る。この場合、輝度データY33 は、
【０３３４】
【数５０】 Y33=R33/2+(B31+B35)/4 ・・・(58) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子D を介
してサブステップSS824 に進む。
【０３３５】次にサブステップSS848 では、たとえば、
作成対象画素である色R の画素に対する周囲の色R, Bの
画素の相関判定を行うかどうかを選択する。色R の画素
が周囲の色R, Bの画素の中央位置に配されているので、
サブステップSS840, SS844における画素間の距離が短
い。すなわち、たとえば、垂直方向において、画素R33-
画素R13 、画素R33 - 画素B53 は、画素B13-画素B53
の半分の距離である。この関係は、作成対象画素と水平
方向に位置する画素においても言える。したがって、前
述した水平・垂直方向の相関判定に比べてより受光素子
（または色フィルタ）の狭い範囲に対する相関の有無判
定が以後の処理で行われることが判る。この相関判定を
行う場合（Yes ）、サブステップSS850 に進む。また、
この相関判定を行わない場合（No）、接続子B を介して
サブステップSS804 に進む。この場合、先の判定基準値
J2と異なる判定基準値J2a, J2bのいずれの基準を満たさ
なかったものと判定される。なお、以後の処理を行わな
い処理手順にしてもよい。
【０３３６】サブステップSS850 では、再び比較データ
を算出する。この場合の比較データは、対象の画素デー
タと周囲の画素データの各相関を求め、得られた各相関
値を加算することにより垂直方向および水平方向に対す
る算出がされる。前述の場合と同様に画素データR33 に
対する輝度データY の算出は、垂直方向の比較データAC
RVと水平方向の比較データACRHを周囲に配置されている
もう一方の色の画素データ、すなわち画素データB を用
いて、式(59)、式(60)
【０３３７】
【数５１】 ACRV= ｜R13-R ｜+ ｜R53-R ｜ ・・・(59) ACRH= ｜B31-R ｜+ ｜B35-R ｜ ・・・(60) により算出する。この処理の後、サブステップSS812 に
進む。この比較データを用いることにより、より一層画
素データの距離を作成対象の画素データと近づけて相関
値が求められることになるので、先のサブステップSS84
0 〜SS846 の手順での相関判定の範囲よりも狭い範囲に
関して相関の有無を調べることができる。この算出後、
サブステップSS852 に進む。
【０３３８】サブステップSS852 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ3が設定されている（ここで、判
定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよ
い）。比較データACRHと比較データACRVの差が判定基準
値J3以上に大きいとき（Yes ）、垂直相関があると判定
してサブステップSS854 に進む。また、比較データの差
(ACRH-ACRV) が判定基準値J3よりも小さいとき（No）、
垂直相関がないと判定してサブステップSS856 に進む。
【０３３９】サブステップSS854 では、前述したサブス
テップSS842 での処理と同じ処理を行う。したがって、
演算には式(29)が用いられる。また、サブステップSS85
6 では、対象の画素データを挟んで水平に位置する画素
データに相関（すなわち、水平相関）があるかどうかの
判定を行う。この判定にも判定基準値J3が用いられる。
【０３４０】サブステップSS856 において、比較データ
の差(ACRV-ACRH) が判定基準値J3以上のとき（Yes ）、
水平相関があると判定してサブステップSS858 に進む。
この場合、サブステップSS858 での輝度データY は、サ
ブステップSS846 で前述したように画素データを用い、
式(58)に基づいて算出される。この後、サブステップSS
824 に進む。また、サブステップSS856 で比較データの
差(ACRV-ACRH) が判定基準値J3より小さいとき（No）、
水平相関がないと判定して接続子B を介して図41のサブ
ステップSS804 に進む。サブステップSS804 では、式(4
4)により対象の画素データと周囲のもう一方の色および
同色の画素データ（この場合、画素データB およびR ）
を加算平均し0.5 の係数を乗算して輝度データY を算出
している。この算出後、サブステップSS824 に進む。
【０３４１】サブステップSS824 では、輝度データのデ
ータ作成が１フレーム分、完了したかどうかの判定を行
っている。この判定は、たとえば、算出した輝度データ
Y の個数をカウントし、このカウント値と受光素子の数
とが一致するかどうかで容易に行うことができる。カウ
ント値が受光素子の数より小さい値のとき（No）、まだ
処理が完了していないと判定する。この結果、輝度デー
タY の算出処理を接続子F を介して図39のサブステップ
SS800 にまで戻して、これまでの一連の処理を繰り返
す。また、カウント値が受光素子の数に一致したとき
（Yes ）、処理をリターンに移行させる。このリターン
を経て処理をサブルーチンSUB9に移行させる。このよう
にして輝度データY を算出することにより、図59(b) の
ように受光素子すべてでのデータが作成される。
【０３４２】なお、ハニカム配置およびG ストライプRB
完全市松パターンの配置における輝度データは、斜め相
関、垂直相関および水平相関の順に相関の有無に応じて
各画素での算出を行う処理を説明してきたが、作成対象
の画素にとってこれら３つの相関のうち、最も強く相関
しているものを検出して、この相関検出に基づく輝度デ
ータを算出するようにするとよりよい画像が得られるこ
とになる。また、判定基準値はハニカム配置での処理に
用いたものを便宜上用いたが、このG ストライプRB完全
市松パターンに対応した判定基準値を適用してもよい。
【０３４３】次にサブルーチンSUB9の動作を説明する
（図46を参照）。サブルーチンSUB9の動作は、前述した
ように高域輝度データ作成部320cのディジタルフィルタ
の構成に基づいて行われサブステップSS90では、このデ
ィジタルフィルタの特徴であるローパスフィルタ処理を
施す。G ストライプRB完全市松パターンを用いて撮像し
ていることから、前述したハニカム配置のように仮想受
光素子はない。したがって、図47に示す実在の受光素子
に対応する画素d(-3), d(-1), d(1), d(3)（実線）だけ
で信号処理すればよいことが判る。ディジタルフィルタ
のタップ係数は、k1, k3, ・・・,kn+1（n は偶数値）とし
て整理すると、高域成分を含む輝度データYh(1) が式(6
1)
【０３４４】
【数５２】 Yh(1)=k1*(d(1)+ d(-1))+k3*(d(-3)+d(3))+・・・+kn+1*(dn(-n)+dn(n)) ・・・(61) で表されるように得られる。これにより、水平方向に対
するローパスフィルタ処理が行われる。また、垂直方向
に対してもローパスフィルタ処理を高域輝度データ作成
部320cでディジタルフィルタにより行う。このように、
ローパスフィルタの係数は両方向ともに通常と同じにし
て済ませることができる。このようにして得られた高域
成分を含む輝度データを図59(b) に示したように行列表
現で表すと、図60に示すように高域成分を含む輝度デー
タYhが作成される。高域成分を含む輝度データYhは、以
下の記載において高域輝度データと呼ぶ。
【０３４５】次にサブルーチンSUB11 の動作について説
明する。サブルーチンSUB11 は、図36に示すようにプレ
ーン補間展開部320dで行われる。プレーン補間展開部32
0dには、サブルーチンSUB9で作成された高域輝度データ
Yhとこの高域輝度データYhに対応した補間対象の色の画
素データがそれぞれの演算処理部に供給されている。高
域輝度データYhは、図36から明らかなようにR 補間展開
部3200, G 補間展開部3202, およびB 補間展開部3204に
共通して供給されている。これらの供給される画素デー
タを用いて色毎に補間する。この場合、仮想画素に対す
る補間は行わず、それぞれの受光素子が実際に分解した
色以外の色についてだけ補間すればよい。
【０３４６】図63に示すフローチャートに従って補間す
る。ただし、各サブステップの演算内容は、画素ずらし
を含むハニカム配置とは異なっていることから、同じ処
理で対応できる場合もあるが、色R, Bの処理は前述した
処理内容と異なっている。この場合、画素データG の補
間処理をサブステップSS1100で最初に行う。このとき、
図59(a) に示すように単板G ストライプRB完全市松のパ
ターンを用いていることから、画素データG を有する画
素は、図61に示すようにストライプ状に表される。補間
処理には、たとえば、４つずつ画素データを用いる。
【０３４７】この関係を具体的に図61に示す。図61のパ
ターンが示すように、色R, Bに対応するこの図中の第
２、第４、および第６列の画素を補間する場合、補間処
理は補間対象画素として画素G21 やG23 に隣接する４つ
ずつの画素データG10, G12, G30, G32や画素データG12,
G14, G32, G34等を用いて加算平均をとってもよい。ま
た、補間に用いる画素データG に対応する図59の高域輝
度データYhも用いて演算する。たとえば、補間対象であ
る画素データG21 の補間は、同一の列方向の２つの画素
に対応する既存データおよび高域輝度データならびに補
間対象位置の高域輝度データを用いて、式(62)
【０３４８】
【数５３】 G21=(G20+G23)/2-(Yh20+Yh23)/2+Yh21 ・・・(62) から得られる。式(62)の計算式を用いると、画素G23 も
補間することができる。また、画素G11 の補間は、同一
の行方向の２つの画素データおよび高域輝度データなら
びに補間対象位置の高域輝度データを用いて、式(63)
【０３４９】
【数５４】 G11=(G10+G12)/2-(Yh10+Yh12)/2+Yh11 ・・・(63) から得られる。式(63)の計算式を用いると、画素G13 を
補間することができる。そして、４つずつの画素データ
G10, G12, G30, G32の中心に位置する画素データG21
は、これら４つの位置の画素データおよび高域輝度デー
タを用いて、式(64)
【０３５０】
【数５５】 G21=(G10+G12+G30+G32)/4-(Yh10+Yh12+Yh30+Yh32)/4+Yh21 ・・・(64) から得られる。式(64)の計算式を用いると、画素G23 も
補間することができる。４つの画素データを一組のデー
タとみなして補間する場合、すでに算出した画素データ
も用いて算出すると、未算出の画素データが算出できる
ことは言うまでもない。この処理を繰り返し行うことに
より、画素データG のプレーン画像を作成する。また、
画素R, Bの処理で後述するように、補間画素は、３つの
画素、これらの画素の高域輝度データおよび補間対象画
素の高域輝度データを用いて算出してもよい。ただし、
プレーン画像の最外縁は、このような関係にならないの
で、厳密に補間を行う場合、境界値として設定しておく
とよい。また、有効画面を考慮すると、この周辺部のデ
ータは有効画面の範囲外にあるので算出しなくても構わ
ない。
【０３５１】次に画素データR の算出をサブステップSS
1102で行う。この場合も演算によって色R に対応してい
ない画素データを算出する。画素データR は、図62に示
すようにR01, R05, R13, R21, R25 ,R33, R41, R45, R
53 しかない。この場合、サブステップSS1102では、補
間対象の画素に対して得られている３つの画素データと
この位置に対応する図60の高域輝度データを用いる。補
間対象の画素は、これら３つの画素が形成する三角形の
中央に位置する。たとえば、画素データR12 は、画素デ
ータR01, R21, R13 および高域輝度データYh01, Yh21,
Yh13を用いて、
【０３５２】
【数５６】 R11=(R01+R21+R13)/3-(Yh01+Yh21+Yh13)/3+Yh11 ・・・(65) によって算出される。同様の関係にある画素に対して式
(65)を適用して補間算出する。また、三角形の頂点側の
向きは一方の方向だけに限定されるものでなく、その逆
方向の向きに形成される三角形を考慮し、各点での画素
データを式(65)に代入して算出する。これにより、色G
の画素データが列方向に並ぶ画素に対する補間が行われ
る。さらに、このようにして得られた画素データを三角
形の各点の画素データとして用いると、色B の画素の位
置に対する補間が行える。
【０３５３】この他、前述したように、算出された画素
によって囲まれた画素を補間対象の画素とし、補間に際
して算出されたこれら４つの画素データおよびその位置
の高域輝度データを用いて補間処理を行うようにしても
よい。たとえば、画素データR23 を中心に図62から判る
ように、その周囲の画素データR12, R14, R32, R34の位
置のデータを用いて、式(66)
【０３５４】
【数５７】 R23=(R12+R14+R32+R34)/4-(Yh12+Yh14+Yh32+Yh34)/4+Yh23 ・・・(66) によって算出される。式(66)に用いる画素データと同等
の配置関係が周辺の画素から得られるとき、この補間を
施すことによって、図62に示す色B の画素位置に対応す
る画素データR43 が得られる。このような４画素データ
が既知で、これら画素の中心位置の画素データを算出す
ると、R11, R31, R51, R15, R35, R55が得られる。
【０３５５】また、補間は、これまでに得られた画素デ
ータを用いるとともに、これらの画素の内、補間対象の
画素に対して上下左右に位置する画素データから補間を
行ってもよい。たとえば、画素データR23 を中心に上下
左右の４つの画素データおよびその位置の高域輝度デー
タを用いて、式(67)
【０３５６】
【数５８】 R23=(R13+R33+R22+R24)/4-(Yh13+Yh33+Yh22+Yh24)/4+Yh23 ・・・(67) によって算出される。同様の位置関係にあれば、式(67)
から補間画素データが算出できる。
【０３５７】なお、図62に示す画素R の場合も周辺部に
は未補間の画素が残ってしまうので、この画素に対して
周囲を囲む、たとえば、３つの画素から補間するように
してもよい。この補間の場合も前述した補間の手法を用
いると、仮想画素の画素データR01 は、
【０３５８】
【数５９】 R02=(R01+R12+R03)/3-(Yh01+Yh12+Yh03)/3+Yh02 ・・・(68) によって算出される。このようにして周縁部の画素デー
タも補間することができる。これらの手順により、最終
的に画素データR に関するプレーン画面全体が補間され
る。
【０３５９】次に画素データB に対する補間処理がサブ
ステップSS1104で行われる。サブステップSS1104は、そ
れぞれ、画素データB における補間処理を行う。この場
合も演算によって色R の場合と同様に色B に対応してい
ない画素データを算出する。画素データB は、図64に示
すようにB03, B11, B15, B23, B31, B35, B43, B51,B55
しかない。この場合も、サブステップSS1102と同様に
補間対象の画素に対して得られている３つの画素データ
とこの位置に対応する図60の高域輝度データを用いる。
補間対象の画素は、これら３つの画素が形成する三角形
の中央に位置する。画素配置の関係から同じ画素に対す
る補間を行う際に実際に得られる画素データで作る三角
形の向きは、色R を求める場合と反対向きである。さら
に算出により得られた画素データを用いてこの三角形の
向きとは逆向きの三角形から新たな画素補間を行うこと
ができる。また、サブステップSS1102での補間処理のよ
うに４つの補間データによる中央補間処理および上下左
右の４画素による中央補間処理で画素データB を算出し
てもよい。このようにして補間処理を行うと、画素デー
タB に関するプレーン補間展開を行うことができる。こ
の処理の後、サブステップSS1106に進む。
【０３６０】サブステップSS1106では、プレーン補間展
開が各色毎にすべて終了したかどうかの判定を行う。一
連の処理がまだ終了していないとき（No）、サブステッ
プSS1100に戻って処理を繰り返す。なお、各色毎にこの
確認処理を行ってもよい。また、一連の処理が終了した
とき（Yes ）、リターンに移行する。この移行後、サブ
ルーチンSUB6の処理が終了し、サブルーチンSUB7に進
む。サブルーチンSUB7での処理は、前述した通りであ
る。
【０３６１】このようにG ストライプRB完全市松パター
ンでも輝度信号（データ）をほぼハニカム配置での構成
をほぼそのままに用い、画素のパターンの差異に対応さ
せて補間すると、従来の輝度信号（データ）作成で得ら
れた場合よりも輝度信号の帯域を延ばすことが容易にで
きるとともに、それに要する時間を短時間ですませるこ
とができる。
【０３６２】以上のように構成することにより、水平・
垂直方向の両解像度を向上させるために行っていた従
来、各方向の相関値検出を不要にするように画素ずらし
に対応した信号処理を行う演算処理部の比重が大幅に軽
減され、各方向の解像度は限界までを引き出す際の回路
規模も適切な大きさで済ませることができる。また、ハ
ニカム配置を用いることにより、画素の大きさを確保し
て固体撮像装置の画素の感度を維持することができ、製
造工程では製造時の歩留りを向上させることができる。
画質的には単板方式で問題となる、たとえば、均等補間
等を行うことにより擬色を軽減することができる。特に
既存の銀塩フィルムを用いる光学系の撮像装置を用いて
ディジタルカメラを構成するとき光学的な制限から必要
になる光学的なローパスフィルタを使うことなく、擬色
の発生を抑えることができる。
【０３６３】また、信号処理も以上のように処理するこ
とにより、画素ずらし信号処理で水平・垂直方向の両解
像度を向上させるために行っていた従来、各方向の相関
値検出が不要になるので、信号処理の負荷を大幅に軽減
しながら、従来の解像度限界まで、あるいはそれ以上の
解像度をそれぞれ引き出すことができ、ソフトウェア処
理をハードワイヤード処理に置き換えても回路規模を適
切な大きさで済ませることができる。また、画質的には
単板方式で問題となる、たとえば、均等補間等を行うこ
とにより擬色を軽減することができる。
【０３６４】
【発明の効果】このように本発明の固体撮像装置によれ
ば、撮像手段や記録再生手段からの面データにおいて受
光素子のずらし配置に伴う受光素子の空領域を仮想受光
素子として隣接する受光素子からのデータを基に正確な
色再現重視、ならびに水平方向および／または垂直方向
の解像度の重視と各項目に応じた信号処理をそれぞれ信
号処理手段で行って、正方格子状に画素データを増やし
て、実際、従来より少ない受光素子数でありながら、そ
れぞれの重視した項目に応じて容易に信号を高品質にで
きる。この高品質化させた信号を用いて補間して解像度
を限界まで引き出す際に、回路規模も適切な大きさで済
ませることができる。また、ハニカム配置を用いること
により、画素の大きさを確保でき固体撮像装置の感度の
維持と製造工程では製造時の歩留りを向上させることが
できる。画質的には単板方式で問題となる、擬色を、た
とえば、均等補間等を行うことにより軽減することがで
きる。特に、既存の銀塩フィルムを用いる光学系の撮像
装置を用いてディジタルカメラを構成するとき光学的な
制限から必要になる光学的なローパスフィルタを使うこ
となく、擬色の発生を抑えることができる。
【０３６５】また、本発明の信号処理方法によれば、隣
接する受光素子からの画素データを基に正確な色再現重
視、および水平方向および／または垂直方向の解像度の
重視と各項目に応じて生成した各信号成分を基に画素デ
ータの広帯域化を図り、得られたデータを基に仮想受光
素子の画素データを補間して正方格子状に画素データを
増やす簡単な手法で処理することにより、実際、従来よ
り少ない受光素子数でありながら、信号処理の負荷を大
幅に軽減することができ、各重視した項目に応じて容易
に信号を高品質にできる。この高品質化させた信号を用
いて補間することにより、従来の解像度を限界まで、あ
るいはそれ以上の解像度をそれぞれ引き出すとともに、
単板方式で問題となる、たとえば、擬色を均等補間等を
行うことにより軽減することができる。
【図面の簡単な説明】
【図１】本発明に係る固体撮像装置における第１の実施
例の概略的な構成を示すブロック図である。
【図２】図１に示した信号処理部の概略的な構成のブロ
ック図である。
【図３】図２に示した擬似周波数加算部の概略的な構成
のブロック図である。
【図４】図２に示した擬似周波数加算部の動作により得
られる信号の周波数アロケーション表示の模式図であ
る。
【図５】図２に示した周波数重複防止部の概略的な構成
のブロック図である。
【図６】図１に示した撮像部の撮像面および色フィルタ
の配置の説明に用いる図である。
【図７】図６に示した撮像部の開口部、あるいは受光素
子（画素）の配置において正方格子状の配置とハニカム
形状の配置の関係を説明する模式図である。
【図８】図６に示した色フィルタとハニカム形状の配置
の関係を説明する模式図である。
【図９】図７に示したハニカム形状の配置における隣接
画素間距離と正方格子展開した際の補間画素の位置関係
を説明する模式図である。
【図１０】本発明に係る固体撮像装置における第１の実
施例の処理手順を説明するメインフローチャートであ
る。
【図１１】図10に示したサブルーチンSUB1の処理手順を
説明するフローチャートである。
【図１２】図11に続くサブルーチンSUB1の処理手順を説
明するフローチャートである。
【図１３】図11に示したサブルーチンSUB1の演算処理を
説明する基本配列および使用するエリアを示す模式図で
ある。
【図１４】図10に示したサブルーチンSUB2の処理手順を
説明するフローチャートである。
【図１５】図14に示したサブルーチンSUB2の処理手順に
おいて周波数重複防止処理に応じた得られる信号の周波
数分布を示す図である。
【図１６】従来の正方格子配置と本発明に適用されてい
るハニカム配置（G ストライプ完全市松パターン）にす
ることによって得られる高域成分信号を比較する周波数
分布図である。
【図１７】本発明に係る固体撮像装置における第２の実
施例の概略的な構成を示すブロック図である。
【図１８】本発明に係る固体撮像装置における第２の実
施例の処理手順を説明するメインフローチャートであ
る。
【図１９】図18に示したサブルーチンSUB3の処理手順を
説明するフローチャートである。
【図２０】図18に示したサブルーチンSUB4の処理手順を
説明するフローチャートである。
【図２１】図19に示したサブルーチンSUB3の演算処理を
説明する基本配列を示す模式図である。
【図２２】図17に示した第２の実施例における変形例の
概略的な構成を示すブロック図である。
【図２３】図19に示したサブルーチンSUB3の演算処理に
おいて他の処理方法を説明する模式図である。
【図２４】本発明に係る固体撮像装置における第３の実
施例の概略的な構成を示すブロック図である。
【図２５】図24に示したデータ補間展開部の概略的な構
成を示すブロック図である。
【図２６】図24に示した撮像部が有するハニカム配置と
等価な斜め45°から見たベイヤ配置の関係を説明する模
式図である。
【図２７】本発明に係る固体撮像装置における第３の実
施例の処理手順を説明するメインフローチャートであ
る。
【図２８】図27に示したサブルーチンSUB5の処理手順を
説明するフローチャートである。
【図２９】本発明の固体撮像装置に適用する色フィルタ
を２板構成にした際に用いる色のパターン配置とこれら
のパターン配置を合成して得られる空間配置の関係を示
す模式図である。
【図３０】図29と同じく固体撮像装置に適用する色フィ
ルタを２板構成にした際に用いる色のパターン配置とこ
れらのパターン配置を合成して得られる空間配置の関係
を示す模式図である。
【図３１】本発明の固体撮像装置に適用する色フィルタ
を３板構成にした際に用いる色のパターン配置とこれら
のパターン配置を合成して得られる空間配置の関係を示
す模式図である。
【図３２】図31と同じく固体撮像装置に適用する色フィ
ルタを３板構成にした際に用いる色のパターン配置とこ
れらのパターン配置を合成して得られる空間配置の関係
を示す模式図である。
【図３３】従来の正方格子配置による３板DG方式の色フ
ィルタの空間配置と補間画素の関係を説明する模式図で
ある。
【図３４】本発明の固体撮像装置に適用する色フィルタ
を４板構成にした際に用いる色のパターン配置とこれら
のパターン配置を合成して得られる空間配置の関係を示
す模式図である。
【図３５】本発明の固体撮像装置における第４の実施例
の概略的な構成を示すブロック図である。
【図３６】図35の固体撮像装置におけるプレーン補間展
開部の概略的な構成を示すブロック図である。
【図３７】図35の固体撮像装置の動作を説明するメイン
フローチャートである。
【図３８】図37のメインフローチャートにおけるサブル
ーチンSUB6の動作を説明するフローチャートである。
【図３９】図38のフローチャートにおけるサブルーチン
SUB8の動作を説明するフローチャートである。
【図４０】図39のサブルーチンSUB8における動作に続く
その動作を説明するフローチャートである。
【図４１】図40のサブルーチンSUB8における動作に続く
その動作を説明するフローチャートである。
【図４２】図35の撮像部に配された、(a) 受光素子の２
次元配列と、(b) この受光素子から得られる輝度データ
の配置の関係を説明する模式図である。
【図４３】図39のサブルーチンSUB8で行われる斜め相関
の判定が可能な色境界のパターンを示す模式図である。
【図４４】図39ないし図41のサブルーチンSUB8で行われ
る垂直相関および水平相関の判定が可能な色境界のパタ
ーンを示す模式図である。
【図４５】図39ないし図41のサブルーチンSUB8で色境界
の判定が困難なパターンを示す模式図である。
【図４６】図38のフローチャートにおけるサブルーチン
SUB9の動作を説明するフローチャートである。
【図４７】図46のフローチャートにおけるローパスフィ
ルタ処理を行いながら、画素データの補間を行う際の関
係を説明する模式図である。
【図４８】図46のフローチャートの手順に従って作成し
た高域成分の輝度データYhと画素データの２次元配列と
の関係を示す模式図である。
【図４９】図38のフローチャートにおけるサブルーチン
SUB10 の動作を説明するフローチャートである。
【図５０】図49のサブルーチンSUB10 での画素データG
に関する補間対象の画素と既存の画素の位置関係を示す
模式図である。
【図５１】図49のサブルーチンSUB10 での画素データR
に関する補間対象の画素と既存の画素の位置関係を示す
模式図である。
【図５２】図51の位置関係に隣接斜め補間処理した結果
を加えた際の位置関係を示す模式図である。
【図５３】図52の位置関係に隣接斜め補間処理により得
られた４つの画素データを用いて補間処理した結果を加
えた際の位置関係を示す模式図である。
【図５４】図52の位置関係に補間対象の画素に対して上
下左右に位置する画素データを用いて補間処理した結果
を加えた際の位置関係を示す模式図である。
【図５５】図49のサブルーチンSUB10 での画素データB
に関する補間対象の画素と既存の画素の位置関係を示す
模式図である。
【図５６】図35の固体撮像装置の色フィルタの配置に伴
う各色の空間周波数の関係を示す模式図である。
【図５７】図35の固体撮像装置の各処理における水平方
向の空間周波数帯域とその信号レベルの関係を示すグラ
フである。
【図５８】図37のメインフローチャートにおけるサブル
ーチンSUB7の動作を説明するフローチャートである。
【図５９】図35の撮像部に配されたG ストライプRB完全
市松パターンにおける、(a) 受光素子の２次元配列と、
(b) この受光素子から得られる輝度データの配置の関係
を説明する模式図である。
【図６０】図46のフローチャートの手順に従ってG スト
ライプRB完全市松パターンにおいて作成した際の高域成
分の輝度データYhと画素データの２次元配列との関係を
示す模式図である。
【図６１】図35の撮像部に用いているG ストライプRB完
全市松パターンにおける画素データG の補間対象の画素
と実際に画素データが得られる画素との位置関係を示す
模式図である。
【図６２】図35の撮像部に用いているG ストライプRB完
全市松パターンにおける画素データR の補間対象の画素
と実際に画素データが得られる画素との位置関係を示す
模式図である。
【図６３】図38のフローチャートにおいてG ストライプ
RB完全市松パターンの場合の処理手順を説明するサブル
ーチンSUB11 のフローチャートである。
【図６４】図35の撮像部に用いているG ストライプRB完
全市松パターンにおける画素データB の補間対象の画素
と実際に画素データが得られる画素との位置関係を示す
模式図である。
【符号の説明】
10, 30 固体撮像装置 11 撮像部 12 カラー信号処理部 12a ガンマ変換部 12b A/D 変換部 12c 信号処理部 12d データ配置変換部 12e データ補間展開部 20 カラー撮像装置 121 演算処理部 122 擬似周波数加算部 123 周波数重複防止部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１１年２月３日（１９９９．２．３）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０２６５
【補正方法】変更
【補正内容】
【０２６５】
【数２８】 ACRV= ｜G11 -G31 ｜+ ｜G13 -G33 ｜ ・・・(31) ACRH= ｜G11 -G13 ｜+ ｜G31 -G33 ｜ ・・・(32) により算出する。この処理の後、サブステップSS812 に
進む。この比較データを用いることにより、より一層画
素データの距離を作成対象の画素データと近づけて相関
値が求められることになるので、先のサブステップSS84
0 〜SS846 の手順での相関判定の範囲よりも狭い範囲に
関して相関の有無を調べることができる。この算出後、
サブステップSS852 に進む。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０３０７
【補正方法】変更
【補正内容】
【０３０７】ところで、上述したサブステップSS804 で
は、適応処理モードと関係なく輝度データの算出が行わ
れる。この処理を行うにあたり撮像部31のCCD イメージ
センサが本来図59(a) に示すように２次元配列されてい
る。ここで、添字は、各受光素子の画素としての位置を
行列表現で表した際の位置である。基本的に輝度データ
Y は、画素データG と画素データR, Bを用いて（0.5*R+
0.5B）で算出できることが知られている。この場合も画
素データG は、そのまま輝度データとみなして扱われる
（画素データG=輝度データ）。また、画素データR, Bに
よる輝度データは、受光素子の位置に対応する色がG で
なくR/B の場合に、たとえば、図59(a)の画素データR33
の位置に対する輝度データY33 は、画素データR33 と
その周囲に位置する画素データB を４画素、すなわち画
素データB23 , B31, B35, B43 を用いて
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０３０８
【補正方法】変更
【補正内容】
【０３０８】
【数３９】 Y33=R33/2+(B23 +B31+B35+B43 )/8 ・・・(44) から得られる。また、画素データB23 の位置に対応する
輝度データY23 は、画素データB23 とその周囲に位置す
る画素データR の４画素、すなわち画素データR13 ,
R21, R25, R33 を用いて
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０３０９
【補正方法】変更
【補正内容】
【０３０９】
【数４０】 Y23=B23/2+(R13 +R21+R25+R33 )/8 ・・・(45) から得られる。周囲の画素を用いて補正する補正量はこ
れら４つの画素の総和を画素数を倍した数、すなわち 4
×2=8 で割った値を作成対象画素の半値に加算して求め
ている。各画素に対してこの演算を行って輝度データY
が求められている。このようにして得られた結果、図59
(b) に示す輝度データのパターンが得られる。なお、こ
のような演算は、後述するように斜め方向、垂直方向お
よび水平方向に相関がないときにも行われる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０３２７
【補正方法】変更
【補正内容】
【０３２７】サブステップSS838 では、比較データを算
出する。ここでも画素データR=R33 に対する一例を挙げ
て説明する。この処理では画素データR=R33 に対する垂
直方向の比較データABRV と水平方向の比較データABRHを
周囲に配置されているもう一方の色の画素データ、すな
わち画素データB を用いて式(55)、式(56)
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０３２８
【補正方法】変更
【補正内容】
【０３２８】
【数４８】 ABRV = ｜B23 -B43 ｜ ・・・(55) ABRH= ｜B31-B35 ｜ ・・・(56) により算出する。算出した比較データABRV , ABRHの値を
用いてさらに相関値（ABRH-ABRV ）, （ABRV -ABRH ）が
算出された際に、新たに設けられた所定の判定基準値J2
に対する各方向の相関値の大きさを比較して相関の有無
を判定する手順を説明する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０３２９
【補正方法】変更
【補正内容】
【０３２９】サブステップSS840 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ2a が設定されている。比較デー
タABRHと比較データABRV の差が判定基準値J2a 以上に大
きいとき（Yes ）、垂直相関があると判定してサブステ
ップSS842 に進む。また、比較データの差(ABRH-ABRV )
が判定基準値J2a よりも小さいとき（No）、垂直相関が
ないものとみなしサブステップSS844 に進む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０３３０
【補正方法】変更
【補正内容】
【０３３０】サブステップSS842 では、相関のあるとい
うことは画素データ同士の値が近いことを意味するか
ら、画素データB23, B43 を用いて輝度データY を算出す
る。この場合、輝度データY33 は、
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０３３１
【補正方法】変更
【補正内容】
【０３３１】
【数４９】 Y33=R33/2+(B23 +B43 )/4 ・・・(57) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子D を介
して図41のサブステップSS824 に進む。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０３３２
【補正方法】変更
【補正内容】
【０３３２】次にサブステップSS844 では、対象の画素
データを挟んで水平に位置する画素データに相関（すな
わち、水平相関）があるかどうか判定を行う。この判定
には、判定基準値として前述したJ2b を用いる。比較デ
ータABRV と比較データABRHの差が判定基準値J2b 以上に
大きいとき（Yes ）、水平相関があると判定してサブス
テップSS846 に進む。また、比較データの差(ABRV -AB
RH) が判定基準値J2b よりも小さいとき（No）、水平相
関がないと判定し、サブステップSS848 に進む。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０３３７
【補正方法】変更
【補正内容】
【０３３７】
【数５１】 ACRV= ｜G22 -G42 ｜+ ｜G24 -G44 ｜ ・・・(59) ACRH= ｜G22 -G24 ｜+ ｜G42 -G44 ｜ ・・・(60) により算出する。この処理の後、サブステップSS812 に
進む。この比較データを用いることにより、より一層画
素データの距離を作成対象の画素データと近づけて相関
値が求められることになるので、先のサブステップSS84
0 〜SS846 の手順での相関判定の範囲よりも狭い範囲に
関して相関の有無を調べることができる。この算出後、
サブステップSS852 に進む。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０３４８
【補正方法】変更
【補正内容】
【０３４８】
【数５３】 G21=(G20+G 22 )/2-(Yh20+Yh22 )/2+Yh21 ・・・(62) から得られる。式(62)の計算式を用いると、画素G23 も
補間することができる。また、画素G11 の補間は、同一
の行方向の２つの画素データおよび高域輝度データなら
びに補間対象位置の高域輝度データを用いて、式(63)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 乾谷 正史 埼玉県朝霞市泉水三丁目11番46号 富士写 真フイルム株式会社内 (72)発明者 林 健吉 埼玉県朝霞市泉水三丁目11番46号 富士写 真フイルム株式会社内 (72)発明者 岡本 悟 埼玉県朝霞市泉水三丁目11番46号 富士写 真フイルム株式会社内 (72)発明者 斉藤 理 埼玉県朝霞市泉水三丁目11番46号 富士写 真フイルム株式会社内 Ｆターム(参考） 5B047 AA30 AB04 BB04 BC01 BC07 DA10 5B057 AA20 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CE03 CE18 CE20 DB02 DB06 DB09 5C065 AA01 AA03 BB10 BB12 BB13 BB15 CC01 DD01 DD17 DD20 DD26 EE05 EE06 EE07 EE20 GG03 GG13 GG15 GG17 GG18 GG21 GG30 GG32

Claims (63)

    【特許請求の範囲】
  1. 【請求項１】 開口部を介して入射する光を撮像し、撮
    像により得られた信号に信号処理を施して広帯域な信号
    にする固体撮像装置であって、該装置は、 前記開口部を介して入射する光を光電変換する受光素子
    に隣接した受光素子が垂直方向および／または水平方向
    にずらされて２次元配置された受光部と、 該受光部の前面に形成された開口部を迂回するように配
    置され、かつ前記受光素子からの信号を取り出す電極
    と、 該電極を介して供給される信号を前記受光部の垂直また
    は水平方向に順番に転送する各方向に対応した転送レジ
    スタとを有する撮像手段と、 前記受光素子の各開口部上に配される異なる分光感度特
    性を有する複数の色フィルタと、 前記撮像手段から供給される信号をディジタルデータに
    変換するディジタル変換手段と、 該ディジタル変換手段からの出力を記録再生する記録再
    生手段とを備え、 さらに該装置は、 前記ディジタル変換されたディジタルデータの面データ
    において前記受光素子のずらし配置に伴う受光素子の空
    領域を仮想受光素子とし、隣接する受光素子からのデー
    タを基に正確な色再現重視、および水平方向および／ま
    たは垂直方向の解像度の重視と各項目に応じた信号処理
    をそれぞれ施す信号処理手段を有することを特徴とする
    固体撮像装置。
  2. 【請求項２】 請求項１に記載の固体撮像装置におい
    て、前記開口部は、開口形状を正方格子あるいは多角形
    にするとともに、それぞれ、前記開口部に対応して配置
    される受光素子の間隔を画素ピッチとするとき、前記開
    口部が一列ごとに垂直方向にあるいは一行ごとに水平方
    向に前記画素ピッチ分だけ移動させて２次元配置されて
    いるか、あるいは前記正方格子を45°回転させた開口形
    状あるいは多角形の開口形状の開口部が２次元配置され
    ていることを特徴とする固体撮像装置。
  3. 【請求項３】 請求項１または２に記載の固体撮像装置
    において、前記色フィルタには、三原色をR,G,B で表す
    と、前記受光素子のずらし配置に対応して三原色R,G,B
    の原色フィルタを用いてずれを有するG 正方格子と該G
    正方格子に対して前記ピッチの半分の距離だけずらした
    RB完全市松パターンが形成されていることを特徴とする
    固体撮像装置。
  4. 【請求項４】 請求項１ないし３のいずれか一項に記載
    の装置において、前記信号処理手段は、前記受光素子の
    ずらし配置に伴う受光素子の空領域を仮想受光素子と
    し、隣接する受光素子からのデータを基に正確な色再現
    重視、ならびに水平方向および／または垂直方向の解像
    度の重視と各項目に応じて演算処理が施される演算処理
    手段と、 該演算処理手段から出力される色再現が考慮された成分
    信号と解像度を重視した成分信号が擬似周波数的に加算
    される擬似加算手段と、 該演算処理手段で水平方向および垂直方向の解像度が重
    視された各信号に共通した周波数帯が含まれている場
    合、前記共通した周波数帯の重複を防止する重複防止手
    段とを有することを特徴とする固体撮像装置。
  5. 【請求項５】 請求項４に記載の装置において、前記擬
    似加算手段は、前記演算処理手段から供給される解像度
    が重視される周波数帯までの第１の成分信号を一端側に
    減算入力させ他端側に前記第１の成分信号の周波数帯よ
    りも低域の色再現を考慮した第２の成分信号を加算入力
    させる第１の加算手段と、 該第１の加算手段の出力と前記第１の成分信号にそれぞ
    れ生じる折り返し歪みを防ぐ処理を施すフィルタリング
    手段と、 該フィルタリング手段からの各出力が加算入力される第
    ２の加算手段とを有することを特徴とする固体撮像装
    置。
  6. 【請求項６】 請求項４または５に記載の装置におい
    て、前記重複防止手段は、前記擬似加算手段から出力さ
    れる信号のうち、一方の信号の共通した周波数帯に対し
    て帯域制限を施すフィルタ手段と、 該フィルタ手段からの出力と前記共通した周波数帯を含
    む他方の信号とを加算する加算処理手段とを有すること
    を特徴とする固体撮像装置。
  7. 【請求項７】 請求項１ないし６のいずれか一項に記載
    の装置において、前記信号処理手段は、三原色R,G,B の
    各色に着目し前記仮想受光素子の位置の色データも含め
    た面データとして色再現を考慮して３つの成分信号にそ
    れぞれ補間展開させるプレーン補間展開手段と、 該プレーン補間展開手段から得られる３つの成分信号を
    基に色差信号および輝度信号を生成する色差マトリクス
    手段と、 前記プレーン補間展開手段に供給される前のデータから
    解像度を重視した成分信号を輪郭強調させる信号として
    生成する輪郭信号発生手段と、 該輪郭信号発生手段の出力と前記色差マトリクスからの
    輝度信号をそれぞれ加算入力する輪郭強調手段とを有す
    ることを特徴とする固体撮像装置。
  8. 【請求項８】 請求項７に記載の装置において、前記輪
    郭信号発生手段は、G 色だけのデータから相関検出補間
    を行って解像度を重視した成分信号を輪郭強調する信号
    として生成させることを特徴とする固体撮像装置。
  9. 【請求項９】 請求項１ないし８のいずれか一項に記載
    の装置において、前記記録再生手段に対して、互いに一
    定間隔毎にずらした配置の開口部直下に位置する受光素
    子から得られる画素データを正方格子状の面データと同
    等にみなせる配置に書込み／読出し制御を行う書込み／
    読出し制御手段と、 前記記録再生手段から供給される面データを基に前記信
    号処理手段で演算処理して得られる成分信号を擬似周波
    数的に加算させ、さらに周波数帯域が共通する成分信号
    がある場合には、周波数帯域の重複を防止して信号を広
    帯域化させて得られた画素位置の信号を基に前記仮想受
    光素子の位置のデータ補間展開を行うデータ補間展開手
    段とを有することを特徴とする固体撮像装置。
  10. 【請求項１０】 請求項１ないし９のいずれか一項に記
    載の装置において、前記開口部がハニカム配置された各
    開口部直下に前記受光素子が画素として設けられている
    複数の受光部と、 該受光部に同一被写体からの入射光を分光させる分光手
    段とを備え、 前記受光部の直前にそれぞれ前記開口部と対応させて一
    列ごとに垂直方向にあるいは一行ごとに水平方向に前記
    画素を前記画素ピッチ分だけずらすかあるいは前記正方
    格子を45°回転させた配置の色フィルタを組み合わせて
    固着させることを特徴とする固体撮像装置。
  11. 【請求項１１】 請求項10に記載の装置において、前記
    受光部が２つの場合、前記ハニカム配置の色フィルタの
    組み合わせてG ストライプRB完全市松パターン、ベイヤ
    パターン、あるいは一行毎にG の色フィルタ位置にB あ
    るいはR の色フィルタが重複するパターンを形成するこ
    とを特徴とする固体撮像装置。
  12. 【請求項１２】 請求項10に記載の装置において、前記
    受光部が３つの場合、前記ハニカム配置パターンの第１
    の色フィルタと、前記ハニカム配置から画素ピッチ分ず
    らした配置パターンで、かつ前記第１の色フィルタの色
    と同色の第２の色フィルタと、該第２の色フィルタの配
    置パターンで、かつ前記第２の色フィルタの色と異なる
    色の第３の色フィルタとを備え、 前記第２の色フィルタと前記第３の色フィルタを組み合
    わせて固着させることを特徴とする固体撮像装置。
  13. 【請求項１３】 請求項10に記載の装置において、前記
    ハニカム配置の互いに異なる３つの色フィルタの一の色
    フィルタに対して残りの２つの色フィルタをともに前記
    画素ピッチ分だけずらして重複した空間配置の色フィル
    タを形成することを特徴とする固体撮像装置。
  14. 【請求項１４】 請求項10に記載の装置において、前記
    受光部が４つの場合、前記ハニカム配置のパターンの第
    １の色フィルタと、 該第１の色フィルタと前記画素ピッチ分だけずらして相
    補的な配置パターンにした第１の色フィルタに同色の第
    ２の色フィルタとを組み合わせて得られる正方格子状の
    配置パターンと、 前記第１の色フィルタと異なる色の前記ハニカム配置の
    パターンの第３の色フィルタと、 該第３の色フィルタと前記画素ピッチ分だけずらして相
    補的な配置パターンにし、かつ前記第１および第３の色
    フィルタの色と異なる色の第４の色フィルタとを組み合
    わせて得られる正方格子状の配置パターンを形成するこ
    とを特徴とする固体撮像装置。
  15. 【請求項１５】 請求項１ないし９のいずれか一項に記
    載の装置において、前記開口部がハニカム配置された受
    光部と、 該受光部を２次元平面内で縦横に移動させる移動手段
    と、 該移動手段による移動完了毎に前記受光部で受光した被
    写体の画像情報を記録再生する記録再生手段と、 前記受光部と被写体の間に配設される複数の色フィルタ
    の中から選択された色フィルタに切り換える色フィルタ
    切換手段とを備え、 該色フィルタ切換手段は前記移動手段の移動中に色フィ
    ルタを切り換え、前記記録再生手段は受光部が受光した
    画像情報を前記色フィルタの切換え毎に記録し、記録さ
    れた画像情報を用いて面順次的に被写体の画像を生成す
    ることを特徴とする固体撮像装置。
  16. 【請求項１６】 被写界像を撮像面に投影させる光学系
    と、 該光学系を経た入射光を３つの原色がそれぞれの配列さ
    れた単板による色フィルタ手段と、 該色フィルタ手段の直下に配された光電変換を行う受光
    素子と、 該受光素子からの撮像信号に基づいて前記受光素子の空
    隙位置に対応する画素データを補間する信号処理を施す
    とともに、補間された画素データを含む画素データから
    輝度データおよび色データを生成するデータ処理手段と
    を含み、 前記色フィルタ手段の各色フィルタと前記受光素子とを
    対応させるとともに、前記受光素子の幾何学的な撮像面
    形状の中心同士の間隔をピッチとする際に前記受光素子
    が相互に行方向および列方向にそれぞれ前記ピッチの半
    分ずらした位置関係に配置される固体撮像装置におい
    て、該装置は、 前記データ処理手段は、G 正方格子と該G 正方格子に対
    して前記ピッチの半分の距離だけずらしたRB完全市松パ
    ターンの色フィルタ手段を介して得られるRGBの撮像信
    号をディジタル信号に変換するディジタル変換手段と、 該ディジタル変換手段からの出力に基づいて前記受光素
    子の存在する位置における輝度データを作成する第１の
    輝度演算手段と、 該輝度演算手段からの水平および／または垂直方向に位
    置する輝度データに基づいて前記受光素子の空領域を仮
    想受光素子とした際に該仮想受光素子における輝度デー
    タを作成する第２の輝度演算手段と、 該第２の輝度演算手段で作成された輝度データと前記受
    光素子から得られたRGB の各色データを用いて各色にお
    ける画面全体のプレーンデータを作成するプレーン演算
    手段と、 該プレーン演算手段により作成されたプレーンデータを
    用いて輝度データ、色差データを生成するマトリクス手
    段と、 該マトリクス手段からの出力に帯域制限を施すフィルタ
    処理手段と、 該フィルタ処理手段からの出力のうちで前記輝度データ
    に対して輪郭強調処理を施すアパーチャ調整手段とを含
    むことを特徴とする固体撮像装置。
  17. 【請求項１７】 請求項16に記載の装置において、前記
    第１の輝度演算手段は、作成する対象の輝度データを画
    素データG と作成する対象の輝度データを該対象の輝度
    データの周囲に位置する画素データR, Bを用いた演算に
    よる算出あるいは水平方向および垂直方向の色境界の判
    断による適応処理が考慮された演算による算出が行われ
    ることを特徴とする固体撮像装置。
  18. 【請求項１８】 請求項16に記載の装置において、前記
    第２の輝度演算手段は、供給される輝度データにローパ
    スフィルタ処理を施す手段を用いて前記仮想受光素子の
    データを生成することを特徴とする固体撮像装置。
  19. 【請求項１９】 請求項16に記載の装置において、前記
    光学系は、前記被写界像を少なくとも、２つの撮像面に
    それぞれ投影させ、 前記撮像面を形成する受光素子を行方向と列方向で２次
    元配列されるとともに、前記撮像面に投影された同一の
    被写界像を空間的に重ね合わせた際に一方の２次元配列
    された受光素子と他方の２次元配列された受光素子の対
    応する幾何学的な撮像面形状の中心が行方向および列方
    向に半ピッチずつずれた関係に配設し、 前記色フィルタ手段は、前記受光素子に対応して該受光
    素子の前面に配置され、空間的に重ね合わせた際に三原
    色RGB の色フィルタとなる色配列が用いられていること
    を特徴とする固体撮像装置。
  20. 【請求項２０】 請求項16に記載の装置において、前記
    被写界像を一つの撮像面に投影させる光学系と、 該光学系と前記受光素子が２次元配列された受光素子と
    の間に挿入される色フィルタ手段を切り換える色フィル
    タ切換手段と、 前記受光素子が２次元配列された受光部を前記撮像面に
    平行な２次元平面内で移動させる移動手段と、 該移動手段により前記受光部を複数回にわたって移動さ
    せながら、該移動の都度、撮影した画像を面順次に記録
    する記録手段とを含み、 前記移動の都度、撮影した画像が一つ前に撮影した画像
    に対して幾何学的な撮像面形状の中心を行方向および列
    方向に半ピッチずつずらした関係が得られることを特徴
    とする固体撮像装置。
  21. 【請求項２１】 入射光を異なる分光感度特性を有する
    複数の色フィルタを介して受光素子に送るように開けら
    れた開口部が２次元配列されているとき、開口形状が正
    方格子あるいは多角形に形成された開口部を一列毎に垂
    直方向にあるいは一行毎に水平方向にずらされた開口
    部、あるいは前記正方格子を45°回転させた開口形状あ
    るいは多角形の開口形状を有する開口部を介して前記受
    光素子で受光し、前記受光素子を画素として扱い、受光
    によって得られた２次元の画素データを基に画像信号に
    し該画像信号に信号処理を施す信号処理方法であって、
    該方法は、 前記受光素子により得られた信号にガンマ変換を施すガ
    ンマ変換工程と、 該ガンマ変換工程での処理を受けた信号をディジタルデ
    ータに変換するディジタル変換工程と、 該ディジタル変換工程後の前記画素データを記憶するデ
    ータ記憶工程とを含み、 さらに該方法は、 前記データ記憶工程で記憶された画素データを読み出
    し、かつ読み出した画素データに対して前記受光素子の
    ずらし配置に伴う受光素子の空領域を仮想受光素子と
    し、隣接する受光素子からの画素データを基に水平方向
    および／または垂直方向に正確な色再現重視、ならびに
    解像度の重視と各項目に応じた画素データの成分信号を
    それぞれ生成する画素データ生成工程と、 該画素データ生成工程で得られる成分信号を基に求めた
    画像信号を広帯域化させる広帯域化工程とを有すること
    を特徴とする信号処理方法。
  22. 【請求項２２】 請求項21に記載の方法において、前記
    画素データ生成工程は、前記受光素子のずらし配置に伴
    う受光素子からの画素データを基に水平方向および／ま
    たは垂直方向に正確な色再現を重視して演算処理を施す
    色再現重視工程と、 前記画素データを基に水平方向および／または垂直方向
    の解像度を重視して演算処理を施す解像度重視工程とを
    有することを特徴とする信号処理方法。
  23. 【請求項２３】 請求項21または22に記載の方法におい
    て、前記広帯域化工程は、色再現が考慮された成分信号
    と解像度を重視した成分信号を擬似周波数的に加算する
    擬似加算処理工程と、 該画素データ生成工程で水平方向および垂直方向の両解
    像度を重視する際に共通する周波数帯の重複を防止する
    帯域重複防止工程とを有することを特徴とする信号処理
    方法。
  24. 【請求項２４】 請求項23に記載の方法において、前記
    擬似加算処理工程は、前記画素データ生成工程で生成さ
    れた解像度が重視される周波数帯までの第１の成分信号
    から前記第１の成分信号の周波数帯よりも低域の色再現
    を考慮した第２の成分信号を減算する減算工程と、 該減算工程からの出力と前記第１の成分信号に対してそ
    れぞれ折り返し歪みを防ぐ処理を施す歪み防止工程と、 該歪み防止工程を経た各出力を加算する第２の加算工程
    とを有することを特徴とする信号処理方法。
  25. 【請求項２５】 請求項23に記載の方法において、前記
    帯域重複防止工程は、水平方向および垂直方向の成分信
    号内のいずれか一方の成分信号の共通する周波数帯に対
    して帯域制限を施す帯域制限工程と、 該帯域制限工程で帯域制限された出力と前記共通した周
    波数帯を含む他方向の成分信号とを加算する加算処理工
    程とを含むことを特徴とする信号処理方法。
  26. 【請求項２６】 請求項21ないし25のいずれか一項に記
    載の方法において、前記画素データ生成工程は、前記デ
    ータ記憶工程で記憶された画素データを読み出して前記
    色フィルタの色に対応して演算処理する際に、３行２列
    のエリアにある画素データからRBあるいはGG間の前記仮
    想受光素子位置の画素データを補間し、かつ５行２列の
    エリアにある画素データからR あるいはB の画素データ
    を算出するとともに、G の画素はそのままの画素データ
    を用いる低域成分を生成する色再現重視工程と、 ５行１列のエリアにある画素データに重み付け演算を行
    って前記エリア中央に位置する画素データを算出し、か
    つ３行１列のエリアにある画素データから前記エリア中
    央の前記仮想受光素子位置の画像データの補間を行うと
    ともに、G の画素はそのままの画素データを用いて水平
    方向の高域成分を生成する水平解像度重視工程と、 前記データ記憶工程で記憶された画素データの読み出し
    を組み換えて読み出された画素データに対して前記水平
    方向の高域成分と同じ補間処理を施して垂直方向の高域
    成分を生成する垂直解像度重視工程とを含むことを特徴
    とする信号処理方法。
  27. 【請求項２７】 請求項26に記載の方法において、前記
    水平／垂直解像度重視工程は、前記画素データのうちで
    前記色フィルタのR,B に対応する画素データをそのまま
    用い、前記仮想受光素子位置の画素データを隣接する行
    あるいは列の画素データに重み付けして補間処理を行う
    ことを特徴とする信号処理方法。
  28. 【請求項２８】 請求項26に記載の方法において、前記
    解像度重視工程は、前記画素データのうちで前記色フィ
    ルタのG に対応する４つの画素データだけを用いて画素
    データに対する相関を検出する第１の相関検出工程と、 該第１の相関検出工程により得られる相関値の大きい画
    素データを用いて直線補間する第１の直線補間工程とを
    繰り返し、 さらに該方法は、 前記第１の直線補間工程で得られた画素データを含めた
    ３つの画素データで囲まれる前記仮想受光素子の位置の
    画素データに対する相関検出を行う第２の相関検出工程
    と、 該第２の相関検出工程の処理結果に応じて直線補間を行
    う第２の直線補間工程とを繰り返すことを特徴とする信
    号処理方法。
  29. 【請求項２９】 請求項28に記載の方法において、前記
    第２の直線補間工程には、前記第１の直線補間工程で得
    られた画素データを含めた３つの画素データで囲まれる
    前記仮想受光素子の位置の画素データに対して４つの画
    素データを平均して補間を行う平均補間工程を用いるこ
    とを特徴とする信号処理方法。
  30. 【請求項３０】 請求項21ないし29のいずれか一項に記
    載の方法において、前記画素データ生成工程は、前記水
    平方向および／または垂直方向の高域成分を生成する解
    像度重視工程と、 前記色フィルタに対応する三原色R,G,B の各色に着目し
    前記仮想受光素子の位置の色データも含めた面データと
    して色再現を考慮してそれぞれ補間展開する際に、水平
    方向の補間には前記三原色R,G,B の着目対象の色を含む
    行に対して画素データを重み付け平均して補間し、かつ
    前記着目対象の色と異なる色を含む行に対して隣接する
    行の画素データを平均して補間する水平プレーン補間展
    開工程と、 垂直方向の補間には前記三原色R,G,B の着目対象の色を
    含む列に対して画素データを重み付け平均して補間し、
    かつ前記着目対象の色と異なる色を含む列に対して隣接
    する列の画素データを平均して補間する垂直プレーン補
    間展開工程とを含み、 さらに該方法は、 前記水平および／または前記垂直プレーン補間展開工程
    の展開結果に基づいて色差および輝度データを生成する
    色差マトリクス生成工程と、 該色差マトリクス工程で生成された輝度信号に前記水平
    方向および／または垂直方向の解像度の重視の高域処理
    工程から生成された輪郭を強調する成分信号を加算する
    輪郭強調工程とを含むことを特徴とする信号処理方法。
  31. 【請求項３１】 請求項21ないし30のいずれか一項に記
    載の方法において、前記広帯域化工程の後に復調された
    三原色R,G,B の信号を用いて補間処理を行う展開補間工
    程を含むことを特徴とする信号処理方法。
  32. 【請求項３２】 請求項21ないし30のいずれか一項に記
    載の方法において、前記画素データ生成工程は、R ある
    いはB において既知の２点の画素データと補間するR あ
    るいはB の画素データで形成する三角形に同じ位置関係
    にG の画素データがあり、かつそれぞれ３つの画素デー
    タの重み付き平均を等しいとして補間するR あるいはB
    の画素データを求めることを特徴とする信号処理方法。
  33. 【請求項３３】 被写界像を用意した光学系により撮像
    面に投影させ、該光学系を経た入射光を単板内に配列さ
    れた色フィルタにより３つの原色に色分解して、該色分
    解された透過光を光電変換させて撮像信号を求めた後、
    該撮像信号に基づいて予め用意された受光素子に対して
    その空隙位置での画素データを補間する信号処理を施す
    とともに、補間された画素データを含む画素データから
    輝度データおよび色データを生成するデータ処理工程と
    を含み、 前記色フィルタと前記受光素子とを対応させるととも
    に、前記受光素子の幾何学的な撮像面形状の中心同士の
    間隔をピッチとする際に前記受光素子が相互に行方向お
    よび列方向にそれぞれ前記ピッチの半分ずらした位置関
    係で得られる画素データに施す信号処理方法において、
    該方法は、 前記データ処理工程は、G 正方格子と該G 正方格子に対
    して前記ピッチの半分の距離だけずらしたRB完全市松パ
    ターンの色フィルタを介して得られるRGB の撮像信号を
    ディジタル信号に変換するディジタル変換工程と、 該ディジタル変換工程により得られた画素データに基づ
    いて前記受光素子の存在する位置における輝度データを
    作成する第１の工程と、 該第１の工程により得られた輝度データに基づいて前記
    受光素子の空領域を仮想受光素子とした際に該仮想受光
    素子における輝度データを水平・垂直方向あるいは垂直
    ・水平方向の順に作成する第２の工程と、 該第２の工程で作成された輝度データと前記受光素子か
    ら得られたRGB の各色データを用いて各色における画面
    全体のプレーンデータを作成するプレーン作成工程と、 該プレーン作成工程により作成されたプレーンデータを
    用いて輝度データ、色差データを生成するマトリクス生
    成工程と、 該マトリクス生成工程から得られた輝度データ、色差デ
    ータに帯域制限を施すフィルタ処理工程と、 該フィルタ処理工程で処理された輝度データに対して輪
    郭強調処理を施すアパーチャ調整工程とを含むことを特
    徴とする信号処理方法。
  34. 【請求項３４】 請求項33に記載の方法において、前記
    第１の工程は、前記G 正方格子と該G 正方格子に対して
    前記ピッチの半分の距離だけずらしたRB完全市松パター
    ンにより得られるG の画素データを含み、 前記G の画素データの周囲から得られるR の画素データ
    とB の画素データから輝度データを作成する際に、前記
    R の画素データと前記B の画素データのいずれか一方の
    画素データを前記輝度データの作成対象にする場合、該
    作成対象の画素データを半分にした作成対象の半値デー
    タと、該作成対象の周囲に最も近傍、かつ等距離に位置
    する他方の画素データを加算し、該加算結果を加算した
    画素データの個数を倍した値で割った周囲画素データと
    から実際に用意された受光素子の位置における輝度デー
    タを算出することを特徴とする信号処理方法。
  35. 【請求項３５】 請求項33に記載の方法において、前記
    第２の工程は、前記仮想画素受光素子に対応する位置の
    画素データを前記水平方向に関して補間する際に、補間
    する画素データに対応する乗算係数を乗算する第０段の
    水平工程を行うとともに、該補間する画素データの左右
    両側に隣接するデータを加算し、該加算結果に乗算係数
    を乗算する第１段の水平工程と、各段で前記第１段の工
    程と同様に該補間する画素データから水平方向に等距離
    に位置する画素データに対応する乗算係数を乗算する水
    平工程をｎ段繰り返し、前記０段の水平工程、前記第１
    段の水平工程以降に繰り返された乗算結果すべてを加算
    して補間画素データを生成する水平補間工程と、 該水平補間工程により得られた画素データを用いて対象
    とする位置の画素データを生成する際に、垂直方向に位
    置する画素データに対応する乗算係数を乗算し、得られ
    た乗算結果をすべて加算して垂直方向のローパス処理を
    行う垂直処理工程とを含むことを特徴とする信号処理方
    法。
  36. 【請求項３６】 請求項34に記載の方法において、前記
    第１の工程は、前記輝度データの算出処理を行う前に、
    水平方向および垂直方向の第１相関値をそれぞれ算出
    し、第１の所定の値と各算出結果をそれぞれ比較し、 該比較した結果が水平方向に相関があると判断した際
    に、前記輝度データの算出を水平方向の画素データを用
    いて加算し、該加算結果を加算した画素データの個数を
    倍した値で割って周囲画素データとする水平輝度算出工
    程と、 該比較した結果が垂直方向に相関があると判断した際
    に、前記輝度データの算出を垂直方向の画素データを用
    いて加算し、該加算結果を加算した画素データの個数を
    倍した値で割って周囲画素データとする垂直輝度算出工
    程と、 該比較した結果が前記水平方向の相関値および前記垂直
    方向の相関値が前記所定の値より小さいとき、前記周囲
    画素データを該作成対象の周囲に最も近傍、かつ等距離
    に位置する他方の画素データを加算し、該加算結果を加
    算した画素データの個数を倍した値で割って算出する平
    均輝度算出工程とを含み、 前記作成対象の半値データと、前記水平輝度算出工程、
    前記垂直輝度算出工程、および前記平均輝度算出工程の
    いずれか一つから得られる前記周囲画素データとから輝
    度データのパターンを作成することを特徴とする信号処
    理方法。
  37. 【請求項３７】 請求項36に記載の方法において、前記
    第１の工程は、前記輝度データの算出処理を行う前に、
    前記水平方向および前記垂直方向の第１相関値をそれぞ
    れ算出し、前記第１の所定の値と各算出結果をそれぞれ
    比較し、該比較結果に応じて前記水平輝度算出工程ある
    いは前記垂直輝度算出工程を行うとともに、前記画素デ
    ータR あるいは前記画素データB のうち、一方の画素デ
    ータを作成対象の輝度データとした際に、該作成対象の
    輝度データを介して水平方向に位置する他方の画素デー
    タと該作成対象の輝度データを用いてそれぞれ得られた
    相関値を加算し、水平方向および垂直方向の第２相関値
    をそれぞれ算出し、第２の所定の値と各算出結果をそれ
    ぞれ比較し、 該比較した結果が水平方向に相関があるとの判断に応じ
    て行う前記水平輝度算出工程と、 該比較した結果が垂直方向に相関があるとの判断に応じ
    て行う前記垂直輝度算出工程と、 該比較した結果がいずれの相関とも異なる際に行う前記
    平均輝度算出工程とを含み、 前記作成対象の画素データの半値と、前記水平輝度算出
    工程、前記垂直輝度算出工程、および前記平均輝度算出
    工程のいずれか一つから得られる前記周囲画素データと
    から輝度データのパターンを作成することを特徴とする
    信号処理方法。
  38. 【請求項３８】 請求項37に記載の方法において、前記
    第１の工程には、前記画素データG の対角位置の画素デ
    ータを加算し、該加算結果の差の絶対値により得られた
    値が第３の所定の値以上の場合、前記周囲画素データの
    算出を前記平均輝度算出工程で行うことを含むことを特
    徴とする信号処理方法。
  39. 【請求項３９】 請求項33に記載の方法において、前記
    第１の工程は、前記輝度データの算出処理を行う前に、
    輝度データを算出する画素データに対して２方向に対角
    位置に位置する同色の画素データの差からそれぞれ右斜
    め方向および左斜め方向の第１相関値を算出し、第４の
    所定の値と各算出結果をそれぞれ比較し、 該比較した結果が右斜め方向に相関があると判断した際
    に、前記右斜め方向の第１相関値の算出に用いた画素デ
    ータを加算し、該加算結果を加算した画素データの個数
    を倍した値で割って周囲画素データとする右斜め輝度算
    出工程と、 該比較した結果が左斜め方向に相関があると判断した際
    に、前記左斜め方向の第１相関値の算出に用いた画素デ
    ータを加算し、該加算結果を加算した画素データの個数
    を倍した値で割って周囲画素データとする左斜め輝度算
    出工程と、 該比較した結果が前記右斜め方向の第１相関値および前
    記左斜め方向の第１相関値が前記第４の所定の値より小
    さいとき、前記相関値の算出に用いた同色の画素データ
    すべてを加算し、該加算結果を加算した画素データの個
    数を倍した値で割って算出する平均輝度算出工程とを含
    み、 前記作成対象の画素データの半値と、前記右斜め輝度算
    出工程、前記左斜め輝度算出工程、および前記平均輝度
    算出工程のいずれか一つから得られる前記周囲画素デー
    タとの加算から輝度データのパターンを作成することを
    特徴とする信号処理方法。
  40. 【請求項４０】 請求項39に記載の方法において、前記
    第１の工程は、前記輝度データの算出処理を行う前に、
    前記第４の所定の値と右斜め方向および左斜め方向の第
    １相関値の算出結果をそれぞれ比較し、前記作成対象の
    画素データの半値と、前記右斜め輝度算出工程および前
    記左斜め輝度算出工程のいずれか一方の算出したデータ
    とを加算する場合と、 さらに、この場合に加えて、 輝度データを算出する画素データに対して２方向に対角
    位置に位置する異色の画素データの差からそれぞれ右斜
    め方向および左斜め方向の第２相関値を算出し、新たに
    設定する第５の所定の値と右斜め方向および左斜め方向
    の第２相関値の算出結果をそれぞれ比較し、 該比較した結果が右斜め方向に相関があると判断した際
    に、前記右斜め方向の第２相関値の算出に用いた異色の
    画素データで演算し、該演算結果を演算に用いた画素デ
    ータの個数を倍した値で割って周囲画素データとする右
    斜め輝度演算工程と、 該比較した結果が左斜め方向に相関があると判断した際
    に、前記左斜め方向の第２相関値の算出に用いた異色の
    画素データで演算し、該演算結果を演算に用いた画素デ
    ータの個数を倍した値で割って周囲画素データとする左
    斜め輝度演算工程と、 該比較した結果が前記右斜め方向の第２相関値および前
    記左斜め方向の第２相関値が前記第５の所定の値より小
    さいとき、前記第２相関値の算出に用いた異色の画素デ
    ータで演算し、該演算結果を演算に用いた画素データの
    個数を倍した値で割って算出する平均輝度演算工程とを
    含み、 前記作成対象の画素データの半値と、前記右斜め輝度演
    算工程、前記左斜め輝度演算工程、および前記平均輝度
    演算工程のいずれか一つから得られる前記周囲画素デー
    タとを加算する場合とから輝度データのパターンを作成
    することを特徴とする信号処理方法。
  41. 【請求項４１】 請求項36または37に記載の方法におい
    て、前記右斜め方向および左斜め方向の第１相関値なら
    びに第２相関値は、供給される各画素位置を算出の前に
    45°回転させた位置に回転移動させた後に水平方向およ
    び垂直方向の第１相関値ならびに第２相関値として算出
    し、所定の値との比較をそれぞれ行って対応する輝度デ
    ータの算出を行い、 該算出の後に、得られた輝度データを回転移動前の位置
    に戻すことを特徴とする信号処理方法。
  42. 【請求項４２】 請求項37に記載の方法において、前記
    水平方向および垂直方向の第２相関値は、それぞれ前記
    輝度データ作成対象画素を挟んで水平方向に配される一
    方の異色の画素データと該作成対象画素の輝度データと
    の差の絶対値および他方の異色の画素データと該作成対
    象画素の輝度データとの差の絶対値の加算値ならびに前
    記輝度データ作成対象画素を挟んで垂直方向に配される
    一方の異色の画素データとの差の絶対値および他方の異
    色の画素データと該作成対象画素の輝度データとの差の
    絶対値の加算値で表すことを特徴とする信号処理方法。
  43. 【請求項４３】 請求項39または40に記載の方法におい
    て、前記水平方向および垂直方向の第２相関値は、それ
    ぞれ前記輝度データ作成対象画素を挟んで水平方向に配
    される異色の画素データ同士の差の絶対値および前記輝
    度データ作成対象画素を挟んで垂直方向に配される異色
    の画素データ同士の差の絶対値で表すことを特徴とする
    信号処理方法。
  44. 【請求項４４】 請求項37または40に記載の方法におい
    て、前記第２相関値は、前記第１相関値の算出に用いた
    画素データよりも作成対象画素に近い位置の画素データ
    を算出に用いることを特徴とする信号処理方法。
  45. 【請求項４５】 請求項33、34、36ないし39のいずれか
    一項に記載の方法において、前記第１の工程は、前記光
    学系により前記被写界像を少なくとも、前記受光素子が
    ２次元配列された受光部で形成される２つの撮像面にそ
    れぞれ投影させ、 行方向と列方向で２次元配列に配置した受光素子が形成
    する撮像面の配設を一方の２次元配列された受光素子と
    他方の２次元配列された受光素子において対応する幾何
    学的な撮像面形状の中心が行方向および列方向に半ピッ
    チずつずれた関係にし、該受光素子に対応して該受光素
    子の前面に用意する三原色RGB に色分解するフィルタの
    色配列を介して該２つの撮像面に投影された同一の被写
    界像を空間的に重ね合わせる工程により得られた画素デ
    ータを用いることを特徴とする信号処理方法。
  46. 【請求項４６】 請求項33、34、36ないし39のいずれか
    一項に記載の方法において、前記第１の工程は、用意し
    た２次元配列された受光素子との間に色分解するフィル
    タを切り換えるフィルタ切換工程と、 前記受光素子が２次元配列された受光部で形成される撮
    像面に平行な２次元平面内を複数回にわたって移動させ
    る移動工程と、 該移動工程による移動毎に得られる被写界像を面順次に
    記録する記録工程とを行ってこれらの手順により得られ
    る画素データを用い、 前記移動の都度、撮影した画像が一つ前に撮影した画像
    に対して幾何学的な撮像面形状の中心を行方向および列
    方向に半ピッチずつずらした関係が得られることを特徴
    とする信号処理方法。
  47. 【請求項４７】 請求項33に記載の方法において、前記
    プレーン作成工程は、前記ディジタル変換工程により前
    記G 正方格子と該G 正方格子に対して前記ピッチの半分
    の距離だけずらしたRB完全市松パターンにおける実在の
    受光素子に対応して得られた各色の画素データと、前記
    第２の工程により作成された輝度データを用い、 前記画素データのG のプレーン補間には、補間対象画素
    に対して水平方向および／または垂直方向に隣接して存
    在する実際に得られた画素データG の平均と前記補間対
    象画素に対して水平方向および／または垂直方向に隣接
    している輝度データの加算平均との差に前記補間対象画
    素の位置に対応する輝度データを加算して得られる工程
    と、 前記画素データのR のプレーン補間には、補間対象画素
    に対して斜め方向に隣接して存在する実際に得られた画
    素データR の平均と前記補間対象画素に対して前記斜め
    方向と同方向に隣接している輝度データの加算平均との
    差に前記補間対象画素の位置に対応する輝度データを加
    算して得られる第１のR 工程と、 前記補間対象画素の残る色R に対する画素データR を該
    第１のR 工程により得られた、等距離に位置する画素デ
    ータの加算平均と該等距離に位置する輝度データの加算
    平均との差に前記補間対象画素の残る色R に対する輝度
    データを加算して得られる第２のR 工程と、 さらに補間対象画素の残る色R に対する画素データR を
    最近傍に位置する前記第１、前記第２の工程および実際
    に得られた画素データR の加算平均と該加算平均に用い
    た画素に対応する輝度データの加算平均との差に前記補
    間対象画素の位置に対応する輝度データを加算して得ら
    れる第３のR 工程とを含み、 さらに該方法は、 前記画素データのB のプレーン補間には、補間対象画素
    に対して斜め方向に隣接して存在する実際に得られた画
    素データB の加算平均と前記補間対象画素に対して前記
    斜め方向と同方向に隣接している輝度データの加算平均
    との差に前記補間対象画素の位置に対応する輝度データ
    を加算して得られる第１のB 工程と、 前記補間対象画素の残る色B に対する画素データB を該
    第１のB 工程により得られた、等距離に位置する画素デ
    ータの加算平均と該等距離に位置する輝度データの加算
    平均との差に前記補間対象画素の残る色B に対する輝度
    データを加算して得られる第２のB 工程と、 さらに補間対象画素の残る色B に対する画素データB を
    最近傍に位置する前記第１、前記第２の工程および実際
    に得られた画素データB の加算平均と該加算平均に用い
    た画素に対応する輝度データの加算平均との差に前記補
    間対象画素の位置に対応する輝度データを加算して得ら
    れる第３のB 工程とを含むことを特徴とする信号処理方
    法。
  48. 【請求項４８】 被写体像を撮像面に投影させる光学系
    と、光学系を介して供給される入射光を三原色RGB に色
    分解する原色フィルタが所定の配置に配された単板の色
    分解手段からの透過光を前記撮像面を形成する複数の受
    光素子での受光により光電変換を行う撮像手段と、該撮
    像手段から全画素読出しされた撮像信号をディジタルに
    変換した後、該変換された画素データに信号処理を施し
    て輝度信号を生成する信号処理手段とを有する固体撮像
    装置において、該装置は、 前記色分解手段の前記原色フィルタと受光素子とが個々
    に対をなし、かつ前記受光素子は、同一の行および列方
    向に配される受光素子とともに、該受光素子間のピッチ
    に対してそれぞれ半ピッチずれた位置に前記受光素子の
    幾何学的な中心部が配され、 前記所定の配置には、色G の４つで正方格子を形成し、
    該正方格子の一の色Gに対してその周囲に色R, Bが市松
    状に配されたG 正方RB完全市松パターンを用い、 前記信号処理手段は、色G に対応して得られた画素デー
    タを輝度データにそのまま用い、色R, Bには、色R, Bの
    画素データを用いるとともに、これらの画素データの加
    算平均の関係から求める色の輝度データを算出する第１
    演算手段と、 該第１演算手段で得られた輝度データを基に前記受光素
    子間の幾何学的な中央に位置する仮想画素に対する輝度
    データの補間および三原色RGB のうち、存在する受光素
    子から得られる色の他の２つの色に対する補間を行う第
    ２演算手段とを含むことを特徴とする固体撮像装置。
  49. 【請求項４９】 請求項48に記載の装置において、前記
    第１演算手段は、前記色R, Bの画素データを用いて前記
    色R, Bのいずれか一方の色の輝度データを求める際に、
    算出する色を一方の色としてその半値を算出し、該半値
    と、他方の色と同色の該一方の色の周囲に配される４つ
    の画素データの平均値の半値とを加算から求める色の輝
    度データを算出することを特徴とする固体撮像装置。
  50. 【請求項５０】 請求項48に記載の装置において、前記
    第１演算手段は、前記色G の正方格子の中心に位置する
    色R, Bの輝度データを算出する際に、該算出する輝度デ
    ータの色と同色の４つの画素データのうち、水平方向の
    画素データの差分値の絶対値と、垂直方向の画素データ
    の差分値の絶対値とを基に演算を行い該演算結果と所定
    の第１判定値から水平方向および垂直方向のいずれか一
    方の方向に相関があるか検出する第１相関検出手段と、 前記色G の正方格子を用いて、一方の水平方向の画素デ
    ータの差分値の絶対値および他方の水平方向の画素デー
    タの差分値の絶対値の加算値と、一方の垂直方向の画素
    データの差分値の絶対値および他方の垂直方向の画素デ
    ータの差分値の絶対値の加算値との差に基づいて演算を
    行い該演算結果と所定の第２判定値から水平方向および
    垂直方向のいずれか一方の方向に相関があるか検出する
    第２相関検出手段とを含み、 前記第１および第２相関検出手段の結果に応じて求める
    色の輝度データを算出することを特徴とする固体撮像装
    置。
  51. 【請求項５１】 請求項48に記載の装置において、前記
    第１演算手段は、前記色G の正方格子の中心に位置する
    色R, Bの輝度データを算出する際に、該算出する輝度デ
    ータの色と同色の４つの画素データのうち、右斜め方向
    の画素データの差分値の絶対値と、左斜め方向の画素デ
    ータの差分値の絶対値とを基に演算を行い該演算結果と
    所定の第３判定値の比較からどちらの斜め方向に相関が
    あるか検出する第３相関検出手段と、 前記色G の正方格子を用いて、輝度算出画素を挟んで右
    斜め方向の両端に位置する色G の画素データの差分値の
    絶対値と、輝度算出画素を挟んで左斜め方向の両端に位
    置する色G の画素データの差分値の絶対値との差分値と
    を算出し、該算出した値と所定の第４判定値の比較から
    どちらの斜め方向に相関があるか検出する第４相関検出
    手段とを含み、 前記第３および第４相関検出手段の結果に応じて求める
    色の輝度データを算出することを特徴とする固体撮像装
    置。
  52. 【請求項５２】 請求項48に記載の装置において、前記
    撮像手段は、撮像信号の読出しをインターレースまたは
    X,Y アドレス方式で読み出すことを特徴とする固体撮像
    装置。
  53. 【請求項５３】 請求項48に記載の装置において、該装
    置は、前記光学系からの入射光を複数の方向に分光する
    分光手段と、 該分光手段が分光する方向の数に応じて複数の種類の三
    原色RGB の色フィルタ配置を各撮像手段の前に配すると
    ともに、各原色フィルタ配置を重ね合わせた際に前記G
    正方RB完全市松パターンとなる色分解手段とを含むこと
    を特徴とする固体撮像装置。
  54. 【請求項５４】 請求項48に記載の装置において、前記
    受光素子が該受光素子の幾何学的な中心がすべて行およ
    び列方向に正方配置された撮像手段と、 該撮像手段を空間的に行および／または列方向に移動さ
    せる移動手段と、 該移動手段による前記撮像手段の移動に伴い前記撮像手
    段の前面に配される色分解手段の色フィルタを切り換え
    るフィルタ切換手段と、 前記移動手段の移動および前記フィルタ切換手段の切換
    え毎に前記信号処理手段から供給される信号を前記被写
    体像の画像として記録する記録手段とを含み、 前記フィルタ切換手段の切換え毎に得られる被写体像を
    空間的に重ね合わせた際に前記G 正方RB完全市松パター
    ンで得られた画像になる面順次方式を用いることを特徴
    とする固体撮像装置。
  55. 【請求項５５】 請求項48ないし54のいずれか一項に記
    載の装置において、前記被写界像を前記光学系および前
    記撮像手段を介して撮像して得られた画像データまたは
    該画像データが記録された記録媒体からの再生データを
    基に前記信号処理手段の前記第１および第２演算手段に
    より輝度データの生成を行うことを特徴とする画像処理
    装置。
  56. 【請求項５６】 被写体像を撮像面に投影させる光学系
    と、光学系を介して供給される入射光を三原色RGB に色
    分解する原色フィルタが所定の配置に配された単板の色
    分解手段からの透過光を前記撮像面を形成する複数の受
    光素子での受光により光電変換を行う撮像手段と、該撮
    像手段から全画素読出しされた撮像信号をディジタルに
    変換した後、該変換された画素データに信号処理を施し
    て輝度信号を生成する信号処理手段とを有する固体撮像
    装置において、該装置は、 前記色分解手段の前記原色フィルタと受光素子とが個々
    に対をなし、かつ前記受光素子は、行および列方向に正
    方配置で２次元的に配され、 前記所定の配置には、色G が列方向にストライプを形成
    し、該ストライプの色G の間に色R, Bが交互に配されて
    完全な市松状を形成するG ストライプRB完全市松パター
    ンを用い、 前記信号処理手段は、色G に対応して得られた画素デー
    タを輝度データにそのまま用い、色R, Bには、色R, Bの
    画素データを用いるとともに、これらの画素データの加
    算平均の関係から求める色の輝度データを算出する第３
    演算手段と、 該第３演算手段で得られた輝度データを基に三原色RGB
    のうち、存在する受光素子から得られる色の他の２つの
    色に対する補間を行う第４演算手段とを含むことを特徴
    とする固体撮像装置。
  57. 【請求項５７】 請求項56に記載の装置において、前記
    第３演算手段は、前記色R, Bの画素データを用いて前記
    色R, Bのいずれか一方の色の輝度データを求める際に、
    算出する色を一方の色としてその半値を算出し、該半値
    と、他方の色および該一方の色と同色の周囲に配される
    ４つの画素データの平均値の半値とを加算から求める色
    の輝度データを算出することを特徴とする固体撮像装
    置。
  58. 【請求項５８】 請求項56に記載の装置において、前記
    第３演算手段は、前記色R またはB が形成する格子の画
    素データを用いて該格子の中心に位置する輝度データを
    算出する際に、該算出する輝度データの色と４つの画素
    データのうち、水平方向の異色の画素データの差分値の
    絶対値と、垂直方向の同色の画素データの差分値の絶対
    値とを基に演算を行い該演算結果と所定の第５判定値か
    ら水平方向および垂直方向のいずれか一方の方向に相関
    があるか検出する第５相関検出手段と、 前記色G の正方格子を用いて、一方の水平方向の画素デ
    ータの差分値の絶対値および他方の水平方向の画素デー
    タの差分値の絶対値の加算値と、一方の垂直方向の画素
    データの差分値の絶対値および他方の垂直方向の画素デ
    ータの差分値の絶対値の加算値との差に基づいて演算を
    行い該演算結果と所定の第６判定値から水平方向および
    垂直方向のいずれか一方の方向に相関があるか検出する
    第６相関検出手段とを含み、 前記第５および第６相関検出手段の結果に応じて求める
    色の輝度データを算出することを特徴とする固体撮像装
    置。
  59. 【請求項５９】 請求項56に記載の装置において、前記
    第３演算手段は、前記色G が形成する正方格子の中心に
    位置する色R, Bの輝度データを算出する際に、該算出す
    る輝度データの色と異色の４つの画素データのうち、右
    斜め方向の画素データの差分値の絶対値と、左斜め方向
    の画素データの差分値の絶対値とを基に演算を行い該演
    算結果と所定の第７判定値の比較からどちらの斜め方向
    に相関があるか検出する第７相関検出手段と、 前記色G が形成する正方格子を用いて、輝度算出画素を
    挟んで右斜め方向の両端に位置する色G の画素データの
    差分値の絶対値と、輝度算出画素を挟んで左斜め方向の
    両端に位置する色G の画素データの差分値の絶対値との
    差分値とを算出し、該算出した値と所定の第８判定値の
    比較からどちらの斜め方向に相関があるか検出する第８
    相関検出手段とを含み、 前記第７および第８相関検出手段の結果に応じて求める
    色の輝度データを算出することを特徴とする固体撮像装
    置。
  60. 【請求項６０】 請求項56に記載の装置において、前記
    撮像手段は、撮像信号の読出しをインターレースまたは
    X,Y アドレス方式で読み出すことを特徴とする固体撮像
    装置。
  61. 【請求項６１】 請求項56に記載の装置において、該装
    置は、前記光学系からの入射光を複数の方向に分光する
    分光手段と、 該分光手段が分光する方向の数に応じて複数の種類の三
    原色RGB の色フィルタ配置を各撮像手段の前に配すると
    ともに、各原色フィルタ配置を重ね合わせた際に前記G
    ストライプRB完全市松パターンとなる色分解手段とを含
    むことを特徴とする固体撮像装置。
  62. 【請求項６２】 請求項56に記載の装置において、前記
    受光素子が該受光素子の幾何学的な中心がすべて行およ
    び列方向に正方配置された撮像手段と、 該撮像手段を空間的に行および／または列方向に移動さ
    せる移動手段と、 該移動手段による前記撮像手段の移動に伴い前記撮像手
    段の前面に配される色分解手段の色フィルタを切り換え
    るフィルタ切換手段と、 前記移動手段の移動および前記フィルタ切換手段の切換
    え毎に前記信号処理手段から供給される信号を前記被写
    体像の画像として記録する記録手段とを含み、 前記フィルタ切換手段の切換え毎に得られる被写体像を
    空間的に重ね合わせた際に前記G ストライプRB完全市松
    パターンで得られた画像になる面順次方式を用いること
    を特徴とする固体撮像装置。
  63. 【請求項６３】 請求項56ないし62のいずれか一項に記
    載の装置において、前記被写界像を前記光学系および前
    記撮像手段を介して撮像して得られた画像データまたは
    該画像データが記録された記録媒体からの再生データを
    基に前記信号処理手段の前記第３および第４演算手段に
    より輝度データの生成を行うことを特徴とする画像処理
    装置。
JP00161399A 1998-01-08 1999-01-07 固体撮像装置および信号処理方法 Expired - Fee Related JP4607265B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00161399A JP4607265B2 (ja) 1998-01-08 1999-01-07 固体撮像装置および信号処理方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP195498 1998-01-08
JP10-285126 1998-10-07
JP10-1954 1998-10-07
JP28512698 1998-10-07
JP00161399A JP4607265B2 (ja) 1998-01-08 1999-01-07 固体撮像装置および信号処理方法

Publications (3)

Publication Number Publication Date
JP2000184386A true JP2000184386A (ja) 2000-06-30
JP2000184386A5 JP2000184386A5 (ja) 2005-11-04
JP4607265B2 JP4607265B2 (ja) 2011-01-05

Family

ID=27275003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00161399A Expired - Fee Related JP4607265B2 (ja) 1998-01-08 1999-01-07 固体撮像装置および信号処理方法

Country Status (1)

Country Link
JP (1) JP4607265B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1377072A1 (en) * 2001-03-05 2004-01-02 Nikon Corporation Image processing device and image processing program
US6897425B2 (en) 2000-12-22 2005-05-24 Fuji Photo Film Co., Ltd. Method of processing an image signal with the result from decision on a correlation corrected
US7019774B2 (en) 2001-10-30 2006-03-28 Mitsubishi Denki Kabushiki Kaisha Imaging apparatus and mobile terminal incorporating same
US7110031B2 (en) * 2000-12-27 2006-09-19 Fuji Photo Film Co., Ltd. State image pickup apparatus having pixel shift layout
US7110034B2 (en) 2001-08-31 2006-09-19 Canon Kabushiki Kaisha Image pickup apparatus containing light adjustment portion with reflection of a portion of light onto adjacent pixels
WO2007145087A1 (ja) * 2006-06-16 2007-12-21 Sony Corporation 撮像装置及び信号処理方法
WO2012153489A1 (ja) * 2011-05-11 2012-11-15 国立大学法人東京工業大学 画像処理システム
WO2013046828A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置
KR101316062B1 (ko) * 2006-12-28 2013-10-10 삼성전자주식회사 촬상 장치 및 촬상 방법
US9020303B2 (en) 2011-02-21 2015-04-28 Mitsubishi Electric Corporation Image magnification device and method

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6897425B2 (en) 2000-12-22 2005-05-24 Fuji Photo Film Co., Ltd. Method of processing an image signal with the result from decision on a correlation corrected
US7110031B2 (en) * 2000-12-27 2006-09-19 Fuji Photo Film Co., Ltd. State image pickup apparatus having pixel shift layout
EP1377072A1 (en) * 2001-03-05 2004-01-02 Nikon Corporation Image processing device and image processing program
EP1377072A4 (en) * 2001-03-05 2006-09-13 Nikon Corp PROGRAM AND DEVICE FOR PROCESSING IMAGES
US7289665B2 (en) 2001-03-05 2007-10-30 Nikon Corporation Image processing device and image processing program
US7110034B2 (en) 2001-08-31 2006-09-19 Canon Kabushiki Kaisha Image pickup apparatus containing light adjustment portion with reflection of a portion of light onto adjacent pixels
US7019774B2 (en) 2001-10-30 2006-03-28 Mitsubishi Denki Kabushiki Kaisha Imaging apparatus and mobile terminal incorporating same
JP2007336387A (ja) * 2006-06-16 2007-12-27 Sony Corp 撮像装置及び信号処理方法
WO2007145087A1 (ja) * 2006-06-16 2007-12-21 Sony Corporation 撮像装置及び信号処理方法
JP4548390B2 (ja) * 2006-06-16 2010-09-22 ソニー株式会社 撮像装置及び信号処理方法
US8471936B2 (en) 2006-06-16 2013-06-25 Sony Corporation Imaging device and signal processing method
KR101316062B1 (ko) * 2006-12-28 2013-10-10 삼성전자주식회사 촬상 장치 및 촬상 방법
US9020303B2 (en) 2011-02-21 2015-04-28 Mitsubishi Electric Corporation Image magnification device and method
WO2012153489A1 (ja) * 2011-05-11 2012-11-15 国立大学法人東京工業大学 画像処理システム
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
WO2013046828A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置
CN103563361A (zh) * 2011-09-29 2014-02-05 富士胶片株式会社 用于图像处理的设备和方法以及成像设备
JP5519083B2 (ja) * 2011-09-29 2014-06-11 富士フイルム株式会社 画像処理装置、方法、プログラムおよび撮像装置
US8817141B2 (en) 2011-09-29 2014-08-26 Fujifilm Corporation Image processing device and method, recording medium, and imaging device

Also Published As

Publication number Publication date
JP4607265B2 (ja) 2011-01-05

Similar Documents

Publication Publication Date Title
JP4077120B2 (ja) 固体撮像装置および信号処理方法
US6882364B1 (en) Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US7148925B2 (en) Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor
EP2087725B1 (en) Improved light sensitivity in image sensors
JP5462345B2 (ja) 光感度が改善されたイメージ・センサー
JP4971323B2 (ja) カラー画素とパンクロ画素の処理
JP5149279B2 (ja) 光感度が改善されたイメージ・センサー
US5737017A (en) Color image pickup apparatus having a plurality of color filters
US6897425B2 (en) Method of processing an image signal with the result from decision on a correlation corrected
JP4372955B2 (ja) 固体撮像装置および信号処理方法
WO2006137419A1 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JPH09130813A (ja) マルチメディア対応可能なｃｃｄカメラシステム
JP2660567B2 (ja) 画像処理システム
JP4607265B2 (ja) 固体撮像装置および信号処理方法
JP4548390B2 (ja) 撮像装置及び信号処理方法
JP2000197067A (ja) 固体撮像装置および画像デ―タ作成方法
JP2001036809A (ja) 固体撮像装置および画像処理方法
JP2001054127A (ja) 固体撮像装置および画素欠陥補償方法
JPH11168688A (ja) ディジタルカメラ装置ならびにその記録および／または再生処理方法
JP2000152263A (ja) 固体撮像装置および画像データ作成方法
JP4243412B2 (ja) 固体撮像装置および信号処理方法
JP4934183B2 (ja) 画像信号処理方法
JPH10248069A (ja) 撮像装置
JP3905342B2 (ja) 固体撮像装置
JP4309506B2 (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080317

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080905

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101007

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees