JP4269369B2

JP4269369B2 - Camera signal processing apparatus and camera signal processing method

Info

Publication number: JP4269369B2
Application number: JP31516898A
Authority: JP
Inventors: 敏久山本; 健中島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-11-28
Filing date: 1998-11-05
Publication date: 2009-05-27
Anticipated expiration: 2018-11-05
Also published as: JPH11220747A

Description

【０００１】
【発明の属する技術分野】
本発明は、単板カラー方式を採用したカメラ装置に用いて好適なカメラ信号処理装置及びカメラ信号処理方法に関し、固体撮像素子で生成した撮像信号から輝度信号又は色差信号を生成するときに各画素における相関値を算出するカメラ信号処理装置及びカメラ信号処理方法に関する。
【０００２】
【従来の技術】
従来において、ＣＣＤ(Charge Coupled Device) イメージセンサ（以下、単にＣＣＤと称する。）等の固体撮像素子を用いた単板式のカメラ装置においては、ＣＣＤ上にＲ，Ｇ，Ｂに対応した光を透過させる色フィルタが配設されている。この色フィルタは、Ｒ（レッド）の光を透過させる領域と、Ｇ（グリーン）の光を透過させる領域と、Ｂ（ブルー）の光を透過させる領域とがマトリクス状に形成されており、例えば水平方向においてＧ，Ｒ，Ｇ・・又はＢ，Ｇ，Ｂ・・と配設されている。そして、ＣＣＤには、この色フィルタの各領域を透過した光が入力され、色フィルタのＲ，Ｇ，Ｂの光を透過させる領域に対応した画素から画素データＧ，画素データＲ，画素データＢをそれぞれ生成する。
【０００３】
そして、このカメラ装置においては、ＣＣＤに入力される光に基づいて輝度信号を作成するとともに、色信号を作成している。
【０００４】
このようなカメラ装置におけるＣＣＤは、１つの画素毎にＲ，Ｇ，Ｂを有する色フィルタが配されており、例えば水平方向にＲ，Ｇ，Ｒ，Ｇ，・・・という配列となされている。そして、このカメラ装置においては、各画素に対応して配された色フィルタに対応して色信号を作成している。したがって、このようなＣＣＤでは、Ｒの光を透過させる色フィルタが配されている画素においてはＧ及びＢに対応した画素データＧ，Ｂが生成されないこととなり、Ｇ及びＢに対応した画素データを補間して生成する必要がある。
【０００５】
このようなカメラ装置において、各画素毎に水平方向から補間して補間画像を得るときには、水平方向において隣接する画素データを加算処理して平均を計算することで補間を行う。また、垂直方向から補間するときには、水平方向と同様に、垂直方向において隣接する画素データを加算処理して、平均を計算することで補間を行う。
【０００６】
【発明が解決しようとする課題】
ところで、カメラ装置においては、輝度信号の周波数が標本化周波数の下限、ナイキスト周波数の限界の近傍において利得が低減することが避けられない。このように、輝度信号の周波数がナイキスト周波数近傍において利得が低減すると、カメラ装置で生成する画像の解像度が劣化してしまう。また、単板方式のカメラ装置においては、上述のように、各画素上に配された色フィルタを介して各色に対応した光を入力しているので、輝度信号の周波数が標本化周波数の１／２であっても、色信号の周波数が１／４しかないことによる。
【０００７】
このように、カメラ装置においては、ナイキスト限界の近傍における周波数帯域においては、相関値を検出することができないこととなる。したがって、このような帯域では、例えば色のエッジ等に偽色信号が発生することがある。
【０００８】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、撮像素子で生成した画像データを生成するときに、高い解像度で輝度信号及び色差信号を作成することができるカメラ信号処理装置及びカメラ信号処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決する本発明にかかるカメラ信号処理装置は、各画素毎に分光特性が異なる色フィルタを介して入射される光に応じて固体撮像素子が検出する画素データを当該位置及び周囲の画素データに基づいて補間画素データとする補間画素データ生成手段と、補間画素データ生成手段で生成された補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出する相関検出手段と、補間画素データ生成した補間画素データを相関検出手段で検出した相関値で重み付けを行った補間画素データに基づいて画像を生成する画像生成手段とを備え、相関検出手段は、固体撮像素子で検出する画素データのうち所定の色を示す画素データのみを用いて所定の色を示す補間画素データについての相関値及び所定の色以外の色を示す補間画素データについての相関値を検出することを特徴とするものである。
【００１０】
【課題を解決するための手段】
上述の課題を解決する本発明は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される各色の画素データから輝度信号と色差信号を生成するカメラ信号処理装置であって、上記撮像信号に応じて生成される画素データを当該位置及び周囲の画素データに基づいて補間画素データとする補間処理を行い、画素データが存在しない画素について補間画素データを生成するとともに、上記画素データが存在しない画素における補間画素データの周波数特性との差が小さくなるように、画素データが存在する画素についても補間画素データを生成する補間画素データ生成手段と、上記補間画素データ生成手段で生成された補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出する相関検出手段と、上記補間画素データで生成した補間画素データを上記相関検出手段で検出した相関値で重み付けを行った補間画素データに基づいて輝度信号と色差信号を生成する画像生成手段とを備え、上記相関検出手段は、上記固体撮像素子で検出する画素データのうち所定の色を示す画素データのみを用いて上記所定の色を示す補間画素データについての相関値及び上記所定の色以外の色を示す補間画素データについての相関値を検出し、上記所定の色を示す補間画素データについての相関値を求めるとき、当該補間画素データと同色の画素データのみを用いて［−１，０，２，０，−１］のＢＰＦ、［１，０，６，０，１］／８のＬＰＦを用いて相関値を検出し、上記所定の色以外の色を示す補間画素データについての相関値を求めるとき、当該所定の色の画素データのみを用いて［−１，０，２，０，−１］のＢＰＦ、［１，０，１］／２のＬＰＦを用いて相関値を検出することを特徴とする。
【００１１】
また本発明は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される各色の画素データから輝度信号と色差信号を生成するカメラ信号処理方法であって、上記撮像信号に応じて生成される画素データを当該位置及び周囲の画素データに基づいて画素データが存在しない画素について補間画素データを生成するとともに、上記画素データが存在しない画素における補間画素データの周波数特性との差が小さくなるように、画素データが存在する画素についても補間画素データを生成し、上記補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出するにあたり、上記画素データのうち所定の色を示す画素データのみを用いて上記所定の色を示す補間画素データについての相関値及び上記所定の色以外の色を示す補間画素データについての相関値を検出し、上記所定の色を示す補間画素データについての相関値を求めるとき、当該補間画素データと同色の画素データのみを用いて［−１，０，２，０，−１］のＢＰＦ、［１，０，６，０，１］／８のＬＰＦを用いて相関値を検出し、上記所定の色以外の色を示す補間画素データについての相関値を求めるとき、当該所定の色の画素データのみを用いて［−１，０，２，０，−１］のＢＰＦ、［１，０，１］／２のＬＰＦを用いて相関値を検出し、上記相関値で上記補間画素データの重み付けを行い、重み付けがなされた上記補間画素データに基づいて輝度信号と色差信号を生成することを特徴とする。
【００１２】
本発明に係るカメラ信号処理装置は、図１に示すように、入力された光に応じて例えば静止画像を生成するカメラ装置１に適用できる。
【００１３】
このカメラ装置１は、ＣＣＤ(Charge Coupled Device) イメージャ（以下ＣＣＤと称する。）に被写体を結像するする光学系２と、ＣＣＤ３と、このＣＣＤ３を駆動するタイミングジェネレータ４と、ＣＣＤ３から撮像信号が入力されるサンプル／ホールド回路５と、サンプル／ホールド回路５から撮像信号が入力されゲインを調整するＡＧＣ回路６と、入力された撮像信号をデジタル方式の画像データに変換するＡ／Ｄ変換回路７と、画像データにカメラ信号処理を行うカメラ処理部８と、ＣＣＤ３で生成する撮像信号を検波するＣＣＤ検波部９と、これら各部を制御する制御部１０とから構成されている。
【００１４】
ここで、ＣＣＤ３には、Ｒ（レッド）の光を透過する領域と、Ｇ（グリーン）の光を透過する領域と、Ｂ（ブルー）の光を透過する領域とがマトリクス状に形成された色フィルタが配設されており、各画素毎に当該色フィルタを透過した光が入力される。この色フィルタは、例えば、各色の光を透過する領域が水平方向にＲ，Ｇ，Ｒ，Ｇ・・・又はＧ，Ｂ，Ｇ，Ｂ・・・と配設されている。すなわち、ＣＣＤ３は、各画素毎で各色Ｒ，Ｇ，Ｂに対応した光に基づいて画素データＲ，画素データＧ，画素データＢを生成する。
【００１５】
このＣＣＤ検波部９では、Ａ／Ｄ変換回路７でデジタル方式に変換された画像データが入力される。そして、このＣＣＤ検波部９で検波された画像データは、例えばＡＥ(auto exposure)回路、ＡＦ(auto focus)回路に入力される。そして、例えばＡＥ回路に入力された画像データは、電子シャッタのシャッタスピード又は絞りを調整するために使用され、ＣＣＤ３に入射する光の明るさを自動で切り換える。
【００１６】
カメラ処理部８は、Ａ／Ｄ変換回路７から画像データが入力される欠陥補正回路１１と、欠陥補正回路１１から画像データが入力されるＣＬＰ回路１２と、ＣＬＰ回路１２から画像データが入力されるホワイトバランス回路１３と、ホワイトバランス回路１３から画像データが入力されるγ補正回路１４を備える。
【００１７】
欠陥補正回路１１は、Ａ／Ｄ変換回路７からの画像データに欠陥補正を施す。この欠陥補正回路１１は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、ＣＬＰ回路１２に画像データを出力する。
【００１８】
ＣＬＰ回路１２には、欠陥補正回路１１からの画像データからオプティカルブラックを差し引く。このようにＣＬＰ回路１２では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路１３に出力する。
【００１９】
ホワイトバランス回路１３には、ＣＬＰ回路１２からの画像データＲ，Ｇ，Ｂに対応した色毎のレベルを調整する。このようにホワイトバランス回路１３は、各色毎にレベルが調整された画像データをγ補正回路１４に出力する。
【００２０】
このγ補正回路１４には、ホワイトバランス回路１３からの画像データにγ補正を施す。そして、このγ補正回路１４は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【００２１】
また、この信号処理部８は、図２に示すように、γ補正回路１４から画像データが入力される画像データ補間部１５と、各画素データ間の相関値を検出する相関値検出部１６と、相関値のノイズを除去するノイズ除去部１７と、相関値にオフセットをかけるオフセット回路１８と、相関値を正規化する正規化回路１９と、相関を検出する方向の偏りを補正する偏り補正回路２０と、相関の強調及び低減を行う強調・低減回路２１と、補間した画像データに相関値を用いて重み付けを行う加重加算回路２２と、画像データの輪郭を補正する輪郭補正回路２３と、画像データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換するＹ／Ｃ変換部２４と、色差信号による偽色信号を抑制する色差信号抑制部２５と、出力部２６とを備える。
【００２２】
画像データ補間部１５には、γ補正回路１４から複数の画素データからなる画像データが入力される。この画像データ補間部１５は、各画素毎に各画素データＲ，Ｇ，Ｂの補間を行って、各補間画素データＲ’，Ｇ’，Ｂ’を生成するものである。この画像データ補間部１５は、水平方向に配列した画素に対応した画素データの補間を行う水平方向補間回路１５ａと、垂直方向に配列した画素に対応した画素データの補間を行う垂直方向補間回路１５ｂとからなる。
【００２３】
水平方向補間回路１５ａには、図３に示すようなマトリクス状に配列された各画素に対応する画素データＲ，Ｇ，Ｂが入力される。この水平方向補間回路１５ａは、下記の式１に示すフィルタを用いて水平方向における補間画素データを算出する。なお、図３は、各画素毎に対応した画素データＲ，Ｇ，Ｂを示す図であり、各画素の配置として座標を数字で示した図である。また、この以下の説明においては、水平方向におけるライン毎に０ｈ，１ｈ，２ｈ，３ｈ，４ｈと配されているとして以下の説明を行う。
【００２４】
［１，４，６，４，１］／８（式１）
すなわち、補間画素データＲ’，Ｇ’，Ｂ’の算出を行うときには、式１に示すフィルタを用いるために、水平方向補間回路１５ａを図４に示すように構成する。
【００２５】
水平方向補間回路１５ａは、水平方向における補間画素データＲ’，Ｇ’，Ｂ’を作成するとき、図４に示すように構成する。この水平方向補間回路１５ａは、γ補正回路１４から画素データが入力される入力部３０と、入力部３０から各画素データが入力される遅延回路３１と、遅延回路３１から水平方向における各画素データが入力され補間画素データを生成するフィルタ回路３２と、フィルタ回路３２を介して補間画素データが入力されるセレクタ回路３３と、セレクタ回路３３からの補間画素データを出力する出力端子３４とからなる。
【００２６】
入力部３０には、γ補正回路１４から水平方向における各画素データが順次入力される。この入力部３０には、１画素データ毎にクロックで順次入力される。
遅延回路３１は、入力部３０で入力した各画素データが入力される遅延回路３１ａ〜３１ｄからなる。この遅延回路３１は、入力された各画素データを上記のクロックと同期して各遅延回路３１ａ〜３１ｄに入力し、フィルタ回路３２に出力する。
【００２７】
フィルタ回路３２は、入力部３０及び遅延回路３１ｄを介して画素データが入力される加算器３２ａと、遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される加算器３２ｂと、遅延回路３１ｂを介して画素データが入力される加算器３２ｃと、加算器３２ａ及び加算器３２ｃからの出力が入力される加算器３２ｄとからなる。
【００２８】
加算器３２ａは入力部３０から直接入力される画素データ及び遅延回路３１ｄを介して画素データが入力され、加算器３２ｃは遅延回路３１ｂを介して画素データが入力され、加算器３２ｄは加算器３２ａ及び加算器３２ｃを介して画素データが入力される。また、加算器３２ｂは遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される。
【００２９】
すなわち、このフィルタ回路３２は、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器３２ｂで［１，０，１］／２のフィルタを構成している。
【００３０】
セレクタ回路３３は、加算器３２ｄからの出力及び遅延回路３１ｂを介して画素データが入力されるセレクタ３３ａ、３３ｂと、セレクタ３３ａからの出力及び加算器３２ｂからの出力が入力されるセレクタ３３ｃと、加算器３２ｂ及びセレクタ３３ｂからの出力が入力されるセレクタ３３ｄとを有する。
【００３１】
また、各セレクタ３３ａ〜３３ｄは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００３２】
出力部３４は、セレクタ３３ｃからの出力を出力する端子３４ａとセレクタ３３ｄからの出力を後述するエッジ処理回路に出力する端子３４ｂとを有する。
【００３３】
このように構成された水平方向補間回路１５ａは、例えば画素データＧ₂₂について、補間画素データＲ₂₂’，Ｂ₂₂’のみならず、補間画素データＧ₂₂’をも算出する。
【００３４】
水平方向補間回路１５ａで、例えば図３中の画素データＧ₂₂についての補間画素データＧ₂₂’を算出するときには、入力部３０で２ｈにおける画素データＧ₂₀，Ｒ₂₁，Ｇ₂₂，Ｒ₂₃，Ｇ₂₄を順次入力する。
【００３５】
次に、入力部３０で入力した画素データＧ₂₀，Ｒ₂₁，Ｇ₂₂，Ｒ₂₃，Ｇ₂₄を遅延回路３１によりフィルタ回路３２に入力する。すなわち、画素データＧ₂₀を加算器３２ａに入力し、画素データＲ₂₁を加算器３２ｂに入力し、画素データＧ₂₂を加算器３２ｃに入力し、画素データＲ₂₃を加算器３２ｂに入力し、画素データＧ₂₄を加算器３２ａに入力する。
【００３６】
次に、フィルタ回路３２で各画素データＧ₂₀，Ｇ₂₂，Ｇ₂₄から、画素データＧ₂₂についての補間画素データＧ₂₂’の演算を行う。すなわち、加算器３２ａでは画素データＧ₂₀と画素データＧ₂₄とを加算処理して加算器３２ｄに出力する。また、加算器３２ｃでは、画素データＧ₂₂を４倍とするとともに２倍としてこれらを加算処理して加算器３２ｄに出力する。そして、加算器３２ｄでは、加算器３２ａと加算器３２ｃとからの出力を入力して、これらを加算処理するとともに１／８の乗算処理を行ってセレクタ回路３３に出力する。また、加算器３２ｂでは、画素データＲ₂₁と画素データＲ₂₃を入力してこれらを加算処理するとともに１／２の乗算処理を行ってセレクタ回路３３に出力する。
【００３７】
このように加算器３２ａ，３２ｃ，３２ｄで加算処理を行うことにより、｛画素データＧ₂₀＋６×画素データＧ₂₂＋画素データＧ₂₄｝／８という演算を行う。一方、加算器３２ｂで加算処理を行うことにより、｛画素データＲ₂₁＋画素データＲ₂₃｝／２という演算を行う。すなわち、このフィルタ回路３２では、加算器３２ｂで［１，０，１］／２というフィルタを構成し、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８というフィルタを構成し、画素データＧ₂₀，Ｇ₂₂，Ｇ₂₄を上述した式１に示すフィルタを通過させる。したがって、このフィルタ回路３２によれば、画素データＲ₂₂，Ｇ₂₂についての補間画素データＲ₂₂’，Ｇ₂₂’を作成する。
【００３８】
次に、セレクタ３３ａ及びセレクタ３３ｂでは、補間画素データＧ₂₂’を入力するとともに、画素データＧ₂₂を入力する。また、セレクタ３３ａ及びセレクタ３３ｂでは、制御部１０から制御信号Ｈ又は制御信号Ｌを入力する。ここで、セレクタ３３ａ及びセレクタ３３ｂでは、制御信号Ｈが入力されたときには、フィルタ回路３２からの補間画素データＧ₂₂’をそのままセレクタ３３ｃ，３３ｄに出力し、制御信号Ｌが入力されたときには、画素データＧ₂₂をセレクタ３３ｃ，３３ｄに出力する。
【００３９】
次に、この制御部１０では、画素データＧ₂₂についての補間画素データＧ₂₂’がフィルタ回路３２で生成されていることから、制御信号Ｌをセレクタ３３ｃ及びセレクタ３３ｄに出力する。このように、セレクタ３３ｃ，３３ｄに制御信号Ｌが入力されると、セレクタ３３ｃでは補間画素データＲ₂₂’を出力し、セレクタ３３ｄでは画素データＧ₂₂又は補間画素データＧ₂₂’を出力する。
【００４０】
一方、制御部１０からセレクタ３３ｃ，セレクタ３３ｄに制御信号Ｈが入力された場合、セレクタ３３ｃはセレクタ３３ａから入力されたデータを出力し、セレクタ３３ｄは加算器３２ｂから入力されたデータを出力する。
【００４１】
すなわち、このセレクタ３３ｄは、例えば画素データＧ₂₂についての補間画素データＧ₂₂’を出力するときにはセレクタ３３ｂからの入力を出力し、図３中の画素データＧ₂₃についての補間画素データＧ₂₃’を出力するときには、加算器３２ｂからの入力を出力するように制御される。そして、セレクタ３３ｃは端子３４ａに画素データＲ又は画素データＢについての補間画素データＲ₂₂’を出力し、セレクタ３３ｄは端子３４ｂに画素データＧについての補間画素データＧ₂₂’を出力する。
【００４２】
このように画素データＧについての補間画素データＧ’を算出するときは、入力した画素データＲ，Ｇのうち、図５に示すような画素データＧのみからなるＣＣＤ３を想定して補間画素データＧ’を算出する。したがって、この水平方向補間回路１５ａでは、画素データＧが存在しない画素について補間画素データＧ’を算出するときには［１，０，１］／２というフィルタを使用して補間画素データＧ’を算出し、画素データＧが存在する画素について補間画素データＧ’を算出するときには［１，０，６，０，１］／８というフィルタを使用して補間画素データＧ’を算出することとなる。したがって、このようなフィルタを用いて補間画素データＧ’を算出する水平方向補間回路１５ａでは、これらのフィルタの周波数特性が図６及び図７に示すようになる。すなわち、この［１，０，６，０，１］／８というフィルタでは図６に示すような周波数特性を示し、［１，０，１］／２というフィルタでは図７に示すような周波数特性を示す。この図６及び図７に示したフィルタの周波数特性によれば、水平方向補間回路１５ａでは、これらのフィルタを用いることで画素データＧが存在する画素における補間画素データＧ’の周波数特性と画素データＧが存在しない補間画素データＧ’の周波数特性との差を小さくすることができる。
【００４３】
したがって、このように各画素データＧについての補間画素データＧ’を算出することにより、図８に示すような補間画像データＧ’を得ることができる。
【００４４】
また、上述した水平方向補間回路１５ａは、２ｈにおいて画素データＧ₂₂についての補間画素データＲ₂₂’を［１，０，１］／２のフィルタを用いて算出したが、上述と同様に１ｈにおいては、画素データＧ₁₁についての補間画素データＢ₁₁’を算出することもできる。
【００４５】
次に、２ｈにおける画素データＧ₂₂についての補間画素データＢ₂₂’を算出するときには、図９に示したフィルタを用いて行う。すなわち、以下の説明では、画素データＢが存在しないラインにおいて、補間画素データＢ’を算出する一例について説明する。
【００４６】
画素データＧ₂₂の補間画像データＢ₂₂’を算出するときには、図９に示すように構成した水平方向補間回路１５ａ’を用いて補間画素データＢ₂₂’を算出する。なお、以下の水平方向補間回路１５ａ’の説明においては、図４に示した水平方向補間回路１５ａと同様の部分については同一の符号を付することでその詳細な説明を省略する。すなわち、この図９に示した水平方向補間回路１５ａ’では、入力部３０を例えば１ｈにおける画素データがＢ₁₀，Ｇ₁₁，Ｂ₁₂，Ｇ₁₃，Ｂ₁₄の順に入力される端子３０ａと、３ｈにおける画素データがＢ₃₀，Ｇ₃₁，Ｂ₃₂，Ｇ₃₃，Ｂ₃₄の順に入力される端子３０ｂとからなるものとしている。そして、この図９に示した水平方向補間回路１５ａ’は、端子３０ａ，３０ｂから画素データが入力される加算器３５を備えている。この加算器３５では、端子３０ａ及び端子３０ｂからの画素データが入力されて、加算処理を行うとともに除算処理を行う。すなわち、この加算器３５では、例えば｛画素データＢ₁₀＋画素データＢ₃₀｝／２という処理を行う。そして、この図９の水平方向補間回路１５ａ’では、図４に示した水平方向補間回路１５ａと同様に遅延回路３１ａ〜３１ｄ，加算器３２，セレクタ回路３３を介して補間画素データＧ’，Ｂ’を出力する。
【００４７】
すなわち、この水平方向補間回路１５ａ’では、先ず、垂直方向において隣接した１ｈ及び３ｈに配列した画素に対応した画素データＢの相加平均で垂直方向を補間することで、図１０に示すように配置された各画素の画素データＢを、図１１に示すように、垂直方向に補間して補間画素データＢ’を算出する。
【００４８】
次に、この垂直方向における画素データＢ及び補間して得た補間画素データＢ’を［１，０，６，０，１］／８のフィルタ、［１，０，１］／２のフィルタを介して画素データＢの水平方向における補間画素データＢ’を算出する。
【００４９】
すなわち、この水平方向補間回路１５ａ’では、水平方向に画素データＢが存在しないラインについての補間画素データＢ₂₂’を以下のように作成する。まず、フィルタ回路３２で１ｈ及び３ｈにおける画素データＢに［１，０，６，０，１］／８からなるフィルタを加算器３２ａ，３２ｃ，３２ｄを通過させることで適用し、１ｈ及び３ｈにおける画素データＧに［１，０，１］／２からなるフィルタを加算器３２ｂを通過させることで適用する。水平方向補間回路１５ａ’は、さらに［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算する減算処理回路と、この減算処理回路からの出力に図４に示した水平方向補間回路１５ａで得た補間画素データＧ₂₂’を加算処理する加算処理回路とを有している。
【００５０】
すなわち、この水平方向補間回路１５ａ’では、［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算処理して、さらに画素データＧ’を加算処理して補間画素データＢ’を加重加算回路２２に出力する。
【００５１】
このように、図９の水平方向補間回路１５ａ’は、２ｈのように、画素データＢが存在しない画素に対応した画素データＧ₂₂においても、図１２に示すように、補間画素データＢ₂₂’を算出することができる。すなわち、この図９の水平方向補間回路１５ａ’によれば、全（すべ）ての画素について補間画素データＢ’を算出することができる。
【００５２】
また、このような水平方向補間回路１５ａ’は、画素データＧ₂₂について補間画素データＢ₂₂’を算出するときには、下記式２及び上述の式１で算出した補間画素データを用いて算出してもよい。
【００５３】
Ｂ₂₂’＝｛（Ｂ₁₂’−Ｇ₁₂’）＋（Ｂ₃₂’−Ｇ₃₂’）｝／２＋Ｇ₂₂’（式２）この式２によれば、補間画素データＢ₂₂’を算出するときには、図４の水平方向補間回路１５ａを用いて算出したＧ₁₂’，Ｇ₃₂’，Ｇ₂₂’と、上述の式１で算出したＢ₃₂’Ｂ₁₂’とを用いて補間画素データＢ₂₂’を算出することができる。
一方、垂直方向補間回路１５ｂは、図１３に示すように構成している。なお、以下に述べる垂直方向補間回路１５ｂの説明においては、上述の水平方向補間回路１５ａと同一部分については同一符号を付することによりその詳細な説明を省略する。
【００５４】
この垂直方向補間回路１５ｂは、図１３に示すように、垂直方向における各画素データＲ，Ｇ，Ｂが順次入力される入力部３０を備えている。この入力部３０は、１ｈにおける画素データが入力される端子３０ａと、３ｈにおける画素データが入力される端子３０ｂと、０ｈにおける画素データが入力される端子３０ｃと、４ｈにおける画素データが入力される端子３０ｄと、２ｈにおける画素データが入力される端子３０ｅとを有する。
【００５５】
また、この垂直方向補間回路１５ｂは、上述した水平方向補間回路１５ａと同様に、フィルタ回路３２と、セレクタ回路３３と、出力部３４とを有している。
この垂直方向補間回路１５ｂでは、各端子３０ａ〜３０ｅに画素データＢ₁₀，Ｂ₃₀，Ｇ₀₀，Ｇ₄₀，Ｇ₂₀が入力されると、端子３０ａ及び端子３０ｂに入力された画素データを加算器３２ｂに出力し、端子３０ｃ及び端子３０ｄに入力された画素データを加算器３２ａに出力し、端子３０ｅに入力された画素データを加算器３２ｃに出力する。そして、垂直方向補間回路１５ｂでは、水平方向補間回路１５ａと同様に、これらの入力された画素データをフィルタ回路３２により上述の式１及び式２に適用して、画素データＲ，Ｇ，Ｂについての補間画素データＲ’，Ｇ’，Ｂ’を得る。
【００５６】
また、この画像データ補間部１５を構成する水平方向補間回路１５ａと垂直方向補間回路１５ｂは、エッジ処理回路１５ｃに接続している。このエッジ処理回路１５ｃは、図１４に示すように、上述のγ補正回路１４からディレイ調整がなされた画素データＧが入力される端子４０ａ〜４０ｃからなる入力部４０と、各端子４０ａ〜４０ｃから画素データＧが入力される遅延回路４１ａ〜４１ｄと、入力された画素データＧを比較する比較部４２と、比較部４２での比較結果について演算処理を施す演算部４３と、演算部４３での演算結果に応じて出力を制御する出力部４４と、出力部４４から画素データを出力する出力端子４５とから構成されている。また、このエッジ処理回路１５ｃは、γ補正回路１４から各画素データＧが入力される。ここで、以下に説明するエッジ処理部１５ｃは、例えば図１５における補間画素データＧ’の値を制御するときの一例について説明する。
【００５７】
入力部４０は、上述した水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた図１５における補間画素データＧ’の周囲の画素データＧ₁〜Ｇ₄が入力される。この入力部４０は、例えば２ｈにおける補間画素データについてエッジ処理を行うときには、当該補間画素データＧ’の上方に隣接した１ｈの画素データＧ₁が入力される端子４０ａと、当該補間画素データＧ’の水平方向における両隣の画素データＧ₂，Ｇ₃が入力される端子４０ｂと、当該補間画素データＧ’の下方に隣接した３ｈの画素データＧ₄が入力される端子４０ｃとを備える。また、各端子４０ａ〜４０ｃは、遅延回路４１ａ〜４１ｄと接続している。なお、画素データＧ₁，Ｇ₂，Ｇ₃，Ｇ₄は、ディレイがかけられて各端子４０ａ〜４０ｃに入力される。
【００５８】
遅延回路４１ａ〜４１ｄは、比較部４２及び出力部４４と接続し、入力部４０から出力された画素データＧ₁〜Ｇ₄を入力する。この遅延回路４１ａ〜４１ｄは、画素データＧ₁〜Ｇ₄を入力するクロックと同期したクロックで比較部４２及び出力部４４に各画素データＧ₁〜Ｇ₄を出力する。
【００５９】
比較部４２は、入力部４０で入力された４つの画素データのうち、２つの画素データが入力されるコンパレータ４２ａ〜４２ｆからなる。すなわち、この比較部４２は、画素データＧ₁及び画素データＧ₂が入力されるコンパレータ４２ａと、画素データＧ₁及び画素データＧ₃が入力されるコンパレータ４２ｂと、画素データＧ₁及び画素データＧ₄が入力されるコンパレータ４２ｃと、画素データＧ₂及び画素データＧ₃が入力されるコンパレータ４２ｄと、画素データＧ₂及び画素データＧ₄が入力されるコンパレータ４２ｅと、画素データＧ₃及び画素データＧ₄が入力されるコンパレータ４２ｆとからなる。
【００６０】
また、コンパレータ４２ａは端子Ａで画素データＧ₁、端子Ｂで画素データＧ₂が入力され、コンパレータ４２ｂは端子Ａで画素データＧ₁、端子Ｂで画素データＧ₃が入力され、コンパレータ４２ｃは端子Ａで画素データＧ₁、端子Ｂで画素データＧ₄が入力され、コンパレータ４２ｄは端子Ａで画素データＧ₂、端子Ｂで画素データＧ₃が入力され、コンパレータ４２ｅは端子Ａで画素データＧ₂、端子Ｂで画素データＧ₄が入力され、コンパレータ４２ｆは端子Ａで画素データＧ₃、端子Ｂで画素データＧ₄が入力される。
【００６１】
演算部４３は、比較部４２から比較結果を入力し、この比較結果に基づいて入力部４０で入力された画素データＧ₁〜Ｇ₄のうち、２位と３位の画像データを選択する。ここで、演算部４３は、複数のセレクタから構成されている。この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｂ，コンパレータ４２ｃからの比較結果が（Ｌ，Ｈ，Ｈ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ₁を２位として、演算結果を出力部４４に出力する。また、この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｄ，コンパレータ４２ｅからの比較結果が（Ｈ，Ｌ，Ｌ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ₂を３位として、演算結果を出力部４４に出力する。
【００６２】
出力部４４は、入力部４０及び演算部４３と接続されている。この出力部４４は、入力部４０から各画素データＧ₁〜Ｇ₄が入力されるとともに、演算部４３から演算結果が入力される。この出力部４４は、２位を示す演算結果に応じて画素データを出力するセレクタ４４ａと、３位を示す演算結果に応じて画素データＧ₁〜Ｇ₄を出力するセレクタ４４ｂとを有する。また、この出力部４４は、端子４０ａで入力された画素データＧ₁が入力される００端子と、端子４０ｂで入力された画素データＧ₂が入力される１０端子と、端子４０ｂで入力された画素データＧ₃が入力される０１端子と、端子４０ｃで入力された画素データＧ₄が入力される１１端子とを備えている。
【００６３】
出力部４５は、出力部４４及び水平方向補間回路１５ａ，垂直方向補間回路１５ｂと接続されている。この出力部４５は、出力部４４で出力した２位及び３位を示す画素データＧ₁〜Ｇ₄を水平方向補間回路１５ａ，垂直方向補間回路１５ｂに出力する。
【００６４】
このように構成されたエッジ処理回路１５ｃでエッジ処理を行うときには、図１５に示すように、入力部４０で例えば水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた補間画素データＧ’の周囲の画素データＧ₁，Ｇ₂，Ｇ₃，Ｇ₄を入力部４０で入力する。ここで、図１５中の各画素データ内の数字は、各画素データＧ₁〜Ｇ₄の大きさを表している。ここで、入力部４０では、画素データＧ₁を端子４０ａで入力し、画素データＧ₂を端子４０ｂで入力し、画素データＧ₃を端子４０ｂで入力し、画素データＧ₄を端子４０ｃで入力する。そして、これら画素データＧ₁〜Ｇ₄を各遅延回路４１ａ〜４１ｄを介して各コンパレータ４２ａ〜４２ｆに出力する。
【００６５】
次に、これら各コンパレータ４２ａ〜４２ｆでは、入力された画素データＧ₁〜Ｇ₄の大きさを比較して比較結果を演算部４３に出力する。このとき、各コンパレータ４２ａ〜４２ｆは、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも大きいときは比較結果Ｈを演算部４３に出力し、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも小さいときは比較結果Ｌを演算部４３に出力する。
【００６６】
次に、演算部４３では、各コンパレータ４２ａ〜４２ｆからの比較結果に応じて入力部４０で入力した画素データＧ₁〜Ｇ₄のうち、２位と３位の画素データＧ₁〜Ｇ₄を決定して、演算結果を出力部４４に出力する。ここで、セレクタ４４ａで２位を示す演算結果が入力され、セレクタ４４ｂで３位を示す演算結果が入力される。そして、各セレクタ４４ａ，４４ｂは、演算結果に基づいて画素データＧ₁，Ｇ₂，Ｇ₃，Ｇ₄のうち、２位及び３位に該当する画素データＧ₁〜Ｇ₄を選択して出力部４５に出力する。
【００６７】
次に、出力部４５では、これら２位及び３位に該当する画素データＧ₁〜Ｇ₄を水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに出力する。
【００６８】
次に、水平方向補間回路１５ａ及び垂直方向補間回路１５ｂでは、この２位及び３位に該当する画素データＧ₁〜Ｇ₄から補間画素データＧ’の大きさが算出されることとなる。
【００６９】
したがって、このようなエッジ処理回路１５ｃによれば、例えば画素データＧ₁の大きさが１００，画素データＧ₂の大きさが１００，画素データＧ₃の大きさが１００，画素データＧ₄の大きさが０である場合には、２位及び３位の間を示す画素データは、共に１００となるので、補間画素データＧ’の大きさは１００に制限される。したがって、このエッジ処理回路１５ｃによれば、図１５に示した画素データについて垂直方向について補間したときの補間画素データＧ’は（１００＋０）＝５０として算出されるようなことがない。
【００７０】
相関値検出部１６は、上述のγ補正回路１４から画素データが入力される。この相関値検出部１６は、水平方向の相関値を検出する水平方向相関検出回路１６ａと、垂直方向の相関値を検出する垂直方向相関検出回路１６ｂとからなる。
【００７１】
水平方向相関検出回路１６ａは、画素データＧが存在する画素においては下記式３に示すフィルタを用い、画素データＧが存在しない画素においては下記式４に示すフィルタを用いて水平相関値Ｃ_hを算出する。
【００７２】
【数１】

【００７３】
すなわち、水平相関値Ｃ_hは、垂直方向において、画素データＧが存在する場合には式３を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式４を用いて［１，０，１］のＬＰＦをかけて算出される。また、水平相関値Ｃ_hは、水平方向において、［−１，０，２，０，−１］のＢＰＦをかけて算出される。
【００７４】
この水平方向相関検出回路１６ａは、図１６に示すように、γ補正回路１４から画素データが端子５０ａ〜５０ｅから入力される入力部５０と、各画素データが入力されて水平相関値Ｃ_hを生成するフィルタ回路５２と、水平相関値Ｃ_hが入力されるセレクタ回路５３と、セレクタ回路５３からの水平相関値Ｃ_hを出力する出力部５４とからなる。
【００７５】
入力部５０は、γ補正回路１４から図３に示した垂直方向に配された各画素データを順次入力する。この入力部５０は、１ｈにおける画素データが入力される端子５０ａと、３ｈにおける画素データが入力される端子５０ｂと、０ｈにおける画素データが入力される端子５０ｃと、４ｈにおける画素データが入力される端子５０ｄと、２ｈにおける画素データが入力される端子５０ｅとを有する。
【００７６】
フィルタ回路５２は、端子５０ａ及び端子５０ｂから画素データが入力される加算器５２ａと、端子５０ｃ及び端子５０ｄから画素データが入力される加算器５２ｂと、端子５０ｅから画素データが入力される加算器５２ｃと、加算器５２ｂ及び加算器５２ｃからの出力が入力される加算器５２ｄとからなる。このフィルタ回路５２は、上述した水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに示したフィルタ回路３３と同様に、加算器５２ｂ，加算器５２ｃ，加算器５２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５２ａで［１，０，１］／２のフィルタを構成している。
【００７７】
セレクタ回路５３は、加算器５２ｄからの出力及び端子５０ｅから画素データが入力されるセレクタ５３ａと、加算器５２ａからの出力及びセレクタ５３ａからの出力が入力されるセレクタ５３ｂとを有する。また、各セレクタ５３ａ，５３ｂは、制御部１０からの制御信号を入力して、その動作が制御されている。すなわち、セレクタ５３ａは、制御部１０から制御信号Ｈを入力したとき、加算器５２ｂ，５２ｃ，５２ｄを介して入力された画素データを出力し、制御部１０から制御信号Ｌを入力したとき、端子５０ｅから入力された画素データを出力する。また、セレクタ５３ｂは、制御部１０からの制御信号に応じて加算器５２ａを通過した水平相関値Ｃ_hを出力するか、セレクタ５３ａを通過した画素データを出力するかが制御される。
【００７８】
なお、この水平方向相関検出回路１６ａでは、相関値を算出する対象となる画素データについてはフィルタ回路５２を通過させずにセレクタ回路５３に入力させても良い。このように、フィルタ回路５２ｂ，５２ｅ，５２ｄを通過させずに画素データＧをそのまま相関値として用いることで画素データＧの帯域の低下を抑制することができるとともに、回路を簡略化することもできる。
【００７９】
このセレクタ５３ｂは、画素データＧが存在する画素では加算器５２ｂ，５２ｃ，５２ｄ或（ある）いは端子５０ｅからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５２ａからの出力を通過させるように制御される。
【００８０】
出力部５４は、セレクタ５３ｂから入力した水平相関値Ｃ_hを出力する。この出力部５４は、図示しない水平方向に［−１，０，２，０，−１］のＢＰＦを介してノイズ除去部１７と接続しており、水平相関値Ｃ_hを当該ノイズ除去部１７に出力する。
【００８１】
垂直方向相関検出回路１６ｂは、画素データＧが存在する画素においては下記式５に示すフィルタを用い、画素データＧが存在しない画素においては下記式６に示すフィルタを用いて垂直相関値Ｃ_vを算出する。
【００８２】
【数２】

【００８３】
すなわち、垂直相関値Ｃ_vは、式５及び式６を用いることにより、垂直方向において［−１，０，２，０，−１］のＢＰＦで算出される。また、垂直相関値Ｃ_vは、画素データＧが存在する場合、水平方向では式５を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式６を用いて［１，０，１］のＬＰＦで算出される。
【００８４】
この垂直方向相関検出回路１６ｂは、図１７に示すように、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して画素データが入力される入力部５５と、入力部５５から各画素データが入力される遅延回路５６ａ〜５６ｄと、遅延回路５６ａ〜５６ｄから各画素データが入力されて垂直相関値Ｃ_vを生成するフィルタ回路５７と、フィルタ回路５７を介して垂直相関値Ｃ_vが入力されるセレクタ回路５８と、セレクタ回路５８からの垂直相関値Ｃ_vを出力する出力部５９とからなる。
【００８５】
入力部５５は、γ補正回路１４から、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して順次入力する。入力部５５は、上述した水平方向補間回路１５ａに備えられる遅延回路３１と同様の構成を有する遅延回路５６ａ〜５６ｄに各画素データを出力する。
【００８６】
フィルタ回路５７は、上述の水平方向相関検出回路１６ａに備えられるフィルタ回路５２と同様の構成を有しており、加算器５７ａ，５７ｂ，５７ｃ，５７ｄからなる。このフィルタ回路５２は、上述した水平方向相関検出回路１６ａに示したフィルタ回路５３と同様に、加算器５７ｂ，加算器５７ｃ，加算器５７ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５７ａで［１，０，１］／２のフィルタを構成している。なお、この垂直方向相関検出回路１６ｂでは、上述の水平方向相関検出回路１６ａと同様に、相関値Ｃ_vを算出する対象となる画素データについてはフィルタ回路５７ｂ，５７ｃ，５７ｄを通過させずにセレクタ回路５８に入力させても良い。
【００８７】
セレクタ回路５８は、上述の水平方向相関検出回路１６ａに備えられるセレクタ回路５３と同様の構成を有しており、セレクタ５８ａ，５８ｂを有する。また、各セレクタ５８ａ，５８ｂは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００８８】
このセレクタ５８ｂは、画素データＧが存在する画素では加算器５７ｂ，５７ｃ，５７ｄ或（ある）いは遅延回路５６ｂからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５７ａからの出力を通過させるように制御される。
【００８９】
出力部５９は、セレクタ５８ｂから入力した垂直相関値Ｃ_vを出力する。この出力部５９は、ノイズ除去部１７と接続しており、垂直相関値Ｃ_vを当該ノイズ除去部１７に出力する。
【００９０】
このように構成された相関値検出部１６は、式３〜式６を用いた回路を構成することで、例えば画素データＧのみで相関値Ｃを算出するので、被写体の色の影響を受けるようなことなく水平相関値Ｃ_h及び垂直相関値Ｃ_vを算出することができる。
【００９１】
ノイズ除去部１７は、図２に示すように、上述した水平方向相関検出回路１６ａと接続したノイズ除去回路１７ａと、垂直方向相関検出回路１６ｂと接続したノイズ除去回路１７ｂとからなる。これらノイズ除去回路１７ａとノイズ除去回路１７ｂとは、図１８に示すような同様の構成を有している。
【００９２】
ノイズ除去部１７ａ，１７ｂは、図１８に示すように、相関検出回路１６ａ，１６ｂから相関値Ｃが入力される絶対値化回路６０と、絶対値化された相関値Ｃが入力される減算回路６１と、減算された相関値Ｃが入力されるリミット回路６２とからなる。
【００９３】
絶対値化回路６０は、例えばＥｘ．ＯＲゲート６０ａと加算器６０ｂとからなる。この絶対値化回路６０は、入力した相関値Ｃに対して絶対値化を施し、正の値とする。そして、この絶対値化回路６０は、この絶対値化した相関値Ｃを減算回路６１に出力する。
【００９４】
減算回路６１は、例えば減算器６１ａからなる。この減算器６１ａは、絶対値化回路６０から相関値Ｃが入力される。また、この減算器６１ａは、制御部１０から入力した相関値Ｃから所定の値を減算する減算値を示す制御信号が入力される。そして、この減算器６１ａは、制御信号に応じて相関値Ｃから減算値を減算する。このように減算器６１ａは、減算処理を行うことで、図１９（ａ）中の点線で示すように、相関値Ｃの出力を図１９（ａ）中の実線で示すように減算する。そして、この減算回路６１は、減算した相関値Ｃをリミット回路６２に出力する。
【００９５】
リミット回路６２は、例えばインバータ６２ａとＡＮＤゲート６２ｂとからなる。このリミット回路６２は、減算回路６１で減算されて図１９（ｂ）に示すように出力が負の値となった相関値Ｃを０となるように処理を施す。そして、このリミット回路６２は、このような処理を施した相関値Ｃをオフセット回路１８に出力する。
【００９６】
このようなノイズ除去部１７は、入力した相関値Ｃから減算処理を行うことにより、微小な相関値Ｃを除去するので、微小な値におけるノイズを除去することができる。したがって、このノイズ除去部１７によれば、例えばＢＰＦを通過させて相関値Ｃを算出するために、ＣＣＤ３自体のノイズ等に対して算出された相関値Ｃを除去することができる。また、このノイズ除去部１７によれば、ＣＣＤ３で生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値Ｃを算出しても、微小な相関値を減算処理する。したがって、ノイズ除去部１７によれば、ノイズの少ない相関値Ｃを用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【００９７】
オフセット回路１８は、図２に示すように、ノイズ除去回路１７ａから水平相関値Ｃ_hが入力されるオフセット回路１８ａと、ノイズ除去回路１７ｂから垂直相関値Ｃ_vが入力されるオフセット回路１８ｂとからなる。これらオフセット回路１８ａとオフセット回路１８ｂとは、図２０に示すような同様の構成を有している。
【００９８】
オフセット回路１８ａ，１８ｂは、図２０に示すように、例えば加算器６５からなる。この加算器６５は、上述のノイズ除去回路１７ａ，１７ｂから相関値Ｃが入力される。また、この加算器６５は、制御部１０から所定の値のオフセット値を示す制御信号が入力される。
【００９９】
そして、この加算器６５は、ノイズ除去部１７ａ，１７ｂから相関値Ｃが入力されると、制御信号が示すオフセット値を加算する。そして、この加算器６５は、入力した相関値Ｃとオフセット値とを加算処理して正規化回路１９に出力する。すなわち、このオフセット回路１８ａ，１８ｂは、例えばノイズ除去部１７ａ，１７ｂから図２１中の点線で示すような相関値Ｃにオフセット値を加算することで図２１中の実線で示すような相関値Ｃとする。
【０１００】
このようにオフセット回路１８ａ，１８ｂでは、オフセット値を相関値Ｃに加算処理することにより、入力した相関値Ｃの振幅が０程度であっても、値の大きな相関値Ｃを持たせることができる。このようなオフセット回路１８ａ，１８ｂは、例えば図２２に示すように、上述した相関値検出部１６では相関値Ｃが得られない、例えば１画素毎に色が変化する画像データを構成する画素データである場合、高域の信号や、垂直相関値Ｃ_v及び水平相関値Ｃ_hの振幅が微小な場合も、水平相関値Ｃ_hと垂直相関値Ｃ_vとが急激に切り替わることを防止することができる。すなわち、このようなオフセット回路１８ａ，１８ｂによれば、オフセット値を相関値Ｃに加算処理することで、相関値Ｃで重み付けられる補間画素データを相加平均で補間する方向に近づけることができる。したがって、このオフセット回路１８ａ，１８ｂによれば、入力された相関値Ｃの振幅が微小でである場合や隣接する画素で水平相関値Ｃ_hが１，垂直相関値Ｃ_vが０である場合でも、垂直相関値Ｃ_vが０，水平相関値Ｃ_hが１と切り替わるようなことがない。
【０１０１】
正規化回路１９は、図２に示すように、オフセット回路１８ａ及びオフセット回路１８ｂから水平相関値Ｃ_h及び垂直相関値Ｃ_vが入力される加算器１９ａと、垂直相関値Ｃ_v及び加算器１９ａからの出力が入力される除算器１９ｂとからなる。
【０１０２】
このような正規化回路１９は、加算器１９ａで垂直相関値Ｃ_vと水平相関値Ｃ_hとを加算処理して加算結果を除算器１９ｂに出力し、除算器１９ｂで垂直相関値Ｃ_vを加算結果で除算処理する。そして、この正規化回路１９は、下記式７に示す垂直相関値Ｃ_vを算出する。ここで、水平相関値Ｃ_hは、垂直相関値Ｃ_vの相対値として下記式８に示すように表せる。
【０１０３】
【数３】

【０１０４】
偏り補正回路２０は、図２３に示すように、加算器２０ａからなる。この偏り補正回路２０は、正規化回路１９から上記式７で示す垂直相関値Ｃ_Vが入力される。加算器２０ａは、制御部１０から補正値αが入力される。この補正値αは、制御部１０により生成され、例えばＣＣＤ３等の設定に応じて−１〜１までの範囲内で調整される。
【０１０５】
そして、この偏り補正回路２０は、垂直相関値Ｃ_Vが入力されるとともに、制御部１０から入力した補正値αを入力し、垂直相関値Ｃ_Vと補正値αとを加算処理する。このように偏り補正回路２０は、加算処理を行うことで垂直相関値Ｃ_Vを下記式９に示すような値とする。
【０１０６】
【数４】

【０１０７】
したがって、この偏り補正回路２０は、例えば図２４で示すように、図２４中の点線で示す垂直相関値Ｃ_vを入力したとき、補正値αを加算処理することで図２４中の実線で示すように変化させることができる。すなわち、この偏り補正回路２０によれば、垂直相関値Ｃ_vに補正値αを加算処理することで、垂直相関値Ｃ_vと水平相関値Ｃ_hとがＣＣＤ３からの信号の歪等によって同じレベルとはならない場合でも、制御部１０から入力する補正値αを制御することで垂直相関値Ｃ_vの値を制御して補正することができる。また、この偏り補正回路２０は、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できなくても、制御部１０からの補正値αを制御することで水平相関値Ｃ_hと垂直相関値Ｃ_vとのバランスを制御することができる。
【０１０８】
強調・低減回路２１は、図２５に示すように、偏り補正回路２０から垂直相関値Ｃ_vが入力される減算器２１ａと、減算処理を施した垂直相関値Ｃ_vが入力される乗算器２１ｂと、乗算処理を施した垂直相関値Ｃ_vが入力される加算器２１ｃと、加算処理を施した垂直相関値Ｃ_vが入力される制限器２１ｄとからなる。
【０１０９】
減算器２１ａは、偏り補正回路２０から０〜１までの値を有する垂直相関値Ｃ_vを入力し、当該垂直相関値Ｃ_vに減算処理を行う。この減算器２１ａは、垂直相関値Ｃ_vから０．５だけ減算処理を行う。乗算器２１ｂは、制御部１０から入力する乗算値を示す制御信号に基づいて垂直相関値Ｃ_vに乗算処理する。加算器２１ｃは、垂直相関値Ｃ_vに０．５だけ加算処理を行う。制限器２１ｄは、入力した垂直相関値Ｃ_vを一定の範囲内で制限する。
【０１１０】
このような強調・低減回路２１は、偏り補正回路２０から垂直相関値Ｃ_vが入力されると、先ず、減算器２１ａで垂直相関値Ｃ_vから０．５だけ減算処理を行い、次に、減算処理を施した垂直相関値Ｃ_vに乗算処理を行う。このとき、制御部１０から入力する乗算値に応じて図２６中の実線で示すような特性の垂直相関値Ｃ_vの傾きを図２６中の点線又は一点鎖線で示すように変化させる。次に、乗算処理を施した垂直相関値Ｃ_vに、上述の減算器２１ａで減算した０．５を加算器２１ｃで加算する。次に、加算処理を施した垂直相関値Ｃ_vが０〜１までの範囲内の値を取るように、制限器２１ｄで規制する。
【０１１１】
このように強調・低減回路２１は、制御部１０からの乗算値を垂直相関値Ｃ_vに乗算処理を施すことにより、図２６に示すように垂直相関値Ｃ_vの入出力特性の傾きを変化させる。したがって、この強調・低減回路２１によれば、制御部１０からの乗算値を変化させることにより、垂直相関値Ｃ_vを変化させることができる。したがって、この強調・低減回路２１によれば、後述する補間画素データに重み付けを行うときに、補間画素データに重み付けを行う相関値の値を変化させて、補間画素データが相関を重視するか、補間画素データが相加平均に近づくように補間するかを制御することができる。また、この強調・低減回路２１によれば、例えばＣＣＤ３に入力される光量が小さいために、ＣＣＤ３からの出力にノイズが多くなり、相関値が正確に算出できなくても、乗算値を変化させることにより相関値を制御することができる。
【０１１２】
加重加算回路２２は、図２に示すように、垂直相関値Ｃ_vを入力して正規化した水平相関値Ｃ_hを生成する減算器２２ａと、正規化した水平相関値Ｃ_hが入力される乗算器２２ｂと、垂直相関値Ｃ_vが入力される乗算器２２ｃと、垂直方向及び水平方向の補間画素データが入力される加算器２２ｄとからなる。
【０１１３】
このような加重加算回路２２は、強調・低減回路２１から垂直相関値Ｃ_vを減算器２２ａ及び乗算器２２ｃに入力する。減算器２２ａでは、垂直相関値Ｃ_vを１から減算処理することで水平相関値Ｃ_hを生成する。そして、この減算器２２ａでは、水平相関値Ｃ_hを乗算器２２ｂに出力する。
【０１１４】
乗算器２２ｂは、垂直方向補間回路１５ｂから垂直方向における補間画素データと、減算器２２ａから水平相関値Ｃ_hとが入力される。乗算器２２ｂは、入力した垂直方向における補間画素データと水平相関値Ｃ_hとを乗算処理する。このように乗算器２２ｂは、垂直方向における補間画素データに水平相関値Ｃ_hを乗算することで重み付けを行う。
【０１１５】
乗算器２２ｃは、水平方向補間回路１５ａから水平方向における補間画素データが入力されるとともに垂直相関値Ｃ_vが入力される。乗算器２２ｃは、入力した水平方向における補間画素データと垂直相関値Ｃ_vとを乗算処理する。このように乗算器２２ｃは、水平方向における補間画素データに垂直相関値Ｃ_vを乗算することで重み付けを行う。
【０１１６】
加算器２２ｄでは、乗算器２２ｃで重み付けられた水平方向における補間画素データ及び乗算器２２ｂで重み付けられた垂直方向における補間画素データが入力される。加算器２２ｄは、入力した水平方向における補間画素データと垂直方向における補間画素データとを加算処理する。このように加算器２２ｄは、加算処理を行うことにより、垂直方向及び水平方向の相関値により重み付けられた補間画素データを得る。そして、加算器２２ｄは、当該補間画素データを輪郭補正回路２３に出力する。
【０１１７】
輪郭補正回路２３は、加重加算回路２２の加算器２２ｄと接続している。この輪郭補正回路２３は、加算器２２ｄから補間画素データが入力されるとともに制御部１０から輪郭強調信号が入力される。この輪郭強調信号は、ＣＣＤ３のレスポンス劣化の補償や、鮮明度を強調する信号である。そして、輪郭補正回路２３では、入力した輪郭強調信号と補間画素データとを加算処理して、Ｙ／Ｃ変換部２４に出力する。
【０１１８】
Ｙ／Ｃ変換部２４は、輪郭補正回路２３と接続しており、当該輪郭補正回路２３から補間画素データが入力される。このＹ／Ｃ変換部２４は、入力したＲ，Ｇ，Ｂからなる補間画素データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換する。そして、このＹ／Ｃ変換部２４は、補間画素データを変換して得たＹ／Ｃ信号を色差信号抑制部２５に出力する。
【０１１９】
色差信号抑制部２５は、Ｙ／Ｃ変換部２４と接続しており、当該Ｙ／Ｃ変換部２４からＹ／Ｃ信号が入力される。この色差信号抑制部２５は、図２７に示すように、１ラインが画素データＧ，Ｂからなる画素データの色差Ｂ−Ｇが入力されるＢＧデータ抑制回路２５ａと、１ラインが画素データＧ，Ｒからなる画素データの色差Ｒ−Ｇが入力されるＲＧデータ抑制回路２５ｂとからなる。
【０１２０】
ＢＧデータ抑制回路２５ａは、補間画素データＧ’，Ｂ’の色差Ｂ’−Ｇ’が入力される入力部７０ａ〜７０ｃと、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される絶対値化器７１ａ〜７１ｃと、絶対値化器７１ａ〜７１ｃから絶対値化された色差Ｂ’−Ｇ’が入力されるコンパレータ７２ａ〜７２ｃと、コンパレータ７２ａ〜７２ｃからの比較結果が入力される演算器７３と、演算器７３からの演算結果が入力されるセレクタ７４と、セレクタ７４からの画素データが入力される出力部７５とからなる。
【０１２１】
入力部７０ａは垂直方向にける色差Ｂ’−Ｇ’を入力し、入力部７０ｂは水平方向における色差Ｂ’−Ｇ’を入力し、入力部７０ｃは相関値で重み付けがなされた色差Ｂ’−Ｇ’が入力される。入力部７０ａは入力した色差Ｂ’−Ｇ’を絶対値化器７１ａに出力し、入力部７０ｂは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｂに出力し、入力部７０ｃは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｃに出力する。
【０１２２】
絶対値化器７１ａ〜７１ｃは、例えばＥｘ．ＯＲゲート７６と加算器７７とからなる。この絶対値化器７１ａ〜７１ｃは、入力した色差Ｂ’−Ｇ’に対して絶対値化を施し、正の値とする。絶対値化器７１ａ〜７１ｃは、絶対値化を施した色差Ｂ’−Ｇ’をコンパレータ７２ａ〜７２ｃに出力する。
【０１２３】
コンパレータ７２ａは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ｂで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ａで入力する。コンパレータ７２ｂは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。コンパレータ７２ｃは、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。これらコンパレータ７２ａ〜７２ｃは、端子Ａ及び端子Ｂで入力した色差Ｂ’−Ｇ’の大きさを比較して端子Ａで入力した色差Ｂ’−Ｇ’が大きいと判断した場合には比較結果Ｈを演算器７３に出力し、端子Ａで入力した色差Ｂ’−Ｇ’が小さいと判断した場合には比較結果Ｌを演算器７３に出力する。
【０１２４】
演算器７３は、コンパレータ７２ａ〜７２ｃから比較結果が入力されるとともに、制御部１０から制御信号が入力される。この演算器７３は、比較結果及び制御信号に基づいて演算結果を生成してセレクタ７４に出力する。
【０１２５】
この演算器７３は、制御信号Ｈを入力したときには演算結果１１を出力し、制御信号Ｌを入力したときには各コンパレータ７２ａ〜７２ｃからの比較結果に基づいて演算結果を生成する。この演算器７３は、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｈ，Ｌ，Ｘ）のときには演算結果００を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｘ，Ｈ，Ｌ）のときには演算結果０１を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｌ，Ｘ，Ｈ）のときには演算結果１０を生成してセレクタ７４に出力する。
【０１２６】
セレクタ７４は、演算器７３から演算結果が入力されるとともに、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される。このセレクタ７４は、１１端子及び１０端子で入力部７０ｃで入力した色差Ｂ’−Ｇ’を入力し、０１端子で入力部７０ｂで入力した色差Ｂ’−Ｇ’を入力し、００端子で入力部７０ａで入力した色差Ｂ’−Ｇ’が入力される。また、このセレクタ７４は、演算結果１１が入力されると１１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果１０が入力されると１０端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果０１が入力されると０１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果００が入力されると００端子で入力した色差Ｂ’−Ｇ’を出力する。
【０１２７】
ＲＧデータ抑制回路２５ｂは、入力部７０ａ〜７０ｃにおいて色差Ｒ’−Ｇ’を入力し、この色差Ｒ’−Ｇ’を絶対値化器７１、コンパレータ７２、演算器７３、セレクタ７４を経ることで最小の色差Ｒ’−Ｇ’を選択して出力部７５で出力する。
【０１２８】
したがって、このような色差信号抑制部２５によれば、図２８（ａ）に示すように、例えば、垂直方向に配置した画素データＲ，Ｇについての補間画素データＲ_v，Ｇ_v、水平方向に配置した画素データＲ，Ｇについての補間画素データＲ_h，Ｇ_h、重み付けされた補間画素データＲ_c，Ｇ_cの色差のうち最小の補間画素データＲ_h，Ｇ_hを選択する。また、この色差信号抑制部２５は、図２８（ｂ）に示すように、比較した補間画素データのうち、最も０に近い補間画素データＲ’−Ｇ’を選択する。
【０１２９】
このような色差信号抑制部２５は、入力部７０ａ〜７０ｃで入力した補間画素データのうち、色差信号の絶対値が最小のものを選択して出力する。したがって、このような色差信号抑制部２５は、相関を求めることができない帯域で相関値で重み付けした補間画素データで画像データを生成したとき、色のエッジ等に偽色がつくことを防止することができる。したがって、この色差信号抑制部２５によれば、相関が見られない周波数帯域であっても、色の折り返し歪を防止することができる。
【０１３０】
出力部７５は、セレクタ７４で出力された補間画素データを出力部２６に出力する。出力部２６は、例えば画素データを記録する記録媒体や、表示装置、外部へ出力する端子等である。
【０１３１】
なお、以上の説明においては、原色コーディングのＣＣＤ３を用いたカメラ装置１で生成するカメラ信号を処理する一例について説明したが、本発明は、図２９（ａ）又は図２９（ｂ）に示すように、画像データに含まれている画素データが示す色のうち、最も多い色が市松状に配置されているコーディングの固体撮像素子であれば、補色のＣＣＤにも適用することができる。
【０１３２】
【発明の効果】
以上詳細に説明したように、本発明によれば、撮像信号に応じて生成される画素データを当該位置及び周囲の画素データに基づいて画素データが存在しない画素について補間画素データを生成するとともに、上記画素データが存在しない画素における補間画素データの周波数特性との差が小さくなるように、画素データが存在する画素についても補間画素データを生成し、上記補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出するにあたり、上記画素データのうち所定の色を示す画素データのみを用いて上記所定の色を示す補間画素データについての相関値及び上記所定の色以外の色を示す補間画素データについての相関値を検出し、上記所定の色を示す補間画素データについての相関値を求めるとき、当該補間画素データと同色の画素データのみを用いて［−１，０，２，０，−１］のＢＰＦ、［１，０，６，０，１］／８のＬＰＦを用いて相関値を検出し、上記所定の色以外の色を示す補間画素データについての相関値を求めるとき、当該所定の色の画素データのみを用いて［−１，０，２，０，−１］のＢＰＦ、［１，０，１］／２のＬＰＦを用いて相関値を検出し、上記相関値で上記補間画素データの重み付けを行い、重み付けがなされた上記補間画素データに基づいて輝度信号と色差信号を生成することにより、これらのフィルタを用いることで所定の色を示す画素データが存在する画素における補間画素データの周波数特性と所定の色を示す画素データが存在しない補間画素データの周波数特性との差を小さくして、上記所定の色を示す補間画素データのみを用いて相関値を検出することができる。したがって、本発明によれば、例えば固体撮像素子で生成した画像データが示す被写体の色の影響が少ない、鮮明度が高い画像を生成することができる。
【図面の簡単な説明】
【図１】カメラ装置の構成の一例を示すブロック図である。
【図２】信号処理回路の構成の一例を示すブロック図である。
【図３】各画素に対応した画素データＲ，Ｇ，Ｂの配置の一例を示す図である。
【図４】垂直方向補間回路の構成の一例を示す図である。
【図５】各画素に対応した画素データＧの配置の一例を示す図である。
【図６】［１，０，６，０，１］のＬＰＦの周波数特性を示す図である。
【図７】［１，０，１］のＬＰＦの周波数特性を示す図である。
【図８】補間処理を行った後に生成される補間画素データＧ’の一例を示す図である。
【図９】水平方向補間回路の構成の一例を示す図である。
【図１０】各画素に対応した画素データＢの配置の一例を示す図である。
【図１１】各画素に対応した画素データＢについて水力方向に相加平均を算出したときの補間画素データＢ’の配置の一例を示す図である。
【図１２】補間処理を行った後に生成される補間画素データＢ’の一例を示す図である。
【図１３】垂直方向補間回路の構成の一例を示す図である。
【図１４】エッジ処理回路の構成の一例を示す図である。
【図１５】エッジ処理回路でエッジ処理を施すときの一例を説明するための図である。
【図１６】水平方向相関検出回路の構成の一例を示す図である。
【図１７】垂直方向相関検出回路の構成の一例を示す図である。
【図１８】ノイズ除去回路の構成の一例を示す図である。
【図１９】ノイズ除去回路で入力した相関値に処理を施すときの一例を示す図であり、（ａ）が相関値に減算処理を施したときの一例を示し、（ｂ）が相関値を負の値でリミットしたときの一例を示す図である。
【図２０】オフセット回路の構成の一例を示す図である。
【図２１】オフセット回路で入力した相関値にオフセット値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２２】隣接する画素データ毎に色が変化する画像データの一例を示す図である。
【図２３】偏り補正回路の構成の一例を示す図である。
【図２４】偏り補正回路で入力した相関値に補正値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２５】強調・低減回路の構成の一例を示す図である。
【図２６】強調・低減回路で入力した相関値に乗算処理を施したときの入出力特性の変化を示す図である。
【図２７】色差信号抑制回路の構成の一例を示す図である。
【図２８】色差信号抑制部で垂直方向に配置した画素データＲ，Ｇについての補間画素データＲ_v，Ｇ_v、水平方向に配置した画素データＲ，Ｇについての補間画素データＲ_h，Ｇ_h、重み付けされた補間画素データＲ_c，Ｇ_cの色差のうち絶対値最小の補間画素データＲ_h，Ｇ_hを選択する一例を示す図である。
【図２９】画素データの配置の他の一例を示す図である。
【符号の説明】
１カメラ装置、１５画像データ補間部、１６相関値検出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera signal processing device and a camera signal processing method suitable for use in a camera device adopting a single-plate color system, and each pixel when generating a luminance signal or a color difference signal from an imaging signal generated by a solid-state imaging device. The present invention relates to a camera signal processing apparatus and a camera signal processing method for calculating a correlation value.
[0002]
[Prior art]
Conventionally, in a single-plate type camera device using a solid-state imaging device such as a CCD (Charge Coupled Device) image sensor (hereinafter simply referred to as a CCD), light corresponding to R, G, and B is transmitted through the CCD. A color filter is provided. In this color filter, a region that transmits R (red) light, a region that transmits G (green) light, and a region that transmits B (blue) light are formed in a matrix. In the horizontal direction, G, R, G... Or B, G, B. Then, the light that has passed through each area of the color filter is input to the CCD, and pixel data G, pixel data R, and pixel data B are output from the pixels corresponding to the areas that transmit the R, G, and B light of the color filter. Are generated respectively.
[0003]
In this camera device, a luminance signal is generated based on light input to the CCD, and a color signal is generated.
[0004]
A CCD in such a camera device is provided with a color filter having R, G, and B for each pixel, and has an array of R, G, R, G,... In the horizontal direction, for example. . In this camera device, a color signal is generated corresponding to the color filter arranged corresponding to each pixel. Therefore, in such a CCD, pixel data G and B corresponding to G and B are not generated in a pixel provided with a color filter that transmits R light, and pixel data corresponding to G and B is not generated. It is necessary to generate by interpolation.
[0005]
In such a camera device, when an interpolated image is obtained by interpolating for each pixel from the horizontal direction, interpolation is performed by calculating the average by adding the pixel data adjacent in the horizontal direction. Further, when interpolating from the vertical direction, the interpolation is performed by adding the pixel data adjacent in the vertical direction and calculating the average as in the horizontal direction.
[0006]
[Problems to be solved by the invention]
By the way, in the camera device, it is inevitable that the gain is reduced when the frequency of the luminance signal is near the lower limit of the sampling frequency and the limit of the Nyquist frequency. As described above, when the gain is reduced when the frequency of the luminance signal is in the vicinity of the Nyquist frequency, the resolution of the image generated by the camera device is degraded. In the single-plate camera device, as described above, light corresponding to each color is input through the color filter arranged on each pixel, so that the frequency of the luminance signal is 1 of the sampling frequency. Even if it is / 2, it is because the frequency of the color signal is only 1/4.
[0007]
Thus, in the camera device, the correlation value cannot be detected in the frequency band near the Nyquist limit. Therefore, in such a band, for example, a false color signal may be generated at a color edge or the like.
[0008]
Therefore, the present invention has been proposed in view of the above-described circumstances, and a camera signal that can generate a luminance signal and a color difference signal with high resolution when generating image data generated by an image sensor. An object is to provide a processing device and a camera signal processing method.
[0009]
[Means for Solving the Problems]
The camera signal processing apparatus according to the present invention that solves the above-described problems is obtained by detecting pixel data detected by a solid-state imaging device according to light incident through a color filter having different spectral characteristics for each pixel and the surroundings of the pixel data. Interpolation pixel data generating means for interpolating pixel data based on the pixel data, and correlation for indicating the degree of correlation in the horizontal and vertical directions of the interpolation pixel data generated by the interpolation pixel data generating means and weighting the interpolation pixel data Correlation detection means for detecting a value, and image generation means for generating an image based on the interpolation pixel data obtained by weighting the interpolation pixel data generated by the interpolation pixel data with the correlation value detected by the correlation detection means. Means for interpolating pixel data indicating a predetermined color using only pixel data indicating a predetermined color among pixel data detected by the solid-state image sensor. It is characterized in that to detect the correlation value and the correlation values for interpolated pixel data indicating a color other than the predetermined color.
[0010]
[Means for Solving the Problems]
The present invention for solving the above problemsCamera signal processing for generating a luminance signal and a color difference signal from pixel data of each color generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel A device, the aboveInterpolated pixel data based on the pixel data generated in accordance with the image signal and the position and surrounding pixel dataInterpolation data is generated for pixels for which no pixel data exists, and pixel data exists so that the difference between the frequency characteristics of the interpolation pixel data in the pixels for which no pixel data exists is reduced. Generate interpolated pixel data for pixelsInterpolation pixel data generation means; correlation detection means for detecting a correlation value indicating the degree of correlation in the horizontal direction and vertical direction of the interpolation pixel data generated by the interpolation pixel data generation means and weighting the interpolation pixel data; Based on the interpolated pixel data obtained by weighting the interpolated pixel data generated by the interpolated pixel data with the correlation value detected by the correlation detecting means.Generate luminance and color difference signalsImage generation meansThe correlation detection means includes a correlation value for the interpolated pixel data indicating the predetermined color using only pixel data indicating the predetermined color among the pixel data detected by the solid-state imaging device, and the predetermined color. When the correlation value for the interpolation pixel data indicating a color other than the above is detected and the correlation value for the interpolation pixel data indicating the predetermined color is obtained, only pixel data having the same color as the interpolation pixel data is used [-1, The correlation value is detected using a BPF of 0, 2, 0, -1] and an LPF of [1, 0, 6, 0, 1] / 8, and interpolation pixel data indicating colors other than the predetermined color is detected. When obtaining the correlation value, only the pixel data of the predetermined color is used to calculate the correlation value using the BPF of [-1, 0, 2, 0, -1] and the LPF of [1, 0, 1] / 2. To detectIt is characterized by that.
[0011]
AlsoThe present invention generates a luminance signal and a color difference signal from pixel data of each color generated based on an imaging signal from a solid-state imaging device on which imaging light is incident through a color filter having a different spectral sensitivity corresponding to each pixel. A camera signal processing method for the aboveThe pixel data generated according to the imaging signal is based on the position and surrounding pixel data.Interpolation pixel data is generated for pixels for which pixel data does not exist, and interpolation pixel data is also generated for pixels for which pixel data exists so that the difference between the frequency characteristics of the interpolation pixel data for pixels for which no pixel data exists is reduced. GenerateA correlation value indicating the degree of correlation of the interpolation pixel data in the horizontal direction and the vertical direction and weighting the interpolation pixel data is detected.In this case, the correlation value for the interpolation pixel data indicating the predetermined color and the correlation value for the interpolation pixel data indicating a color other than the predetermined color are detected using only the pixel data indicating the predetermined color among the pixel data. When obtaining the correlation value for the interpolated pixel data indicating the predetermined color, only the pixel data of the same color as the interpolated pixel data is used as the BPF of [-1, 0, 2, 0, -1], [1 , 0, 6, 0, 1] / 8, the correlation value is detected, and when obtaining the correlation value for the interpolated pixel data indicating a color other than the predetermined color, only the pixel data of the predetermined color is obtained. Is used to detect a correlation value using a BPF of [-1, 0, 2, 0, -1] and an LPF of [1, 0, 1] / 2,Weighting the interpolated pixel data with the correlation value, and based on the interpolated pixel data that has been weightedLuminance signal and color difference signalIt is characterized by generating.
[0012]
As shown in FIG. 1, the camera signal processing apparatus according to the present invention can be applied to a camera apparatus 1 that generates, for example, a still image according to input light.
[0013]
The camera device 1 includes an optical system 2 that forms an object on a CCD (Charge Coupled Device) imager (hereinafter referred to as a CCD), a CCD 3, a timing generator 4 that drives the CCD 3, and an imaging signal from the CCD 3. An input sample / hold circuit 5, an AGC circuit 6 that adjusts gain when an imaging signal is input from the sample / hold circuit 5, and an A / D conversion circuit 7 that converts the input imaging signal into digital image data And a camera processing unit 8 that performs camera signal processing on image data, a CCD detection unit 9 that detects an imaging signal generated by the CCD 3, and a control unit 10 that controls these units.
[0014]
Here, the CCD 3 is a color in which a region that transmits R (red) light, a region that transmits G (green) light, and a region that transmits B (blue) light are formed in a matrix. A filter is provided, and light transmitted through the color filter is input for each pixel. In this color filter, for example, regions that transmit light of each color are arranged in the horizontal direction as R, G, R, G... Or G, B, G, B. That is, the CCD 3 generates pixel data R, pixel data G, and pixel data B based on light corresponding to each color R, G, and B for each pixel.
[0015]
In the CCD detection unit 9, image data converted into a digital format by the A / D conversion circuit 7 is input. The image data detected by the CCD detection unit 9 is input to, for example, an AE (auto exposure) circuit and an AF (auto focus) circuit. For example, the image data input to the AE circuit is used to adjust the shutter speed or aperture of the electronic shutter, and automatically switches the brightness of light incident on the CCD 3.
[0016]
The camera processing unit 8 has a defect correction circuit 11 to which image data is input from the A / D conversion circuit 7, a CLP circuit 12 to which image data is input from the defect correction circuit 11, and image data from the CLP circuit 12. A white balance circuit 13 and a γ correction circuit 14 to which image data is input from the white balance circuit 13.
[0017]
The defect correction circuit 11 performs defect correction on the image data from the A / D conversion circuit 7. The defect correction circuit 11 corrects a defect of a pixel for which pixel data is not generated due to a defect, and outputs image data to the CLP circuit 12.
[0018]
The CLP circuit 12 subtracts optical black from the image data from the defect correction circuit 11. As described above, the CLP circuit 12 corrects the black level of the input image data and outputs the image data to the white balance circuit 13.
[0019]
The white balance circuit 13 adjusts the level for each color corresponding to the image data R, G, B from the CLP circuit 12. In this way, the white balance circuit 13 outputs the image data whose level is adjusted for each color to the γ correction circuit 14.
[0020]
The γ correction circuit 14 performs γ correction on the image data from the white balance circuit 13. The γ correction circuit 14 outputs the image data subjected to γ correction to an image data interpolation unit and a correlation value detection unit described later.
[0021]
As shown in FIG. 2, the signal processing unit 8 includes an image data interpolation unit 15 to which image data is input from the γ correction circuit 14, and a correlation value detection unit 16 that detects a correlation value between the pixel data. A noise removing unit 17 for removing noise of the correlation value, an offset circuit 18 for offsetting the correlation value, a normalizing circuit 19 for normalizing the correlation value, and a bias correction circuit for correcting the bias in the direction of detecting the correlation. 20, an enhancement / reduction circuit 21 that enhances and reduces correlation, a weighted addition circuit 22 that weights interpolated image data using a correlation value, a contour correction circuit 23 that corrects the contour of image data, and an image A Y / C conversion unit 24 that converts data into a Y / C signal composed of a luminance signal (Y) and a color difference signal (C), a color difference signal suppression unit 25 that suppresses false color signals due to the color difference signal, and an output unit 26 And with .
[0022]
Image data composed of a plurality of pixel data is input from the γ correction circuit 14 to the image data interpolation unit 15. The image data interpolation unit 15 performs interpolation of the pixel data R, G, and B for each pixel to generate the interpolation pixel data R ′, G ′, and B ′. The image data interpolation unit 15 includes a horizontal direction interpolation circuit 15a that performs interpolation of pixel data corresponding to pixels arranged in the horizontal direction, and a vertical direction interpolation circuit 15b that performs interpolation of pixel data corresponding to pixels arranged in the vertical direction. It consists of.
[0023]
Pixel data R, G, B corresponding to each pixel arranged in a matrix as shown in FIG. 3 is input to the horizontal direction interpolation circuit 15a. The horizontal direction interpolation circuit 15a calculates interpolation pixel data in the horizontal direction by using a filter shown in the following Expression 1. FIG. 3 is a diagram showing pixel data R, G, and B corresponding to each pixel, and is a diagram showing coordinates as numbers as the arrangement of each pixel. In the following description, the following description will be given assuming that 0h, 1h, 2h, 3h, and 4h are arranged for each line in the horizontal direction.
[0024]
[1, 4, 6, 4, 1] / 8 (Formula 1)
That is, when calculating the interpolation pixel data R ′, G ′, and B ′, the horizontal direction interpolation circuit 15 a is configured as shown in FIG. 4 in order to use the filter shown in Expression 1.
[0025]
The horizontal direction interpolation circuit 15a is configured as shown in FIG. 4 when creating the interpolation pixel data R ', G', B 'in the horizontal direction. The horizontal direction interpolation circuit 15a includes an input unit 30 to which pixel data is input from the γ correction circuit 14, a delay circuit 31 to which each pixel data is input from the input unit 30, and each pixel data in the horizontal direction from the delay circuit 31. Is input, and a selector circuit 33 to which interpolation pixel data is input via the filter circuit 32, and an output terminal 34 for outputting the interpolation pixel data from the selector circuit 33.
[0026]
Each pixel data in the horizontal direction is sequentially input from the γ correction circuit 14 to the input unit 30. The input unit 30 is sequentially input with a clock for each pixel data.
The delay circuit 31 includes delay circuits 31a to 31d to which each pixel data input from the input unit 30 is input. The delay circuit 31 inputs the input pixel data to the delay circuits 31 a to 31 d in synchronization with the clock and outputs it to the filter circuit 32.
[0027]
The filter circuit 32 includes an adder 32a to which pixel data is input via the input unit 30 and the delay circuit 31d, an adder 32b to which pixel data is input via the delay circuit 31a and the delay circuit 31c, and a delay circuit 31b. And an adder 32c to which pixel data is input via the adder 32a and an adder 32d to which the output from the adder 32c is input.
[0028]
The adder 32a receives pixel data directly input from the input unit 30 and the pixel data via the delay circuit 31d, the adder 32c receives the pixel data via the delay circuit 31b, and the adder 32d receives the adder 32a. The pixel data is input via the adder 32c. The adder 32b receives pixel data via the delay circuit 31a and the delay circuit 31c.
[0029]
That is, in the filter circuit 32, the

adders

32a, 32c, and 32d constitute a filter of [1, 0, 6, 0, 1] / 8, and the adder 32b filters [1,0, 1] / 2. Is configured.
[0030]
The selector circuit 33 includes

selectors

33a and 33b to which pixel data is input via the output from the adder 32d and the delay circuit 31b, a selector 33c to which the output from the selector 33a and the output from the adder 32b are input, And an adder 32b and a selector 33d to which the output from the selector 33b is input.
[0031]
Each selector 33a to 33d receives a control signal from the control unit 10 and controls its operation.
[0032]
The output unit 34 includes a terminal 34a that outputs an output from the selector 33c and a terminal 34b that outputs an output from the selector 33d to an edge processing circuit described later.
[0033]
The horizontal direction interpolation circuit 15a configured as described above is, for example, the pixel data G_{twenty two}Interpolated pixel data R_{twenty two}', B_{twenty two}'As well as interpolation pixel data G_{twenty two}′ Is also calculated.
[0034]
For example, the pixel data G in FIG._{twenty two}Interpolated pixel data G for_{twenty two}When calculating ′, the pixel data G in 2h at the input unit 30 is calculated.₂₀, R_{twenty one}, G_{twenty two}, R_{twenty three}, G_{twenty four}Are entered sequentially.
[0035]
Next, the pixel data G input by the input unit 30₂₀, R_{twenty one}, G_{twenty two}, R_{twenty three}, G_{twenty four}Is input to the filter circuit 32 by the delay circuit 31. That is, pixel data G₂₀Is input to the adder 32a and the pixel data R_{twenty one}Is input to the adder 32b and the pixel data G_{twenty two}Is input to the adder 32c and the pixel data R_{twenty three}Is input to the adder 32b and the pixel data G_{twenty four}Is input to the adder 32a.
[0036]
Next, each pixel data G is filtered by the filter circuit 32.₂₀, G_{twenty two}, G_{twenty four}To pixel data G_{twenty two}Interpolated pixel data G for_{twenty two}The operation of ′ is performed. That is, in the adder 32a, the pixel data G₂₀And pixel data G_{twenty four}Are added and output to the adder 32d. In the adder 32c, the pixel data G_{twenty two}Is multiplied by 4 and doubled, and these are added and output to the adder 32d. The adder 32d receives the outputs from the adder 32a and the adder 32c, adds them, performs 1/8 multiplication, and outputs them to the selector circuit 33. In the adder 32b, the pixel data R_{twenty one}And pixel data R_{twenty three}Are input and added, and 1/2 multiplication is performed and output to the selector circuit 33.
[0037]
Thus, by performing addition processing in the

adders

32a, 32c, and 32d, {pixel data G₂₀+ 6 × pixel data G_{twenty two}+ Pixel data G_{twenty four}} / 8 is performed. On the other hand, by performing addition processing in the adder 32b, {pixel data R_{twenty one}+ Pixel data R_{twenty three}} / 2 is performed. That is, in the filter circuit 32, the adder 32b constitutes a filter [1, 0, 1] / 2, and the

adders

32a, 32c, and 32d constitute a filter [1,0, 6, 0, 1] / 8. And pixel data G₂₀, G_{twenty two}, G_{twenty four}Is passed through the filter shown in Equation 1 above. Therefore, according to the filter circuit 32, the pixel data R_{twenty two}, G_{twenty two}Interpolated pixel data R for_{twenty two}', G_{twenty two}'Is created.
[0038]
Next, in the selector 33a and the selector 33b, the interpolation pixel data G_{twenty two}'And the pixel data G_{twenty two}Enter. Further, the selector 33 a and the selector 33 b receive the control signal H or the control signal L from the control unit 10. Here, in the selector 33a and the selector 33b, when the control signal H is input, the interpolation pixel data G from the filter circuit 32 is input._{twenty two}'Is output to the

selectors

33c and 33d as it is, and when the control signal L is input, the pixel data G_{twenty two}Is output to the

selectors

33c and 33d.
[0039]
Next, in the control unit 10, the pixel data G_{twenty two}Interpolated pixel data G for_{twenty two}Since 'is generated by the filter circuit 32, the control signal L is output to the selector 33c and the selector 33d. As described above, when the control signal L is input to the

selectors

33c and 33d, the selector 33c performs interpolation pixel data R._{twenty two}'And the selector 33d outputs the pixel data G_{twenty two}Or interpolation pixel data G_{twenty two}'Is output.
[0040]
On the other hand, when the control signal H is input from the control unit 10 to the

selectors

33c and 33d, the selector 33c outputs the data input from the selector 33a, and the selector 33d outputs the data input from the adder 32b.
[0041]
That is, the selector 33d is connected to, for example, the pixel data G_{twenty two}Interpolated pixel data G for_{twenty two}'Is output, the input from the selector 33b is output, and the pixel data G in FIG._{twenty three}Interpolated pixel data G for_{twenty three}When 'is output, the input from the adder 32b is controlled to be output. Then, the selector 33c receives the interpolated pixel data R for the pixel data R or the pixel data B at the terminal 34a._{twenty two}'And the selector 33d outputs the interpolated pixel data G for the pixel data G to the terminal 34b._{twenty two}'Is output.
[0042]
Thus, when calculating the interpolated pixel data G ′ for the pixel data G, the interpolated pixel data G assuming the CCD 3 consisting only of the pixel data G as shown in FIG. 'Is calculated. Therefore, in the horizontal direction interpolation circuit 15a, when the interpolation pixel data G ′ is calculated for a pixel in which the pixel data G does not exist, the interpolation pixel data G ′ is calculated using a filter of [1, 0, 1] / 2. When calculating the interpolated pixel data G ′ for the pixel in which the pixel data G exists, the interpolated pixel data G ′ is calculated using a filter of [1, 0, 6, 0, 1] / 8. Therefore, in the horizontal direction interpolation circuit 15a that calculates the interpolated pixel data G 'using such a filter, the frequency characteristics of these filters are as shown in FIGS. That is, the filter of [1, 0, 6, 0, 1] / 8 exhibits frequency characteristics as shown in FIG. 6, and the filter of [1, 0, 1] / 2 shows frequency characteristics as shown in FIG. Indicates. According to the frequency characteristics of the filters shown in FIGS. 6 and 7, in the horizontal direction interpolation circuit 15a, the frequency characteristics and the pixel data of the interpolated pixel data G ′ in the pixel where the pixel data G exists are obtained by using these filters. The difference from the frequency characteristic of the interpolated pixel data G ′ where G does not exist can be reduced.
[0043]
Therefore, by calculating the interpolated pixel data G ′ for each pixel data G in this way, interpolated image data G ′ as shown in FIG. 8 can be obtained.
[0044]
In addition, the horizontal direction interpolation circuit 15a described above performs pixel data G in 2h._{twenty two}Interpolated pixel data R for_{twenty two}′ Was calculated using a filter of [1, 0, 1] / 2, but in the same manner as described above, in 1h, the pixel data G₁₁Interpolated pixel data B for₁₁'Can also be calculated.
[0045]
Next, pixel data G in 2h_{twenty two}Interpolated pixel data B for_{twenty two}'Is calculated using the filter shown in FIG. That is, in the following description, an example of calculating the interpolated pixel data B ′ in a line where the pixel data B does not exist will be described.
[0046]
Pixel data G_{twenty two}Interpolated image data B_{twenty two}When 'is calculated, the interpolated pixel data B is obtained using the horizontal direction interpolation circuit 15a' configured as shown in FIG._{twenty two}'Is calculated. In the following description of the horizontal direction interpolation circuit 15a ', the same parts as those in the horizontal direction interpolation circuit 15a shown in FIG. That is, in the horizontal direction interpolation circuit 15a 'shown in FIG._Ten, G₁₁, B₁₂, G₁₃, B₁₄The pixel data at the terminal 30a and 3h input in the order of₃₀, G₃₁, B₃₂, G₃₃, B₃₄It is assumed that the terminal 30b is input in this order. The horizontal direction interpolation circuit 15a 'shown in FIG. 9 includes an adder 35 to which pixel data is input from

terminals

30a and 30b. In the adder 35, pixel data from the

terminals

30a and 30b are input, and addition processing and division processing are performed. That is, in the adder 35, for example, {pixel data B_Ten+ Pixel data B₃₀} / 2 is performed. In the horizontal direction interpolation circuit 15a ′ in FIG. 9, the interpolated pixel data G ′ and B are passed through the delay circuits 31a to 31d, the adder 32, and the selector circuit 33 in the same manner as the horizontal direction interpolation circuit 15a shown in FIG. 'Is output.
[0047]
That is, in the horizontal direction interpolation circuit 15a ′, first, the vertical direction is interpolated by the arithmetic mean of the pixel data B corresponding to the pixels arranged in the 1h and 3h adjacent in the vertical direction, as shown in FIG. As shown in FIG. 11, the interpolated pixel data B ′ is calculated by interpolating the pixel data B of each arranged pixel in the vertical direction.
[0048]
Next, the pixel data B in the vertical direction and the interpolated pixel data B ′ obtained by interpolation are converted into a filter of [1, 0, 6, 0, 1] / 8 and a filter of [1, 0, 1] / 2. Then, the interpolated pixel data B ′ in the horizontal direction of the pixel data B is calculated.
[0049]
That is, in the horizontal direction interpolation circuit 15a ', the interpolation pixel data B for the line where the pixel data B does not exist in the horizontal direction._{twenty two}'Is created as follows. First, a filter composed of [1, 0, 6, 0, 1] / 8 is applied to the pixel data B in 1h and 3h by the filter circuit 32 by passing it through the

adders

32a, 32c, and 32d, and in 1h and 3h. A filter composed of [1, 0, 1] / 2 is applied to the pixel data G by passing it through the adder 32b. The horizontal direction interpolation circuit 15a ′ further adds a filter composed of [1, 0, 1] / 2 from the value of the pixel data B obtained by passing through the filter composed of [1, 0, 6, 0, 1] / 8. A subtraction processing circuit that subtracts the value of the pixel data G obtained by passing through, and the interpolation pixel data G obtained by the horizontal direction interpolation circuit 15a shown in FIG._{twenty two}And an addition processing circuit for adding.
[0050]
That is, in the horizontal direction interpolation circuit 15a ′, the value of the pixel data B obtained by passing through the filter consisting of [1, 0, 6, 0, 1] / 8 is [1,0, 1] / 2. The value of the pixel data G obtained by passing through the filter is subtracted, the pixel data G ′ is added, and the interpolated pixel data B ′ is output to the weighted addition circuit 22.
[0051]
As described above, the horizontal direction interpolation circuit 15a 'shown in FIG. 9 uses the pixel data G corresponding to the pixel in which the pixel data B does not exist as in 2h._{twenty two}In FIG. 12, as shown in FIG._{twenty two}'Can be calculated. That is, according to the horizontal direction interpolation circuit 15a 'shown in FIG. 9, the interpolation pixel data B' can be calculated for all (all) pixels.
[0052]
In addition, such a horizontal direction interpolation circuit 15a 'has pixel data G_{twenty two}Interpolated pixel data B_{twenty two}When 'is calculated, it may be calculated using the interpolation pixel data calculated by the following formula 2 and the above formula 1.
[0053]
B_{twenty two}’= {(B₁₂'-G₁₂′) + (B₃₂'-G₃₂′)} / 2 + G_{twenty two}'(Expression 2) According to Expression 2, the interpolated pixel data B_{twenty two}When calculating ', G calculated using the horizontal direction interpolation circuit 15a of FIG.₁₂', G₃₂', G_{twenty two}′ And B calculated by Equation 1 above₃₂’B₁₂And interpolated pixel data B using_{twenty two}'Can be calculated.
On the other hand, the vertical direction interpolation circuit 15b is configured as shown in FIG. In the description of the vertical direction interpolation circuit 15b described below, the same parts as those of the above-described horizontal direction interpolation circuit 15a are denoted by the same reference numerals, and detailed description thereof is omitted.
[0054]
As shown in FIG. 13, the vertical direction interpolation circuit 15b includes an input unit 30 to which pixel data R, G, and B in the vertical direction are sequentially input. The input unit 30 receives a terminal 30a to which pixel data at 1h is input, a terminal 30b to which pixel data at 3h is input, a terminal 30c to which pixel data at 0h is input, and pixel data at 4h. It has a terminal 30d and a terminal 30e to which pixel data in 2h is input.
[0055]
The vertical direction interpolation circuit 15b includes a filter circuit 32, a selector circuit 33, and an output unit 34, similarly to the horizontal direction interpolation circuit 15a described above.
In the vertical direction interpolation circuit 15b, the pixel data B is supplied to the terminals 30a to 30e._Ten, B₃₀, G₀₀, G₄₀, G₂₀Is input, the pixel data input to the

terminals

30a and 30b is output to the adder 32b, the pixel data input to the terminals 30c and 30d is output to the adder 32a, and is input to the terminal 30e. Pixel data is output to the adder 32c. Then, in the vertical direction interpolation circuit 15b, as in the horizontal direction interpolation circuit 15a, these input pixel data are applied to the above-described

equations

1 and 2 by the filter circuit 32, and the pixel data R, G, B are applied. Interpolated pixel data R ′, G ′, and B ′ are obtained.
[0056]
Further, the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b constituting the image data interpolation unit 15 are connected to the edge processing circuit 15c. As shown in FIG. 14, the edge processing circuit 15 c includes an input unit 40 including terminals 40 a to 40 c to which pixel data G that has been subjected to delay adjustment from the γ correction circuit 14 described above, and terminals 40 a to 40 c. The delay circuits 41 a to 41 d to which the pixel data G is input, the comparison unit 42 that compares the input pixel data G, the calculation unit 43 that performs calculation processing on the comparison result of the comparison unit 42, and the calculation unit 43 The output unit 44 controls output according to the calculation result, and an output terminal 45 that outputs pixel data from the output unit 44. The edge processing circuit 15c receives each pixel data G from the γ correction circuit 14. Here, an example in which the edge processing unit 15c described below controls the value of the interpolation pixel data G ′ in FIG. 15 will be described.
[0057]
The input unit 40 receives pixel data G around the interpolated pixel data G ′ in FIG. 15 obtained by interpolation by the horizontal direction interpolation circuit 15 a and the vertical direction interpolation circuit 15 b described above.₁~ G_FourIs entered. For example, when performing the edge processing on the interpolation pixel data in 2h, the input unit 40 adjoins the 1h pixel data G adjacent above the interpolation pixel data G ′.₁Is input to the terminal 40a and the pixel data G on both sides in the horizontal direction of the interpolated pixel data G '.₂, G_ThreeIs input to the terminal 40b and the pixel data G of 3h adjacent to the lower side of the interpolation pixel data G '._FourIs input to the terminal 40c. The terminals 40a to 40c are connected to delay circuits 41a to 41d. Pixel data G₁, G₂, G_Three, G_FourAre input to the terminals 40a to 40c after being delayed.
[0058]
The delay circuits 41 a to 41 d are connected to the comparison unit 42 and the output unit 44, and the pixel data G output from the input unit 40.₁~ G_FourEnter. The delay circuits 41a to 41d are connected to the pixel data G₁~ G_FourEach pixel data G is input to the comparison unit 42 and the output unit 44 with a clock synchronized with a clock for inputting₁~ G_FourIs output.
[0059]
The comparison unit 42 includes comparators 42a to 42f to which two pixel data among the four pixel data input from the input unit 40 are input. That is, the comparison unit 42 receives the pixel data G₁And pixel data G₂Is input to the comparator 42a and the pixel data G₁And pixel data G_ThreeIs input to the comparator 42b and the pixel data G₁And pixel data G_FourIs input to the comparator 42c and the pixel data G₂And pixel data G_Three42d and the pixel data G₂And pixel data G_FourIs input to the comparator 42e and the pixel data G_ThreeAnd pixel data G_FourIs input to the comparator 42f.
[0060]
The comparator 42a is connected to the pixel data G at the terminal A.₁, Pixel data G at terminal B₂The comparator 42b receives the pixel data G at the terminal A.₁, Pixel data G at terminal B_ThreeThe comparator 42c receives the pixel data G at the terminal A.₁, Pixel data G at terminal B_FourThe comparator 42d receives the pixel data G at the terminal A.₂, Pixel data G at terminal B_ThreeThe comparator 42e receives the pixel data G at the terminal A.₂, Pixel data G at terminal B_FourIs input, and the comparator 42f receives the pixel data G at the terminal A._Three, Pixel data G at terminal B_FourIs entered.
[0061]
The calculation unit 43 receives the comparison result from the comparison unit 42, and the pixel data G input by the input unit 40 based on the comparison result.₁~ G_FourAmong them, the second and third image data are selected. Here, the calculation unit 43 is composed of a plurality of selectors. For example, when the comparison results from the comparator 42a, the comparator 42b, and the comparator 42c are any of (L, H, H), (H, L, H), and (H, H, L), Pixel data G₁Is output to the output unit 44. In addition, in the calculation unit 43, for example, the comparison result from the comparator 42a, the comparator 42d, and the comparator 42e is any one of (H, L, L), (H, L, H), and (H, H, L). Pixel data G₂Is output to the output unit 44.
[0062]
The output unit 44 is connected to the input unit 40 and the calculation unit 43. The output unit 44 receives each pixel data G from the input unit 40.₁~ G_FourAnd a calculation result is input from the calculation unit 43. The output unit 44 includes a selector 44a that outputs pixel data in accordance with the calculation result indicating the second place, and pixel data G in accordance with the calculation result that indicates the third place.₁~ G_FourAnd a selector 44b for outputting. Further, the output unit 44 receives the pixel data G input at the terminal 40a.₁Is input at 00 terminal and the pixel data G input at terminal 40b.₂Is input to the 10 terminals and the pixel data G input from the terminal 40b._ThreeIs input at the 01 terminal and the pixel data G input at the terminal 40c._Four11 are input.
[0063]
The output unit 45 is connected to the output unit 44, the horizontal direction interpolation circuit 15a, and the vertical direction interpolation circuit 15b. The output unit 45 outputs pixel data G indicating the second and third positions output from the output unit 44.₁~ G_FourAre output to the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b.
[0064]
When edge processing is performed by the edge processing circuit 15c configured as described above, as shown in FIG. 15, for example, interpolation pixel data obtained by interpolation by the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b by the input unit 40, for example. Pixel data G around G ′₁, G₂, G_Three, G_FourIs input by the input unit 40. Here, the numbers in each pixel data in FIG.₁~ G_FourRepresents the size of Here, in the input unit 40, the pixel data G₁Is input at the terminal 40a, and the pixel data G₂At the terminal 40b and the pixel data G_ThreeAt the terminal 40b and the pixel data G_FourIs input at the terminal 40c. These pixel data G₁~ G_FourAre output to the comparators 42a to 42f via the delay circuits 41a to 41d.
[0065]
Next, in each of these comparators 42a to 42f, the input pixel data G₁~ G_FourAnd the comparison result is output to the calculation unit 43. At this time, each of the comparators 42a to 42f outputs the comparison result H to the arithmetic unit 43 when the pixel data input to the terminal A is larger than the pixel data input to the terminal B, and the pixel data input to the terminal A is the terminal. When the pixel data is smaller than the pixel data input to B, the comparison result L is output to the calculation unit 43.
[0066]
Next, in the calculation unit 43, the pixel data G input by the input unit 40 in accordance with the comparison results from the comparators 42a to 42f.₁~ G_FourAmong them, the 2nd and 3rd pixel data G₁~ G_FourAnd the calculation result is output to the output unit 44. Here, the calculation result indicating the second place is inputted by the selector 44a, and the calculation result showing the third place is inputted by the selector 44b. Each of the selectors 44a and 44b receives the pixel data G based on the calculation result.₁, G₂, G_Three, G_FourOf these, pixel data G corresponding to the second and third positions₁~ G_FourIs output to the output unit 45.
[0067]
Next, in the output unit 45, the pixel data G corresponding to the second and third positions.₁~ G_FourAre output to the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b.
[0068]
Next, in the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b, the pixel data G corresponding to the second place and the third place are displayed.₁~ G_FourTherefore, the size of the interpolated pixel data G ′ is calculated.
[0069]
Therefore, according to such an edge processing circuit 15c, for example, the pixel data G₁The size of the pixel data G₂The size of the pixel data G_ThreeThe size of the pixel data G_FourWhen the size of the pixel data is 0, the pixel data between the second and third positions is 100, and therefore the size of the interpolated pixel data G ′ is limited to 100. Therefore, according to the edge processing circuit 15c, the interpolated pixel data G 'when the pixel data shown in FIG. 15 is interpolated in the vertical direction is not calculated as (100 + 0) = 50.
[0070]
The correlation value detection unit 16 receives pixel data from the γ correction circuit 14 described above. The correlation value detection unit 16 includes a horizontal direction correlation detection circuit 16a that detects a correlation value in the horizontal direction and a vertical direction correlation detection circuit 16b that detects a correlation value in the vertical direction.
[0071]
The horizontal direction correlation detection circuit 16a uses a filter expressed by the following equation 3 for pixels where the pixel data G exists, and uses a filter expressed by the following equation 4 for pixels where the pixel data G does not exist._hIs calculated.
[0072]
[Expression 1]

[0073]
That is, the horizontal correlation value C_hIn the vertical direction, when the pixel data G exists, the LPF of [1, 0, 6, 0, 1] is used by using the expression 3, and when the pixel data G does not exist, the expression [4] , 0, 1]. Also, the horizontal correlation value C_hIs calculated by multiplying a BPF of [-1, 0, 2, 0, -1] in the horizontal direction.
[0074]
As shown in FIG. 16, the horizontal direction correlation detection circuit 16a includes an input unit 50 to which pixel data is input from the γ correction circuit 14 from terminals 50a to 50e, and a horizontal correlation value C to which each pixel data is input._hAnd a horizontal correlation value C_hIs input to the selector circuit 53 and the horizontal correlation value C from the selector circuit 53._hIs output.
[0075]
The input unit 50 sequentially inputs pixel data arranged in the vertical direction shown in FIG. 3 from the γ correction circuit 14. The input unit 50 receives a terminal 50a to which pixel data at 1h is input, a terminal 50b to which pixel data at 3h is input, a terminal 50c to which pixel data at 0h is input, and pixel data at 4h. A terminal 50d and a terminal 50e to which pixel data in 2h is input.
[0076]
The filter circuit 52 includes an adder 52a to which pixel data is input from the

terminals

50a and 50b, an adder 52b to which pixel data is input from the

terminals

50c and 50d, and an adder to which pixel data is input from the terminal 50e. 52c and an adder 52b and an adder 52d to which the output from the adder 52c is input. Similar to the filter circuit 33 shown in the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b described above, the filter circuit 52 uses the adder 52b, the adder 52c, and the adder 52d [1, 0, 6, 0, 1] / 8 filter, and the adder 52a forms a [1, 0, 1] / 2 filter.
[0077]
The selector circuit 53 includes a selector 53a to which pixel data is input from the adder 52d and the terminal 50e, and a selector 53b to which the output from the adder 52a and the output from the selector 53a are input. Each

selector

53a, 53b receives a control signal from the control unit 10 and its operation is controlled. That is, the selector 53a outputs the pixel data input via the

adders

52b, 52c, and 52d when the control signal H is input from the control unit 10, and the terminal when the control signal L is input from the control unit 10. The pixel data input from 50e is output. Further, the selector 53b receives the horizontal correlation value C that has passed through the adder 52a in accordance with the control signal from the control unit 10._hOr pixel data that has passed through the selector 53a is controlled.
[0078]
In this horizontal direction correlation detection circuit 16a, pixel data for which a correlation value is to be calculated may be input to the selector circuit 53 without passing through the filter circuit 52. In this way, by using the pixel data G as it is as the correlation value without passing through the

filter circuits

52b, 52e, and 52d, it is possible to suppress a decrease in the band of the pixel data G and to simplify the circuit. .
[0079]
The selector 53b is controlled so that the output from the

adders

52b, 52c, 52d or (or) the terminal 50e is allowed to pass through in the pixel where the pixel data G exists, and the adder 52a in the pixel where the pixel data G does not exist. It is controlled to pass the output from.
[0080]
The output unit 54 receives the horizontal correlation value C input from the selector 53b._hIs output. The output unit 54 is connected to the noise removing unit 17 via a BPF of [-1, 0, 2, 0, -1] in the horizontal direction (not shown), and the horizontal correlation value C_hIs output to the noise removing unit 17.
[0081]
The vertical direction correlation detection circuit 16b uses a filter expressed by the following equation 5 for pixels in which pixel data G exists, and uses a filter expressed by the following equation 6 for pixels in which pixel data G does not exist._vIs calculated.
[0082]
[Expression 2]

[0083]
That is, the vertical correlation value C_vIs calculated with a BPF of [-1, 0, 2, 0, -1] in the vertical direction by using

Equations

5 and 6. The vertical correlation value C_vIs the LPF of [1, 0, 6, 0, 1] using the formula 5 in the horizontal direction when the pixel data G is present, and [1,0] using the formula 6 when the pixel data G is not present. , 1].
[0084]
As shown in FIG. 17, the vertical direction correlation detection circuit 16b has an input unit 55 to which pixel data is input via a BPF of [-1, 0, 2, 0, -1] in the vertical direction (not shown). And delay circuits 56a to 56d to which each pixel data is input from the input unit 55, and each pixel data is input from the delay circuits 56a to 56d and the vertical correlation value C_vAnd a vertical correlation value C via the filter circuit 57._vIs input to the selector circuit 58 and the vertical correlation value C from the selector circuit 58._vIs output.
[0085]
The input unit 55 sequentially inputs from the γ correction circuit 14 through a BPF of [−1, 0, 2, 0, −1] in the vertical direction (not shown). The input unit 55 outputs each pixel data to the delay circuits 56a to 56d having the same configuration as the delay circuit 31 provided in the above-described horizontal direction interpolation circuit 15a.
[0086]
The filter circuit 57 has the same configuration as the filter circuit 52 provided in the above-described horizontal direction correlation detection circuit 16a, and includes

adders

57a, 57b, 57c, and 57d. In the same way as the filter circuit 53 shown in the horizontal correlation detection circuit 16a described above, the filter circuit 52 is [1,0,6,0,1] / 8 by the adder 57b, the adder 57c, and the adder 57d. A filter is configured, and the adder 57a configures a [1, 0, 1] / 2 filter. In the vertical direction correlation detection circuit 16b, the correlation value C is similar to the horizontal direction correlation detection circuit 16a._vThe pixel data that is the target of the calculation may be input to the selector circuit 58 without passing through the

filter circuits

57b, 57c, and 57d.
[0087]
The selector circuit 58 has the same configuration as the selector circuit 53 provided in the horizontal direction correlation detection circuit 16a described above, and includes selectors 58a and 58b. Each selector 58a, 58b receives a control signal from the control unit 10 and controls its operation.
[0088]
The selector 58b is controlled to pass the output from the

adders

57b, 57c, 57d or the delay circuit 56b in the pixels where the pixel data G exists, and the adder in the pixels where the pixel data G does not exist. The output from 57a is controlled to pass.
[0089]
The output unit 59 receives the vertical correlation value C input from the selector 58b._vIs output. The output unit 59 is connected to the noise removing unit 17 and has a vertical correlation value C_vIs output to the noise removing unit 17.
[0090]
Since the correlation value detection unit 16 configured in this way is configured with a circuit using Expressions 3 to 6, for example, the correlation value C is calculated using only the pixel data G, so that it is affected by the color of the subject. Horizontal correlation value C_hAnd the vertical correlation value C_vCan be calculated.
[0091]
As shown in FIG. 2, the noise removal unit 17 includes a noise removal circuit 17a connected to the above-described horizontal direction correlation detection circuit 16a and a noise removal circuit 17b connected to the vertical direction correlation detection circuit 16b. The noise removal circuit 17a and the noise removal circuit 17b have the same configuration as shown in FIG.
[0092]
As shown in FIG. 18, the

noise removing units

17a and 17b include an absolute value conversion circuit 60 to which the correlation value C is input from the

correlation detection circuits

16a and 16b, and a subtraction circuit to which the correlation value C converted to an absolute value is input. 61 and a limit circuit 62 to which the subtracted correlation value C is input.
[0093]
The absolute value circuit 60 is, for example, Ex. It consists of an OR gate 60a and an adder 60b. The absolute value converting circuit 60 converts the input correlation value C into an absolute value to obtain a positive value. Then, the absolute value converting circuit 60 outputs the absolute value of the correlation value C to the subtracting circuit 61.
[0094]
The subtraction circuit 61 includes, for example, a subtracter 61a. The subtractor 61 a receives the correlation value C from the absolute value conversion circuit 60. The subtractor 61 a receives a control signal indicating a subtraction value for subtracting a predetermined value from the correlation value C input from the control unit 10. The subtractor 61a subtracts the subtraction value from the correlation value C according to the control signal. As described above, the subtractor 61a performs the subtraction process to subtract the output of the correlation value C as indicated by the solid line in FIG. 19A, as indicated by the dotted line in FIG. Then, the subtraction circuit 61 outputs the subtracted correlation value C to the limit circuit 62.
[0095]
The limit circuit 62 includes, for example, an inverter 62a and an AND gate 62b. The limit circuit 62 performs processing so that the correlation value C, which is subtracted by the subtraction circuit 61 and has a negative output as shown in FIG. The limit circuit 62 outputs the correlation value C subjected to such processing to the offset circuit 18.
[0096]
Such a noise removal unit 17 removes a minute correlation value C by performing a subtraction process from the input correlation value C, so that noise in the minute value can be removed. Therefore, according to the noise removing unit 17, for example, in order to calculate the correlation value C by passing the BPF, the correlation value C calculated with respect to the noise or the like of the CCD 3 itself can be removed. Further, according to the noise removing unit 17, if the pixel data generated by the CCD 3 includes a noise component, even if the correlation value C is calculated for the noise, the minute correlation value is subtracted. . Therefore, according to the noise removing unit 17, the interpolation pixel data can be weighted using the correlation value C with less noise, and a false color signal is generated in the output image, which deteriorates the image. There is no.
[0097]
As shown in FIG. 2, the offset circuit 18 receives the horizontal correlation value C from the noise removal circuit 17a._hFrom the offset circuit 18a and the noise removal circuit 17b._vIs input to the offset circuit 18b. These offset circuit 18a and offset circuit 18b have the same configuration as shown in FIG.
[0098]
As shown in FIG. 20, the offset circuits 18 a and 18 b include an adder 65, for example. The adder 65 receives the correlation value C from the

noise removal circuits

17a and 17b. The adder 65 receives a control signal indicating a predetermined offset value from the control unit 10.
[0099]
When the correlation value C is input from the

noise removing units

17a and 17b, the adder 65 adds the offset value indicated by the control signal. The adder 65 adds the input correlation value C and the offset value and outputs the result to the normalization circuit 19. That is, the offset circuits 18a and 18b add the offset value to the correlation value C as shown by the dotted line in FIG. 21, for example, from the

noise removing units

17a and 17b, thereby causing the correlation value C as shown by the solid line in FIG. And
[0100]
As described above, the offset circuits 18a and 18b add the offset value to the correlation value C, so that even if the amplitude of the input correlation value C is about 0, the correlation value C having a large value can be provided. . For example, as shown in FIG. 22, the offset circuits 18a and 18b cannot obtain the correlation value C in the above-described correlation value detection unit 16, for example, pixel data constituting image data whose color changes for each pixel. , The high-frequency signal and the vertical correlation value C_vAnd horizontal correlation value C_hThe horizontal correlation value C even when the amplitude of_hAnd vertical correlation value C_vCan be prevented from switching suddenly. That is, according to such offset circuits 18a and 18b, by adding the offset value to the correlation value C, the interpolation pixel data weighted by the correlation value C can be brought closer to the direction of interpolation by arithmetic mean. Therefore, according to the offset circuits 18a and 18b, when the amplitude of the input correlation value C is very small, or in the adjacent pixels, the horizontal correlation value C_hIs 1, vertical correlation value C_vEven if is 0, the vertical correlation value C_vIs 0, horizontal correlation value C_hThere is no such thing as switching to 1.
[0101]
As shown in FIG. 2, the normalization circuit 19 generates a horizontal correlation value C from the offset circuit 18a and the offset circuit 18b._hAnd the vertical correlation value C_vIs input, and the vertical correlation value C_vAnd a divider 19b to which the output from the adder 19a is input.
[0102]
Such a normalization circuit 19 has an adder 19a which performs a vertical correlation value C_vAnd horizontal correlation value C_hAnd the addition result is output to the divider 19b, and the divider 19b outputs the vertical correlation value C._vIs divided by the addition result. Then, the normalization circuit 19 generates a vertical correlation value C shown in the following equation 7._vIs calculated. Here, the horizontal correlation value C_hIs the vertical correlation value C_vCan be expressed as shown in Equation 8 below.
[0103]
[Equation 3]

[0104]
As shown in FIG. 23, the bias correction circuit 20 includes an adder 20a. The bias correction circuit 20 receives the vertical correlation value C expressed by the above equation 7 from the normalization circuit 19._VIs entered. The correction value α is input from the control unit 10 to the adder 20a. The correction value α is generated by the control unit 10 and is adjusted within a range of −1 to 1 according to the setting of the CCD 3 or the like, for example.
[0105]
Then, the bias correction circuit 20 generates a vertical correlation value C_VAnd the correction value α input from the control unit 10 are input, and the vertical correlation value C_VAnd the correction value α are added. In this manner, the bias correction circuit 20 performs the addition process to perform the vertical correlation value C_VIs a value as shown in Equation 9 below.
[0106]
[Expression 4]

[0107]
Accordingly, the bias correction circuit 20 is configured so that the vertical correlation value C indicated by the dotted line in FIG._vCan be changed as indicated by the solid line in FIG. 24 by adding the correction value α. That is, according to this bias correction circuit 20, the vertical correlation value C_vBy adding the correction value α to the vertical correlation value C_vAnd horizontal correlation value C_hAnd the vertical correlation value C by controlling the correction value α input from the control unit 10 even when the signal level is not the same due to the distortion of the signal from the CCD 3 or the like._vCan be controlled and corrected. Further, the bias correction circuit 20 cannot calculate the relationship between the correlation in the vertical direction and the correlation in the horizontal direction equally due to, for example, the aspect ratio of the CCD or distortion generated when detecting the analog signal output from the CCD. However, the horizontal correlation value C is controlled by controlling the correction value α from the control unit 10._hAnd vertical correlation value C_vAnd balance can be controlled.
[0108]
As shown in FIG. 25, the enhancement / reduction circuit 21 receives a vertical correlation value C from the bias correction circuit 20._vAnd a vertical correlation value C subjected to the subtraction process._vAnd a vertical correlation value C subjected to multiplication processing._vIs input to the adder 21c and the added vertical correlation value C_vIs input to the limiter 21d.
[0109]
The subtractor 21a is a vertical correlation value C having values from 0 to 1 from the bias correction circuit 20._vAnd the vertical correlation value C_vSubtract processing. The subtractor 21a is configured to generate a vertical correlation value C_vThe subtraction process is performed by 0.5. The multiplier 21b generates a vertical correlation value C based on a control signal indicating a multiplication value input from the control unit 10._vMultiply processing. The adder 21c generates a vertical correlation value C_vIs added by 0.5. The limiter 21d receives the input vertical correlation value C_vIs limited within a certain range.
[0110]
Such an emphasis / reduction circuit 21 receives the vertical correlation value C from the bias correction circuit 20._vIs first input, the subtractor 21a first applies the vertical correlation value C._vIs subtracted by 0.5, and then the subtracted vertical correlation value C_vThe multiplication process is performed. At this time, the vertical correlation value C having characteristics as shown by the solid line in FIG. 26 according to the multiplication value input from the control unit 10_vIs changed as indicated by the dotted line or the alternate long and short dash line in FIG. Next, the multiplied vertical correlation value C_vThen, 0.5 subtracted by the subtractor 21a is added by the adder 21c. Next, the added vertical correlation value C_vIs restricted by the limiter 21d so as to take a value in the range of 0 to 1.
[0111]
Thus, the enhancement / reduction circuit 21 converts the multiplication value from the control unit 10 into the vertical correlation value C_vIs multiplied by the vertical correlation value C as shown in FIG._vChange the slope of the input / output characteristics. Therefore, according to the emphasis / reduction circuit 21, the vertical correlation value C is changed by changing the multiplication value from the control unit 10._vCan be changed. Therefore, according to the emphasis / reduction circuit 21, when the interpolation pixel data to be described later is weighted, whether the interpolation pixel data places importance on the correlation by changing the value of the correlation value that weights the interpolation pixel data, It is possible to control whether the interpolation pixel data is interpolated so as to approach the arithmetic mean. Further, according to the emphasis / reduction circuit 21, for example, since the amount of light input to the CCD 3 is small, the output from the CCD 3 increases in noise, and the multiplication value is changed even if the correlation value cannot be calculated accurately. Thus, the correlation value can be controlled.
[0112]
As shown in FIG. 2, the weighted addition circuit 22 generates a vertical correlation value C_vNormalized horizontal correlation value C_hAnd a normalized horizontal correlation value C_hAnd a vertical correlation value C_vIs input to the multiplier 22c, and the adder 22d is input to the interpolated pixel data in the vertical and horizontal directions.
[0113]
Such a weighted addition circuit 22 receives the vertical correlation value C from the enhancement / reduction circuit 21._vIs input to the subtracter 22a and the multiplier 22c. In the subtractor 22a, the vertical correlation value C_vBy subtracting 1 from 1, the horizontal correlation value C_hIs generated. In the subtractor 22a, the horizontal correlation value C_hIs output to the multiplier 22b.
[0114]
The multiplier 22b receives the interpolated pixel data in the vertical direction from the vertical direction interpolation circuit 15b and the horizontal correlation value C from the subtractor 22a._hAre entered. The multiplier 22b inputs the interpolated pixel data in the vertical direction and the horizontal correlation value C._hAnd multiply. Thus, the multiplier 22b adds the horizontal correlation value C to the interpolated pixel data in the vertical direction._hIs multiplied by.
[0115]
The multiplier 22c receives the interpolated pixel data in the horizontal direction from the horizontal direction interpolation circuit 15a, and also has a vertical correlation value C._vIs entered. The multiplier 22c inputs the interpolated pixel data in the horizontal direction and the vertical correlation value C._vAnd multiply. Thus, the multiplier 22c adds the vertical correlation value C to the interpolated pixel data in the horizontal direction._vIs multiplied by.
[0116]
The adder 22d receives the interpolation pixel data in the horizontal direction weighted by the multiplier 22c and the interpolation pixel data in the vertical direction weighted by the multiplier 22b. The adder 22d adds the interpolated pixel data in the horizontal direction and the interpolated pixel data in the vertical direction. In this way, the adder 22d performs the addition process to obtain interpolation pixel data weighted by the correlation values in the vertical direction and the horizontal direction. Then, the adder 22 d outputs the interpolated pixel data to the contour correction circuit 23.
[0117]
The contour correction circuit 23 is connected to the adder 22 d of the weighted addition circuit 22. The contour correction circuit 23 receives the interpolation pixel data from the adder 22 d and the contour enhancement signal from the control unit 10. This contour emphasis signal is a signal that compensates for response deterioration of the CCD 3 and emphasizes the sharpness. The contour correction circuit 23 adds the input contour emphasis signal and the interpolated pixel data and outputs the result to the Y / C converter 24.
[0118]
The Y / C converter 24 is connected to the contour correction circuit 23, and interpolation pixel data is input from the contour correction circuit 23. The Y / C converter 24 converts the input interpolation pixel data composed of R, G, and B into a Y / C signal composed of a luminance signal (Y) and a color difference signal (C). Then, the Y / C conversion unit 24 outputs the Y / C signal obtained by converting the interpolation pixel data to the color difference signal suppression unit 25.
[0119]
The color difference signal suppression unit 25 is connected to the Y / C conversion unit 24, and the Y / C signal is input from the Y / C conversion unit 24. As shown in FIG. 27, the color difference signal suppression unit 25 includes a BG data suppression circuit 25a to which the color difference BG of pixel data in which one line is composed of pixel data G and B, and one line is the pixel data G, An RG data suppression circuit 25b to which a color difference RG of pixel data composed of R is input.
[0120]
The BG data suppression circuit 25a has input units 70a to 70c to which the color difference B'-G 'between the interpolation pixel data G' and B 'is input, and an absolute value to which the color difference B'-G' is input from the input units 70a to 70c. Calculations in which the binarizers 71a to 71c, the comparators 72a to 72c to which the absolute color difference B′-G ′ is input from the absolute binarizers 71a to 71c, and the comparison results from the comparators 72a to 72c are input And a selector 74 to which the calculation result from the calculator 73 is input, and an output unit 75 to which the pixel data from the selector 74 is input.
[0121]
The input unit 70a inputs the color difference B'-G 'in the vertical direction, the input unit 70b inputs the color difference B'-G' in the horizontal direction, and the input unit 70c has the color difference B'- weighted with the correlation value. G ′ is input. The input unit 70a outputs the input color difference B'-G 'to the absolute value converter 71a, the input unit 70b outputs the input color difference B'-G' to the absolute value converter 71b, and the input unit 70c inputs the input color difference B'-G '. The color difference B′−G ′ is output to the absolute value converter 71c.
[0122]
The absolute value converters 71a to 71c are, for example, Ex. It consists of an OR gate 76 and an adder 77. The absolute value generators 71a to 71c perform absolute value conversion on the input color difference B'-G 'to obtain a positive value. The absolute value generators 71a to 71c output the color difference B'-G 'subjected to absolute value conversion to the comparators 72a to 72c.
[0123]
The comparator 72a inputs the color difference B'-G 'that has passed through the absolute value converter 71a at the terminal B, and also inputs the color difference B'-G' that has passed through the absolute value converter 71c at the terminal A. The comparator 72b inputs the color difference B'-G 'that has passed through the absolute value converter 71a at the terminal A, and inputs the color difference B'-G' that has passed through the absolute value converter 71b at the terminal B. The comparator 72c inputs the color difference B'-G 'that has passed through the absolute value converter 71b at the terminal A, and also inputs the color difference B'-G' that has passed through the absolute value converter 71c at the terminal B. The comparators 72a to 72c compare the magnitudes of the color differences B'-G 'input at the terminals A and B and determine that the color difference B'-G' input at the terminal A is large. Is output to the calculator 73, and if the color difference B′−G ′ input at the terminal A is determined to be small, the comparison result L is output to the calculator 73.
[0124]
The arithmetic unit 73 receives the comparison result from the comparators 72 a to 72 c and also receives a control signal from the control unit 10. The calculator 73 generates a calculation result based on the comparison result and the control signal and outputs the calculation result to the selector 74.
[0125]
The calculator 73 outputs the calculation result 11 when the control signal H is input, and generates a calculation result based on the comparison results from the comparators 72a to 72c when the control signal L is input. When the comparison results of the

comparators

72a, 72b, 72c are (H, L, X), the calculator 73 outputs the calculation result 00, and the comparison results of the

comparators

72a, 72b, 72c are (X, H, L). ), The calculation result 01 is output. When the comparison results of the

comparators

72a, 72b, 72c are (L, X, H), the calculation result 10 is generated and output to the selector 74.
[0126]
The selector 74 receives the calculation result from the calculator 73 and receives the color difference B′−G ′ from the input units 70 a to 70 c. The selector 74 inputs the color difference B′−G ′ input at the input unit 70c at the 11th terminal and the 10th terminal, inputs the color difference B′−G ′ input at the input unit 70b at the 01 terminal, and inputs at the 00 terminal. The color difference B′−G ′ input by the unit 70a is input. The selector 74 outputs the color difference B′−G ′ input at the 11 terminal when the calculation result 11 is input, and outputs the color difference B′−G ′ input at the 10 terminal when the calculation result 10 is input. When the calculation result 01 is input, the color difference B′−G ′ input at the 01 terminal is output. When the calculation result 00 is input, the color difference B′−G ′ input at the 00 terminal is output.
[0127]
The RG data suppression circuit 25 b receives the color difference R′−G ′ at the input units 70 a to 70 c, and passes this color difference R′-G ′ through the absolute value converter 71, the comparator 72, the calculator 73, and the selector 74. The minimum color difference R′−G ′ is selected and output by the output unit 75.
[0128]
Therefore, according to such a color difference signal suppressing unit 25, as shown in FIG. 28A, for example, interpolation pixel data R for pixel data R and G arranged in the vertical direction._v, G_vInterpolated pixel data R for pixel data R and G arranged in the horizontal direction_h, G_h, Weighted interpolation pixel data R_c, G_cThe smallest interpolated pixel data R of the color difference_h, G_hSelect. Further, as shown in FIG. 28B, the color difference signal suppressing unit 25 selects interpolation pixel data R′-G ′ that is closest to 0 among the compared interpolation pixel data.
[0129]
Such a color difference signal suppressing unit 25 selects and outputs the interpolated pixel data input from the input units 70a to 70c with the smallest absolute value of the color difference signal. Therefore, such a color difference signal suppressing unit 25 prevents false colors from appearing on color edges or the like when image data is generated with interpolated pixel data weighted with a correlation value in a band where correlation cannot be obtained. Can do. Therefore, according to the color difference signal suppression unit 25, it is possible to prevent color aliasing distortion even in a frequency band where no correlation is observed.
[0130]
The output unit 75 outputs the interpolation pixel data output by the selector 74 to the output unit 26. The output unit 26 is, for example, a recording medium for recording pixel data, a display device, a terminal for outputting to the outside, or the like.
[0131]
In the above description, an example of processing a camera signal generated by the camera device 1 using the primary color coding CCD 3 has been described. However, the present invention is as shown in FIG. 29 (a) or FIG. 29 (b). In addition, if the solid-state imaging device of the coding in which the most colors among the colors indicated by the pixel data included in the image data are arranged in a checkered pattern is applicable to a complementary color CCD.
[0132]
【The invention's effect】
As explained in detail above,According to the present invention, it is generated according to the imaging signal.Based on the pixel data of the position and surrounding pixelsInterpolation pixel data is generated for pixels for which pixel data does not exist, and interpolation pixel data is also generated for pixels for which pixel data exists so that the difference between the frequency characteristics of the interpolation pixel data for pixels for which no pixel data exists is reduced. Only the pixel data indicating a predetermined color among the pixel data is used to detect the correlation value for generating and weighting the interpolation pixel data indicating the degree of correlation in the horizontal direction and the vertical direction of the interpolation pixel data. When detecting the correlation value for the interpolation pixel data indicating the predetermined color and the correlation value for the interpolation pixel data indicating a color other than the predetermined color, and obtaining the correlation value for the interpolation pixel data indicating the predetermined color BPF of [-1, 0, 2, 0, -1] using only pixel data of the same color as the interpolation pixel data, [1, , 6, 0, 1] / 8, the correlation value is detected, and when obtaining the correlation value for the interpolated pixel data indicating a color other than the predetermined color, only the pixel data of the predetermined color is used. The correlation value is detected using the BPF of [-1, 0, 2, 0, -1] and the LPF of [1, 0, 1] / 2, and the interpolation pixel data is weighted with the correlation value. By generating a luminance signal and a color difference signal based on the weighted interpolated pixel data, using these filters, the frequency characteristics of the interpolated pixel data in a pixel where pixel data indicating a predetermined color exists and a predetermined Reduce the difference from the frequency characteristics of the interpolated pixel data where there is no pixel data indicating color,The correlation value can be detected using only the interpolation pixel data indicating the predetermined color. Therefore, according to the present invention, for example, it is possible to generate an image with high sharpness that is less affected by the color of the subject indicated by the image data generated by the solid-state imaging device.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of a camera device.
FIG. 2 is a block diagram illustrating an example of a configuration of a signal processing circuit.
FIG. 3 is a diagram illustrating an example of an arrangement of pixel data R, G, and B corresponding to each pixel.
FIG. 4 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 5 is a diagram illustrating an example of an arrangement of pixel data G corresponding to each pixel.
FIG. 6 is a diagram illustrating frequency characteristics of LPFs of [1, 0, 6, 0, 1].
FIG. 7 is a diagram showing frequency characteristics of LPFs of [1, 0, 1].
FIG. 8 is a diagram illustrating an example of interpolated pixel data G ′ generated after performing an interpolation process.
FIG. 9 is a diagram illustrating an example of a configuration of a horizontal direction interpolation circuit.
FIG. 10 is a diagram illustrating an example of an arrangement of pixel data B corresponding to each pixel.
FIG. 11 is a diagram illustrating an example of an arrangement of interpolation pixel data B ′ when an arithmetic mean is calculated in the hydraulic direction for pixel data B corresponding to each pixel.
FIG. 12 is a diagram illustrating an example of interpolated pixel data B ′ generated after performing an interpolation process.
FIG. 13 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 14 is a diagram illustrating an example of a configuration of an edge processing circuit.
FIG. 15 is a diagram for explaining an example when edge processing is performed by an edge processing circuit;
FIG. 16 is a diagram illustrating an example of a configuration of a horizontal direction correlation detection circuit.
FIG. 17 is a diagram illustrating an example of a configuration of a vertical direction correlation detection circuit.
FIG. 18 is a diagram illustrating an example of a configuration of a noise removal circuit.
FIG. 19 is a diagram illustrating an example when processing is performed on a correlation value input by a noise removal circuit, where (a) illustrates an example when a correlation value is subjected to subtraction processing, and (b) illustrates a correlation value; It is a figure which shows an example when it limits with a negative value.
FIG. 20 is a diagram illustrating an example of a configuration of an offset circuit.
FIG. 21 is a diagram illustrating an example of changes in input / output characteristics when an offset value is added to a correlation value input by an offset circuit.
FIG. 22 is a diagram illustrating an example of image data whose color changes for each adjacent pixel data.
FIG. 23 is a diagram illustrating an example of a configuration of a bias correction circuit.
FIG. 24 is a diagram illustrating an example of a change in input / output characteristics when a correction value is added to a correlation value input by a bias correction circuit.
FIG. 25 is a diagram illustrating an example of a configuration of an enhancement / reduction circuit.
FIG. 26 is a diagram illustrating a change in input / output characteristics when a multiplication process is performed on a correlation value input by an enhancement / reduction circuit.
FIG. 27 is a diagram illustrating an example of a configuration of a color difference signal suppression circuit.
FIG. 28 shows interpolated pixel data R for pixel data R and G arranged in the vertical direction by the color difference signal suppression unit._v, G_vInterpolated pixel data R for pixel data R and G arranged in the horizontal direction_h, G_h, Weighted interpolation pixel data R_c, G_cInterpolated pixel data R having the smallest absolute value among the color differences_h, G_hIt is a figure which shows an example which selects.
FIG. 29 is a diagram illustrating another example of the arrangement of pixel data.
[Explanation of symbols]
1 camera device, 15 image data interpolation unit, 16 correlation value detection unit

Claims

Camera signal processing for generating a luminance signal and a color difference signal from pixel data of each color generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel A device,
The pixel data generated according to the imaging signal is subjected to interpolation processing based on the pixel data of the position and surroundings, and interpolation pixel data is generated for a pixel for which no pixel data exists, and the pixel data Interpolation pixel data generating means for generating interpolation pixel data even for pixels in which pixel data exists, so that a difference between the frequency characteristics of the interpolation pixel data in pixels that do not exist is reduced ,
Correlation detection means for detecting a correlation value indicating the degree of correlation in the horizontal direction and vertical direction of the interpolation pixel data generated by the interpolation pixel data generation means, and weighting the interpolation pixel data;
Image generation means for generating a luminance signal and a color difference signal based on the interpolation pixel data obtained by weighting the interpolation pixel data generated by the interpolation pixel data with the correlation value detected by the correlation detection means ;
The correlation detection unit uses the pixel data indicating a predetermined color among the pixel data detected by the solid-state imaging device, and calculates a correlation value for the interpolation pixel data indicating the predetermined color and a color other than the predetermined color. When the correlation value for the interpolation pixel data shown is detected and the correlation value for the interpolation pixel data showing the predetermined color is obtained, only the pixel data of the same color as the interpolation pixel data is used in one direction [-1, 0. , 2, 0, -1] and a correlation value is detected using an LPF of [1, 0, 6, 0, 1] / 8 in the other direction, and interpolated pixel data indicating a color other than the predetermined color. When obtaining the correlation value for, the BPF of [−1, 0, 2, 0, −1] in one direction and [1, 0, 1] / 2 in the other direction using only the pixel data of the predetermined color. Detecting correlation value using LPF Signal processing device.

A control means for controlling said correlation detection means, said correlation detection means, a camera according to claim 1, wherein the detecting the correlation value without using the LPF in response to a control signal from the control means Signal processing device.

Camera signal processing for generating a luminance signal and a color difference signal from pixel data of each color generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel A method,
Based on the pixel data generated in accordance with the imaging signal, interpolation pixel data is generated for a pixel for which pixel data does not exist based on the pixel data of the position and surroundings, and interpolation pixel data of a pixel for which the pixel data does not exist Generate interpolated pixel data for pixels that have pixel data so that the difference from the frequency characteristics is small,
In detecting the correlation value indicating the degree of correlation of the interpolated pixel data in the horizontal direction and the vertical direction and weighting the interpolated pixel data, only the pixel data indicating a predetermined color among the pixel data is used. When detecting a correlation value for interpolation pixel data indicating a color and a correlation value for interpolation pixel data indicating a color other than the predetermined color, and obtaining a correlation value for the interpolation pixel data indicating the predetermined color, the interpolation is performed. Using only pixel data of the same color as the pixel data, a BPF of [-1, 0, 2, 0, -1] in one direction and an LPF of [1, 0, 6, 0, 1] / 8 in the other direction are used. When the correlation value is detected and the correlation value for the interpolated pixel data indicating a color other than the predetermined color is obtained, [−1, 0, 2, 0 in one direction is obtained using only the pixel data of the predetermined color. , -1] BPF Detecting a correlation value by using the [1,0,1] / 2 of the LPF in the other direction,
A camera signal processing method comprising weighting the interpolation pixel data with the correlation value and generating a luminance signal and a color difference signal based on the weighted interpolation pixel data.

4. The camera signal processing method according to claim 3 , wherein when detecting the correlation value for the pixel data indicating the predetermined color, the correlation value is detected without using the LPF.