JP4066484B2 - 画像処理装置および画像処理方法、並びにカメラ - Google Patents
画像処理装置および画像処理方法、並びにカメラ Download PDFInfo
- Publication number
- JP4066484B2 JP4066484B2 JP33674497A JP33674497A JP4066484B2 JP 4066484 B2 JP4066484 B2 JP 4066484B2 JP 33674497 A JP33674497 A JP 33674497A JP 33674497 A JP33674497 A JP 33674497A JP 4066484 B2 JP4066484 B2 JP 4066484B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- directions
- correlation
- pixel
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 78
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000004364 calculation method Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びにカメラに関し、特に所定の色配列のカラーフィルタを受光面上に有する固体撮像素子の出力信号を処理する画像処理装置および画像処理方法、並びにこれらを用いたカメラに関する。
【０００２】
【従来の技術】
色配列が例えば原色ベイヤ配列のカラーフィルタを受光面上に有する固体撮像素子の出力信号を処理する画像処理装置では、カラーフィルタ上において各色が飛び飛びに存在することから、解像感を損なわないようにするために補間処理が行われる。この種の画像処理装置においては、従来、水平方向の相反する２方向（左右方向）または垂直方向の相反する２方向（上下方向）のように２方向のみの相関値を算出し、それを基に補間処理を行っていた。すなわち、補間すべき画素の周囲例えば５×５画素の領域の画素情報から横縞か縦縞かを判定し、横縞の場合には補間すべき画素の水平方向の両側の画素の信号を使って補間し、縦縞の場合には垂直方向の両側の画素の信号を使って補間するようにしていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、２方向のみの相関検出による補間を行う従来の画像処理装置では、水平方向または垂直方向のエッジ部においては有効ではあるが、斜めのエッジ部分や、水平／垂直方向のエッジでも、１画素幅程度の線分の場合には、水平のエッジと垂直のエッジの交点や、線分の折れ曲がり部では適正なエッジ検出ができなかったり、また斜め線の場合には、水平の相関が強いか垂直の相関が強いかが判定できずに、水平エッジ部の処理と垂直エッジ部の処理の平均をとる処理（平均値補間）を行いがちであった。
【０００４】
このため、従来の画像処理装置においては、上記の例で示される箇所では、解像感のないボケた画像になったり、途切れてはならない箇所で線が途切れたりするような不具合が発生することになる。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、折れ曲がった線や、直角に曲がった角の部分などにおいても良好に補間処理を行うことが可能な画像処理装置および画像処理方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明による画像処理装置は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う画像処理装置であって、補間すべき画素（以下、補間画素と称す）に関して左右および上下の互いに９０°の整数倍の角度をなす４方向に対応する画素情報に基づいてその４方向に対する相関値を算出する相関値算出回路と、この相関値算出回路によって算出された上記４方向に対する相関値を基に補間係数を決定する係数決定回路と、この係数決定回路で決定された補間係数を用いて上記４方向に対応する画素情報を基に補間処理を行う補間処理回路とを備え、前記係数決定回路が、前記４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより前記補間係数の算出方法を変えることを特徴としている。
【０００７】
また、本発明による画像処理方法は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う画像処理方法であって、補間画素に関して左右および上下の互いに９０°の整数倍の角度をなす４方向に対応する画素情報に基づいてその４方向に対する相関値を算出する算出ステップと、この算出ステップで算出した４方向に対する相関値を基に補間係数を決定する決定ステップと、この決定ステップで決定した補間係数に基づいて上記４方向に対応する画素情報を基に補間処理を行う処理ステップとを有し、前記決定ステップでは、前記４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより前記補間係数の算出方法を変えることを特徴としている。
【０００８】
上記構成の画像処理装置およびその処理方法において、先ず、補間画素に関して左右（水平方向）および上下（垂直方向）の計４方向に対する特性値、即ち相関の程度（度合い）を示す相関値を算出する。次いで、この４方向に対する相関値を基に、補間時に用いる補間係数を決定する。この補間係数を決定するに当たって、４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより補間係数の算出方法を変えるようにする。そして、相関値を算出する際に用いた４方向に対応する画素情報に対して補間係数をそれぞれ掛け合わせた後加算することによって補間処理を行う。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明による画像処理装置の基本構成を示すブロック図である。ここで、本画像処理装置の処理対象となるカラー固体撮像素子は、色配列として例えば図２に示すＲ（赤）Ｇ（緑）Ｂ（青）の原色ベイヤ配列のカラーフィルタ１１を受光面上に有する単板式固体撮像素子１２である。
【００１０】
なお、色配列は原色ベイヤ配列に限定されるものではなく、さらにカラーフィルタもＲＧＢの原色の色配列に限られるものではなく、他の原色の色配列の場合でも、補色を使用した色配列（例えば、Ｙｅ／Ｃｙ／Ｍｇ／Ｇ）の場合でも同様に適応可能である。また、固体撮像素子１２としては、全画素の信号電荷を独立に読み出すいわゆる全画素読み出し方式のＣＣＤ(Charge Coupled Device) 固体撮像素子（以下、ＣＣＤエリアセンサと称する）を用いるものとするが、全画素読み出し方式ではないＣＣＤ固体撮像素子にも適応可能である。
【００１１】
ＣＣＤエリアセンサ１２から出力されるＲＧＢ点順次データは、信号処理部１３において黒レベルクランプやホワイトバランスなどの信号処理が行われた後、検出部１４および補間部１５に供給される。検出部１４は、入力されるＲＧＢ点順次データから最適な補間方法を検出し、その補間情報を補間部１５へ送る。補間部１５は、検出部１４から入力される補間情報を基にＲＧＢ点順次データに対して補間処理を行って出力する。
【００１２】
検出部１４は、図３に示すように、補間画素に関して上下および左右の互いに９０°の整数倍の角度をなす４方向、即ち垂直（Ｖ）方向の相反する２方向および水平（Ｈ）方向の相反する２方向の計４方向の相関の程度を検出するＶＨ相関検出部１６と、補間画素に関して右上、左上、左下、右下の斜め方向、即ち上記４方向に対してそれぞれ４５°の角度をなす４方向の相関の程度を検出する斜め相関検出部１７とを有する構成となっている。
【００１３】
なお、本例では、上下左右４方向に加え、斜め４方向の計８方向の相関の程度を検出する構成を例に採っているが、上下左右の４方向だけの相関の程度を検出する構成であっても良い。ただし、以下の説明では、８方向の場合を例に採って説明するものとする。
【００１４】
一方、補間部１５は、図４に示すように、検出部１４から与えられる補間情報に基づいて、Ｇの画素情報に対して補間処理を行うＧ補間部１８と、Ｒの画素情報に対して補間処理を行うＲ補間部１９と、Ｂの画素情報に対して補間処理を行うＢ補間部２０とを有する構成となっている。
【００１５】
図５は、ＶＨ相関検出部１６および斜め相関検出部１７の具体的な構成の一例を示すブロック図である。
【００１６】
ＶＨ相関検出部１６は、補間画素の右側の画素の画素情報に基づいて相関の程度を示す相関値を算出する右側相関値算出回路２１と、補間画素の左側の画素の画素情報に基づいて相関値を算出する左側相関値算出回路２２と、補間画素の上側の画素の画素情報に基づいて相関値を算出する上側相関値算出回路２３と、補間画素の下側の画素の画素情報に基づいて相関値を算出する下側相関値算出回路２４と、これら相関値算出回路２１〜２４で算出した各相関値を補間ゲインに変換して出力する相関値→補間ゲイン変換回路２５とから構成されている。
【００１７】
上記構成のＶＨ相関検出部１６において、相関値→補間ゲイン変換回路２５からは、水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎおよび水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤが補間係数として出力される。なお、水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤについては、後で詳述する。
【００１８】
斜め相関検出部１７は、補間画素の右上側の画素の画素情報に基づいて相関値を算出する右上側相関値算出回路２６と、補間画素の左上側の画素の画素情報に基づいて相関値を算出する左上側相関値算出回路２７と、補間画素の左下側の画素の画素情報に基づいて相関値を算出する左下側相関値算出回路２８と、補間画素の右下側の画素の画素情報に基づいて相関値を算出する右下側相関値算出回路２９と、これら相関値算出回路２６〜２９で算出した各相関値を補間ゲインに変換し、補間係数として斜め補間用ゲインＤ１Ｇａｉｎ〜Ｄ４Ｇａｉｎを出力する相関値→補間ゲイン変換回路３０とから構成されている。
【００１９】
さらに、水平垂直４方向と斜め４方向は互いに直交していないため、ＶＨ‐斜め比較回路３１において、水平垂直の相関値と斜めの相関値を比較することにより、斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎを補間係数として算出するようにしている。この斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎの算出法については、後で詳細に説明する。
【００２０】
図６は、ＶＨ相関検出部１６における例えば左側相関値算出回路２２の具体的な構成の一例を示すブロック図である。なお、右側相関値算出回路２１、上側相関値算出回路２３および下側相関値算出回路２４についても、全く同じ回路構成を採る。
【００２１】
左側相関値算出回路２２において、入力されたＲＧＢ点順次信号は、色分離回路３２において、Ｒ画素／Ｇ画素／Ｂ画素の各色にそれぞれ対応するＲ信号／Ｇ信号／Ｂ信号に分離されて出力される。Ｇ信号は、変化量１，２算出回路３３，３４にそれぞれ供給される。Ｒ信号は、変化量算出回路３５に供給される。Ｂ信号は、変化量算出回路３６に供給される。
【００２２】
ここで、Ｇ信号についてのみ、２つの異なる変化量１，２算出回路３３，３４に入力するのは、図２のＲＧＢ原色ベイヤ配列を見ても分かるように、ＧはＲ／Ｂに比べて水平方向および垂直方向のサンプリング数が倍であり、Ｇでは隣り合った垂直ラインでの変化量１と、１ラインおいた垂直ライン同士での変化量２を算出するためである。なお、ここでは、隣り合った垂直ライン間または１ラインおいた垂直ライン間での例を採ったが、２ライン以上おいた垂直ライン間であっても良い。
【００２３】
変化量１，２算出回路３３，３４および変化量算出回路３５，３６は、図７の概念図に示すように、変化量を算出する方向に対して直交する向きにしたＬＰＦ（１，２，２，２，１）３７，３８，３９を通した後に、算出用ＢＰＦ４０，４１，４２，４３を通すことにより変化量を算出する構成となっている。ここで、算出用ＢＰＦ４０，４１，４２，４３は、Ｇについては１／２相関（１，−１）と、１／４相関（１，０，−１）を使用し、Ｒ／Ｂについては１／４相関（１，１，−１，−１）を使用する。
【００２４】
これら変化量算出回路３３，３４，３５，３６で算出された各変化量は、絶対値化回路４５，４６，４７，４８で絶対値化された後係数付加回路４９，５０，５１，５２に供給される。係数付加回路４９，５０，５１，５２は、絶対値化回路４５，４６，４７，４８で絶対値化された各変化量に対して別途設定された係数をそれぞれ掛け合わせて出力する。そして、係数付加回路４９，５０，５１，５２の各出力は、加算回路５３で加え合わされた後、上下左右の相関値Ｓｔ，Ｓｂ，Ｓｌ，Ｓｒとして出力される。なお、ＲＢの相関値への寄与がＧに比べて低くなるように１／４して加算する。
【００２５】
ここで、係数付加回路４９，５０，５１，５２において係数を掛ける理由は、Ｒ／Ｇ／Ｂの各色は輝度を形成する際にも、ＮＴＳＣテレビジョン方式の場合には０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂとして計算するように、人間の視覚特性に合わせるためである。ただし、計算量やゲート規模を削減するためには、Ｒ：Ｇ：Ｂが３：６：１の比率、１：２：１の比率または２：４：１の比率になるように簡易的な係数を設定する方が良い。
【００２６】
続いて、上記構成の左側相関値算出回路２２における変化量算出回路３３〜３６による左方向の変化量の算出法につき、図８の原色ベイヤ配列図を用いて説明する。ここでは、左方向の変化量の算出法について述べるが、他の方向（右／上／下の各方向）についても、添え字が変わるだけで全く同じである。
【００２７】
先ず、Ｇについては、隣り合った垂直ラインでの変化量が（１）式により、１ラインおいた垂直ライン同士での変化量が（２）式によりそれぞれ算出される。なお、（１）式／（２）式では、画素Ｇ２２に対する相関を検出する際の式を示している。一方、Ｒ信号／Ｂ信号では、１ラインおきにしか同じ色の信号が存在しないため、１ラインおいた垂直ライン間の変化量が、（３）式／（４）式によりそれぞれ算出される。また、画素Ｇ３３に対しては、水平／垂直を表わす添え字がそれぞれ１ずつ増加する他に、Ｒ信号とＢ信号で算出方法が入れ替わる。
【００２８】
【数１】
【００２９】
図５に示すＶＨ相関検出部１６において、相関係数を決定する回路である相関値→相関ゲイン変換回路２５は、相関係数を決定するに当り、相関値算出回路２１〜２４で算出された４方向の相関値Ｓｒ，Ｓｌ，Ｓｔ，Ｓｂを基に、相関モードを決定する。相関モードを導入する理由は、単に相関値を順位付けした場合では、相関の順位に対して補間係数の決定が難しいためである。
【００３０】
例えば、４つの相関値がほとんど同じである場合（１００，１０１，１０２，１０３）と、全く異なる場合（０，１０，１００，５００）では、補間係数の算出結果は異なるべきである。そこで、相関の順位決定とは別に相関係数の分布を示す相関モードを導入する。相関モードは、４つの相関値Ｓｒ，Ｓｌ，Ｓｔ，Ｓｂがどういう分布になっているかを表わすもので、表１に示すように、０から７までの８つのモードからなる。
【００３１】
【表１】
【００３２】
図９は、相関モードを決定するための相関モード決定回路の具体的な構成の一例を示すブロック図である。
【００３３】
図９において、４つの相関値Ｓｒ，Ｓｔ，Ｓｌ，Ｓｂをそれぞれ比較するための６個のコンパレータ５４〜５９が設けられている。右方向の相関値Ｓｒは、コンパレータ５４，５５，５７の各一方の比較入力Ａとなる。上方向の相関値Ｓｔは、コンパレータ５４の他方の比較入力Ｂになるとともに、コンパレータ５６，５８の各一方の比較入力Ａとなる。左方向の相関値Ｓｌは、コンパレータ５５，５６の各他方の比較入力Ｂになるとともに、コンパレータ５９の一方の比較入力Ａとなる。下方向の相関値Ｓｂは、コンパレータ５７，５８，５９の各他方の比較入力Ｂとなる。
【００３４】
ここで、コンパレータ５４〜５９は、２つの比較入力Ａ，Ｂを比較することにより、“＞”（大），“＜”（小），“＝”（等価）の３段階の比較結果を出力する構成となっている。すなわち、Ａ＞Ｂ，Ａ＜Ｂの２つの比較結果に加え、比較する２つの相関値の差の絶対値が、あるリファレンス値ＴＨよりも小さい場合は“＝”であるとする。なお、このリファレンス値ＴＨとしては、補間画素の近傍の画素の平均レベルまたは加重平均レベル、例えば補間画素の近傍での輝度Ｙ０にある係数を掛けたものを使用する。図１０は、輝度Ｙ０の検出の概念図である。
【００３５】
コンパレータ５４〜５９の後段には、右、上、左、下にそれぞれ対応した４個の１ビット全加算器６０〜６３が設けられている。全加算器６０は、コンパレータ５４の比較結果Ａ＞Ｂを一方の加算入力Ｘ、コンパレータ５５の比較結果Ａ＞Ｂを他方の加算入力Ｙ、コンパレータ５７の比較結果Ａ＞Ｂを桁上げ入力Ｃとする。全加算器６１は、コンパレータ５４の比較結果Ａ＜Ｂを一方の加算入力Ｘ、コンパレータ５６の比較結果Ａ＞Ｂを他方の加算入力Ｙ、コンパレータ５８の比較結果Ａ＞Ｂを桁上げ入力Ｃとする。
【００３６】
全加算器６２は、コンパレータ５５の比較結果Ａ＜Ｂを一方の加算入力Ｘ、コンパレータ５６の比較結果Ａ＜Ｂを他方の加算入力Ｙ、コンパレータ５９の比較結果Ａ＞Ｂを桁上げ入力Ｃとする。全加算器６３は、コンパレータ５７の比較結果Ａ＜Ｂを一方の加算入力Ｘ、コンパレータ５８の比較結果Ａ＜Ｂを他方の加算入力Ｙ、コンパレータ５９の比較結果Ａ＜Ｂを桁上げ入力Ｃとする。そして、これら全加算器６０〜６３は、２つの加算入力Ｘ，Ｙおよび桁上げ入力Ｃに基づいて自分の順位を判定し、判定結果Ｓ０，Ｓ１を出力する。
【００３７】
全加算器６０〜６３の各判定結果Ｓ０，Ｓ１は、論理回路６４を経て４個の４入力加算器６５〜６８に供給される。これら加算器６５〜６８のうち、加算器６５，６６からは２つの加算出力Ｓ０，Ｓ１が、加算器６７，６８からは１つの加算出力Ｓ０がそれぞれ導出され、論理回路６９に入力される。この論理回路６９は、加算器６５，６６の各２つの加算出力Ｓ０，Ｓ１と、加算器６７，６８の各１つの加算出力Ｓ０に基づいて３ビットのモード信号ｍ０，ｍ１，ｍ２を出力する。このモード信号ｍ０，ｍ１，ｍ２に基づいて８つのモードが決定される。
【００３８】
上記構成の相関モード決定回路において、４つの相関値Ｓｒ，Ｓｌ，Ｓｔ，Ｓｂをそれぞれ比較して３段階の比較結果（“＞”，“＜”，“＝”）を得、これら比較結果を基に小さい順に０から順位をつける。この場合に、２ないし４方向が同じ順位になる場合もある。この順位の分布を基に表１に当てはめ、相関モードを決定する。なお、Ｍｏｄｅ１，２，５，６の場合では、分布が表とは異なる場合がある。例えば、Ｍｏｄｅ１では順位０が３方向で、残りの１方向の順位は１，２，３のどれでもあり得る。
【００３９】
続いて、相関順位からランク付けを行う。ここで、ランクと相関順位とは、便宜上、別なものである。ランクとは、同じ相関順位にある方向に対しても順番を付けたものである。同じ相関順位の場合の順番の付け方は、“右”から時計周りとする。例えば、上下左右が全て同じ相関順位であった場合は、右、上、左、下のランクはそれぞれ０，１，２，３となる。
【００４０】
以上のようにして、相関値→相関ゲイン変換回路２５において、相関係数を算出する際に相関モードとランクを決定し、この組み合わせによってそれぞれのランクの補間係数を算出することにより、各方向の補間係数、即ち水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎおよび水平垂直ＲＧ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤを決定できる。
【００４１】
ここで、補間係数を算出するに当り、相関値→相関ゲイン変換回路２５では、決定した相関モードにより補間係数の算出方法を変える構成を採っている。すなわち、水平垂直４方向の４つの相関値Ｓｒ，Ｓｌ，Ｓｔ，Ｓｂにおいて、その値の小さいものから順にＳ０，Ｓ１，Ｓ２，Ｓ３とし、これらに基づいて各モードごとに例えばルックアップテーブル（ＬＵＴ）から変数α（０≦α≦１／４）を求め、この変数αを用いて補間係数を算出するようにする。
【００４２】
すなわち、図１１に示すように、４つの相関値Ｓ０〜Ｓ３を演算回路７０Ａにおいて演算してＳ３−Ｓ０，Ｓ２−Ｓ０，Ｓ１−Ｓ０の３つの演算出力を得る。この３つの演算出力Ｓ３−Ｓ０，Ｓ２−Ｓ０，Ｓ１−Ｓ０を、選択回路７０Ｂにおいて、３ビットのモード信号ｍ０〜ｍ２で決まる各モードに対応して選択してルックアップテーブル７０Ｃに与えるようにする。
【００４３】
ルックアップテーブル７０Ｃにおいては、モード０ではα＝０とし、モード１ではＳ３−Ｓ０の値に対応する変数αを、モード２またはモード３ではＳ２−Ｓ０の値に対応する変数αを、モード４以降ではＳ１−Ｓ０の値に対応する変数αをそれぞれ設定する。そして、この変数αを用いて表２のように補間係数を算出するようにする。なお、ルックアップテーブル７０Ｃのテーブル値を外部から変更可能とすることで、変数αの値を任意に設定することができる。
【００４４】
【表２】
【００４５】
以上、水平垂直４方向の相関検出について述べたが、斜め４方向の相関検出に関しては、色分離後のＲＧＢの各信号に対し、それぞれ斜め方向の変調成分の絶対値を算出し、Ｒ：Ｇ：Ｂ＝１：４：１の割合で加算し、相対値とする。なお、右上、左上、左下、右下をそれぞれ、Ｄ１方向、Ｄ２方向、Ｄ３方向、Ｄ４方向とする。そして、図５の相関値→補間ゲイン変換回路３０において、水平垂直４方向の場合と同様にして、斜め４方向の補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎを補間係数として算出する。
【００４６】
次に、図４の補間部１５におけるＧ，Ｒ，Ｂの各補間部１８，１９，２０の具体的な構成の一例を図１２および図１３に示す。なお、図１２はＧ補間部１８の構成を、図１３はＲ，Ｂ補間部１９，２０の構成をそれぞれ示している。
【００４７】
先ず、図１２において、色分離後のＧのデータは水平垂直４方向、即ち右側、左側、上側、下側の各相関用処理回路７１，７２，７３，７４にそれぞれ供給され、これら相関用処理回路７１，７２，７３，７４において４方向の補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂが生成される。これら補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは、補間する方向にＬＰＦを通すことで生成される。実際には、高輝度用と低輝度用の２つのＬＰＦを設け、それぞれの出力に所定のゲインを掛けた後に加算することで、補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂの生成が行われる。
【００４８】
補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは各々、乗算器７５，７６，７７，７８において、図５に示すＶＨ相関検出部１６で決定された補間係数、即ち水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎがそれぞれ掛けられる。そして、加算器７９〜８１によって加算されることにより、Ｇの補間処理が行われる。補間処理後のＧの画像データは、（５）式で表される。
Ｇ＝Ｇｒ×ＲＧａｉｎ＋Ｇｌ×ＬＧａｉｎ
＋Ｇｔ×ＴＧａｉｎ＋Ｇｂ×ＢＧａｉｎ ……（５）
【００４９】
斜め４方向についても同様に、右上側、左上側、左下側、右下側の各相関用処理回路８２，８３，８４，８５において、Ｄ１／Ｄ２／Ｄ３／Ｄ４の各方向の補間データが生成され、乗算器８６，８７，８８，８９において、図５に示す斜め相関検出部１７で決定された斜め補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎがそれぞれ掛けられた後、加算器９０〜９２で足し合わされることによって補間処理が行われる。
【００５０】
また、水平垂直４方向相関検出／補間によるＧの画像データと、斜め４方向相関検出／補間によるＧの画像データを、状況に合わせて（６）式に示すように混合比を変化させて加算する。混合比の調整は、図５に示すＶＨ‐斜め比較回路３１で算出される斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎによって行われる。
Ｇ＝Ｇｖｈ×ＶＨＧａｉｎ＋Ｇｄ×ＤＧａｉｎ ……（６）
【００５１】
ここで、水平垂直方向と斜め方向は直交していないため、水平垂直と斜めのそれぞれの相関値の最大値Ｓ３と最小値Ｓ０の差（Ｓ３−Ｓ０）を比較し、この値の大きい方の補間係数が小さい方の補間係数よりも大きくなるように加算する。これは、検出方向に対して、平行または直交しているエッジの場合に、相関値の最大値と最小値の差が大きくなるためである。ただし、水平垂直と斜めの比較をする際に、水平垂直の算出値にオフセットを与え、標準で水平垂直補間を行い、斜め補間に適した場合にのみ斜め用の補間係数を大きくする。
【００５２】
水平垂直と斜めのそれぞれの相関値の最大値Ｓ３と最小値Ｓ０の差（Ｓ３−Ｓ０）を比較する際には、図１４の概念図に示すように、斜めの差（Ｓ３−Ｓ０）に対して所定の定数ＳＤｏｆｆｓｅｔを加算（又は、減算）した値に係数ＳＤＧａｉｎを掛けた値Ａを、水平垂直の差Ｂ（Ｓ３−Ｓ０）と比較し、その差（Ａ−Ｂ）に基づいて斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎを設定するようにする。
【００５３】
すなわち、図１２において、加算器８１の出力データに対して乗算器９３で斜め補間補正用ゲインＶＨＧａｉｎを掛けるとともに、加算器９２の出力データに対して乗算器９４で補間補正用ゲインＤＧａｉｎを掛け、これら乗算器９３，９４の各出力データを加算器９５で加算することにより、水平垂直４方向相関検出／補間によるＧの画像データと、斜め４方向相関検出／補間によるＧの画像データを所定の割合で混合（加算）するようにする。
【００５４】
以上、Ｇ補間部１８の構成および動作について説明したが、図１３に示すＲ，Ｂ補間部１９，２０の構成についても、図１２に示すＧ補間部１８の構成と基本的には同じである。したがって、図１３中、図１２と同等部分には同一符号を付して示してある。ただし、右側、左側、上側、下側の各相関用処理回路７１′，７２′，７３′，７４′における補間データの生成法については、Ｇの場合に比べて複雑である。その理由として２つあり、ＲＢ補間用相関検出を行うことと、Ｇ／２成分をＲＢに加えるためである。
【００５５】
そのため、ＲＧ補間用相関検出は、水平（右、左）の補間データ用と垂直方向（上、下）の補間データ用では別々に行う。具体的には、Ｒ画素およびＢ画素の信号からＲ信号／Ｂ信号を補間する際に、先述した水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤを、Ｒ／Ｂ専用の補間係数として算出して用いる。以下、Ｒ信号の補間処理を例に採って説明するが、Ｂ信号の補間処理についても同様である。
【００５６】
なお、ＲＧＢの原色ベイヤ配列のカラーフィルタ１１において、その色配列を示す図２から明らかなように、Ｇは水平方向または垂直方向の空間サンプリング数がＣＣＤエリアセンサ１２の全画素による空間サンプリング数と同じであるのに対し，Ｒ／Ｂは水平方向または垂直方向の空間サンプリング数がＣＣＤエリアセンサ１２の全画素による空間サンプリング数に比べて少ない。
【００５７】
図８に示す原色ベイヤ配列において、補間すべき画素がＲ２１の画素の場合では特別な処理は必要なく、Ｒ２１の信号をそのままＲ信号として使用する。補間すべき画素がＧ２２の場合は、左側補間はＲ２１の画素を、右側補間はＲ２３の画素を使用するが、上側補間と下側補間の場合では、図１５に示す補間係数算出回路９６を用いるようにする。この補間係数算出回路９６は、図５のＶＨ相関検出部１６における相関値→相関ゲイン変換回路２５の一部を構成している。
【００５８】
すなわち、ＶＨ相関検出部１６において、右側相関値算出回路２１で算出した右側相関値Ｓｒと左側相関値算出回路２２で算出した左側相関値Ｓｌを補間係数算出回路９６に入力し、この補間係数算出回路９６によって右側補間係数ＲＧａｉｎＤと左側補間係数ＬＧａｉｎＤを算出する。この補間係数算出回路９６の特性の一例を図１６に示す。なお、図１６の特性では、補間係数が０．０〜１．０の範囲のように示してあるが、補間係数の値そのものはいくつでも良く、実際に補間係数とＲ信号とを掛け合わせたときに結果的に０．０〜１．０の範囲に入れば問題ない。
【００５９】
このようにして算出された右側補間係数ＲＧａｉｎＤと左側補間係数ＬＧａｉｎＤが、図１３の右側相関用処理回路７１′および左側相関用処理回路７２′に入力されると、これら相関用処理回路７１′，７２′において、所定の演算処理が行われ、上側補間データＴＤａｔａと下側補間値ＢＤａｔａが算出される。相関用処理回路７１′，７２′における演算式としては、
ＴＤａｔａ＝Ｒ０１×ＬＧａｉｎＤ＋Ｒ０３×ＲＧａｉｎＤ
ＢＤａｔａ＝Ｒ４１×ＬＧａｉｎＤ＋Ｒ４３×ＲＧａｉｎＤ
【００６０】
または、
ＴＤａｔａ＝｛（Ｒ０１＋Ｒ２１）×ＬＧａｉｎＤ
＋（Ｒ０３＋Ｒ２３）×ＲＧａｉｎＤ｝／２
ＢＤａｔａ＝｛（Ｒ２１＋Ｒ４１）×ＬＧａｉｎＤ
＋（Ｒ２３＋Ｒ４３）×ＲＧａｉｎＤ｝／２
などが考えられる。
【００６１】
また、補間すべき画素Ｇ３３の場合には、上記と同様な処理方法で上側相関値Ｓｔ／下側相関値Ｓｂから上側補間係数ＴＧａｉｎＤ／下側補間係数ＢＧａｉｎＤを算出し、例えば次のような演算式にて右側補間データＲＤａｔａ／左側補間データＬＤａｔａを算出する。
ＬＤａｔａ＝Ｒ２１×ＴＧａｉｎＤ＋Ｒ４１×ＢＧａｉｎＤ
ＲＤａｔａ＝Ｒ２５×ＴＧａｉｎＤ＋Ｒ４５×ＢＧａｉｎＤ
【００６２】
さらに、補間すべき画素がＢ３２の場合では、上側相関値Ｓｔ／下側相関値Ｓｂから上側補間係数ＴＧａｉｎＤ／下側補間係数ＢＧａｉｎＤを、右側相関値Ｓｒ／左側相関値Ｓｌから右側補間係数ＲＧａｉｎＤ／左側補間係数ＬＧａｉｎＤをそれぞれ算出し、次のような演算式にて上側補間データＴＤａｔａ／下側補間データＢＤａｔａ／左側補間データＬＤａｔａ／右側補間データＲＤａｔａをそれぞれ算出する。
ＴＤａｔａ＝Ｒ２１×ＬＧａｉｎＤ＋Ｒ２３×ＲＧａｉｎＤ
ＢＤａｔａ＝Ｒ４１×ＬＧａｉｎＤ＋Ｒ４３×ＲＧａｉｎＤ
ＬＤａｔａ＝Ｒ２１×ＴＧａｉｎＤ＋Ｒ４１×ＢＧａｉｎＤ
ＲＤａｔａ＝Ｒ２３×ＴＧａｉｎＤ＋Ｒ４３×ＢＧａｉｎＤ
【００６３】
上述したように、ＲＧ補間用相関検出は、水平方向（右、左）の補間データ用と垂直方向（上、下）の補間データ用とで別々に行う。水平方向の補間データ用補間係数ＬＧａｉｎＤ，ＲＧａｉｎＤには、右側相関値Ｓｒと左側相関値Ｓｌを比較（Ｓｌ−Ｓｒ）して算出する。垂直方向の補間データ用補間係数ＴＧａｉｎＤ，ＢＧａｉｎＤには、上側相関値Ｓｔと下側相関値Ｓｂを比較（Ｓｂ−Ｓｔ）して算出する。
【００６４】
そして、これら補間係数ＴＧａｉｎＤ／ＢＧａｉｎＤ／ＬＧａｉｎＤ／ＲＧａｉｎＤに基づいて上側補間データＴＤａｔａ／下側補間データＢＤａｔａ／左側補間データＬＤａｔａ／右側補間データＲＤａｔａをそれぞれ算出した後、図５のＶＨ相関検出部１６で算出した４方向相関検出による水平垂直補間用係数ＴＧａｉｎ／ＢＧａｉｎ／ＬＧａｉｎ／ＲＧａｉｎを掛け合わせて加算し、Ｒ信号を生成する。
【００６５】
ここで、Ｒの上側補間データＴＤａｔａを生成する場合を例にとって考える。Ｒは元画像には水平垂直ともに１画素おきにしか情報がないため、補間すべき画素がＲ画素の場合はその画素のデータを使用し、Ｇｂ画素の場合では上側がＲ画素であるため、上側のＲ画素のデータを上側補間データとする。
【００６６】
しかし、Ｂ画素またはＧｒ画素の場合では、その垂直ライン上にＲの情報がないため、左右の垂直ラインのＲ画素とＧの１／２変調成分を基に上側補間データＴＤａｔａを生成する。具体的には、右側垂直ライン上のＲ画素と水平右側のＧの１／２変調成分を加算したものにＲＧａｉｎＤを係数として掛け合わせ、左側垂直ライン上のＲ画素と水平左側のＧの１／２変調成分を加算したものにＬＧａｉｎＤを係数として掛け合わせて足すことにより、上側補間データＴＤａｔａを生成する。
【００６７】
ところで、図８に示す原色ベイヤ配列において、Ｇ２２の画素に相当するＲ信号の補間を行う場合、水平方向の補間に関しては両側がＲであり、Ｒが疎であるため問題ないが、垂直方向の補間を行うとしても同一の垂直ラインではＧ０２，Ｂ１２，Ｇ２２，Ｂ３２，Ｇ４２のようにＧ信号またはＢ信号のみしか存在しない。このため、隣りの垂直ラインのＲ信号を用いる必要がある。
【００６８】
しかし、水平方向で信号レベルが急激に変化するような垂直のエッジを撮像すると、エッジがＧ２２の垂直ラインと隣りの例えばＲ２３の垂直ラインの間にくることがある。この場合には、Ｇ２２の位置のＲ信号のレベルはＲ０１／Ｒ２１／Ｒ４１などとはほぼ等しくなるべきだが、Ｒ０３／Ｒ２３／Ｒ４３などのＲ信号のレベルを使用するため、本来の信号レベルとは異なり、エッジに色が着くことが懸念される。
【００６９】
ところが、原色ベイヤ配列の信号処理において、上述したように、Ｒ画素およびＢ画素の信号からＲ信号／Ｂ信号を補間する際に、右側相関値Ｓｒと左側相関値Ｓｌに基づいて水平方向の補間データ用補間係数ＬＧａｉｎＤ，ＲＧａｉｎＤを、上側相関値Ｓｔと下側相関値Ｓｂに基づいて垂直方向の補間データ用補間係数ＴＧａｉｎＤ，ＢＧａｉｎＤを算出して用いるようにしたことで、エッジ部の色付き（色偽信号）を抑圧しつつ、４方向相関検出補間処理による解像度／解像感の向上が可能となる。
【００７０】
図１７は、本発明に係るカメラの一例を示す概略構成図である。図１７において、被写体からの入射光は、レンズ１０１等を含む光学系によってＣＣＤエリアセンサ１０２の受光面（撮像面）上に結像される。ＣＣＤエリアセンサ１０２の受光面上には、色配列が例えば原色ベイヤ配列のカラーフィルタ１０３が設けられている。ＣＣＤエリアセンサ１０２は、ＣＣＤ駆動回路１０４によって露光、信号電荷の読み出しおよび転送などの駆動制御が行われる。
【００７１】
ＣＣＤエリアセンサ１０２の出力信号は画像処理装置１０５に供給され、種々の信号処理が行われる。この画像処理装置１０５として、水平垂直および斜めの８方向の相関を検出し、その検出結果に基づいて適応型補間処理を行う上記実施形態に係る画像処理装置が用いられる。
【００７２】
このように、例えば原色ベイヤ配列のカラーフィルタ１０３を持つＣＣＤエリアセンサ１０２を撮像デバイスとして用いたカメラにおいて、水平垂直および斜めの８方向の相関を検出し、その検出結果に基づいて適応型補間処理を行うようにしたことで、カラーフィルタ１０３上において各色が飛び飛びに存在しても、解像感を損なうことがないとともに、折れ曲がった線や、直角に曲がった角の部分などにおいても良好に補間処理が行われるので、より良好な撮像画像を得ることができる。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、カラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う際に、補間画素に関して左右および上下の４方向に対応する画素情報に基づいてその４方向に対する相関値を算出し、この算出した４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより算出方法を変えて補間係数を決定し、この決定した補間係数に基づいて上記４方向に対応する画素情報を基に補間処理を行うようにしたことにより、相関値の算出方向に対して直交していない方向のエッジに対しても、良好に相関の度合いを判定できるため、補間処理後の斜めエッジがぼやけることなく良好に再現できるとともに、折れ曲がった線や、直角に曲がった角の部分などにおいても良好に補間することが可能となる。
【図面の簡単な説明】
【図１】本発明による画像処理装置の基本構成を示すブロック図である。
【図２】カラーフィルタの原色ベイヤ配列図である。
【図３】検出部の構成の一例を示すブロック図である。
【図４】補間部の構成の一例を示すブロック図である。
【図５】ＶＨ相関検出部および斜め相関検出部の具体的な構成の一例を示すブロック図である。
【図６】相関値算出回路の具体的な構成の一例を示すブロック図である。
【図７】変化量の算出の概念図である。
【図８】変化量の算出法を説明するための原色ベイヤ配列図である。
【図９】相関モード決定回路の具体的な構成の一例を示すブロック図である。
【図１０】輝度Ｙ０の検出の概念図である。
【図１１】変数αを算出する回路の具体的な構成の一例を示すブロック図である。
【図１２】Ｇ補間部の具体的な構成の一例を示すブロック図である。
【図１３】Ｒ，Ｂ補間部の具体的な構成の一例を示すブロック図である。
【図１４】斜め補間補正用ゲインの算出の概念図である。
【図１５】水平垂直ＲＢ補間係数を算出するための構成図である。
【図１６】補間係数算出回路の特性の一例を示す特性図である。
【図１７】本発明に係るカメラの一例を示す概略構成図である。
【符号の説明】
１１…カラーフィルタ、１２…ＣＣＤエリアセンサ、１４…検出部、１５…補間部、１６…ＶＨ相関検出部、１７…斜め相関検出部、１８…Ｇ補間部、１９…Ｒ補間部、２０…Ｂ補間部、２１〜２４，２６〜２９…相関値算出回路、２５，３０…相関値→相関ゲイン変換回路、３１…ＶＨ‐斜め比較回路、３３〜３６…変化量算出回路、３７〜３９…ＬＰＦ（ローパスフィルタ）、４５〜４８…絶対値化回路、４９〜５２…係数付加回路、５４〜５９…コンパレータ、９６…補間係数算出回路
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びにカメラに関し、特に所定の色配列のカラーフィルタを受光面上に有する固体撮像素子の出力信号を処理する画像処理装置および画像処理方法、並びにこれらを用いたカメラに関する。
【０００２】
【従来の技術】
色配列が例えば原色ベイヤ配列のカラーフィルタを受光面上に有する固体撮像素子の出力信号を処理する画像処理装置では、カラーフィルタ上において各色が飛び飛びに存在することから、解像感を損なわないようにするために補間処理が行われる。この種の画像処理装置においては、従来、水平方向の相反する２方向（左右方向）または垂直方向の相反する２方向（上下方向）のように２方向のみの相関値を算出し、それを基に補間処理を行っていた。すなわち、補間すべき画素の周囲例えば５×５画素の領域の画素情報から横縞か縦縞かを判定し、横縞の場合には補間すべき画素の水平方向の両側の画素の信号を使って補間し、縦縞の場合には垂直方向の両側の画素の信号を使って補間するようにしていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、２方向のみの相関検出による補間を行う従来の画像処理装置では、水平方向または垂直方向のエッジ部においては有効ではあるが、斜めのエッジ部分や、水平／垂直方向のエッジでも、１画素幅程度の線分の場合には、水平のエッジと垂直のエッジの交点や、線分の折れ曲がり部では適正なエッジ検出ができなかったり、また斜め線の場合には、水平の相関が強いか垂直の相関が強いかが判定できずに、水平エッジ部の処理と垂直エッジ部の処理の平均をとる処理（平均値補間）を行いがちであった。
【０００４】
このため、従来の画像処理装置においては、上記の例で示される箇所では、解像感のないボケた画像になったり、途切れてはならない箇所で線が途切れたりするような不具合が発生することになる。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、折れ曲がった線や、直角に曲がった角の部分などにおいても良好に補間処理を行うことが可能な画像処理装置および画像処理方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明による画像処理装置は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う画像処理装置であって、補間すべき画素（以下、補間画素と称す）に関して左右および上下の互いに９０°の整数倍の角度をなす４方向に対応する画素情報に基づいてその４方向に対する相関値を算出する相関値算出回路と、この相関値算出回路によって算出された上記４方向に対する相関値を基に補間係数を決定する係数決定回路と、この係数決定回路で決定された補間係数を用いて上記４方向に対応する画素情報を基に補間処理を行う補間処理回路とを備え、前記係数決定回路が、前記４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより前記補間係数の算出方法を変えることを特徴としている。
【０００７】
また、本発明による画像処理方法は、所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う画像処理方法であって、補間画素に関して左右および上下の互いに９０°の整数倍の角度をなす４方向に対応する画素情報に基づいてその４方向に対する相関値を算出する算出ステップと、この算出ステップで算出した４方向に対する相関値を基に補間係数を決定する決定ステップと、この決定ステップで決定した補間係数に基づいて上記４方向に対応する画素情報を基に補間処理を行う処理ステップとを有し、前記決定ステップでは、前記４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより前記補間係数の算出方法を変えることを特徴としている。
【０００８】
上記構成の画像処理装置およびその処理方法において、先ず、補間画素に関して左右（水平方向）および上下（垂直方向）の計４方向に対する特性値、即ち相関の程度（度合い）を示す相関値を算出する。次いで、この４方向に対する相関値を基に、補間時に用いる補間係数を決定する。この補間係数を決定するに当たって、４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより補間係数の算出方法を変えるようにする。そして、相関値を算出する際に用いた４方向に対応する画素情報に対して補間係数をそれぞれ掛け合わせた後加算することによって補間処理を行う。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明による画像処理装置の基本構成を示すブロック図である。ここで、本画像処理装置の処理対象となるカラー固体撮像素子は、色配列として例えば図２に示すＲ（赤）Ｇ（緑）Ｂ（青）の原色ベイヤ配列のカラーフィルタ１１を受光面上に有する単板式固体撮像素子１２である。
【００１０】
なお、色配列は原色ベイヤ配列に限定されるものではなく、さらにカラーフィルタもＲＧＢの原色の色配列に限られるものではなく、他の原色の色配列の場合でも、補色を使用した色配列（例えば、Ｙｅ／Ｃｙ／Ｍｇ／Ｇ）の場合でも同様に適応可能である。また、固体撮像素子１２としては、全画素の信号電荷を独立に読み出すいわゆる全画素読み出し方式のＣＣＤ(Charge Coupled Device) 固体撮像素子（以下、ＣＣＤエリアセンサと称する）を用いるものとするが、全画素読み出し方式ではないＣＣＤ固体撮像素子にも適応可能である。
【００１１】
ＣＣＤエリアセンサ１２から出力されるＲＧＢ点順次データは、信号処理部１３において黒レベルクランプやホワイトバランスなどの信号処理が行われた後、検出部１４および補間部１５に供給される。検出部１４は、入力されるＲＧＢ点順次データから最適な補間方法を検出し、その補間情報を補間部１５へ送る。補間部１５は、検出部１４から入力される補間情報を基にＲＧＢ点順次データに対して補間処理を行って出力する。
【００１２】
検出部１４は、図３に示すように、補間画素に関して上下および左右の互いに９０°の整数倍の角度をなす４方向、即ち垂直（Ｖ）方向の相反する２方向および水平（Ｈ）方向の相反する２方向の計４方向の相関の程度を検出するＶＨ相関検出部１６と、補間画素に関して右上、左上、左下、右下の斜め方向、即ち上記４方向に対してそれぞれ４５°の角度をなす４方向の相関の程度を検出する斜め相関検出部１７とを有する構成となっている。
【００１３】
なお、本例では、上下左右４方向に加え、斜め４方向の計８方向の相関の程度を検出する構成を例に採っているが、上下左右の４方向だけの相関の程度を検出する構成であっても良い。ただし、以下の説明では、８方向の場合を例に採って説明するものとする。
【００１４】
一方、補間部１５は、図４に示すように、検出部１４から与えられる補間情報に基づいて、Ｇの画素情報に対して補間処理を行うＧ補間部１８と、Ｒの画素情報に対して補間処理を行うＲ補間部１９と、Ｂの画素情報に対して補間処理を行うＢ補間部２０とを有する構成となっている。
【００１５】
図５は、ＶＨ相関検出部１６および斜め相関検出部１７の具体的な構成の一例を示すブロック図である。
【００１６】
ＶＨ相関検出部１６は、補間画素の右側の画素の画素情報に基づいて相関の程度を示す相関値を算出する右側相関値算出回路２１と、補間画素の左側の画素の画素情報に基づいて相関値を算出する左側相関値算出回路２２と、補間画素の上側の画素の画素情報に基づいて相関値を算出する上側相関値算出回路２３と、補間画素の下側の画素の画素情報に基づいて相関値を算出する下側相関値算出回路２４と、これら相関値算出回路２１〜２４で算出した各相関値を補間ゲインに変換して出力する相関値→補間ゲイン変換回路２５とから構成されている。
【００１７】
上記構成のＶＨ相関検出部１６において、相関値→補間ゲイン変換回路２５からは、水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎおよび水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤが補間係数として出力される。なお、水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤについては、後で詳述する。
【００１８】
斜め相関検出部１７は、補間画素の右上側の画素の画素情報に基づいて相関値を算出する右上側相関値算出回路２６と、補間画素の左上側の画素の画素情報に基づいて相関値を算出する左上側相関値算出回路２７と、補間画素の左下側の画素の画素情報に基づいて相関値を算出する左下側相関値算出回路２８と、補間画素の右下側の画素の画素情報に基づいて相関値を算出する右下側相関値算出回路２９と、これら相関値算出回路２６〜２９で算出した各相関値を補間ゲインに変換し、補間係数として斜め補間用ゲインＤ１Ｇａｉｎ〜Ｄ４Ｇａｉｎを出力する相関値→補間ゲイン変換回路３０とから構成されている。
【００１９】
さらに、水平垂直４方向と斜め４方向は互いに直交していないため、ＶＨ‐斜め比較回路３１において、水平垂直の相関値と斜めの相関値を比較することにより、斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎを補間係数として算出するようにしている。この斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎの算出法については、後で詳細に説明する。
【００２０】
図６は、ＶＨ相関検出部１６における例えば左側相関値算出回路２２の具体的な構成の一例を示すブロック図である。なお、右側相関値算出回路２１、上側相関値算出回路２３および下側相関値算出回路２４についても、全く同じ回路構成を採る。
【００２１】
左側相関値算出回路２２において、入力されたＲＧＢ点順次信号は、色分離回路３２において、Ｒ画素／Ｇ画素／Ｂ画素の各色にそれぞれ対応するＲ信号／Ｇ信号／Ｂ信号に分離されて出力される。Ｇ信号は、変化量１，２算出回路３３，３４にそれぞれ供給される。Ｒ信号は、変化量算出回路３５に供給される。Ｂ信号は、変化量算出回路３６に供給される。
【００２２】
ここで、Ｇ信号についてのみ、２つの異なる変化量１，２算出回路３３，３４に入力するのは、図２のＲＧＢ原色ベイヤ配列を見ても分かるように、ＧはＲ／Ｂに比べて水平方向および垂直方向のサンプリング数が倍であり、Ｇでは隣り合った垂直ラインでの変化量１と、１ラインおいた垂直ライン同士での変化量２を算出するためである。なお、ここでは、隣り合った垂直ライン間または１ラインおいた垂直ライン間での例を採ったが、２ライン以上おいた垂直ライン間であっても良い。
【００２３】
変化量１，２算出回路３３，３４および変化量算出回路３５，３６は、図７の概念図に示すように、変化量を算出する方向に対して直交する向きにしたＬＰＦ（１，２，２，２，１）３７，３８，３９を通した後に、算出用ＢＰＦ４０，４１，４２，４３を通すことにより変化量を算出する構成となっている。ここで、算出用ＢＰＦ４０，４１，４２，４３は、Ｇについては１／２相関（１，−１）と、１／４相関（１，０，−１）を使用し、Ｒ／Ｂについては１／４相関（１，１，−１，−１）を使用する。
【００２４】
これら変化量算出回路３３，３４，３５，３６で算出された各変化量は、絶対値化回路４５，４６，４７，４８で絶対値化された後係数付加回路４９，５０，５１，５２に供給される。係数付加回路４９，５０，５１，５２は、絶対値化回路４５，４６，４７，４８で絶対値化された各変化量に対して別途設定された係数をそれぞれ掛け合わせて出力する。そして、係数付加回路４９，５０，５１，５２の各出力は、加算回路５３で加え合わされた後、上下左右の相関値Ｓｔ，Ｓｂ，Ｓｌ，Ｓｒとして出力される。なお、ＲＢの相関値への寄与がＧに比べて低くなるように１／４して加算する。
【００２５】
ここで、係数付加回路４９，５０，５１，５２において係数を掛ける理由は、Ｒ／Ｇ／Ｂの各色は輝度を形成する際にも、ＮＴＳＣテレビジョン方式の場合には０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂとして計算するように、人間の視覚特性に合わせるためである。ただし、計算量やゲート規模を削減するためには、Ｒ：Ｇ：Ｂが３：６：１の比率、１：２：１の比率または２：４：１の比率になるように簡易的な係数を設定する方が良い。
【００２６】
続いて、上記構成の左側相関値算出回路２２における変化量算出回路３３〜３６による左方向の変化量の算出法につき、図８の原色ベイヤ配列図を用いて説明する。ここでは、左方向の変化量の算出法について述べるが、他の方向（右／上／下の各方向）についても、添え字が変わるだけで全く同じである。
【００２７】
先ず、Ｇについては、隣り合った垂直ラインでの変化量が（１）式により、１ラインおいた垂直ライン同士での変化量が（２）式によりそれぞれ算出される。なお、（１）式／（２）式では、画素Ｇ２２に対する相関を検出する際の式を示している。一方、Ｒ信号／Ｂ信号では、１ラインおきにしか同じ色の信号が存在しないため、１ラインおいた垂直ライン間の変化量が、（３）式／（４）式によりそれぞれ算出される。また、画素Ｇ３３に対しては、水平／垂直を表わす添え字がそれぞれ１ずつ増加する他に、Ｒ信号とＢ信号で算出方法が入れ替わる。
【００２８】
【数１】
図５に示すＶＨ相関検出部１６において、相関係数を決定する回路である相関値→相関ゲイン変換回路２５は、相関係数を決定するに当り、相関値算出回路２１〜２４で算出された４方向の相関値Ｓｒ，Ｓｌ，Ｓｔ，Ｓｂを基に、相関モードを決定する。相関モードを導入する理由は、単に相関値を順位付けした場合では、相関の順位に対して補間係数の決定が難しいためである。
【００３０】
例えば、４つの相関値がほとんど同じである場合（１００，１０１，１０２，１０３）と、全く異なる場合（０，１０，１００，５００）では、補間係数の算出結果は異なるべきである。そこで、相関の順位決定とは別に相関係数の分布を示す相関モードを導入する。相関モードは、４つの相関値Ｓｒ，Ｓｌ，Ｓｔ，Ｓｂがどういう分布になっているかを表わすもので、表１に示すように、０から７までの８つのモードからなる。
【００３１】
【表１】
図９は、相関モードを決定するための相関モード決定回路の具体的な構成の一例を示すブロック図である。
【００３３】
図９において、４つの相関値Ｓｒ，Ｓｔ，Ｓｌ，Ｓｂをそれぞれ比較するための６個のコンパレータ５４〜５９が設けられている。右方向の相関値Ｓｒは、コンパレータ５４，５５，５７の各一方の比較入力Ａとなる。上方向の相関値Ｓｔは、コンパレータ５４の他方の比較入力Ｂになるとともに、コンパレータ５６，５８の各一方の比較入力Ａとなる。左方向の相関値Ｓｌは、コンパレータ５５，５６の各他方の比較入力Ｂになるとともに、コンパレータ５９の一方の比較入力Ａとなる。下方向の相関値Ｓｂは、コンパレータ５７，５８，５９の各他方の比較入力Ｂとなる。
【００３４】
ここで、コンパレータ５４〜５９は、２つの比較入力Ａ，Ｂを比較することにより、“＞”（大），“＜”（小），“＝”（等価）の３段階の比較結果を出力する構成となっている。すなわち、Ａ＞Ｂ，Ａ＜Ｂの２つの比較結果に加え、比較する２つの相関値の差の絶対値が、あるリファレンス値ＴＨよりも小さい場合は“＝”であるとする。なお、このリファレンス値ＴＨとしては、補間画素の近傍の画素の平均レベルまたは加重平均レベル、例えば補間画素の近傍での輝度Ｙ０にある係数を掛けたものを使用する。図１０は、輝度Ｙ０の検出の概念図である。
【００３５】
コンパレータ５４〜５９の後段には、右、上、左、下にそれぞれ対応した４個の１ビット全加算器６０〜６３が設けられている。全加算器６０は、コンパレータ５４の比較結果Ａ＞Ｂを一方の加算入力Ｘ、コンパレータ５５の比較結果Ａ＞Ｂを他方の加算入力Ｙ、コンパレータ５７の比較結果Ａ＞Ｂを桁上げ入力Ｃとする。全加算器６１は、コンパレータ５４の比較結果Ａ＜Ｂを一方の加算入力Ｘ、コンパレータ５６の比較結果Ａ＞Ｂを他方の加算入力Ｙ、コンパレータ５８の比較結果Ａ＞Ｂを桁上げ入力Ｃとする。
【００３６】
全加算器６２は、コンパレータ５５の比較結果Ａ＜Ｂを一方の加算入力Ｘ、コンパレータ５６の比較結果Ａ＜Ｂを他方の加算入力Ｙ、コンパレータ５９の比較結果Ａ＞Ｂを桁上げ入力Ｃとする。全加算器６３は、コンパレータ５７の比較結果Ａ＜Ｂを一方の加算入力Ｘ、コンパレータ５８の比較結果Ａ＜Ｂを他方の加算入力Ｙ、コンパレータ５９の比較結果Ａ＜Ｂを桁上げ入力Ｃとする。そして、これら全加算器６０〜６３は、２つの加算入力Ｘ，Ｙおよび桁上げ入力Ｃに基づいて自分の順位を判定し、判定結果Ｓ０，Ｓ１を出力する。
【００３７】
全加算器６０〜６３の各判定結果Ｓ０，Ｓ１は、論理回路６４を経て４個の４入力加算器６５〜６８に供給される。これら加算器６５〜６８のうち、加算器６５，６６からは２つの加算出力Ｓ０，Ｓ１が、加算器６７，６８からは１つの加算出力Ｓ０がそれぞれ導出され、論理回路６９に入力される。この論理回路６９は、加算器６５，６６の各２つの加算出力Ｓ０，Ｓ１と、加算器６７，６８の各１つの加算出力Ｓ０に基づいて３ビットのモード信号ｍ０，ｍ１，ｍ２を出力する。このモード信号ｍ０，ｍ１，ｍ２に基づいて８つのモードが決定される。
【００３８】
上記構成の相関モード決定回路において、４つの相関値Ｓｒ，Ｓｌ，Ｓｔ，Ｓｂをそれぞれ比較して３段階の比較結果（“＞”，“＜”，“＝”）を得、これら比較結果を基に小さい順に０から順位をつける。この場合に、２ないし４方向が同じ順位になる場合もある。この順位の分布を基に表１に当てはめ、相関モードを決定する。なお、Ｍｏｄｅ１，２，５，６の場合では、分布が表とは異なる場合がある。例えば、Ｍｏｄｅ１では順位０が３方向で、残りの１方向の順位は１，２，３のどれでもあり得る。
【００３９】
続いて、相関順位からランク付けを行う。ここで、ランクと相関順位とは、便宜上、別なものである。ランクとは、同じ相関順位にある方向に対しても順番を付けたものである。同じ相関順位の場合の順番の付け方は、“右”から時計周りとする。例えば、上下左右が全て同じ相関順位であった場合は、右、上、左、下のランクはそれぞれ０，１，２，３となる。
【００４０】
以上のようにして、相関値→相関ゲイン変換回路２５において、相関係数を算出する際に相関モードとランクを決定し、この組み合わせによってそれぞれのランクの補間係数を算出することにより、各方向の補間係数、即ち水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎおよび水平垂直ＲＧ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤを決定できる。
【００４１】
ここで、補間係数を算出するに当り、相関値→相関ゲイン変換回路２５では、決定した相関モードにより補間係数の算出方法を変える構成を採っている。すなわち、水平垂直４方向の４つの相関値Ｓｒ，Ｓｌ，Ｓｔ，Ｓｂにおいて、その値の小さいものから順にＳ０，Ｓ１，Ｓ２，Ｓ３とし、これらに基づいて各モードごとに例えばルックアップテーブル（ＬＵＴ）から変数α（０≦α≦１／４）を求め、この変数αを用いて補間係数を算出するようにする。
【００４２】
すなわち、図１１に示すように、４つの相関値Ｓ０〜Ｓ３を演算回路７０Ａにおいて演算してＳ３−Ｓ０，Ｓ２−Ｓ０，Ｓ１−Ｓ０の３つの演算出力を得る。この３つの演算出力Ｓ３−Ｓ０，Ｓ２−Ｓ０，Ｓ１−Ｓ０を、選択回路７０Ｂにおいて、３ビットのモード信号ｍ０〜ｍ２で決まる各モードに対応して選択してルックアップテーブル７０Ｃに与えるようにする。
【００４３】
ルックアップテーブル７０Ｃにおいては、モード０ではα＝０とし、モード１ではＳ３−Ｓ０の値に対応する変数αを、モード２またはモード３ではＳ２−Ｓ０の値に対応する変数αを、モード４以降ではＳ１−Ｓ０の値に対応する変数αをそれぞれ設定する。そして、この変数αを用いて表２のように補間係数を算出するようにする。なお、ルックアップテーブル７０Ｃのテーブル値を外部から変更可能とすることで、変数αの値を任意に設定することができる。
【００４４】
【表２】
以上、水平垂直４方向の相関検出について述べたが、斜め４方向の相関検出に関しては、色分離後のＲＧＢの各信号に対し、それぞれ斜め方向の変調成分の絶対値を算出し、Ｒ：Ｇ：Ｂ＝１：４：１の割合で加算し、相対値とする。なお、右上、左上、左下、右下をそれぞれ、Ｄ１方向、Ｄ２方向、Ｄ３方向、Ｄ４方向とする。そして、図５の相関値→補間ゲイン変換回路３０において、水平垂直４方向の場合と同様にして、斜め４方向の補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎを補間係数として算出する。
【００４６】
次に、図４の補間部１５におけるＧ，Ｒ，Ｂの各補間部１８，１９，２０の具体的な構成の一例を図１２および図１３に示す。なお、図１２はＧ補間部１８の構成を、図１３はＲ，Ｂ補間部１９，２０の構成をそれぞれ示している。
【００４７】
先ず、図１２において、色分離後のＧのデータは水平垂直４方向、即ち右側、左側、上側、下側の各相関用処理回路７１，７２，７３，７４にそれぞれ供給され、これら相関用処理回路７１，７２，７３，７４において４方向の補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂが生成される。これら補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは、補間する方向にＬＰＦを通すことで生成される。実際には、高輝度用と低輝度用の２つのＬＰＦを設け、それぞれの出力に所定のゲインを掛けた後に加算することで、補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂの生成が行われる。
【００４８】
補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは各々、乗算器７５，７６，７７，７８において、図５に示すＶＨ相関検出部１６で決定された補間係数、即ち水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎがそれぞれ掛けられる。そして、加算器７９〜８１によって加算されることにより、Ｇの補間処理が行われる。補間処理後のＧの画像データは、（５）式で表される。
Ｇ＝Ｇｒ×ＲＧａｉｎ＋Ｇｌ×ＬＧａｉｎ
＋Ｇｔ×ＴＧａｉｎ＋Ｇｂ×ＢＧａｉｎ ……（５）
【００４９】
斜め４方向についても同様に、右上側、左上側、左下側、右下側の各相関用処理回路８２，８３，８４，８５において、Ｄ１／Ｄ２／Ｄ３／Ｄ４の各方向の補間データが生成され、乗算器８６，８７，８８，８９において、図５に示す斜め相関検出部１７で決定された斜め補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎがそれぞれ掛けられた後、加算器９０〜９２で足し合わされることによって補間処理が行われる。
【００５０】
また、水平垂直４方向相関検出／補間によるＧの画像データと、斜め４方向相関検出／補間によるＧの画像データを、状況に合わせて（６）式に示すように混合比を変化させて加算する。混合比の調整は、図５に示すＶＨ‐斜め比較回路３１で算出される斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎによって行われる。
Ｇ＝Ｇｖｈ×ＶＨＧａｉｎ＋Ｇｄ×ＤＧａｉｎ ……（６）
【００５１】
ここで、水平垂直方向と斜め方向は直交していないため、水平垂直と斜めのそれぞれの相関値の最大値Ｓ３と最小値Ｓ０の差（Ｓ３−Ｓ０）を比較し、この値の大きい方の補間係数が小さい方の補間係数よりも大きくなるように加算する。これは、検出方向に対して、平行または直交しているエッジの場合に、相関値の最大値と最小値の差が大きくなるためである。ただし、水平垂直と斜めの比較をする際に、水平垂直の算出値にオフセットを与え、標準で水平垂直補間を行い、斜め補間に適した場合にのみ斜め用の補間係数を大きくする。
【００５２】
水平垂直と斜めのそれぞれの相関値の最大値Ｓ３と最小値Ｓ０の差（Ｓ３−Ｓ０）を比較する際には、図１４の概念図に示すように、斜めの差（Ｓ３−Ｓ０）に対して所定の定数ＳＤｏｆｆｓｅｔを加算（又は、減算）した値に係数ＳＤＧａｉｎを掛けた値Ａを、水平垂直の差Ｂ（Ｓ３−Ｓ０）と比較し、その差（Ａ−Ｂ）に基づいて斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎを設定するようにする。
【００５３】
すなわち、図１２において、加算器８１の出力データに対して乗算器９３で斜め補間補正用ゲインＶＨＧａｉｎを掛けるとともに、加算器９２の出力データに対して乗算器９４で補間補正用ゲインＤＧａｉｎを掛け、これら乗算器９３，９４の各出力データを加算器９５で加算することにより、水平垂直４方向相関検出／補間によるＧの画像データと、斜め４方向相関検出／補間によるＧの画像データを所定の割合で混合（加算）するようにする。
【００５４】
以上、Ｇ補間部１８の構成および動作について説明したが、図１３に示すＲ，Ｂ補間部１９，２０の構成についても、図１２に示すＧ補間部１８の構成と基本的には同じである。したがって、図１３中、図１２と同等部分には同一符号を付して示してある。ただし、右側、左側、上側、下側の各相関用処理回路７１′，７２′，７３′，７４′における補間データの生成法については、Ｇの場合に比べて複雑である。その理由として２つあり、ＲＢ補間用相関検出を行うことと、Ｇ／２成分をＲＢに加えるためである。
【００５５】
そのため、ＲＧ補間用相関検出は、水平（右、左）の補間データ用と垂直方向（上、下）の補間データ用では別々に行う。具体的には、Ｒ画素およびＢ画素の信号からＲ信号／Ｂ信号を補間する際に、先述した水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤを、Ｒ／Ｂ専用の補間係数として算出して用いる。以下、Ｒ信号の補間処理を例に採って説明するが、Ｂ信号の補間処理についても同様である。
【００５６】
なお、ＲＧＢの原色ベイヤ配列のカラーフィルタ１１において、その色配列を示す図２から明らかなように、Ｇは水平方向または垂直方向の空間サンプリング数がＣＣＤエリアセンサ１２の全画素による空間サンプリング数と同じであるのに対し，Ｒ／Ｂは水平方向または垂直方向の空間サンプリング数がＣＣＤエリアセンサ１２の全画素による空間サンプリング数に比べて少ない。
【００５７】
図８に示す原色ベイヤ配列において、補間すべき画素がＲ２１の画素の場合では特別な処理は必要なく、Ｒ２１の信号をそのままＲ信号として使用する。補間すべき画素がＧ２２の場合は、左側補間はＲ２１の画素を、右側補間はＲ２３の画素を使用するが、上側補間と下側補間の場合では、図１５に示す補間係数算出回路９６を用いるようにする。この補間係数算出回路９６は、図５のＶＨ相関検出部１６における相関値→相関ゲイン変換回路２５の一部を構成している。
【００５８】
すなわち、ＶＨ相関検出部１６において、右側相関値算出回路２１で算出した右側相関値Ｓｒと左側相関値算出回路２２で算出した左側相関値Ｓｌを補間係数算出回路９６に入力し、この補間係数算出回路９６によって右側補間係数ＲＧａｉｎＤと左側補間係数ＬＧａｉｎＤを算出する。この補間係数算出回路９６の特性の一例を図１６に示す。なお、図１６の特性では、補間係数が０．０〜１．０の範囲のように示してあるが、補間係数の値そのものはいくつでも良く、実際に補間係数とＲ信号とを掛け合わせたときに結果的に０．０〜１．０の範囲に入れば問題ない。
【００５９】
このようにして算出された右側補間係数ＲＧａｉｎＤと左側補間係数ＬＧａｉｎＤが、図１３の右側相関用処理回路７１′および左側相関用処理回路７２′に入力されると、これら相関用処理回路７１′，７２′において、所定の演算処理が行われ、上側補間データＴＤａｔａと下側補間値ＢＤａｔａが算出される。相関用処理回路７１′，７２′における演算式としては、
ＴＤａｔａ＝Ｒ０１×ＬＧａｉｎＤ＋Ｒ０３×ＲＧａｉｎＤ
ＢＤａｔａ＝Ｒ４１×ＬＧａｉｎＤ＋Ｒ４３×ＲＧａｉｎＤ
【００６０】
または、
ＴＤａｔａ＝｛（Ｒ０１＋Ｒ２１）×ＬＧａｉｎＤ
＋（Ｒ０３＋Ｒ２３）×ＲＧａｉｎＤ｝／２
ＢＤａｔａ＝｛（Ｒ２１＋Ｒ４１）×ＬＧａｉｎＤ
＋（Ｒ２３＋Ｒ４３）×ＲＧａｉｎＤ｝／２
などが考えられる。
【００６１】
また、補間すべき画素Ｇ３３の場合には、上記と同様な処理方法で上側相関値Ｓｔ／下側相関値Ｓｂから上側補間係数ＴＧａｉｎＤ／下側補間係数ＢＧａｉｎＤを算出し、例えば次のような演算式にて右側補間データＲＤａｔａ／左側補間データＬＤａｔａを算出する。
ＬＤａｔａ＝Ｒ２１×ＴＧａｉｎＤ＋Ｒ４１×ＢＧａｉｎＤ
ＲＤａｔａ＝Ｒ２５×ＴＧａｉｎＤ＋Ｒ４５×ＢＧａｉｎＤ
【００６２】
さらに、補間すべき画素がＢ３２の場合では、上側相関値Ｓｔ／下側相関値Ｓｂから上側補間係数ＴＧａｉｎＤ／下側補間係数ＢＧａｉｎＤを、右側相関値Ｓｒ／左側相関値Ｓｌから右側補間係数ＲＧａｉｎＤ／左側補間係数ＬＧａｉｎＤをそれぞれ算出し、次のような演算式にて上側補間データＴＤａｔａ／下側補間データＢＤａｔａ／左側補間データＬＤａｔａ／右側補間データＲＤａｔａをそれぞれ算出する。
ＴＤａｔａ＝Ｒ２１×ＬＧａｉｎＤ＋Ｒ２３×ＲＧａｉｎＤ
ＢＤａｔａ＝Ｒ４１×ＬＧａｉｎＤ＋Ｒ４３×ＲＧａｉｎＤ
ＬＤａｔａ＝Ｒ２１×ＴＧａｉｎＤ＋Ｒ４１×ＢＧａｉｎＤ
ＲＤａｔａ＝Ｒ２３×ＴＧａｉｎＤ＋Ｒ４３×ＢＧａｉｎＤ
【００６３】
上述したように、ＲＧ補間用相関検出は、水平方向（右、左）の補間データ用と垂直方向（上、下）の補間データ用とで別々に行う。水平方向の補間データ用補間係数ＬＧａｉｎＤ，ＲＧａｉｎＤには、右側相関値Ｓｒと左側相関値Ｓｌを比較（Ｓｌ−Ｓｒ）して算出する。垂直方向の補間データ用補間係数ＴＧａｉｎＤ，ＢＧａｉｎＤには、上側相関値Ｓｔと下側相関値Ｓｂを比較（Ｓｂ−Ｓｔ）して算出する。
【００６４】
そして、これら補間係数ＴＧａｉｎＤ／ＢＧａｉｎＤ／ＬＧａｉｎＤ／ＲＧａｉｎＤに基づいて上側補間データＴＤａｔａ／下側補間データＢＤａｔａ／左側補間データＬＤａｔａ／右側補間データＲＤａｔａをそれぞれ算出した後、図５のＶＨ相関検出部１６で算出した４方向相関検出による水平垂直補間用係数ＴＧａｉｎ／ＢＧａｉｎ／ＬＧａｉｎ／ＲＧａｉｎを掛け合わせて加算し、Ｒ信号を生成する。
【００６５】
ここで、Ｒの上側補間データＴＤａｔａを生成する場合を例にとって考える。Ｒは元画像には水平垂直ともに１画素おきにしか情報がないため、補間すべき画素がＲ画素の場合はその画素のデータを使用し、Ｇｂ画素の場合では上側がＲ画素であるため、上側のＲ画素のデータを上側補間データとする。
【００６６】
しかし、Ｂ画素またはＧｒ画素の場合では、その垂直ライン上にＲの情報がないため、左右の垂直ラインのＲ画素とＧの１／２変調成分を基に上側補間データＴＤａｔａを生成する。具体的には、右側垂直ライン上のＲ画素と水平右側のＧの１／２変調成分を加算したものにＲＧａｉｎＤを係数として掛け合わせ、左側垂直ライン上のＲ画素と水平左側のＧの１／２変調成分を加算したものにＬＧａｉｎＤを係数として掛け合わせて足すことにより、上側補間データＴＤａｔａを生成する。
【００６７】
ところで、図８に示す原色ベイヤ配列において、Ｇ２２の画素に相当するＲ信号の補間を行う場合、水平方向の補間に関しては両側がＲであり、Ｒが疎であるため問題ないが、垂直方向の補間を行うとしても同一の垂直ラインではＧ０２，Ｂ１２，Ｇ２２，Ｂ３２，Ｇ４２のようにＧ信号またはＢ信号のみしか存在しない。このため、隣りの垂直ラインのＲ信号を用いる必要がある。
【００６８】
しかし、水平方向で信号レベルが急激に変化するような垂直のエッジを撮像すると、エッジがＧ２２の垂直ラインと隣りの例えばＲ２３の垂直ラインの間にくることがある。この場合には、Ｇ２２の位置のＲ信号のレベルはＲ０１／Ｒ２１／Ｒ４１などとはほぼ等しくなるべきだが、Ｒ０３／Ｒ２３／Ｒ４３などのＲ信号のレベルを使用するため、本来の信号レベルとは異なり、エッジに色が着くことが懸念される。
【００６９】
ところが、原色ベイヤ配列の信号処理において、上述したように、Ｒ画素およびＢ画素の信号からＲ信号／Ｂ信号を補間する際に、右側相関値Ｓｒと左側相関値Ｓｌに基づいて水平方向の補間データ用補間係数ＬＧａｉｎＤ，ＲＧａｉｎＤを、上側相関値Ｓｔと下側相関値Ｓｂに基づいて垂直方向の補間データ用補間係数ＴＧａｉｎＤ，ＢＧａｉｎＤを算出して用いるようにしたことで、エッジ部の色付き（色偽信号）を抑圧しつつ、４方向相関検出補間処理による解像度／解像感の向上が可能となる。
【００７０】
図１７は、本発明に係るカメラの一例を示す概略構成図である。図１７において、被写体からの入射光は、レンズ１０１等を含む光学系によってＣＣＤエリアセンサ１０２の受光面（撮像面）上に結像される。ＣＣＤエリアセンサ１０２の受光面上には、色配列が例えば原色ベイヤ配列のカラーフィルタ１０３が設けられている。ＣＣＤエリアセンサ１０２は、ＣＣＤ駆動回路１０４によって露光、信号電荷の読み出しおよび転送などの駆動制御が行われる。
【００７１】
ＣＣＤエリアセンサ１０２の出力信号は画像処理装置１０５に供給され、種々の信号処理が行われる。この画像処理装置１０５として、水平垂直および斜めの８方向の相関を検出し、その検出結果に基づいて適応型補間処理を行う上記実施形態に係る画像処理装置が用いられる。
【００７２】
このように、例えば原色ベイヤ配列のカラーフィルタ１０３を持つＣＣＤエリアセンサ１０２を撮像デバイスとして用いたカメラにおいて、水平垂直および斜めの８方向の相関を検出し、その検出結果に基づいて適応型補間処理を行うようにしたことで、カラーフィルタ１０３上において各色が飛び飛びに存在しても、解像感を損なうことがないとともに、折れ曲がった線や、直角に曲がった角の部分などにおいても良好に補間処理が行われるので、より良好な撮像画像を得ることができる。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、カラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う際に、補間画素に関して左右および上下の４方向に対応する画素情報に基づいてその４方向に対する相関値を算出し、この算出した４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより算出方法を変えて補間係数を決定し、この決定した補間係数に基づいて上記４方向に対応する画素情報を基に補間処理を行うようにしたことにより、相関値の算出方向に対して直交していない方向のエッジに対しても、良好に相関の度合いを判定できるため、補間処理後の斜めエッジがぼやけることなく良好に再現できるとともに、折れ曲がった線や、直角に曲がった角の部分などにおいても良好に補間することが可能となる。
【図面の簡単な説明】
【図１】本発明による画像処理装置の基本構成を示すブロック図である。
【図２】カラーフィルタの原色ベイヤ配列図である。
【図３】検出部の構成の一例を示すブロック図である。
【図４】補間部の構成の一例を示すブロック図である。
【図５】ＶＨ相関検出部および斜め相関検出部の具体的な構成の一例を示すブロック図である。
【図６】相関値算出回路の具体的な構成の一例を示すブロック図である。
【図７】変化量の算出の概念図である。
【図８】変化量の算出法を説明するための原色ベイヤ配列図である。
【図９】相関モード決定回路の具体的な構成の一例を示すブロック図である。
【図１０】輝度Ｙ０の検出の概念図である。
【図１１】変数αを算出する回路の具体的な構成の一例を示すブロック図である。
【図１２】Ｇ補間部の具体的な構成の一例を示すブロック図である。
【図１３】Ｒ，Ｂ補間部の具体的な構成の一例を示すブロック図である。
【図１４】斜め補間補正用ゲインの算出の概念図である。
【図１５】水平垂直ＲＢ補間係数を算出するための構成図である。
【図１６】補間係数算出回路の特性の一例を示す特性図である。
【図１７】本発明に係るカメラの一例を示す概略構成図である。
【符号の説明】
１１…カラーフィルタ、１２…ＣＣＤエリアセンサ、１４…検出部、１５…補間部、１６…ＶＨ相関検出部、１７…斜め相関検出部、１８…Ｇ補間部、１９…Ｒ補間部、２０…Ｂ補間部、２１〜２４，２６〜２９…相関値算出回路、２５，３０…相関値→相関ゲイン変換回路、３１…ＶＨ‐斜め比較回路、３３〜３６…変化量算出回路、３７〜３９…ＬＰＦ（ローパスフィルタ）、４５〜４８…絶対値化回路、４９〜５２…係数付加回路、５４〜５９…コンパレータ、９６…補間係数算出回路
Claims (18)
- 所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う画像処理装置であって、
補間すべき画素に関して左右および上下の互いに９０°の整数倍の角度をなす４方向に対応する画素情報に基づいて前記４方向に対する相関値を算出する相関値算出回路と、
前記相関値算出回路によって算出された前記４方向に対する相関値を基に補間係数を決定する係数決定回路と、
前記係数決定回路で決定された前記補間係数を用いて前記４方向に対応する画素情報を基に補間処理を行う補間処理回路とを備え、
前記係数決定回路は、前記４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより前記補間係数の算出方法を変える
ことを特徴とする画像処理装置。 - 前記補間処理回路は、前記４方向に対応する画素情報に対して前記係数決定回路で決定された前記補間係数をそれぞれ掛け合わせた後加算する
ことを特徴とする請求項１記載の画像処理装置。 - 前記係数決定回路は、前記４方向に対する相関値の各々の大小関係を比較する際に、大、小、等価の３段階の判定を行う
ことを特徴とする請求項１記載の画像処理装置。 - 前記係数決定回路は、前記４方向に対する相関値の各々の大小関係を比較する際に、前記補間すべき画素の近傍の画素の平均レベルまたは加重平均レベルを用いて判定を行う
ことを特徴とする請求項１記載の画像処理装置。 - 前記相関値算出回路は、前記補間すべき画素に関して左右および上下の４方向に対応する第１の画素情報に加え、前記４方向に対してそれぞれ４５°の角度をなす４方向に対応する第２の画素情報に基づいて計８方向に対する相関値を算出する
ことを特徴とする請求項１記載の画像処理装置。 - 前記係数決定回路は、前記第１の画素情報に基づく相関値から第１系統の補間係数を、前記第２の画素情報に基づく相関値から第２系統の補間係数をそれぞれ決定する
ことを特徴とする請求項５記載の画像処理装置。 - 前記補間処理回路は、前記第１系統の補間係数に基づく補間処理によって第１の画像データを、前記第２系統の補間係数に基づく補間処理によって第２の画像データをそれぞれ生成する
ことを特徴とする請求項６記載の画像処理装置。 - 前記補間処理回路は、前記第１，第２の画像データを所定の割合で加算する
ことを特徴とする請求項７記載の画像処理装置。 - 前記係数決定回路は、前記第１，第２の画像データを形成する際に使用した相関値の最大値と最小値の差を比較し、この値の大きい方の画像データの補間係数を小さい方の画像データの補間係数よりも大きくする
ことを特徴とする請求項８記載の画像処理装置。 - 前記係数決定回路は、前記相関値の最大値と最小値の差を比較する際に、前記第２の画素情報に基づく相関値の最大値と最小値の差に所定の定数を加算または減算した値に係数を掛けた値を、前記第１の画像情報に基づく相関値の最大値と最小値の差と比較する
ことを特徴とする請求項９記載の画像処理装置。 - 前記係数決定回路は、前記カラーフィルタの色配列を構成する色のうちで水平方向または垂直方向の空間サンプリング数が前記固体撮像素子の全画素による空間サンプリング数に比べて少ない所定の色に対しては、前記４方向の相反する２方向の相関値を比較し、その結果に基づいて補間係数を算出する補間係数算出回路を有する
ことを特徴とする請求項１記載の画像処理装置。 - 原色Ｒ（赤）Ｇ（緑）Ｂ（青）ベイヤ配列のカラーフィルタにおいて、前記所定の色はＲおよびＢである
ことを特徴とする請求項１１記載の画像処理装置。 - 所定の色配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う画像処理方法であって、
補間すべき画素に関して左右および上下の互いに９０°の整数倍の角度をなす４方向に対応する画素情報に基づいて前記４方向に対する相関値を算出する算出ステップと、
前記算出ステップで算出した４方向に対する相関値を基に補間係数を決定する決定ステップと、
前記決定ステップで決定した補間係数に基づいて前記４方向に対応する画素情報を基に補間処理を行う処理ステップとを有し、
前記決定ステップでは、前記４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより前記補間係数の算出方法を変える
ことを特徴とする画像処理方法。 - 前記補間処理は、前記４方向に対応する画素情報に対して前記補間係数をそれぞれ掛け合わせた後加算することによって行われる
ことを特徴とする請求項１３記載の画像処理方法。 - 前記相関値を算出する際に、前記補間すべき画素に関して左右および上下の４方向に対応する画素情報に加え、前記４方向に対してそれぞれ４５°の角度をなす４方向に対応する画素情報に基づいて計８方向に対する相関値を算出する
ことを特徴とする請求項１４記載の画像処理方法。 - 所定の色配列のカラーフィルタを受光面上に有する固体撮像素子と、被写体からの入射光を前記固体撮像素子の受光面上に結像させる光学系と、前記固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算し、その乗算結果を加算することによって補間処理を行う画像処理装置とを具備するカメラであって、
前記画像処理装置は、
補間すべき画素に関して左右および上下の互いに９０°の整数倍の角度をなす４方向に対応する画素情報に基づいて前記４方向に対する相関値を算出する相関値算出回路と、
前記相関値算出回路によって算出された前記４方向に対する相関値を基に補間係数を決定する係数決定回路と、
前記係数決定回路で決定された前記補間係数を用いて前記４方向に対応する画素情報を基に補間処理を行う補間処理回路とを有し、
前記係数決定回路は、前記４方向に対する相関値の各々の大小関係に応じて相関モードを決定し、その相関モードにより前記補間係数の算出方法を変える
ことを特徴とするカメラ。 - 前記補間処理回路は、前記４方向に対応する画素情報に対して前記係数決定回路で決定された前記補間係数をそれぞれ掛け合わせた後加算する
ことを特徴とする請求項１６記載のカメラ。 - 前記相関値算出回路は、前記補間すべき画素に関して左右および上下の４方向に対応する画素情報に加え、前記４方向に対してそれぞれ４５°の角度をなす４方向に対応する画素情報に基づいて計８方向に対する相関値を算出する
ことを特徴とする請求項１６記載のカメラ。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33674497A JP4066484B2 (ja) | 1997-12-08 | 1997-12-08 | 画像処理装置および画像処理方法、並びにカメラ |
| TW087119496A TW398141B (en) | 1997-12-08 | 1998-11-24 | Image processing apparatus, imaging processing method, and camera |
| US09/206,620 US6714242B1 (en) | 1997-12-08 | 1998-12-07 | Image processing apparatus, image processing method, and camera |
| KR1019980053582A KR100657772B1 (ko) | 1997-12-08 | 1998-12-08 | 영상처리장치,영상처리방법과카메라 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33674497A JP4066484B2 (ja) | 1997-12-08 | 1997-12-08 | 画像処理装置および画像処理方法、並びにカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11177994A JPH11177994A (ja) | 1999-07-02 |
| JP4066484B2 true JP4066484B2 (ja) | 2008-03-26 |
Family
ID=18302326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33674497A Expired - Lifetime JP4066484B2 (ja) | 1997-12-08 | 1997-12-08 | 画像処理装置および画像処理方法、並びにカメラ |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6714242B1 (ja) |
| JP (1) | JP4066484B2 (ja) |
| KR (1) | KR100657772B1 (ja) |
| TW (1) | TW398141B (ja) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| JP4292625B2 (ja) * | 1998-06-01 | 2009-07-08 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2002024815A (ja) * | 2000-06-13 | 2002-01-25 | Internatl Business Mach Corp <Ibm> | 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置 |
| US7146042B2 (en) | 2000-09-07 | 2006-12-05 | Nikon Corporation | Image processing apparatus and colorimetric system conversion method |
| WO2002060186A1 (fr) * | 2001-01-25 | 2002-08-01 | Nikon Corporation | Procede de traitement d'image, programme de traitement d'image et processeur d'image |
| JP3862506B2 (ja) * | 2001-02-06 | 2006-12-27 | キヤノン株式会社 | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 |
| EP2056607B1 (en) * | 2001-03-05 | 2010-12-29 | Nikon Corporation | Image processing apparatus and image processing program |
| US7386603B2 (en) * | 2001-06-25 | 2008-06-10 | Canon Kabushiki Kaisha | Contents distributing server, contents distribution control method, program, and recording medium |
| KR100396898B1 (ko) * | 2001-09-13 | 2003-09-02 | 삼성전자주식회사 | 이미지센서 출력데이터 처리장치 및 처리방법 |
| JP4451044B2 (ja) * | 2002-02-21 | 2010-04-14 | 株式会社メガチップス | 混成画素補間装置および混成画素補間方法 |
| KR100468786B1 (ko) * | 2003-04-02 | 2005-01-29 | 삼성전자주식회사 | 방향성을 예측하고 다항식 필터로 보간을 수행하여스케일링 해상도를 높이는 보간기, 이를 구비한 스케일링장치, 및 그 방법 |
| WO2004100118A1 (ja) * | 2003-05-07 | 2004-11-18 | Toshiba Matsushita Display Technology Co., Ltd. | Ｅｌ表示装置およびその駆動方法 |
| JP3767593B2 (ja) * | 2003-10-07 | 2006-04-19 | 三菱電機株式会社 | 画素補間回路及び画素補間方法 |
| JP2005236770A (ja) * | 2004-02-20 | 2005-09-02 | Mitsubishi Electric Corp | 画素補間回路、画像読取装置、および画素補間方法 |
| JP3926363B2 (ja) * | 2004-11-04 | 2007-06-06 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
| JP5049460B2 (ja) * | 2004-11-09 | 2012-10-17 | イーストマン コダック カンパニー | カラー撮像画像データの補間方法およびプログラム |
| JP4774736B2 (ja) | 2004-12-27 | 2011-09-14 | カシオ計算機株式会社 | 画像拡大装置および撮像装置 |
| KR100636971B1 (ko) | 2004-12-30 | 2006-10-19 | 매그나칩 반도체 유한회사 | 이미지센서의 포커스 데이타 생성 장치 및 방법 |
| JP5151075B2 (ja) | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
| EP1750457A1 (en) | 2005-08-02 | 2007-02-07 | Thomson Licensing | Method and circuit arrangement for processing a video signal, and respective camera |
| US7551214B2 (en) * | 2005-12-01 | 2009-06-23 | Megachips Lsi Solutions Inc. | Pixel interpolation method |
| WO2007075072A1 (en) | 2005-12-29 | 2007-07-05 | Mtekvision Co., Ltd. | Apparatus for color interpolation using adjustable threshold |
| KR100780932B1 (ko) * | 2006-05-30 | 2007-11-30 | 엠텍비젼 주식회사 | 컬러 보간 방법 및 장치 |
| JP4983141B2 (ja) * | 2006-08-04 | 2012-07-25 | ソニー株式会社 | カラーフィルタ |
| DK1887515T3 (da) * | 2007-02-27 | 2012-02-27 | Phase One As | Farvebinning på en digitalbillede |
| US7929807B2 (en) * | 2007-02-27 | 2011-04-19 | Phase One A/S | Colour binning of a digital image to reduce the image resolution |
| US8150204B2 (en) * | 2007-03-23 | 2012-04-03 | Mitsubishi Electric Corporation | Noise reducer for video signals |
| JP4654419B2 (ja) * | 2007-07-04 | 2011-03-23 | 株式会社メガチップス | 混成画素補間装置および混成画素補間方法 |
| JP4863505B2 (ja) * | 2007-08-07 | 2012-01-25 | 株式会社メガチップス | 画像処理装置 |
| US8131067B2 (en) * | 2008-09-11 | 2012-03-06 | Seiko Epson Corporation | Image processing apparatus, image processing method, and computer-readable media for attaining image processing |
| JP5220677B2 (ja) * | 2009-04-08 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| TWI420124B (zh) * | 2009-09-23 | 2013-12-21 | Realtek Semiconductor Corp | 邊緣檢測裝置以及應用於邊緣檢測裝置的運算電路 |
| DE112013004198T5 (de) * | 2012-08-27 | 2015-05-07 | Fujifilm Corporation | Bildverarbeitungsvorrichtung, Verfahren, Programm, Aufzeichnungsmedium und Bildaufnahmevorrichtung |
| JP6012375B2 (ja) * | 2012-09-28 | 2016-10-25 | 株式会社メガチップス | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
| JP6646675B2 (ja) * | 2015-09-07 | 2020-02-14 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
| US10366471B2 (en) | 2015-12-02 | 2019-07-30 | Texas Instruments Incorporated | Universal and adaptive de-mosaicing (CFA) system |
| CN110858894B (zh) * | 2018-08-23 | 2021-11-26 | 瑞昱半导体股份有限公司 | 色彩重建装置与方法 |
| US11509869B2 (en) | 2020-02-04 | 2022-11-22 | Samsung Electronics Co., Ltd. | Pixel array reducing loss of image information and image sensor including same |
| KR20230006343A (ko) | 2021-07-02 | 2023-01-10 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2731151B2 (ja) * | 1987-09-18 | 1998-03-25 | 株式会社東芝 | 位相情報検出回路 |
| US5054100A (en) * | 1989-11-16 | 1991-10-01 | Eastman Kodak Company | Pixel interpolator with edge sharpening |
| US5347599A (en) * | 1991-06-14 | 1994-09-13 | Matsushita Electric Industrial Co., Ltd. | Adaptive interpolation method and apparatus using correlation detection |
| JP3092024B2 (ja) * | 1991-12-09 | 2000-09-25 | 松下電器産業株式会社 | 画像処理方法 |
| JP2931520B2 (ja) * | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
| JP3333839B2 (ja) * | 1994-04-19 | 2002-10-15 | 松下電器産業株式会社 | 補間ライン検出方法及び補間ライン検出装置 |
| JP3392564B2 (ja) * | 1995-02-27 | 2003-03-31 | 三洋電機株式会社 | 単板式カラービデオカメラ |
| US5652621A (en) * | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| US5805217A (en) * | 1996-06-14 | 1998-09-08 | Iterated Systems, Inc. | Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor |
| US5903681A (en) * | 1996-07-24 | 1999-05-11 | Eastman Kodak Company | Reducing edge artifacts on a digital printer |
| JP3787927B2 (ja) * | 1996-11-18 | 2006-06-21 | ソニー株式会社 | 撮像装置及びカラー画像信号の処理方法 |
| US6339479B1 (en) * | 1996-11-22 | 2002-01-15 | Sony Corporation | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied |
| US6046772A (en) * | 1997-07-24 | 2000-04-04 | Howell; Paul | Digital photography device and method |
| US6181376B1 (en) * | 1997-10-14 | 2001-01-30 | Intel Corporation | Method of determining missing color values for pixels in a color filter array |
| US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
-
1997
- 1997-12-08 JP JP33674497A patent/JP4066484B2/ja not_active Expired - Lifetime
-
1998
- 1998-11-24 TW TW087119496A patent/TW398141B/zh not_active IP Right Cessation
- 1998-12-07 US US09/206,620 patent/US6714242B1/en not_active Expired - Lifetime
- 1998-12-08 KR KR1019980053582A patent/KR100657772B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US6714242B1 (en) | 2004-03-30 |
| JPH11177994A (ja) | 1999-07-02 |
| KR100657772B1 (ko) | 2007-05-14 |
| KR19990081799A (ko) | 1999-11-15 |
| TW398141B (en) | 2000-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4066484B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP4097815B2 (ja) | 画像処理装置および画像処理方法 | |
| US8736724B2 (en) | Imaging apparatus, method of processing captured image, and program for processing captured image | |
| TWI504277B (zh) | 影像感測裝置、影像感測器的操作方法、串音修正方法以及偽色誤差修正方法 | |
| TW200816805A (en) | Solid-state image sensor | |
| US8798398B2 (en) | Image processing apparatus | |
| TWI338511B (ja) | ||
| WO2007135798A9 (ja) | 画像処理装置 | |
| JP2005109991A (ja) | 信号処理方法及び装置、撮像装置 | |
| JP2001119705A (ja) | カラー撮像装置 | |
| JP4135197B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP3576600B2 (ja) | カラー撮像装置 | |
| JP3968480B2 (ja) | 相関値算出回路およびその算出方法 | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP4284960B2 (ja) | 画像信号処理装置 | |
| JP2744261B2 (ja) | 色信号処理装置 | |
| JP2920380B2 (ja) | 色信号処理装置 | |
| JP2010093336A (ja) | 撮像装置および補間処理方法 | |
| JPH11220744A (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4269368B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP2004364201A (ja) | 補間画素生成装置および方法 | |
| JP3406674B2 (ja) | ２板式撮像装置 | |
| JPH089395A (ja) | カラー撮像装置 | |
| JPH11220747A (ja) | カメラ信号処理装置及びカメラ信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071231 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120118 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |