JP5503497B2 - 画像信号処理装置、画像信号処理方法およびプログラム - Google Patents

Description

本発明は、画像信号処理を行う装置に関し、特に単板カラー補色フィールド色差順次方式撮像素子から得られる画像データの歪曲収差補正を行う画像信号処理装置に関する。

監視カメラは、高画質／低コスト化が進められ、様々なシーンで使用されるようになってきている。監視カメラは、例えば、銀行、コンビニエンスストア、パチンコといった屋内や、駅や道路や河川／ダム監視いった屋外で使用される。監視カメラの応用分野は、これからも拡大していくと考えられる。

監視カメラは、低コスト化が進んできている。しかし、無数に設置するというわけにはいかない。費用対効果や要求画質等を勘案し、限られた台数のカメラによって、できるだけ広い監視領域をカバーすることが求められる。パン・チルト台座を使わない場合、広視野角レンズを使うことになるだろう。

一般に視野角の広いレンズは、画像が樽型に歪曲する。歪曲した画像は、人間の目で実際に見る風景とは大きく異なる。歪曲した画像では、例えば直線が直線に映らなかったり、物体の大きさが画面中央と画面端で異なったりする。このため、歪曲した画像は、違和感が大きく、カメラ画像の監視者の疲労度合いに影響する。歪曲収差は補正されることが望ましい。

高額なレンズでは、高屈折率、非球面、多数群／枚レンズを駆使して歪曲等の収差を補正する。しかし、監視用途で高額なレンズを使用することは、コスト面で難しい。そこで、信号処理による歪曲収差補正処理が必要となる。

従来の歪曲収差補正を行う画像信号処理装置としては、例えば、特許文献１に示す装置が知られている。図１２は、同公報に示されている画像信号処理装置のブロック図である。この画像信号処理装置は、カラー画像の画素位置から、変形処理が施された場合のカラー画像の画素位置に対応する色モザイク画像上の対応するサンプリング座標を算出する座標変換部１０２と、色モザイク画像を分解した複数の色プレーン毎にサンプリング座標における画素値を補間生成するサンプリング部１０４と、各色プレーンの補間値を合成することによりカラー画像を生成する色生成部１０６とを有する。この画像信号処理装置は、変形処理の施されたカラー画像の各画素値を、サンプリング座標の画素値として色モザイク画像から補間演算により求める。これにより、色モザイク画像からカラー画像を生成する色補間処理と当該カラー画像の変形処理とを一度の補間演算によって実現することができるようにしている。

特開２００９−００５２３２号公報

上記した画像信号処理装置では、補色配列のカラーフィルタアレイを用いてもよいとしている。しかし、補色フィールド色差順次データを処理対象とする場合、色プレーン毎に線形補間による座標変換を行うと、解像度が大きく劣化する。特に、輝度データ生成以前に水平方向の補間によって、水平解像度が劣化しやすい。

垂直方向に関しては、インターレースデータを色フィルタプレーン毎に処理することになる。すなわち、飛び越し走査データ毎に、線形補間することになるので、垂直方向の周波数成分の折り返しが発生しやすく、画像が劣化することになる。

本発明は、上記背景に鑑み、補色フィールド色差順次信号画像を適切に歪曲収差補正できる画像処理装置を提供することを目的とする。

本発明の画像信号処理装置は、フィールド色差順次補色形式の画像データを格納するフレームメモリと、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応する前記フレームメモリ上における各位置を示すアドレスを生成するアドレス生成部と、前記アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成する色データ生成部と、前記アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成する色データ対応輝度データ生成部と、前記アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成する輝度ベースデータ生成部と、前記アドレスによって特定される点の補色データを、前記色データと前記第１の輝度データと前記第２の輝度データとに基づいて生成する補色データ生成部とを備える。

この構成により、補色フィールド色差順次信号画像の垂直方向の歪曲収差補正を行うとき、空間位相が遠い色データ及び色データに対応する第１の輝度データと空間位相が近い第２の輝度データとに基づいて補色データを生成することにより、良好な画質の補色フィールド色差順次カラー画像信号を得ることができる。

本発明の画像信号処理装置は、前記補色データ生成部にて生成された補色データに基づいて、輝度色信号を生成する輝度色信号生成部と、前記輝度色信号生成部にて生成された輝度色信号の水平方向における歪曲収差を補正する補正処理部とを備えてもよい。

この構成により、水平方向の歪曲収差補正処理については、フレームメモリを用いない構成とすることができる。

本発明の画像信号処理方法は、フレームメモリにフィールド色差順次補色形式の画像データを格納するステップと、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応する前記フレームメモリ上における各位置を示すアドレスを生成するステップと、前記アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成するステップと、前記アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成するステップと、前記アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成するステップと、前記アドレスによって特定される点の補色データを、前記色データと前記第１の輝度データと前記第２の輝度データとに基づいて生成するステップとを備える。また、本発明のプログラムは、上記画像信号処理方法の各ステップをコンピュータに実行させる。

本発明によれば、補色フィールド色差順次信号画像を、垂直方向について歪曲収差補正するとき、空間位相が遠い色データ及び色データに対応する第１の輝度データと空間位相が近い第２の輝度データとに基づいて補色データを生成することにより、良好な画質の補色フィールド色差順次カラー画像信号を得ることができるというすぐれた効果を有する。

本発明の実施の形態における画像信号処理装置を示すブロック図 本発明の実施の形態の画像信号処理装置をもつカメラ信号処理を示す図 （ａ）補色フィールド色差順次データ列の例を示す図、（ｂ）インターレース走査のＡフィールドの例を示す図、（ｃ）インターレース走査のＢフィールドの例を示す図 補色フィールド色差順次データ列と補正座標点を示す図 フィールドの違いによる垂直光学中心位置を示す図 補色フィールド色差順次データ列と補正座標点（詳細）を示す図 （ａ）補正前の画像を示す図、（ｂ）理想的な歪曲収差補正画像を示す図、（ｃ）インターレースデータの色プレーン毎補間による画質劣化を示す図 補間処理概要を示す図 （ａ）輝度データ生成時に色データが劣化していない例を示す図、（ｂ）輝度データ生成時に色データが劣化した例を示す図 （ａ）輝度データ生成フィルタと輝度色信号処理後画像を示す図、（ｂ）輝度データ生成フィルタと輝度色信号処理後画像を示す図、（ｃ）輝度データ生成フィルタと輝度色信号処理後画像を示す図 （ａ）輝度データ垂直補間フィルタと輝度色信号処理後画像を示す図、（ｂ）輝度データ垂直補間フィルタと輝度色信号処理後画像を示す図、（ｃ）輝度データ垂直補間フィルタと輝度色信号処理後画像を示す図、（ｄ）輝度データ垂直補間フィルタと輝度色信号処理後画像を示す図 従来の画像信号処理装置の例を示す図

以下、本発明の実施の形態の画像信号処理装置について、図面を用いて説明する。
図１は、本発明の実施の形態の画像信号処理装置１を示す図である。画像信号処理装置１は、画像信号を格納するフレームメモリ１２と、フレームメモリ１２に格納する画像信号の前処理を行う前段処理部１０と、フレームメモリ１２に格納された画像信号に対して巡回型ノイズ抑圧を行う巡回型ノイズ抑圧部１４と、フレームメモリ１２に格納された画像信号の垂直方向における歪曲収差を補正する第１の歪曲収差補正処理部（以下、「第１補正処理部」という）１６と、補正処理された画像信号から輝度色信号を生成する輝度色信号生成部１８と、輝度色信号の水平方向における歪曲収差を補正する第２の歪曲収差補正処理部（以下、「第２補正処理部」という）２０と、補正処理された輝度色信号に対して後処理を行う後段処理部２２とを有している。

第１補正処理部１６は、予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応するフレームメモリ上における各位置を示すアドレスを生成するアドレス生成部２４を有している。このアドレスによって特定される点の補色データに基づいて画面表示を行うことにより垂直方向の歪曲収差が補正されるので、以下、このアドレスによって特定される点を「補正座標点」と呼ぶ。

画像信号処理装置１は、歪曲量の情報を有している。歪曲量は、理想像高に対する実際の像高を曲線や折れ線で与えることできる。視野角９０度以下での歪曲収差であれば、数次程度の多項式で比較的良好に近似することができる。画像信号処理装置１は、例えば、多項式の形式で歪曲量の情報を有している。

図４は、補正座標点を示す図である。図４の右側の図は、画像の全体図である。同図において歪曲した横線は、現実空間における直線が歪曲して映っていることを示す。歪曲収差補正処理では、この歪曲した横線が直線になるように補正する。

具体的には、アドレス生成部２４が、歪曲量に基づいて歪曲した横線を特定する。画像の光学中心から離れるほど、垂直方向のズーム倍率を上げるようなフレームメモリ１２上のアドレスを生成することで、歪曲した横線を表すことができる。例えば、画像の光学中心からの画素数および歪曲量を表す多項式の係数に対して歪曲収差補正量を調整するための係数を持たせればよい。そして、第１補正処理部１６は、その横線上の補色データを読み出し、読み出したデータを同一ライン上に表示することにより、歪曲収差を補正することができる。

図４の左側の図は、右側の全体画像の中の左上領域の拡大図である。同図に示すように、歪曲した線と画素の列とが交差する位置に補正座標点Ｐ１〜Ｐ６が生成される。第１補正処理部１６は、補正座標点の補色データを読み出す。ただし、図４から分かるとおり、座標１〜６は必ずしもフレームメモリ１２上の画素位置と一致していないので、フレームメモリ１２の画素位置と一致していない補正座標点については、周辺の画素のデータを補間して補正座標点の補色データを生成する必要がある。

第１補正処理部１６は、画素値を補間する処理を行うための構成として、色データ選択部２６と、色データ生成部２８と、輝度データ生成部３０と、色データ対応輝度データ選択部３２と、色データ対応輝度データ生成部３４と、輝度ベースデータ生成部３６と、補色データ生成部３８とを有している。本実施の形態では、補色データ生成部３８は、色データ生成部２８にて生成された色データと、色データ対応輝度データ生成部３４にて生成された色データ対応輝度データと、輝度ベースデータ生成部３６にて生成された輝度ベースデータとに基づいて、垂直方向の歪曲収差を補正した補色データを生成する。次に、第１補正処理部１６の各構成について説明する。

色データ選択部２６は、上下のラインから所望の色データを有するラインを選択し、選択したラインを特定する情報を色データ生成部２８に入力する。色データ生成部２８は、アドレス生成部２４にて生成された補正座標点とその上下にある画素との位置関係とに基づいて、色データの補間処理を行う。色データ生成部２８は、補間処理された色データを補色データ生成部３８に入力する。

輝度データ生成部３０は、フレームメモリ１２から読み出された画像データから輝度データを生成し、生成した輝度データを色対応輝度データ選択部３２と輝度ベースデータ生成部３６に入力する。色データ対応輝度データ選択部３２は、入力された輝度データから所望の色データに対応する画素の輝度データを選択し、選択した輝度データを色データ対応輝度データ生成部３４に入力する。色データ対応輝度データ生成部３４は、アドレス生成部２４にて生成された補正座標点とその上下にある画素との位置関係とに基づいて、色データに対応する輝度データの補間処理を行う。色データ対応輝度データ生成部３４は、補間処理された輝度データを補色データ生成部３８に入力する。ここで生成される輝度データは、請求項における「第１の輝度データ」に相当する。

輝度ベースデータ生成部３６は、アドレス生成部２４にて生成された補正座標点とその上下にある画素との位置関係に基づいて、輝度データの補間処理を行う。輝度ベースデータ生成部３６は、補間処理された輝度データを補色データ生成部３８に入力する。ここで生成される輝度データは、請求項における「第２の輝度データ」に相当する。

補色データ生成部３８は、色データ生成部２８から入力された色データと、色データ対応輝度データ生成部３４から入力された輝度データ（第１の輝度データ）と、輝度ベースデータ生成部３６から入力された輝度データ（第２の輝度データ）とに基づいて、垂直方向の歪曲収差を補正した補色データを生成する。

図２は、本発明の実施の形態の画像信号処理装置１のカメラ信号処理の動作を示す図である。図２を参照して画像信号処理装置１の動作について説明する。画像信号処理装置１は、補色フィールド色差順次形式カラー画像信号の前段処理を行う（Ｓ１０）。画像信号はディジタル化されているものとする。画像データは、撮像素子から得てもよいし、記憶装置に格納されたデータを入力してもよい。前段処理（Ｓ１０）としては、ゲイン付加やオプティカルブラック調整等を行う。次に、画像信号処理装置１は、前段処理後の画像信号をフレームメモリ１２に格納する。

次に、画像信号処理装置１は、フレームメモリ１２を用いたカメラ信号処理として、フレーム巡回型ノイズ抑圧処理（Ｓ１２）や、電子ズーム、上下反転、画像更新停止（フリーズ）等を行う。ここで、フレーム巡回型ノイズ抑圧処理（Ｓ１２）は、フレームメモリ１２を用いて時間方向の無限インパルス応答フィルタを形成する処理である。このフレーム巡回型ノイズ抑圧処理（Ｓ１２）は、ノイズ抑圧力が高い。このため、画像信号処理装置１にフレームメモリ１２を搭載する事例が増えてきている。

次に、画像信号処理装置１は、フレームメモリ１２に格納された画像信号に対して、第１の歪曲収差補正処理（以下、「第１補正処理」という）を行う（Ｓ１４）。第１補正処理は、垂直方向の歪曲収差を補正する処理である。以下、図１も参照しながら、第１補正処理について詳しく説明する。

フレームメモリ１２に格納された補色画像データがフィールド色差順次であるとすると、ライン単位でＲ−Ｇ系とＢ−Ｇ系が交互に現れる。歪曲収差補正等を考えない通常のフレームメモリ１２への読出しアクセスの場合、ラスタスキャンによってライン単位でＲ−Ｇ系とＢ−Ｇ系が交互に読み出され、輝度色信号生成部１８に入力されることになる。輝度色信号生成部１８では、Ｒ−Ｇ系とＢ−Ｇ系とで色生成処理を切り替える等して、補色データから輝度色信号を生成する。垂直方向の歪曲収差を補正する場合、歪曲に沿って任意のラインのデータを読み出し、輝度色信号生成部１８が処理可能であるようなデータを生成することになる。ここで、図３を用いて、補色データ系列とＲＧＢ系列との対応関係について説明する。

図３（ａ）は、補色フィールド色差順次形式のデータ列の例を示す図、図３（ｂ）はインターレース走査のＡフィールド、図３（ｂ）はインターレース走査のＢフィールドを示す図である。図３（ａ）〜図３（ｃ）では、色データを以下のように記載している。「ＣＭ」または「ＣｙＭｇ」は、Ｃｙａｎ＋Ｍａｇｅｎｔａを表す。「ＹＧ」または「ＹｅＧｒ」は、Ｙｅｌｌｏｗ＋Ｇｒｅｅｎを表す。「ＣＧ」または「ＣｙＧｒ」は、Ｃｙａｎ＋Ｇｒｅｅｎを表す。「ＹＭ」または「ＹｅＭｇ」は、Ｙｅｌｌｏｗ＋Ｍａｇｅｎｔａを表す。

図３（ｂ）に示す画素列において、１つ隣の画素との減算処理を考える。図３（ｂ）において、０行０ａ列は「ＣＭ」、１行０ａ列は「ＹＧ」である。「ＣＭ」は、上に示したように、ＣｙａｎとＭａｇｅｎｔａを加算したものである。「ＹＧ」はＹｅｌｌｏｗとＧｒｅｅｎを加算したものである。さらに、ＣｙａｎはＢｌｕｅ（Ｂ）とＧｒｅｅｎ（Ｇ）からなる。ＭａｇｅｎｔａはＲｅｄ（Ｒ）とＢｌｕｅ（Ｂ）からなる。Ｙｅｌｌｏｗ（Ｙ）は、Ｇｒｅｅｎ（Ｇ）とＲｅｄ（Ｒ）からなる。従って、０行０ａ列の「ＣＭ」から、その左隣の１行０ａ列の「ＹＧ」を減算すると以下のようになる。
ＣＭ−ＹＧ＝Ｂ＋Ｇ＋Ｒ＋Ｂ−（Ｇ＋Ｒ＋Ｇ）＝２Ｂ−Ｇ

同様に図３（ｂ）の０行１ａ列は「ＣＧ」、１行１ａ列は「ＹＭ」である。「ＣＧ」は上に示したように、ＣｙａｎとＧｒｅｅｎを加算したものである。「ＹＭ」はＹｅｌｌｏｗとＭａｇｅｎｔａを加算したものである。従って、１行１ａ列の「ＹＭ」から、その右隣の０行１ａ列の「ＣＧ」を減算すると以下のようになる。
ＹＭ−ＣＧ＝Ｇ＋Ｒ＋Ｒ＋Ｂ−（Ｂ＋Ｇ＋Ｇ）＝２Ｒ−Ｇ

これらの関係は、図３（ｃ）の０行０ｂ列のＣＭと、１行０ｂ列のＹＧについても同様であり、さらに、図３（ｃ）の０行１ｂ列のＣＧと、１行１ｂ列のＹＭについても同様である。つまり、ＣＭＹＧラインはＢ−Ｇ系であり、ＹＭＣＧラインはＲ−Ｇ系である。

図４は、補正座標点を示す図である。アドレス生成部２４は、歪曲収差情報と光学中心からの距離とに基づいて、表示すべき画面内におけるあるライン上の各画素の位置に対応するフレームメモリ１２上における各位置として補正座標点Ｐ１〜Ｐ６を得る。図４では、一のフィールドについて説明している。実際には、図３（ｂ）及び図３（ｃ）に示すように、Ａフィールド（図３（ｂ）参照）とＢフィールド（図３（ｃ）参照）は、垂直方向に０．５ラインずれている。アドレス生成部２４は、このラインのずれに対応して、フィールド信号（図示せず）によって垂直方向の光学中心位置を０．５ラインずらすことができる。図５は、フィールドの違いによる垂直光学中心位置について示す図である。垂直中心は、Ａフィールドの場合には４ライン、Ｂフィールドの場合には３．５ラインである。これにより、ＡフィールドとＢフィールドとの間で、垂直中心を合わせることができる。

次に、補正座標点Ｐ１〜Ｐ６の補色データを補間処理によって生成する処理について説明する。ここでは、補正座標点Ｐ１〜Ｐ６のＲ−Ｇ系データを算出する場合を例として説明する。補正座標点Ｐ１〜Ｐ６は、フレームメモリ１２の画素位置と必ずしも一致していないので、周辺データからの補間によって補色データを算出し、空間位相を合わせる。補正座標と所望の色フィルタ（ここではＲ−Ｇ系）との相対位置関係は様々である。補間処理は、色データと輝度データを出来る限り劣化（なまらせたり、偽信号を付加したり）させないように行わなくてはならない。そのような補間処理を実施するために、本実施の形態では、補正座標点の上下２ラインの合計４ラインを使用する。

なお、歪曲収差補正後の画素データのそれぞれについて、必要なライン数（本実施の形態では４ライン）のデータをフレームメモリ１２から読み出してもよいし、垂直座標が連続的に変化することを利用して、ライン単位でのバッファを設ける等して単位時間あたりにフレームメモリ１２から読み出すデータを削減してもよい。

ここで、ライン単位でのバッファを設けて読み出しデータを削減する方法について説明する。
図４の座標１の補間処理に必要な４ラインの垂直座標は、
Ｙ（２ｎ）、Ｙ（２ｎ＋１）、Ｙ（２ｎ＋２）、Ｙ（２ｎ＋３）
である。座標２の補間処理に必要な４ラインの垂直座標は、
Ｙ（２ｎ−１）、Ｙ（２ｎ）、Ｙ（２ｎ＋１）、Ｙ（２ｎ＋２）
である。座標３の補間処理に必要な４ラインの垂直座標は、
Ｙ（２ｎ−１）、Ｙ（２ｎ）、Ｙ（２ｎ＋１）、Ｙ（２ｎ＋２）
である。
ライン単位で考えれば、座標１の処理に必要なデータと座標２の処理に必要なデータとの差分は、垂直座標Ｙ（２ｎ−１）とＹ（２ｎ＋３）で示すラインのデータである。座標２の処理でＹ（２ｎ＋３）で示すラインのデータは使用しないので廃棄し、新たにＹ（２ｎ−１）で示すラインのデータをフレームメモリ１２から読み出す。同様にライン単位で考えれば、座標２の処理と座標３の処理に必要なデータの差分はない。座標１の処理から座標２の処理に移る際には、垂直座標Ｙ（２ｎ−１）で示すラインのデータのみを新たにフレームメモリ１２から読み出せば良い。座標２の処理から座標３の処理に移る際には、ライン単位で言えば、フレームメモリ１２からデータを読み出す必要はなくなる。

図６は、図４に示す補正座標点Ｐ３について、さらに詳細に説明する図である。補正座標点Ｐ３（line=2.5、pixel=2）のＲ−Ｇ系データを算出する場合を考える。色プレーン毎の補間を考えると、Ｒ−Ｇ系であるＹＭＣＧラインからデータ選択することになる。補正座標Ｐ３におけるＲ−Ｇ系のデータとしてＣＧを算出する必要があり、２行１列のデータと２行３列のデータ（いずれもＣＧ）から補間することになる。

ここで、同じ色フィルタからなる色データが２ライン毎にしか現れず、かつ、本実施の形態のようにインターレース読み出しの場合に、色プレーン毎の線形補間を行おうとすると、周波数帯域での折り返し発生や、補間演算による垂直解像度の劣化が避けられない。特に、監視カメラのように、垂直方向において、光学的に帯域を制限されていない場合には、この劣化の度合が大きくなる。

図７（ａ）は補正前画像を示す図、図７（ｂ）は理想的な歪曲収差補正画像を示す図、図７（ｃ）はインターレース同色プレーン毎の線形補間による歪曲収差補正画像を示す図である。図７（ｃ）より、色プレーン毎の線形補間では画質が大きく損なわれることが分かる。

そこで本実施の形態では、画質を出来る限り劣化（なまらせたり、偽信号を付加したり）させないようにするため、補色データを以下の３成分に基づいて算出する。
１．色データ Tgt_H
２．色データ対応輝度データ（第１の輝度データ） yl_compre
３．輝度ベースデータ（第２の輝度データ） YLc

まず、「１．色データTgt_H」について説明する。先に述べたように、本実施の形態では、補正座標点の上下２ラインの合計４ラインを使用して補正を行う。色データ選択部２６によって、フレームメモリ１２から読み出した４ラインから、算出対象（ここではＲ−Ｇ系）と同じ色差系の２ラインのデータを選択する。

図６に示す例の場合、垂直方向に第１ライン、第２ライン、第３ライン、第４ラインの４ラインのデータがフレームメモリ１２から読み出されている。算出対象がＲ−Ｇ系の場合、色データ選択部２６は、図６に（Ａ）で示すように、第１ラインと第３ラインのデータを選択する。なお、算出対象がＢ−Ｇ系の場合には、図６に（Ｂ）で示すように、第２ラインと第４ラインのデータを選択する。

色データ生成部２８は、補正座標点の位置に基づいて、選択した２ラインのデータに重み付けをして、補間処理を行う。補正座標点は、図６に示す例では、ライン上に乗っておらず、座標値は整数部と小数部からなる。図６における垂直方向座標が２．５だった場合、第１ラインからの距離が１．５、第３ラインからの距離が０．５である。距離の合計の補数を重み係数とすればよい。重み係数について以下に示す。
第１ラインの重み：（１．５＋０．５）−１．５＝０．５
第３ラインの重み：（１．５＋０．５）−０．５＝１．５
本実施の形態では、色データの補間演算方法は線形補間である。
なお、色データの補間は、空間位相が遠いデータを利用する必要がある。すなわち、座標ＰのＲ−Ｇ系のデータを求めるためには、隣接する第２ラインより遠い第１ラインのデータを用いる必要がある。

次に、「２．色データ対応輝度データ yl_compre」について説明する。なお、色対応輝度データの補間も色データと同様に、空間位相が遠いデータを利用する必要がある。先に述べたように、本実施の形態では、補正座標点の上下２ラインの合計４ラインを使用する。輝度データ生成部３０は、この４ラインのデータから、ライン毎に輝度データを生成する。色データ対応輝度データ選択部３２は、生成した４ラインの輝度データから、算出対象（ここではＲ−Ｇ系）と同じ色差系のラインである２ラインのデータを選択する。色データ対応輝度データ生成部３４は、補正座標点の位置に基づいて、選択した２ラインのデータに重み付けをして、補間処理を行う。補正座標点は整数部と小数部からなるが、色データ生成部２８と同様の重み付けを用いればよい。

図８は、輝度データ生成部３０による４ライン分の輝度生成と、色データ対応輝度データ選択部３２による２ラインの選択と、色データ対応輝度データ生成部３４による２ラインからの輝度データの補間処理の概要を示す図である。

補色フィールド色差順次形式の画像データは、直流成分が輝度を構成する。従って、輝度データ生成部３０は、低域通過フィルタ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ:ＬＰＦ）を適用することで輝度データを得ることができる。本実施の形態では、ディジタル信号処理であることやフレーム内処理であること、直線位相フィルタを構成できること等から、奇数タップの有限インパルス応答（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：ＦＩＲ）ＬＰＦを用いている。

輝度データ生成ＦＩＲＬＰＦは、以下の項目について考慮する必要がある。
（１）フレームメモリ帯域とタップ数
（２）減衰量
（３）通過帯域幅

ディジタルフィルタは、一般にタップ数が多いほど通過帯域幅や遮断周波数及び減衰量などの設計自由度が高まる。本件においては、タップ数が多いほど単位時間あたりにフレームメモリ１２から読み出さなければならないデータ量が増えることになる。フレームメモリ帯域を広くするには、読出し速度を上げるかデータバスを広げる等しなければならない。速度やバス幅はどちらもコスト増要因になりえるので、（２）と（３）に示した条件とバランスをとる必要がある。

色データ対応輝度データは、高周波成分として存在する色データ（色キャリア成分）を十分に減衰させる必要がある。色キャリア成分が残っていると、後段の輝度色信号生成（Ｓ１６）において算出された色データが劣化する場合がある。

図９（ａ）は色キャリアの減衰が６５ｄＢ時の色成分が正しい画像、図９（ｂ）は減衰が１４ｄＢ時の劣化画像の例を示す図である。輝度データ生成で色キャリア成分減衰量が足りない場合、図９（ｂ）の右図に示すように輝度色信号処理後の色データがベクトルスコープ上でＭｇ−Ｇｒ方向への広がる症状を示すことがある。色キャリア成分減衰量は、輝度色信号処理後にこのような現象が発生しないように設定しなければならない。

図１０（ａ）は２ＴＡＰ（１，１）を輝度データ生成に使用した画像の例を示す図、図１０（ｂ）は３ＴＡＰ（１，２，１）を輝度データ生成に使用した画像例を示す図である。２ＴＡＰ（１，１）や３ＴＡＰ（１，２，１）は色キャリア減衰量に問題はないが、２ＴＡＰ（１，１）は色データと空間位相がずれてしまうので、画質劣化が発生する（斜め線が局所的に太くなる）。３ＴＡＰ（１，２，１）は色データとの空間位相は合っているが、通過周波数帯域幅が比較的狭いため、斜め線が全体的に太くなる。画質劣化をできるかぎり回避するため、通過帯域が広いＬＰＦを構成するほうが良い。本実施の形態では、フレームメモリ帯域とフィルタ性能のトレードオフから、輝度データ生成部３０では、１１ＴＡＰＦＩＲＬＰＦを構成するものとした。図１０（ｃ）は、１１ＴＡＰＦＩＲＬＰＦを輝度データ生成に使用した画像の例を示す図である。

図８に示すように、色データ対応輝度データは、同じ列の上下を見て、算出したい対象の色系列と同じ色系列の補色フィルタデータの存在するラインの輝度データを用いて補間生成する。後述する輝度ベースデータ（空間位相近い）と差し替えるために使用する。

次に、「３．輝度ベースデータ YLc」について説明する。輝度ベースデータは、隣接する画素のデータを用いて生成できるので、空間位相が近い。輝度ベースデータ生成部３６は、処理対象垂直座標の上下２ライン計４ラインを用いて、輝度ベースデータを生成する。本実施の形態では、ＢｉＣｕｂｉｃ補間を用いる。

図１１は、垂直方向の補間方式による輝度色信号処理後の画像データの違いについて示す図である。ＢｉＬｉｎｅａｒでは、斜め線の太さが変化する。Ｂ−Ｓｐｌｉｎｅでは、斜め線の太さの変化がほとんど見られないが、輝度色処理前データに行う演算としては全体に信号のなまりが大きい。ＢｉＣｕｂｉｃでは、斜め線の太さの変化や波形のなまりがないわけではないが、概して良好な処理結果が得られる。

ここで、Ｂ-ＳｐｌｉｎｅとＢｉＣｕｂｉｃの補間式を以下に示す。
・Ｂ-Ｓｐｌｉｎｅ：
(3*t*t*t-6*t*t+4)/6 : (0<=t<1)
-(t-2)*(t-2)*(t-2)/6 : (1<=t<2)
ｔ：補正座標点と補間計算に用いる画素との距離
・ＢｉＣｕｂｉｃ：
(a+2)*t*t*t-(a+3)*t*t+1 : (0<=t<1)
a*t*t*t-5*a*t*t+8*a*t-4*a : (1<=t<2)
ｔ：補正座標点と補間計算に用いる画素との距離

ＢｉＣｕｂｉｃ補間式の係数ａがａ＝−１とａ＝−０．５に場合の処理結果を示している。ａ＝−１とすると、良好な解像感を持つ処理結果が得られる。ａ＝−０．５とすると比較的、斜め線の太さの変化が少ない処理結果が得られる。

以上の３つのデータから、補色データ生成部３８によって、空間的に遠い色データに対応する輝度データを空間的に近い輝度ベースデータに差し替えることで、所望の補色フィルタデータoutを算出する。以下に式を示す。
out = YLc + (Tgt_H - yl_compre)

以上に詳細に説明した処理によって、垂直方向の歪曲収差が補正された補色フィールド色差順次データを得ることができる。

図２に戻って説明する。画像信号処理装置１は、得られた補色フィールド色差順次データを輝度色信号生成部１８で処理し、輝度データと色データを得る（Ｓ１６）。次に、画像信号処理装置は、生成された輝度色信号に対し、第２の歪曲収差補正処理（以下、「第２補正処理」という）を行う（Ｓ１８）。第２補正処理は、水平方向における歪曲収差の補正処理である。水平方法の歪曲収差補正に必要なメモリはライン単位であるため、第２補正処理の実施箇所の自由度が高い。なお、歪曲量の規定は垂直方向処理（Ｓ１４）と同じでよい。輝度色信号生成後であり、インターレースのような特殊なサンプリングをしているわけではないので、水平方向については、単純に歪曲量に従って補間演算を行うことで、比較的良好な処理結果を得ることができる。最後に、画像信号処理装置１は、第２補正処理後の輝度色信号に対し後処理を行う（Ｓ２０）。以上、本実施の形態の画像信号処理装置１の構成および動作について説明した。

本実施の形態の画像信号処理装置１は、従来の画像信号処理装置に比べて、補色フィールド色差順次信号画像を歪曲収差補正する際に、垂直方向については、補色フィールド色差順次信号に対して、空間位相が遠い色データ、色データに対応する輝度データと、空間位相が近い輝度ベースデータとを用いて補色データを算出する。輝度データは空間位相の近いものを、色データは空間位相の遠い同色フィルタのものを用いて良好な画質の補色フィールド色差順次カラー画像信号を得る。水平方向については、輝度生成後に歪曲収差を補正する補間演算を行うことができる。

以上、本発明の画像信号処理装置および画像信号処理方法について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

画像信号処理装置１の機能は，磁気ディスク、光磁気ディスク，ＲＯＭ等の記録媒体にプログラムとして記録することができる。よって、この記録媒体をコンピュータで読み取って、ＭＰＵ、ＤＳＰ等で実行することにより画像信号処理装置１の機能を実現することができる。

上記した実施の形態では、第１補正処理（垂直方向の歪曲収差補正処理）は、補色フィールド色差順次形式入力、補色フィールド色差順次出力を例として説明を行った。これは、処理の切れ目を明確にし、機能ブロックの分離性を高める構成で説明することで本件によって実現される優れた機能と効果を明確化するためである。第１補正処理の最後が輝度色信号生成部１８の最前段となる構成でもよい。また、一体化するのであれば、輝度色信号処理において、輝度データはそのまま使用し、色データは別途色差生成部に入力するという構成をとってもよい。

以上のように、本発明にかかる画像信号処理装置は、補色フィールド色差順次信号画像を歪曲収差補正するとき、垂直方向については、補色フィールド色差順次信号に対して、空間位相が遠い色データ、色データに対応する輝度データと、空間位相が近い輝度ベースデータを用いて良好な画質の補色フィールド色差順次カラー画像信号を得ることができ、監視カメラ等の歪曲補正処理装置等として有用である。

１ 画像信号処理装置
１０ 前段処理部
１２ フレームメモリ
１６ 第１の歪曲補正処理部
１８ 輝度色信号生成部
２０ 第２の歪曲補正処理部
２２ 後段処理部
２４ アドレス生成部
２６ 色データ選択部
２８ 色データ生成部
３０ 輝度データ生成部
３２ 色データ対応輝度データ選択部
３４ 色データ対応輝度データ生成部
３６ 輝度ベースデータ生成部
３８ 補色データ生成部
１００ 色プレーン分解部
１０２ 座標変換部
１０４ サンプリング部
１０６ 色生成部

Claims (5)

1. フィールド色差順次補色形式の画像データを格納するフレームメモリと、
   予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応する前記フレームメモリ上における各位置を示すアドレスを生成するアドレス生成部と、
   前記アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成する色データ生成部と、
   前記アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成する色データ対応輝度データ生成部と、
   前記アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成する輝度ベースデータ生成部と、
   前記アドレスによって特定される点の補色データを、前記色データと前記第１の輝度データと前記第２の輝度データとに基づいて生成する補色データ生成部と、
   を備える画像信号処理装置。
2. 前記補色データ生成部にて生成された補色データに基づいて、輝度色信号を生成する輝度色信号生成部と、
   前記輝度色信号生成部にて生成された輝度色信号の水平方向における歪曲収差を補正する補正処理部と、
   を備える請求項１に記載の画像信号処理装置。
3. フレームメモリにフィールド色差順次補色形式の画像データを格納するステップと、
   予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応する前記フレームメモリ上における各位置を示すアドレスを生成するステップと、
   前記アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成するステップと、
   前記アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成するステップと、
   前記アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成するステップと、
   前記アドレスによって特定される点の補色データを、前記色データと前記第１の輝度データと前記第２の輝度データとに基づいて生成するステップと、
   を備える画像信号処理方法。
4. フィールド色差順次補色形式の画像データの歪曲収差を補正するためのプログラムであって、コンピュータに、
   フレームメモリに前記画像データを格納するステップと、
   予め与えられた歪曲情報に基づいて、表示すべき画面内の各画素の位置に対応する前記フレームメモリ上における各位置を示すアドレスを生成するステップと、
   前記アドレスによって特定される点の色データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の色データを補間して生成するステップと、
   前記アドレスによって特定される点の第１の輝度データを、その上下にある所定数のラインに含まれる同列の画素であって補間により生成しようとする色系列と同色系列の画素の輝度データを補間して生成するステップと、
   前記アドレスによって特定される点の第２の輝度データを、その上下にある所定数のラインに含まれる同列の画素の輝度データを補間して生成するステップと、
   前記アドレスによって特定される点の補色データを、前記色データと前記第１の輝度データと前記第２の輝度データとに基づいて生成するステップと、
   を実行させるプログラム。
5. 請求項４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images