JP4104571B2 - 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置 - Google Patents

Description

本発明は、撮像に使用されたレンズによって生じる歪曲収差（ディストーション）に対
する補正を撮像により得られた映像信号に施す歪曲補正装置及び当該歪曲補正装置を備え
た撮像装置に関する。

光学レンズを用いてＣＣＤ（Charge Coupled Device）やＣＭＯＳセンサなどの固体撮
像素子で撮像が行われたとき、光学レンズには収差が存在するため、固体撮像素子への結
像位置にずれが生じる。そのため、この固体撮像素子から出力された映像信号をそのまま
再生表示すると、歪んだ画像として再生表示される。この再生画像に現れる歪みが、歪曲
収差（ディストーション）と呼ばれる。このディストーションは、光学レンズの形状や光
学レンズと固体撮像素子との相対位置との関係によって異なる特性を示す。このようなデ
ィストーションとして、図１７（ａ）のように理想結像位置に対して広がった結像位置と
なる「糸巻き型歪み」及び図１７（ｂ）のような理想結像位置に対して狭まった結像位置
となる「樽型歪み」がある。尚、図１７において、点線が理想結像位置を示すとともに、
実線が実際の結像位置を示す。

又、図１７のようにして現れるディストーションの値は、光学レンズの光軸と結像位置
（固体撮像素子の画素位置に相当）との距離に相当する像高の値に対して非線形に変化す
る。このようなディストーションの値をデータテーブルに各画素位置に対して格納すると
ともに、このデータテーブルを参照して各画素位置におけるディストーションの値を用い
て画像歪みを補正する撮像装置が提案されている。しかしながら、このような撮像装置に
おいては、各画素位置におけるディストーションの値を格納するため、そのメモリ容量が
大きくなってしまう。

それに対して、従来技術の１つとして、ディストーション（歪み率）Ｄが像高（相対距
離）の２乗に比例するものとして近似し、この歪み率の近似式より光学歪みを補正する演
算回路を設けることで、画素位置毎に補正値を格納するメモリを除いた撮像装置が提案さ
れている（特許文献１参照）。又、別の従来技術として、任意の像高を基準として画像の
歪曲量を補正することで負の方向の補正歪曲量を少なくして、光軸に対応する画面中心位
置を基準とした場合と比べて撮像面上で広い範囲の画像とすることのできる撮像装置が提
案されている（特許文献２参照）。又、別の従来技術として、近似多項式演算部で２次の
近似多項式による演算を行うことで歪み補正後の画素位置に対する歪み補正前の画素位置
を求めるとともに、求められた歪み補正前の画素位置の輝度信号及び色差信号に対して異
なる補間演算を行う撮像装置が提案されている（特許文献３参照）。
特開平６−１５３０６５号公報 特開平６−１６５０２４号公報 特開平１１−２５０２３９号公報

特許文献１における撮像装置によると、演算回路を設けることによって各画素位置毎の
補正値を格納したメモリを使用することなくディストーション値に応じた歪曲補正を行う
ことができるが、全てのディストーションが像高の２乗に比例するとは限らず、あらゆる
歪曲に対応できるわけではない。又、特許文献２における撮像装置によると、歪曲収差の
基準位置を光軸に応じた中心位置と異なる円上とすることで撮像素子の撮像面を可能な限
り有効に利用することができる。しかしながら、本文献においてもズーム位置によって近
似式が決定され、その近似式自身又は近似式による各画素位置の補正量がメモリに格納さ
れる。よって、各画素位置の補正量が格納される場合はそのメモリ容量が大きくなる。

又、特許文献３における撮像装置によると、近似式を用いた歪み補正後の信号に対して
、人間の視覚感度の高い輝度信号が計算量の多い補間式により求められるとともに、人間
の視覚感度の低い色差信号が計算量の少ない補間式により求められることによって、ディ
ストーションの大きなレンズを使用しても高速で演算処理ができる。しかしながら、座標
位置の歪曲補正を行う際の近似式については、焦点位置によって決定された近似式の係数
が格納されるものであり、焦点位置が設定された焦点位置と異なる場合、近似式の係数が
算出できない。

このような問題を鑑みて、本発明は、歪曲補正を行うための近似式を各画素位置の像高
に応じた近似式とすることができる歪曲補正装置又はこの歪曲補正装置を備えた撮像装置
を提供することを目的とする。

上記目的を達成するために、本発明は、入力された映像信号の座標位置である入力座標
位置を変換することで映像信号に歪曲補正を施す歪曲補正装置において、出力する映像信
号の座標位置である出力座標位置と当該出力座標位置に対応する前記入力座標位置の相関
値であるディストーションと該出力座標位置に対する前記映像信号による画像の中心位置
からの距離である像高との関係を示す像高−ディストーション曲線上における離散点とな
るディストーションデータを、格納するディストーションデータメモリと、該ディストー
ションデータメモリより前記出力座標位置による前記像高近傍の所定数の前記ディストー
ションデータを読み出して、当該出力座標位置による前記像高近傍における前記像高−デ
ィストーション曲線を近似する近似式を算出して、当該近似式に当該出力座標位置による
前記像高を代入することで、当該出力座標位置による前記ディストーションを求めるディ
ストーション算出部と、前記出力座標位置と、当該出力座標位置に対して前記ディストー
ション算出部で算出された前記ディストーションとに基づいて、前記入力座標位置を求め
る座標算出部と、を備え、前記出力座標位置のデータとして、当該出力座標位置に対して
前記座標算出部で得られた前記入力座標位置のデータを出力することを特徴とする。

このような歪曲補正装置において、前記座標算出部で得られた前記入力座標位置に対す
る映像信号のデータが入力されないとき、前記入力座標位置近傍のデータの存在する複数
の前記入力座標を周辺入力座標として確認して、該複数の周辺入力座標と前記座標算出部
で得られた前記入力座標位置との位置関係に応じて、該複数の周辺入力座標におけるデー
タを補間することで、前記座標算出部で得られた前記入力座標位置のデータを生成する補
間処理部を、備えるものとしても構わない。

このとき、前記入力座標位置が（ｘｉ＋ｘｄ，ｙｉ＋ｙｄ）（ｘｉ，ｙｉ；整数、ｘｄ
，ｙｄ；０以上１未満）で表されるとき、入力座標位置近傍の４点（ｘｉ，ｙｉ）、（ｘ
ｉ＋１，ｙｉ）、（ｘｉ，ｙｉ＋１）、（ｘｉ＋１，ｙｉ＋１）におけるデータが補間さ
れることで、前記入力座標位置のデータが求められる。このとき、前記入力座標位置とな
る（ｘｉ＋ｘｄ，ｙｉ＋ｙｄ）と（ｘｉ，ｙｉ）との相対関係により、垂直方向及び水平
方向それぞれの補間係数が求められる。又、上述の歪曲補正装置において、前記ディスト
ーションデータを生成するための像高に対するサンプリング間隔を２の累乗としても構わ
ない。

又、前記ディストーション算出部において、前記出力座標位置による前記像高近傍の４
つの前記ディストーションデータを読み出すことによって、前記近似式を算出するものと
しても構わない。

又、前記出力座標位置に対する前記像高を求める像高算出部を備えるとともに、前記デ
ィストーション算出部において、前記像高算出部で算出された前記像高に近接した値であ
るとともに当該像高よりも小さい値となる像高を有するディストーションデータを第１デ
ィストーションデータとして前記ディストーションデータメモリより読み出し、前記像高
算出部で算出された前記像高に近接した値であるとともに当該像高よりも大きい値となる
像高を有するディストーションデータを第２ディストーションデータとして前記ディスト
ーションデータメモリより読み出し、前記出力座標位置に対する前記第１ディストーショ
ンデータの像高に近接した値であるとともに当該像高よりも小さい値となる像高を有する
ディストーションデータを第３ディストーションデータとして前記ディストーションデー
タメモリより読み出し、前記出力座標位置に対する前記第２ディストーションデータの像
高に近接した値であるとともに当該像高よりも大きい値となる像高を有するディストーシ
ョンデータを第４ディストーションデータとして前記ディストーションデータメモリより
読み出し、前記第１〜第４ディストーションデータを用いて３次式となる前記近似式を算
出するものとしても構わない。

このとき、前記ディストーション算出部において、例えば、前記第２及び第３ディスト
ーションデータによる直線の傾きが、算出する前記近似式の前記第１ディストーションデ
ータにおける接線の傾きに等しいことを示す第１条件と、前記第１及び第４ディストーシ
ョンデータによる直線の傾きが、算出する前記近似式の前記第２ディストーションデータ
における接線の傾きに等しいことを示す第２条件と、前記第１及び第２ディストーション
データを前記近似式が通過することを示す第３条件と、を確認し、前記第１〜第３条件を
満たす３次式を前記近似式とする。

又、本発明の撮像装置は、レンズによって構成される光学系と、該光学系の前記レンズ
の位置を移動させるレンズ駆動制御部と、前記レンズの位置に応じて入力された映像信号
に対して歪曲補正処理を施す歪曲補正処理部と、を備える撮像装置において、上述のいず
れかの歪曲補正装置を前記歪曲補正処理部として備えるとともに、前記ディストーション
データメモリが、複数の前記像高−ディストーション曲線に対するディストーションデー
タを格納し、前記レンズ駆動制御部によって設定された前記レンズの位置に応じて、前記
ディストーションデータメモリより読み出す前記ディストーションデータが設定されるこ
とを特徴とする。

このような撮像装置において、入力された映像信号に対して各画素位置で異なる度合い
のエッジ強調処理を施すエッジ強調処理部を備えるものとしても構わない。このようなエ
ッジ強調処理を行うことで、補間処理による解像感低下を補うことができる。又、このエ
ッジ強調処理部が、前記歪曲補正処理部の前処理又は後処理のいずれの演算処理を行うも
のであっても構わない。

このような撮像装置において、前記エッジ強調処理に利用するパラメータを、対象画素
となる前記出力座標位置の像高に応じて設定されるものとしても構わないし、前記エッジ
強調処理に利用するパラメータを、対象画素となる前記出力座標位置のディストーション
に応じて設定されるものとしても構わないし、前記エッジ強調処理に利用するパラメータ
を、対象画素となる前記出力座標位置に対して求められた前記入力座標位置に応じて設定
されるものとしても構わない。

又、上述の各撮像装置において、前記固体撮像素子より複数種類の色信号となる映像信
号が出力されるとともに、前記歪曲補正処理部において、前記色信号それぞれに応じた前
記ディストーションデータを用いて、前記色信号それぞれに対して異なる前記像高−ディ
ストーション曲線による前記近似式を求めるものとしても構わない。当該近似式を求める
ことで、色毎に歪曲補正を行うとともに色収差補正も同時に行うことができる。

このとき、前記固体撮像素子が、複数の色フィルタによる単板式のフィルタを備えると
ともに、前記固体撮像素子からの前記色信号によって、前記固体撮像素子の各画素に対し
て全種類の前記色信号を生成する色補間処理部を備えるものとしても構わない。又、この
色補間処理部が、前記歪曲補正処理部の前処理又は後処理のいずれの演算処理を行うもの
であったも構わない。

又、前記ディストーションデータメモリより読み出す前記ディストーションデータが、
出力する映像信号による画像を故意に歪曲させる度合いに応じて設定されるものとして、
出力される映像信号による画像が歪曲された画像となるように設定可能としても構わない
。

本発明によると、像高−ディストーション曲線上の離散点となるディストーションデー
タを数点格納するとともに、出力座標位置の像高近傍の複数のディストーションデータに
より、出力座標位置の像高近傍の像高−ディストーション曲線を表す近似式を求めること
ができる。よって、像高−ディストーション曲線を再生するために記憶するデータの記憶
容量を抑制することができるとともに、少ない計算量で精度の高い近似曲線を得ることが
でき、精度の高い歪曲補正を行うことが可能である。

又、エッジ強調処理を同時に行うことができるとともに、その像高やディストーション
や座標位置によって設定するパラメータを変化させることができる。よって、座標位置に
応じたエッジ強調処理を施すことができ、補間処理による解像感の低下を防ぐことができ
る。又、色信号に対して異なる像高−ディストーション曲線による近似式を求めることが
できるため、座標位置の歪曲補正と同時に、色毎の異なる屈折率が原因となる色収差を補
正することができる。更に、出力する映像信号による画像を歪曲させる度合いに応じてデ
ィストーションデータを設定することができるため、所望する画像の表示状態に応じた映
像信号を容易に生成することができる。

＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して説明する。図１は、本実施形態の撮
像装置の内部構成を示すブロック図である。又、図４は、本実施形態の撮像装置における
信号処理部の内部構成を示すブロック図である。

図１の撮像装置は、被写体からの光が入射される複数のレンズより成る光学系１と、光
学系１を介して入射される光を受光して入射光量に応じた電気信号を出力するＣＣＤやＣ
ＭＯＳセンサなどの固体撮像素子２と、固体撮像素子２から出力される映像信号をデジタ
ル信号に変換するＡ／Ｄ変換部３と、映像信号を一時的に格納する画像メモリ４と、画像
メモリ４に格納された映像信号を読み出して各種信号処理を施す信号処理部５と、信号処
理部５で処理された映像信号をアナログ信号に変換するＤ／Ａ変換部６と、光学系１内の
レンズのズーム位置及びフォーカス位置を設定するレンズ駆動制御部７と、歪曲補正を行
うための後述するディストーションデータを格納したディストーションデータメモリ８と
、レンズ駆動制御部７で設定されたズーム位置及びフォーカス位置に応じてディストーシ
ョンデータメモリ８に格納されたディストーションデータを選択して読み出すセレクタ９
と、を備える。

このように構成される撮像装置のディストーションデータメモリ８に格納されるディス
トーションデータについて、以下に説明する。まず、歪曲収差であるディストーションは
、光学系１の中心である光軸から結像位置までの距離である像高に応じて変化する値であ
る。即ち、図２（ａ）に固体撮像素子２の有効面を表すとき、この有効面の中心（光学系
１の光軸と重なる位置）からの相対距離を表す像高ｒによって、ディストーションＤが変
化する。又、像高ｒは、固体撮像素子２の有効面の中心から頂点までの距離（有効面の対
角線の半分の長さに相当）を１００％としたときの有効面の中心位置からの相対距離であ
る。

そして、歪曲収差により固体撮像素子２の有効面に実際に結像される結像位置の像高ｒ
に対して、歪曲収差のない光学系を通じて結像される理想的な結像位置の像高をＲとする
。この実際の結像位置の像高ｒと理想的な結像位置の像高Ｒとによって、ディストーショ
ンＤが以下のように表される。

Ｄ＝（ｒ−Ｒ）／Ｒ×１００（％）
このようにディストーションＤが定義されるとき、そして、糸巻き型歪みとなる場合、
図２（ｂ）のようにディストーションＤが正の値であるとともに実際の結像位置の像高ｒ
に対して非線形的に増加する特性となり、又、樽型歪みとなる場合、図２（ｃ）のように
ディストーションＤが負の値であるとともに実際の結像位置の像高ｒに対して非線形的に
減少する特性となる。この実際の結像位置の像高ｒに対するディストーションＤを、信号
処理における実際に結像した座標位置の計算処理を簡略化するため、理想的な結像位置の
像高Ｒに対するＤに変換する。即ち、図２（ｄ）又は図２（ｅ）などのように表すことの
できる理想的な結像位置の像高Ｒに対するディストーションＤの変化を示す像高−ディス
トーション曲線における離散的な複数の点（Ｒ，Ｄ）に変換して、ディストーションデー
タとしてディストーションデータメモリ８に格納する。

即ち、このようなディストーションＤと理想的な結像位置の像高Ｒとの関係を示す像高
−ディストーション曲線Ｄｘが図３（ａ）のようになるとき、この像高−ディストーショ
ン曲線Ｄｘ上のｎ個（図３の例においては１０個）の離散的な点それぞれの像高Ｒとディ
ストーションＤがディストーションデータとして格納される。このとき、図３（ａ）の像
高−ディストーション曲線Ｄｘ上における離散的な点（以下、「離散点」とする）におけ
る値（Ｒ１，Ｄｘ−１）、（Ｒ２，Ｄｘ−２）、…、（Ｒｎ，Ｄｘ−ｎ）それぞれが、デ
ィストーションデータｄｘ−１，ｄｘ−２，…，ｄｘ−ｎとして格納される。尚、以下に
おいて、その処理の説明を簡単にするため、像高−ディストーション曲線Ｄｘにおける隣
接する離散点は、その像高の差がΔＲで一定とされるものとして説明する。即ち、一定の
像高ΔＲでサンプリングした離散点の像高及びディストーションが、ディストーションデ
ータとして格納される。尚、実際は、この像高の差を任意として一定とする必要はない。

又、図３（ｂ）のように、レンズ駆動制御部７で設定されたズーム位置又はフォーカス
位置によって、ｍ個（図３（ｂ）の例においては６個）の像高−ディストーション曲線Ｄ
１，Ｄ２，…，Ｄｍが決定される。このとき、ｍ個の像高−ディストーション曲線Ｄ１，
Ｄ２，…，Ｄｍそれぞれに対して、ｎ個のディストーションデータｄ１−１〜ｄ１−ｎ，
ｄ２−１〜ｄ２−ｎ，…，ｄｍ−１〜ｄｍ−ｎがｎ×ｍ個だけ格納される。このディスト
ーションデータｄ１−１，ｄ１−２，…，ｄ１−ｎ，ｄ２−１，ｄ２−２，…，ｄ２−ｎ
，…，ｄｍ−１，ｄｍ−２，…，ｄｍ−ｎはそれぞれ、（Ｒ１，Ｄ１−１）、（Ｒ２，Ｄ
１−２）、…、（Ｒｎ，Ｄ１−ｎ）、（Ｒ１，Ｄ２−１）、（Ｒ２，Ｄ２−２）、…、（
Ｒｎ，Ｄ２−ｎ）、…、（Ｒ１，Ｄｍ−１）、（Ｒ２，Ｄｍ−２）、…、（Ｒｎ，Ｄｍ−
ｎ）となる。

このようにディストーションデータメモリ８に格納されたｎ×ｍ個のディストーション
データのうち、１つの像高−ディストーション曲線を表すｎ個のディストーションデータ
を、レンズ駆動制御部７で設定されたズーム位置又はフォーカス位置に従ってセレクタ９
が選択する。即ち、セレクタ９がレンズ駆動制御部７によって設定されたズーム位置又は
フォーカス位置によって設定される像高−ディストーション曲線がＤｋ（１≦ｋ≦ｍ）で
あることを確認すると、この像高−ディストーション曲線Ｄｋを表すディストーションデ
ータｄｋ−１〜ｄｋ−ｎをディストーションデータメモリ８より読み出す。

又、画像メモリ４は、信号処理部５を通じてＡ／Ｄ変換部３からの映像信号が与えられ
るとともに、固体撮像素子２にマトリクス状に配された画素の座標位置に応じて、映像信
号を構成する各画素のデータを格納する。この画像メモリ４に格納された固体撮像素子２
の各画素に応じたデータが信号処理部５によって読み出された後、読み出された各画素の
データを用いて信号処理が施される。この信号処理部５が図４ような歪曲補正処理部５ａ
として構成される。

図４に示す歪曲補正処理部５ａは、理想的な結像位置の座標位置（Ｘ，Ｙ）（以下、「
理想座標」とする）を設定する理想座標設定部５１と、理想座標設定部５１で設定された
理想座標（Ｘ，Ｙ）より像高Ｒｘを求める像高算出部５２と、像高算出部５２で確認され
た像高Ｒｘに対するディストーションＤｘを求めるディストーション算出部５３と、ディ
ストーション算出部５３で得られたディストーションＤｘと理想座標設定部５１で設定さ
れた理想座標（Ｘ，Ｙ）とより現実に結像した座標位置（ｘ，ｙ）（以下、「現実座標」
とする）を求める歪座標算出部５４と、歪座標算出部５４で算出された現実座標（ｘ，ｙ
）のデータを求めるための補間係数を算出する補間係数算出部５５と、歪座標算出部５４
で得られた現実座標（ｘ，ｙ）付近に存在する画素の座標位置（以下、「補間用周辺画素
の座標」とする）を確認して画像メモリ４に補間用周辺画素の座標のデータの出力を指示
するメモリコントローラ５６と、画像メモリ４から出力された補間用周辺画素の座標のデ
ータを補間係数算出部５５で得られた補間係数によって補間処理することで理想座標（Ｘ
，Ｙ）のデータとして出力する画素補間処理部５７と、を備える。

このように構成される歪曲補正処理部５ａの動作について、以下に説明する。このとき
、固体撮像素子２において、図５のように、水平方向に２ｘ０＋１画素が配されるととも
に、垂直方向に２ｙ０＋１画素が配されるものとする。又、この固体撮像素子２における
画素の座標位置は、左上の頂点に配置される画素を原点（０，０）とするため、各画素の
座標位置が（０，０）〜（２ｘ０，２ｙ０）となる。よって、固体撮像素子２における中
心位置（光学系１を構成するレンズの光軸と一致する点）の座標位置が（ｘ０，ｙ０）と
なる。又、理想座標（Ｘ，Ｙ）及び現実座標（ｘ，ｙ）はそれぞれ、図５の原点（０，０
）の相対的な位置による座標位置である。

このように座標位置が設定されるとき、理想座標（０，０）〜（２ｘ０，２ｙ０）の１
つとして理想座標（Ｘ，Ｙ）が理想座標設定部５１で設定されると、像高算出部５２及び
歪座標算出部５４に与えられる。そして、像高算出部５２では、理想座標（Ｘ，Ｙ）と中
心座標（ｘ０，ｙ０）との相対位置より像高Ｒｘが求められる。即ち、以下の演算式を用
いることによって、像高算出部５２で理想座標（Ｘ，Ｙ）における像高Ｒが求められる。

Ｒｘ＝（（Ｘ−ｘ０）²＋（Ｙ−ｙ０）²）^1/2／（ｘ０²＋ｙ０²）^1/2
又、このようにして求められた理想座標（Ｘ，Ｙ）に対する像高Ｒｘが求められると、
この像高Ｒｘがディストーション算出部５３に与えられる。このディストーション算出部
５３は、セレクタ９で選択された像高−ディストーション曲線Ｄｋを表すディストーショ
ンデータｄｋ−１〜ｄｋ−ｎが与えられる。そして、像高−ディストーション曲線Ｄｋに
おいて像高算出部５２で求められた像高Ｒｘ近傍の４つの離散点Ｖａ〜Ｖｄに相当するデ
ィストーションデータｄｋ−ａ，ｄｋ−ｂ，ｄｋ−ｃ，ｄｋ−ｄを用いて、ディストーシ
ョンデータｄｋ−ｂ，ｄｋ−ｃに相当する離散点Ｖｂ，Ｖｃの間の曲線に対する近似式ｆ
（Ｒ）を求める。

尚、ディストーションデータｄｋ−ａ〜ｄｋ−ｄによって表される４つの離散点Ｖａ〜
Ｖｄはそれぞれ、図６（ａ）に示すように、像高−ディストーション曲線Ｄｋ上の隣接す
る離散点であり、ディストーションデータｄｋ−ｂ，ｄｋ−ｃによって表される２つの離
散点Ｖｂ，Ｖｃの間に像高Ｒｘが存在する。又、離散点Ｖａ，Ｖｂ，Ｖｃ，Ｖｄのディス
トーションデータｄｋ−ａ，ｄｋ−ｂ，ｄｋ−ｃ，ｄｋ−ｄが（Ｒａ，Ｄａ）、（Ｒｂ，
Ｄｂ）、（Ｒｃ，Ｄｃ）、（Ｒｄ，Ｄｄ）として表される。このとき、Ｒｂ＝Ｒａ＋ΔＲ
、Ｒｃ＝Ｒａ＋２×ΔＲ、Ｒｄ＝Ｒａ＋３×ΔＲ、である。

このとき、まず、離散点Ｖｂ，Ｖｃにおける、像高の差Ｒｃ−Ｒｂ＝ΔＲと、ディスト
ーションの差Ｄｃ−Ｄｂ＝ΔＤが求められる。又、図６（ｂ）のように、離散点Ｖａ，Ｖ
ｃによって結ばれる直線Ｌ１の傾きｔ１と、離散点Ｖｂ，Ｖｄによって結ばれる直線Ｌ２
の傾きｔ２とが、以下の式によってそれぞれ求められる。

ｔ１＝（Ｄｃ−Ｄａ）／（Ｒｃ−Ｒａ）＝（Ｄｃ−Ｄａ）／（２×ΔＲ）
ｔ２＝（Ｄｄ−Ｄｂ）／（Ｒｄ−Ｒｂ）＝（Ｄｄ−Ｄｂ）／（２×ΔＲ）
次に、離散点Ｖｂ，Ｖｃによる曲線が離散点Ｖｂを原点（０，０）とするものとして、
その３次式となる近似式Ｆ（Ｒ）＝Ａ×Ｒ³＋Ｂ×Ｒ²＋Ｃ×Ｒを求める。このとき、以下
の（１）〜（３）式の条件を満たすようにして、近似式Ｆ（Ｒ）の係数Ａ〜Ｃが求められ
る。即ち、近似式Ｆ（Ｒ）による曲線が（ΔＲ，ΔＤ）となる離散点Ｖｃを通過するとと
もに、離散点Ｖｂでの接線の傾きが直線Ｌ１の傾きｔ１と等しく、離散点Ｖｃでの接線の
傾きが直線Ｌ２の傾きｔ２と等しいものとする。

Ｆ（ΔＲ）＝Ａ×（ΔＲ）³＋Ｂ×（ΔＲ）²＋Ｃ×（ΔＲ）＝ΔＤ …（１）
Ｆ’（０）＝３Ａ×０²＋２Ｂ×０＋Ｃ＝Ｃ＝ｔ１ …（２）
Ｆ’（ΔＲ）＝３Ａ×（ΔＲ）²＋２Ｂ×（ΔＲ）＋Ｃ＝ｔ２ …（３）
よって、上述の（１）〜（３）式による条件式を満たす係数Ａ〜Ｃが以下のように得ら
れる。そして、このように得られた係数Ａ〜ＣによるＦ（Ｒ）を離散点Ｖｂの座標（Ｒａ
＋ΔＲ，Ｄｂ）分だけ平行移動することによって、以下のようなｆ（Ｒ）が求められる。

Ａ＝−（２×ΔＤ−ΔＲ×（ｔ１＋ｔ２））／（ΔＲ）³
Ｂ＝−（２×ｔ１＋ｔ２−３×ΔＤ／ΔＲ）／ΔＲ
Ｃ＝ｔ１
ｆ（Ｒ）＝Ａ×（Ｒ−Ｒｂ）³＋Ｂ×（Ｒ−Ｒｂ）²＋Ｃ×（Ｒ−Ｒｂ）＋Ｄｂ
このようにして求められた近似式ｆ（Ｒ）に対して、像高算出部５２より与えられた像
高Ｒｘを代入することで、ディストーションＤｘ＝ｆ（Ｒｘ）を求める。そして、得られ
たディストーションＤｘが歪座標算出部５４に与えられる。歪座標算出部５４では、ディ
ストーション算出部５３で得られたディストーションＤｘと理想座標設定部５１で設定さ
れた理想座標（Ｘ，Ｙ）とより、理想座標（Ｘ，Ｙ）に対する現実座標（ｘ，ｙ）を求め
る。即ち、現実座標（ｘ，ｙ）における水平方向の座標（ｘ）及び垂直方向の座標（ｙ）
それぞれの値が、以下のようになる。

ｘ＝（Ｘ−ｘ０）×（１＋Ｄｘ／１００）＋ｘ０
ｙ＝（Ｙ−ｘ０）×（１＋Ｄｘ／１００）＋ｙ０
このようにして現実座標（ｘ，ｙ）が歪座標算出部５４で求められると、補間係数算出
部５５及びメモリコントローラ５６に与えられる。補間係数算出部５５及びメモリコント
ローラ５６ではそれぞれ、まず、求められた現実座標（ｘ，ｙ）の水平方向の座標（ｘ）
及び垂直方向の座標（ｙ）それぞれの値が整数であるか否かを確認する。即ち、ｘｉ、ｙ
ｉを整数とするとともに、ｘｄ、ｙｄを小数とするとともに、ｘ＝ｘｉ＋ｘｄ、ｙ＝ｙｉ
＋ｙｄとしたとき、ｘｄが０であるか否か、ｙｄが０であるか否かをそれぞれ確認する。

そして、ｘｄ及びｙｄがともに０のときは、現実座標（ｘ，ｙ）が座標（ｘｉ，ｙｉ）
と一致するため、図７（ａ）のように、メモリコントローラ５６によって座標位置（ｘｉ
，ｙｉ）の画素のデータがデータメモリ４より出力されるように指示される。又、このと
き、補間係数算出部５５では、座標位置（ｘｉ，ｙｉ）の画素のデータがそのまま用いら
れるように補間係数を１に設定する。よって、画素補間処理部５７では、データメモリ４
より出力される座標位置（ｘｉ，ｙｉ）の画素のデータｄiiを、理想座標（Ｘ，Ｙ）のデ
ータとして出力する。

又、ｘｄが０でありｙｄが０でないときは、図７（ｂ）のように、座標位置（ｘｉ，ｙ
ｉ）、（ｘｉ，ｙｉ＋１）となる２つ画素を補間用周辺画素とし、メモリコントローラ５
６によって座標位置（ｘｉ，ｙｉ）、（ｘｉ，ｙｉ＋１）の画素のデータがデータメモリ
４より出力されるように指示される。又、このとき、補間係数算出部５５では、現実座標
（ｘ，ｙ）と座標位置（ｘｉ，ｙｉ）、（ｘｉ，ｙｉ＋１）との相対位置より、補間係数
をｙｄに設定する。よって、画素補間処理部５７では、データメモリ４より出力される座
標位置（ｘｉ，ｙｉ）、（ｘｉ，ｙｉ＋１）の画素のデータｄii，ｄi(i+1)を補間係数ｙ
ｄで補間したデータ（１−ｙｄ）×ｄii＋ｙｄ×ｄi(i+1)を、理想座標（Ｘ，Ｙ）のデー
タとして出力する。

又、ｙｄが０でありｘｄが０でないときは、図７（ｃ）のように、座標位置（ｘｉ，ｙ
ｉ）、（ｘｉ＋１，ｙｉ）となる２つ画素を補間用周辺画素とし、メモリコントローラ５
６によって座標位置（ｘｉ，ｙｉ）、（ｘｉ＋１，ｙｉ）の画素のデータがデータメモリ
４より出力されるように指示される。又、このとき、補間係数算出部５５では、現実座標
（ｘ，ｙ）と座標位置（ｘｉ，ｙｉ）、（ｘｉ＋１，ｙｉ）との相対位置より、補間係数
をｘｄに設定する。よって、画素補間処理部５７では、データメモリ４より出力される座
標位置（ｘｉ，ｙｉ）、（ｘｉ＋１，ｙｉ）の画素のデータｄii，ｄ(i+1)iを補間係数ｘ
ｄで補間したデータ（１−ｘｄ）×ｄii＋ｘｄ×ｄ(i+1)iを、理想座標（Ｘ，Ｙ）のデー
タとして出力する。

又、ｘｄ及びｙｄがともに０でないときは、図７（ｄ）のように、座標位置（ｘｉ，ｙ
ｉ）、（ｘｉ，ｙｉ＋１）、（ｘｉ＋１，ｙｉ）、（ｘｉ＋１，ｙｉ＋１）となる４つ画
素を補間用周辺画素とし、メモリコントローラ５６によって座標位置（ｘｉ，ｙｉ）、（
ｘｉ，ｙｉ＋１）、（ｘｉ＋１，ｙｉ）、（ｘｉ＋１，ｙｉ＋１）の画素のデータがデー
タメモリ４より出力されるように指示される。又、このとき、補間係数算出部５５では、
現実座標（ｘ，ｙ）と座標位置（ｘｉ，ｙｉ）、（ｘｉ，ｙｉ＋１）、（ｘｉ＋１，ｙｉ
）、（ｘｉ＋１，ｙｉ＋１）との相対位置より、補間係数をｘｄ，ｙｄに設定する。よっ
て、画素補間処理部５７では、データメモリ４より出力される座標位置（ｘｉ，ｙｉ）、
（ｘｉ，ｙｉ＋１）、（ｘｉ＋１，ｙｉ）、（ｘｉ＋１，ｙｉ＋１）の画素のデータｄii
，ｄi(i+1)，ｄ(i+1)i，ｄ(i+1)(i+1)を補間係数ｘｄ，ｙｄで補間したデータ（１−ｙｄ
）×（（１−ｘｄ）×ｄii＋ｘｄ×ｄ(i+1)i）＋ｙｄ×（（１−ｘｄ）×ｄi(i+1)＋ｘｄ
×ｄ(i+1)(i+1)）を、理想座標（Ｘ，Ｙ）のデータとして出力する。

このようにして、理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれにおけるデータが
画素補間処理部５７で補間されることで、歪曲補正が施されたデータがＤ／Ａコンバータ
６に出力される。尚、このとき、現実座標（ｘ，ｙ）と補間用周辺画素の座標位置との相
対関係を確認するとき、座標位置（ｘｉ，ｙｉ）の補間用周辺画素のみを確認するものと
し、現実座標（ｘ，ｙ）と座標位置（ｘｉ，ｙｉ）との水平方向及び垂直方向の相対関係
を確認することで、補間係数を確認するものとしても構わない。

尚、ディストーションデータメモリ８に格納されるディストーションデータが、サンプ
リングする像高ΔＲが２αで且つ一定である場合、ディストーション算出部５３で求めら
れる近似式ｆ（Ｒ）の係数Ａ，Ｂの算出式を以下の式に置き換えることが可能になり、除
算回路の必要がなくなる。尚、以下の式中における記号ａ≫ｂは、ａをｂビット右（下位
側）にシフトすることを意味する。

Ａ＝−（２×ΔＤ）≫（３×α）＋（ｔ１＋ｔ２）≫（２×α）
Ｂ＝−（２×ｔ１＋ｔ２）≫α＋（３×ΔＤ）≫（２×α）
又、ディストーションメモリ８において、レンズ駆動制御部７で設定されたｍ箇所のズ
ーム位置又はフォーカス位置に対して、図３（ｂ）のようなｍ個の像高−ディストーショ
ン曲線Ｄ１，Ｄ２，…，Ｄｍにおける離散点となるディストーションデータが格納される
ものとした。このとき、ｍ箇所のズーム位置又はフォーカス位置以外のズーム位置又はフ
ォーカス位置が設定されたとき、その前後となる位置のディストーションデータメモリ８
に格納された複数の像高−ディストーション曲線のディストーションデータを補間処理す
ることで、設定されたズーム位置又はフォーカス位置に応じたディストーションデータを
生成するものとしても構わない。

更に、理想座標設定部５１で理想座標が設定する毎に、セレクタ９がディストーション
データメモリ８より必要なディストーションデータを選択してディストーション算出部５
３に与えるものとしても構わない。このとき、像高算出部５２で得られた像高に応じてデ
ィストーション算出部５３がセレクタ９を動作させるとともに、セレクタ９がディストー
ションデータメモリ８より必要なディストーションデータを選択して与えるものとしても
構わない。

＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。本実施形態の撮像装置は
、第１の実施形態と同様、図１のような構成となる。又、図８は、本実施形態の撮像装置
における信号処理部の内部構成を示すブロック図である。本実施形態の撮像装置は、第１
の実施形態の撮像装置と異なり、信号処理部５において歪曲補正処理だけでなくエッジ強
調処理が施される。よって、この信号処理部５以外の部分及びその動作については第１の
実施形態と同様となるため、第１の実施形態を参照するものとして、その詳細な説明は省
略する。

本実施形態の撮像装置における信号処理部５は、図８に示すように、第１の実施形態と
同様の歪曲補正処理部５ａと、二次微分などを行うことでエッジ成分を抽出するとともに
このエッジ成分を元の映像信号に加算してエッジ強調処理を施すエッジ強調処理部５ｂと
、を備える。そして、図８に示すエッジ強調処理部５ｂは、画像メモリ４よりデータを読
み出す画素を指示するメモリコントローラ６１と、画像メモリ４より読み出された対象画
素を含む複数画素のデータに対して二次微分やコアリング処理を施すことで各画素に対す
るエッジ成分を抽出するエッジ成分抽出部６２と、エッジ成分抽出部６２で抽出されたエ
ッジ成分を増幅率βで増幅する増幅部６３と、増幅部６３での増幅率βを対象画素毎に設
定する増幅率設定部６４と、画像メモリ４より読み出された対象画素のデータに増幅部６
３で増幅されたエッジ成分を加算する加算部６５と、を備える。尚、歪曲補正処理部５ａ
の構成は、第１の実施形態と同様、図４に示す構成となる。

このように信号処理部５が構成されるときの動作について、以下に説明する。尚、歪曲
補正処理部５ａの動作については、第１の実施形態を参照するものとして、その詳細な説
明は省略する。即ち、第１の実施形態と同様にして、歪曲補正処理部５ａの各部が動作す
ることによって歪曲補正処理が施されることによって、理想座標（０，０）〜（２ｘ０，
２ｙ０）それぞれに対するデータが画像補間処理部５７より出力される。このようにして
画像補間処理部５７より出力された理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれに
対するデータが、その座標位置に応じた画像メモリ４のアドレス位置に格納される。

このようにして画像メモリ４に歪曲補正処理後の理想座標（０，０）〜（２ｘ０，２ｙ
０）それぞれに対するデータが格納されると、理想座標（０，０）から順にエッジ強調処
理を施す対象画素としてそのデータが画像メモリ４より読み出されるとともに、対象画素
の水平方向及び垂直方向に隣接した複数のエッジ強調用周辺画素のデータが画像メモリ４
より読み出される。このとき、メモリコントローラ６１によって対象画素及びエッジ強調
用周辺画素のデータが読み出されるように画像メモリ４のアドレスが指示される。そして
、読み出された対象画素及びエッジ強調用周辺画素のデータがエッジ成分抽出部６２に与
えられて、対象画素に対するエッジ成分ｅｄが抽出される。

このとき、増幅率設定部６４において、対象画素の座標位置に対する像高又はディスト
ーションなどに応じて増幅率βが設定される。尚、増幅率設定部６４における増幅率βの
設定方法については、後述する。そして、エッジ成分抽出部６２で抽出されたエッジ成分
ｅｄと増幅率設定部６４における増幅率βとが増幅部６３に与えられると、増幅率βでエ
ッジ成分ｅｄが増幅されてβ×ｅｄが出力される。又、画像メモリ４から読み出された対
象画素のデータｄと増幅部６３で増幅されたエッジ成分β×ｅｄが加算部６５に与えられ
ると、加算部６５で加算されて、対象画素のデータｄ＋β×ｅｄがＤ／Ａコンバータ６に
出力される。このように各部が動作することにより、歪曲補正処理部５ａで歪曲補正処理
された映像信号に対して、エッジ強調処理部５ｂにおいてエッジ強調処理が施される。

このように動作するエッジ強調処理部５ｂの増幅率設定部６４における増幅率βの設定
動作の各例について、以下に説明する。
１．増幅率βの設定動作の第１例
本例において、増幅率設定部６４は、歪曲補正処理部５ａにおける像高算出部５２で求
められた像高が与えられる。即ち、メモリコントローラ６１によって読み出しが指示され
た対象画素の座標位置の像高Ｒｘが像高算出部５２により与えられる。このとき、理想座
標設定部５１によって設定された理想座標に対する像高算出部５２で演算された像高Ｒｘ
が遅延されて、エッジ補正処理部５ｂの増幅率設定部６４に与えられるようにすることで
、対象画素の座標位置における像高Ｒｘが増幅率設定部６４に与えられるようにしても構
わない。

このようにして像高算出部５２より与えられた対象画素の像高Ｒｘに応じた増幅率βが
、図９の関係より求められる。尚、図９は、増幅率βと像高Ｒｘとの関係を示すグラフで
あり、像高Ｒｘが大きくなるほど増幅率βが大きくなるような特性を示す。このようにす
ることで、像高Ｒｘが大きくなるほど増幅部６３で増幅されたエッジ成分が大きくなる。
即ち、ディストーションの値が大きくなる像高が大きい部分ほど、強いエッジ強調処理が
施される。
２．増幅率βの設定動作の第２例
本例において、増幅率設定部６４は、歪曲補正処理部５ａにおけるディストーション算
出部５３で求められたディストーションＤｘ＝ｆ（Ｒｘ）が与えられる。即ち、メモリコ
ントローラ６１によって読み出しが指示された対象画素の座標位置のディストーションＤ
ｘがディストーション算出部５３により与えられる。このとき、理想座標設定部５１によ
って設定された理想座標に対するディストーション算出部５３で演算されたディストーシ
ョンＤｘが遅延されて、エッジ補正処理部５ｂの増幅率設定部６４に与えられるようにす
ることで、対象画素の座標位置におけるディストーションＤｘが増幅率設定部６４に与え
られるようにしても構わない。

このようにしてディストーション算出部５３より与えられた対象画素のディストーショ
ンＤｘに応じた増幅率βが、図１０の関係より求められる。尚、図１０は、増幅率βとデ
ィストーションＤｘとの関係を示すグラフであり、ディストーションＤｘの絶対値が大き
くなるほど増幅率βが大きくなるような特性を示す。このようにすることで、ディストー
ションＤｘの絶対値が大きくなるほど増幅部６３で増幅されたエッジ成分が大きくなる。
即ち、ディストーションの絶対値が大きくなる部分ほど、強いエッジ強調処理が施される
。
３．増幅率βの設定動作の第３例
本例において、増幅率設定部６４は、歪曲補正処理部５ａにおける歪座標算出部５４で
求められた現実座標（ｘ，ｙ）が与えられる。即ち、メモリコントローラ６１によって読
み出しが指示された対象画素の座標位置の現実座標（ｘ，ｙ）が歪座標算出部５４により
与えられる。このとき、理想座標設定部５１によって設定された理想座標に対する歪座標
算出部５４で演算された現実座標（ｘ，ｙ）が遅延されて、エッジ補正処理部５ｂの増幅
率設定部６４に与えられるようにすることで、対象画素の座標位置における現実座標（ｘ
，ｙ）が増幅率設定部６４に与えられるようにしても構わない。

このようにして歪座標算出部５４より対象画素の現実座標（ｘ，ｙ）が与えられると、
この現実座標（ｘ，ｙ）が（ｘｉ＋ｘｄ，ｙｉ＋ｙｄ）となるとき、この現実座標（ｘ，
ｙ）の補間用周辺画素の座標位置（ｘｉ，ｙｉ）、（ｘｉ，ｙｉ＋１）、（ｘｉ＋１，ｙ
ｉ）、（ｘｉ＋１，ｙｉ＋１）が確認される。即ち、ｘｄ及びｙｄがともに０のときは、
図７（ａ）のように座標位置（ｘｉ，ｙｉ）の画素と一致することが確認され、又、ｘｄ
が０でありｙｄが０でないときは、図７（ｂ）のように、座標位置（ｘｉ，ｙｉ）、（ｘ
ｉ，ｙｉ＋１）となる２つ画素を補間用周辺画素とし、又、ｙｄが０でありｘｄが０でな
いときは、図７（ｃ）のように、座標位置（ｘｉ，ｙｉ）、（ｘｉ＋１，ｙｉ）となる２
つ画素を補間用周辺画素とし、又、ｘｄ及びｙｄがともに０でないときは、図７（ｄ）の
ように、座標位置（ｘｉ，ｙｉ）、（ｘｉ，ｙｉ＋１）、（ｘｉ＋１，ｙｉ）、（ｘｉ＋
１，ｙｉ＋１）となる４つ画素を補間用周辺画素とする。

このようにして対象画素の現実座標に対する補間用周辺画素の座標位置を確認すると、
確認された補間用周辺画素と対象画素との水平方向及び垂直方向の相対関係を確認する。
このとき、図１１に示すように、対象画素の現実座標（ｘ，ｙ）が、座標位置（ｘｉ，ｙ
ｉ）、（ｘｉ，ｙｉ＋１）、（ｘｉ＋１，ｙｉ）、（ｘｉ＋１，ｙｉ＋１）の補間用周辺
画素Ｇａ〜Ｇｄの中心位置Ｇｏに近ずくほど、増幅率βが大きくなるようにして、増幅率
βが設定される。即ち、歪曲補正処理部５ａの補間係数算出部５５で得られる水平方向及
び垂直方向それぞれ補間係数ｘｄ，ｙｄが０．５に近いほど、その増幅率βが大きくなる
。このとき、βと補間係数ｘｄ，ｙｄの関係を以下に示すそれぞれの演算式で表されるも
のとしても構わない。尚、β０は、定数である。

β＝β０×(０．５−｜ｘｄ−０．５｜)×(０．５−｜ｙｄ−０．５｜)
β＝β０×((０．５−｜ｘｄ−０．５｜)＋(０．５−｜ｙｄ−０．５｜))
β＝β０×((０．５−｜ｘｄ−０．５｜)²＋(０．５−｜ｙｄ−０．５｜)²)^1/2
この第１例〜第３例によるいずれかの動作を増幅率設定部６４が行うことで、各画素毎
に最適な増幅率βを設定することができる。尚、このように増幅率βが増幅率設定部６４
で設定されるとき、第１例〜第３例を組み合わせて設定動作が行われるものとしても構わ
ない。このとき、例えば、第１例と第３例を組み合わせて、第１例のようにして対象画素
の像高により増幅率βを設定した後に第３例のようにして対象画素の現実座標に基づいて
増幅率βを設定するようにしても構わないし、第２例と第３例を組み合わせて、第２例の
ようにして対象画素のディストーションにより増幅率βを設定した後に第３例のようにし
て対象画素の現実座標に基づいて増幅率βを設定するようにしても構わない。

又、本実施形態において、信号処理部５が、歪曲補正処理部５ａにおける歪曲補正処理
を行った後にエッジ強調処理部５ｂによるエッジ強調処理を行うものとしたが、エッジ強
調処理部５ｂによるエッジ強調処理を行った後に歪曲補正処理部５ａにおける歪曲補正処
理を行うものとしても構わない。

＜第３の実施形態＞
本発明の第３の実施形態について、図面を参照して説明する。本実施形態の撮像装置は
、第１の実施形態と同様、図１のような構成となる。又、図１２は、本実施形態の撮像装
置における信号処理部の内部構成を示すブロック図である。本実施形態の撮像装置は、第
２の実施形態の撮像装置と異なり、信号処理部５において歪曲補正処理及びエッジ強調処
理だけでなく色収差補正処理が施される。よって、この信号処理部５以外の部分及びその
動作については第１及び第２の実施形態と同様となるため、第１及び第２の実施形態を参
照するものとして、その詳細な説明は省略する。

本実施形態の撮像装置は、固体撮像素子２の水平方向及び垂直方向それぞれにおいて互
いに隣接した画素から異なる色信号が出力されるように、固体撮像素子２の各画素の表面
に異なる色フィルタが設置される。即ち、固体撮像素子２の画素表面には、複数種類の色
フィルタより成る単板式フィルタが設置される。尚、本実施形態において、この固体撮像
素子２に設置される単板式フィルタは、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色フィル
タが図１３のように配列されたベイヤ型の色フィルタであるものとする。

又、本実施形態の撮像装置における信号処理部５は、図１２に示すように、第１の実施
形態の歪曲補正処理部５ａと同様の構成となる歪曲補正処理部５ｒａ，５ｇａ，５ｂａと
、第２の実施形態のエッジ強調処理部５ｂと同様の構成となるエッジ強調処理部５ｒｂ，
５ｇｂ，５ｂｂと、各色信号（ＲＧＢ信号）に対する周辺画素のデータに基づいて補間処
理を行う色補間処理部５ｃと、各色信号より輝度信号と色差信号を生成する信号生成部５
ｄと、ディストーションデータを各色信号の屈折率の比によって増幅又は減衰させるディ
ストーションデータ増幅部５０ｒ，５０ｂと、を備える。

このように信号処理部５が構成されるとき、色補間処理部５ｃは、画像メモリ４の各ア
ドレス位置に対してその現実座標に応じて格納された映像信号を各画素のデータ毎に読み
出す。そして、読み出した座標位置よりＲＧＢ信号のいずれの色信号であるか否かを判定
し、Ｒ信号の場合、この画素におけるＧ信号及びＢ信号を周辺画素より補間処理によって
生成し、Ｇ信号の場合、この画素におけるＲ信号及びＢ信号を周辺画素より補間処理によ
って生成し、Ｂ信号の場合、この画素におけるＲ信号及びＧ信号を周辺画素より補間処理
によって生成する。そして、各画素毎にＲＧＢ信号それぞれを生成し、画像メモリ４の現
実座標に応じた各アドレス位置に格納する。

以下では、最も簡単な補間方法によりＲＧＢ信号を生成する方法を説明する。図１４（
ａ）のように、画像メモリ４において、ＲＧＢ信号それぞれが各信号を出力する現実座標
（０，０）〜（２ｘ０，２ｙ０）に応じたアドレス位置Ａ00〜Ａ2xo2yoに格納されている
。そして、色補間処理の対象画素となる画素位置ＰxyのＲ信号が読み出されたとき、図１
５（ａ）のようにＲＧＢ信号それぞれを出力する画素が配置される場合、水平方向及び垂
直方向に隣接した画素位置Ｐ(x-1)y、Ｐ(x+1)y、Ｐx(y-1)、Ｐx(y+1)の４画素のＧ信号に
よって画素位置ＰxyのＧ信号が補間されて生成されるとともに、対角線方向に隣接した画
素位置Ｐ(x-1)(y-1)、Ｐ(x-1)(y+1)、Ｐ(x+1)(y-1)、Ｐ(x+1)(y+1)の４画素のＢ信号によ
って画素位置ＰxyのＢ信号が補間されて生成される。

又、色補間処理の対象画素となる画素位置ＰxyのＧ信号が読み出されたとき、図１５（
ｂ）のようにＲＧＢ信号それぞれを出力する画素が配置される場合、水平方向に隣接した
画素位置Ｐ(x-1)y、Ｐ(x+1)yの２画素のＲ信号によって画素位置ＰxyのＲ信号が補間され
て生成されるとともに、垂直方向に隣接した画素位置Ｐx(y-1)、Ｐx(y+1)の２画素のＢ信
号によって画素位置ＰxyのＢ信号が補間されて生成される。又、図１５（ｃ）のようにＲ
ＧＢ信号それぞれを出力する画素が配置される場合、垂直方向に隣接した画素位置Ｐx(y-
1)、Ｐx(y+1)の２画素のＲ信号によって画素位置ＰxyのＲ信号が補間されて生成されると
ともに、水平方向に隣接した画素位置Ｐ(x-1)y、Ｐ(x+1)yの２画素のＢ信号によって画素
位置ＰxyのＢ信号が補間されて生成される。

又、色補間処理の対象画素となる画素位置ＰxyのＢ信号が読み出されたとき、図１５（
ｄ）のようにＲＧＢ信号それぞれを出力する画素が配置される場合、水平方向及び垂直方
向に隣接した画素位置Ｐ(x-1)y、Ｐ(x+1)y、Ｐx(y-1)、Ｐx(y+1)の４画素のＧ信号によっ
て画素位置ＰxyのＧ信号が補間されて生成されるとともに、対角線方向に隣接した画素位
置Ｐ(x-1)(y-1)、Ｐ(x-1)(y+1)、Ｐ(x+1)(y-1)、Ｐ(x+1)(y+1)の４画素のＲ信号によって
画素位置ＰxyのＲ信号が補間されて生成される。尚、図１４及び図１５において、かっこ
内に示すＲＧＢが、ＲＧＢ信号それぞれに対応しているものとする。

このようにして、対象画素の出力する色信号以外の色信号を生成するために、周辺画素
における色信号を用いた色補間処理が行われると、各画素毎にＲＧＢ信号が色補間処理部
５ｃより画像メモリ４に出力される。そして、生成された各画素のＲＧＢ信号はそれぞれ
、画像メモリ４内においてＲＧＢ信号それぞれに割り当てられたメモリ領域４ｒ，４ｇ，
４ｂの現実座標に応じたアドレス位置に格納される。

即ち、図１４（ｂ）のように、現実座標（０，０）〜（２ｘ０，２ｙ０）それぞれの画
素位置におけるＲ信号が、現実座標（０，０）〜（２ｘ０，２ｙ０）に応じたメモリ領域
４ｒのアドレス位置Ａｒ00〜Ａｒ2xo2yoに格納され、又、現実座標（０，０）〜（２ｘ０
，２ｙ０）それぞれの画素位置におけるＧ信号が、現実座標（０，０）〜（２ｘ０，２ｙ
０）に応じたメモリ領域４ｇのアドレス位置Ａｇ00〜Ａｇ2xo2yoに格納され、又、現実座
標（０，０）〜（２ｘ０，２ｙ０）それぞれの画素位置におけるＢ信号が、現実座標（０
，０）〜（２ｘ０，２ｙ０）に応じたメモリ領域４ｂのアドレス位置Ａｂ00〜Ａｂ2xo2yo
に格納される。

このように、色補間処理部５ｃで色補間されて生成された各現実座標に応じたＲＧＢ信
号が画像メモリ４に格納されると、歪曲補正処理部５ｒａ，５ｇａ，５ｂａが、第１の実
施形態の歪曲補正処理部５ａと同様の動作を行うことで、ＲＧＢ信号それぞれに対する歪
曲補正処理が施される。このとき、セレクタ９がディストーションデータメモリ８より選
択したディストーションデータがＧ信号に対するものであるとすると、このディストーシ
ョンデータが歪曲補正処理部５ｇａに直接与えられる。又、ディストーションデータ増幅
部５０ｒでは、Ｒ信号の屈折率とＧ信号の屈折率の比に基づいて得られる増幅率によりセ
レクタ９から与えられるディストーションデータを増幅又は減衰した後、歪曲補正処理部
５ｒａに与える。同様に、ディストーションデータ増幅部５０ｂでは、Ｂ信号の屈折率と
Ｇ信号の屈折率の比に基づいて得られる増幅率によりセレクタ９から与えられるディスト
ーションデータを増幅又は減衰した後、歪曲補正処理部５ｂａに与える。

よって、歪曲補正処理部５ｒａは、メモリ領域４ｒに格納されたデータを用いて、ディ
ストーションデータ増幅部５０ｒからのディストーションデータに基づいた歪曲補正処理
を行うことで、理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれに対するデータを生成
する。そして、理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれに対する歪曲補正処理
後のＲ信号のデータが、その座標位置に応じた画像メモリ４におけるメモリ領域４ｒのア
ドレス位置に格納される。同様に、歪曲補正処理部５ｇａは、メモリ領域４ｇに格納され
たデータを用いて、セレクタ９から直接与えられるディストーションデータに基づいた歪
曲補正処理を行うことで、理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれに対するデ
ータを生成する。そして、理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれに対する歪
曲補正処理後のＧ信号のデータが、その座標位置に応じた画像メモリ４におけるメモリ領
域４ｇのアドレス位置に格納される。

又、歪曲補正処理部５ｂａは、メモリ領域４ｂに格納されたデータを用いて、ディスト
ーションデータ増幅部５０ｂからのディストーションデータに基づいた歪曲補正処理を行
うことで、理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれに対するデータを生成する
。そして、理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれに対する歪曲補正処理後の
Ｂ信号のデータが、その座標位置に応じた画像メモリ４におけるメモリ領域４ｂのアドレ
ス位置に格納される。このように歪曲補正処理部５ｒａ，５ｇａ，５ｂａそれぞれが動作
を行うため、歪曲補正処理を行うとともに、色信号毎に屈折率が異なるために発生する色
収差をも補正することができる。

このようにして画像メモリ４のメモリ領域４ｒ，４ｇ，４ｂそれぞれに、歪曲補正処理
後の理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれに対するＲＧＢ信号のデータが格
納されると、エッジ強調処理部５ｒｂ，５ｇｂ，５ｂｂが、第２の実施形態のエッジ強調
処理部５ｂと同様の動作を行うことで、ＲＧＢ信号それぞれに対するエッジ強調処理が施
される。このとき、エッジ強調処理部５ｒｂ，５ｇｂ，５ｂｂはそれぞれ、歪曲補正処理
部５ｒａ，５ｇａ，５ｂａそれぞれで求められた像高及びディストーション及び現実座標
が与えられ、理想座標それぞれでの増幅率が設定される。

よって、エッジ強調処理部５ｒｂは、歪曲補正処理部５ｒａそれぞれで求められた像高
及びディストーション及び現実座標に基づいて、理想座標（０，０）〜（２ｘ０，２ｙ０
）それぞれに対する増幅率を求める。そして、メモリ領域４ｒに格納された理想座標（０
，０）〜（２ｘ０，２ｙ０）それぞれに対するデータを用いて、その理想座標に対して設
定された増幅率によってエッジ強調処理を行う。

同様に、エッジ強調処理部５ｇｂは、歪曲補正処理部５ｇａそれぞれで求められた像高
及びディストーション及び現実座標に基づいて、理想座標（０，０）〜（２ｘ０，２ｙ０
）それぞれに対する増幅率を求める。そして、メモリ領域４ｇに格納された理想座標（０
，０）〜（２ｘ０，２ｙ０）それぞれに対するデータを用いて、その理想座標に対して設
定された増幅率によってエッジ強調処理を行う。

又、エッジ強調処理部５ｂｂは、歪曲補正処理部５ｂａそれぞれで求められた像高及び
ディストーション及び現実座標に基づいて、理想座標（０，０）〜（２ｘ０，２ｙ０）そ
れぞれに対する増幅率を求める。そして、メモリ領域４ｂに格納された理想座標（０，０
）〜（２ｘ０，２ｙ０）それぞれに対するデータを用いて、その理想座標に対して設定さ
れた増幅率によってエッジ強調処理を行う。

このようにしてエッジ強調処理部５ｒｂ，５ｇｂ，５ｂｂそれぞれにおいてエッジ強調
が施された理想座標（０，０）〜（２ｘ０，２ｙ０）それぞれにおけるＲＧＢ信号は、信
号生成部５ｄに出力される。そして、この信号生成部５ｄにおいて、各画素の理想座標位
置毎のＲＧＢ信号を用いて、輝度信号及び色差信号が生成されると、Ｄ／Ａ変換部６に出
力される。

尚、本実施形態において、信号処理部５が、色補間処理部５ｃにおける色補間処理を行
った後に歪曲補正処理部５ｒａ，５ｇａ，５ｂａ及びエッジ強調処理部５ｒｂ，５ｇｂ，
５ｂｂによる歪曲補正処理及びエッジ強調処理を行うものとしたが、第２の実施形態のよ
うな歪曲補正処理部５ａ及びエッジ強調処理部５ｂによる歪曲補正処理及びエッジ強調処
理を行った後に色補間処理部５ｃにおける色補間処理を行うものとしても構わない。この
とき、歪曲補正処理部５ａ及びエッジ強調処理部５ｂでは、各理想座標位置毎に、その色
信号に応じたディストーションデータに設定して、歪曲補正処理及びエッジ強調処理が行
われる。

又、ディストーションデータ増幅部５０ｒ，５０ｂにおいて、セレクタ９で選択された
ディストーションデータがＲＢ信号それぞれに応じたディストーションデータに変換され
るものとしたが、セレクタ９によってＲＧＢ信号それぞれに応じたディストーションデー
タが選択されて、歪曲補正処理部５ｒａ，５ｇａ，５ｂａに与えられるものとしても構わ
ない。更に、各色信号毎に備えられた固体撮像素子２にフィルタが設置される３板式フィ
ルタとしても構わないし、色フィルタが補色型のフィルタであっても構わない。

＜第４の実施形態＞
本発明の第４の実施形態について、図面を参照して説明する。図１６は、本実施形態の
撮像装置の内部構成を示すブロック図である。

本実施形態の撮像装置は、第１〜第３の実施形態の撮像装置（図１）と異なり、ユーザ
によって画像の表示状態を設定する表示状態設定部１０を備えるとともに、この表示状態
設定部１０で設定された画像の状態を示す信号がセレクタ９に与えられる。即ち、表示状
態設定部１０が操作されることによって、故意に樽型又は糸巻き型の歪みを備えた画像が
表示されるように、設定することができる。

このとき、表示状態設定部１０によって設定された画像の表示状態を示す信号がセレク
タ９に与えられると、セレクタ９では、レンズ駆動制御部７によって設定される光学系１
内のレンズのズーム位置及びフォーカス位置と表示状態設定部１０によって設定された画
像の表示状態とに基づいて、ディストーションデータメモリ８に格納されたディストーシ
ョンデータを選択する。よって、信号処理部５に備えられた歪曲補正処理部５ａ（第３の
実施形態の歪曲補正処理部５ｒａ，５ｇａ，５ｂａも含む）において、表示状態設定部１
０によって設定された画像の表示状態に応じた映像信号が生成される。

このとき、セレクタ９では、光学系１内のレンズのズーム位置及びフォーカス位置によ
り決定されるディストーションデータと、表示状態設定部１０によって設定された画像の
表示状態により確認されるディストーションデータとを、ディストーションデータメモリ
８より読み出して、歪曲補正処理部５ａに与えるディストーションデータを求めるものと
しても構わない。

即ち、光学系１内のレンズのズーム位置及びフォーカス位置により決定される像高−デ
ィストーション曲線によるディストーションデータと、表示状態設定部１０によって設定
された画像の表示状態を現実座標とすることで決定される像高−ディストーション曲線に
よるディストーションデータとを、ディストーションデータメモリ８より読み出す。そし
て、読み出したそれぞれの曲線におけるディストーションデータについて、像高が同一と
なるディストーションデータの相関関係を確認し、その相関関係を利用して、歪曲補正処
理部５ａで歪曲補正処理を行うためのディストーションデータを生成するようにしても構
わない。

このように、本実施形態では、表示状態設定部１０によって画像の表示状態を設定する
ことができるため、例えば、固体撮像素子２から与えられる映像信号が図１７（ｂ）のよ
うな樽型歪みを備えるときに、信号処理部５において故意に図１７（ａ）のような糸巻き
型歪みを備える映像信号に変換して出力することができる。又、本実施形態において、セ
レクタ９によるディストーションデータの設定動作が異なるのみで、信号処理部５は第１
〜第３の実施形態におけるいずかの信号処理部５と同様の動作を行う。

このようにして構成される歪曲補正装置及び撮像装置は、静止画又は動画を撮像するよ
うな撮像装置に適用可能である。又、このような撮像装置として、モノクロ映像又はカラ
ー映像のいずれを撮像するものであっても適用することができる。更に、撮像されて得ら
れた映像信号をデジタル信号として記録する装置、又は、撮像されて得られた映像信号を
アナログ信号として記録する装置、のいずれに対しても適用することができる。

は、第１〜第３の実施形態の撮像装置の内部構成を示すブロック図である。 は、固体撮像素子における座標位置と像高とディストーションとの関係を示す図である。 は、ディストーションデータメモリに格納されるディストーションデータを説明するための図である。 は、第１の実施形態の撮像装置における信号処理部の内部構成を示すブロック図である。 は、固体撮像素子における画素の座標位置の関係を示すである。 は、像高−ディストーション曲線の近似式の算出方法を説明するための図である。 は、補間係数の算出動作及び補間処理動作を説明するための図である。 は、第２の実施形態の撮像装置における信号処理部の内部構成を示すブロック図である。 は、像高とエッジ成分の増幅率との関係を示すグラフである。 は、ディストーションとエッジ成分の増幅率との関係を示すグラフである。 は、座標位置とエッジ成分の増幅率との関係を示すグラフである。 は、第３の実施形態の撮像装置における信号処理部の内部構成を示すブロック図である。 は、固体撮像装置に設置されたフィルタの構成を示す図である。 は、色補正処理前及び色補正処理後の画像メモリに格納される映像信号の状態を示す図である。 は、色補正処理を説明するための図である。 は、第４の実施形態の撮像装置の内部構成を示すブロック図である。 は、糸巻き型歪み及び樽型歪みを説明するための図である。

符号の説明

１ 光学系
２ 固体撮像素子
３ Ａ／Ｄ変換部
４ 画像メモリ
５ 信号処理部
５ａ，５ｒａ，５ｇａ，５ｂａ 歪曲補正処理部
５ｂ，５ｒｂ，５ｇｂ，５ｂｂ エッジ強調処理部
５ｃ 色補間処理部
５ｄ 信号生成部
６ Ｄ／Ａ変換部
７ レンズ駆動制御部
８ ディストーションデータメモリ
９ セレクタ
１０ 表示状態設定部

Claims (12)

1. 入力された映像信号の座標位置である入力座標位置を変換することで映像信号に歪曲補
   正を施す歪曲補正装置において、
   出力する映像信号の座標位置である出力座標位置と当該出力座標位置に対応する前記入
   力座標位置の相関値であるディストーションと該出力座標位置に対する前記映像信号によ
   る画像の中心位置からの距離である像高との関係を示す像高−ディストーション曲線上に
   おける離散点となるディストーションデータを、格納するディストーションデータメモリ
   と、
   該ディストーションデータメモリより前記出力座標位置による前記像高近傍の所定数の
   前記ディストーションデータを読み出して、当該出力座標位置による前記像高近傍におけ
   る前記像高−ディストーション曲線を近似する近似式を算出して、当該近似式に当該出力
   座標位置による前記像高を代入することで、当該出力座標位置による前記ディストーショ
   ンを求めるディストーション算出部と、
   前記出力座標位置と、当該出力座標位置に対して前記ディストーション算出部で算出さ
   れた前記ディストーションとに基づいて、前記入力座標位置を求める座標算出部と、
   を備え、
   前記出力座標位置のデータとして、当該出力座標位置に対して前記座標算出部で得られ
   た前記入力座標位置のデータを出力することを特徴とする歪曲補正装置。
2. 前記座標算出部で得られた前記入力座標位置に対する映像信号のデータが入力されない
   とき、前記入力座標位置近傍のデータの存在する複数の前記入力座標を周辺入力座標とし
   て確認して、該複数の周辺入力座標と前記座標算出部で得られた前記入力座標位置との位
   置関係に応じて、該複数の周辺入力座標におけるデータを補間することで、前記座標算出
   部で得られた前記入力座標位置のデータを生成する補間処理部を、備えることを特徴とす
   る請求項１に記載の歪曲補正装置。
3. 前記ディストーション算出部において、前記出力座標位置による前記像高近傍の４つの
   前記ディストーションデータを読み出すことによって、前記近似式を算出することを特徴
   とする請求項１又は請求項２に記載の歪曲補正装置。
4. 前記出力座標位置に対する前記像高を求める像高算出部を備えるとともに、
   前記ディストーション算出部において、
   前記像高算出部で算出された前記像高に近接した値であるとともに当該像高よりも小さ
   い値となる像高を有するディストーションデータを第１ディストーションデータとして前
   記ディストーションデータメモリより読み出し、
   前記像高算出部で算出された前記像高に近接した値であるとともに当該像高よりも大き
   い値となる像高を有するディストーションデータを第２ディストーションデータとして前
   記ディストーションデータメモリより読み出し、
   前記出力座標位置に対する前記第１ディストーションデータの像高に近接した値である
   とともに当該像高よりも小さい値となる像高を有するディストーションデータを第３ディ
   ストーションデータとして前記ディストーションデータメモリより読み出し、
   前記出力座標位置に対する前記第２ディストーションデータの像高に近接した値である
   とともに当該像高よりも大きい値となる像高を有するディストーションデータを第４ディ
   ストーションデータとして前記ディストーションデータメモリより読み出し、
   前記第１〜第４ディストーションデータを用いて３次式となる前記近似式を算出するこ
   とを特徴とする請求項３に記載の歪曲補正装置。
5. 前記ディストーション算出部において、
   前記第２及び第３ディストーションデータによる直線の傾きが、算出する前記近似式の
   前記第１ディストーションデータにおける接線の傾きに等しいことを示す第１条件と、
   前記第１及び第４ディストーションデータによる直線の傾きが、算出する前記近似式の
   前記第２ディストーションデータにおける接線の傾きに等しいことを示す第２条件と、
   前記第１及び第２ディストーションデータを前記近似式が通過することを示す第３条件
   と、を確認し、
   前記第１〜第３条件を満たす３次式を前記近似式とすることを特徴とする請求項４に記
   載の歪曲補正装置。
6. レンズによって構成される光学系と、該光学系の前記レンズの位置を移動させるレンズ
   駆動制御部と、前記レンズの位置に応じて入力された映像信号に対して歪曲補正処理を施
   す歪曲補正処理部と、を備える撮像装置において、
   請求項１〜請求項５のいずれかに記載の歪曲補正装置を前記歪曲補正処理部として備え
   るとともに、
   前記ディストーションデータメモリが、複数の前記像高−ディストーション曲線に対す
   るディストーションデータを格納し、
   前記レンズ駆動制御部によって設定された前記レンズの位置に応じて、前記ディストー
   ションデータメモリより読み出す前記ディストーションデータが設定されることを特徴と
   する撮像装置。
7. 入力された映像信号に対して各画素位置で異なる度合いのエッジ強調処理を施すエッジ
   強調処理部を備えることを特徴とする請求項６に記載の撮像装置。
8. 前記エッジ強調処理に利用するパラメータを、対象画素となる前記出力座標位置の像高
   に応じて設定されることを特徴とする請求項７に記載の撮像装置。
9. 前記エッジ強調処理に利用するパラメータを、対象画素となる前記出力座標位置のディ
   ストーションに応じて設定されることを特徴とする請求項７に記載の撮像装置。
10. 前記エッジ強調処理に利用するパラメータを、対象画素となる前記出力座標位置に対し
    て求められた前記入力座標位置に応じて設定されることを特徴とする請求項７に記載の撮
    像装置。
11. 前記固体撮像素子より複数種類の色信号となる映像信号が出力されるとともに、前記歪
    曲補正処理部において、前記色信号それぞれに応じた前記ディストーションデータを用い
    て、前記色信号それぞれに対して異なる前記像高−ディストーション曲線による前記近似
    式を求めることを特徴とする請求項６〜請求項１０のいずれかに記載の撮像装置。
12. 前記ディストーションデータメモリより読み出す前記ディストーションデータが、出力
    する映像信号による画像を意図的に歪曲させる度合いに応じて設定されることを特徴とす
    る請求項６〜請求項１１のいずれかに記載の撮像装置。

Images