JP4664259B2

JP4664259B2 - 画像補正装置および画像補正方法

Info

Publication number: JP4664259B2
Application number: JP2006244308A
Authority: JP
Inventors: 隆明坂口; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-09-08
Filing date: 2006-09-08
Publication date: 2011-04-06
Anticipated expiration: 2026-09-08
Also published as: JP2008067176A

Description

この発明は、撮像装置によって得られた映像信号に対し、その撮像に用いられたレンズによる歪曲収差(ディストーション)を補正する画像補正技術に関するものである。

レンズと撮像部からなる撮像装置においては、レンズ収差の影響により画像が幾何学的に歪むという現象が知られている。これは、収差の影響により結像位置がずれることが原因である。
この画像の歪み(ディストーション)を補正するために、一般には、各画素位置の像高に応じた歪み特性をもとに、画像を補正することが行われている。
例えば、特開2005-286482号公報に開示されている歪曲補正装置では、歪み特性データをディストーションメモリに保持し、注目画素の像高に対して近傍の4点を3次式で近似し、歪み特性を算出している。その際、ディストーションメモリには、レンズのズーム位置又はフォーカス位置によって、複数個の特性が保持されている。

また、特開2004-336106号公報に開示されている収差補正方法では、色収差および歪曲収差データに基づき画素位置毎に補正ベクトルを算出し、拡大または縮小処理を行っている。
また、特開2003-37769号公報に開示されている歪曲収差補正装置では、垂直方向の歪み特性を用いて、水平方向の補正比率を変更し、不自然な歪曲を解消している。

特開2005-286482号公報特開2004-336106号公報特開2003-37769号公報

しかしながら、このような従来の歪曲補正方法では、図２、図３に示すように、歪み特性を元に画像の拡大、縮小を行うことにより、画像の領域外に移動する画素や、取得画像内に存在しない画素を参照してしまう画素が存在する。このため、画像を拡大して補正する場合、画像の画角が変わってしまうという問題点や、一方、画像を縮小して補正する場合には、補正できない画素が存在するという問題点がある。
したがって、この発明は、歪み特性を用いて画像を拡大縮小する場合に、画角を維持する画像補正方法および画像補正装置の提供を目的としている。

この発明に係る画像補正装置は、
レンズを介して撮像素子に結像された画像を画像データ信号として取り出した際に、レンズの収差による歪みを補正する画像補正装置において、画像データ信号に含まれる水平同期信号および垂直同期信号をもとに各画素の座標位置を算出する画素カウント部と、各画素の座標位置と光軸中心位置との距離を算出し、少なくともレンズのズーム位置、フォーカス位置、絞り量の何れか１つに応じて、算出した距離を変換する距離算出部と、画像データを保持する画像メモリと、各画素と光軸中心との変換された距離をもとに、レンズの収差による歪み量を算出する歪み量算出部と、歪み量をもとに画像の歪みを補正する歪み補正部とを具備する。

また、この発明に係る画像補正方法は、
レンズを介して撮像素子に結像された画像の画像データ信号に含まれる水平同期信号および垂直同期信号をもとに各画素の座標位置を算出する画素カウント工程と、各画素の座標位置と光軸中心位置との距離を算出し、少なくともレンズのズーム位置、フォーカス位置、絞り量の何れか１つに応じて、算出した距離を変換する距離算出工程と、画像データを画像メモリに保持する保持工程と、各画素と光軸中心との変換された距離をもとに、レンズの収差による歪み量を算出する歪み量算出工程と、画像メモリに保持された画像データを読み出し歪み量をもとに画像の歪みを補正する歪み補正工程とを具備する。

この発明に係る画像補正方法又は画像補正装置では、注目画素の座標位置と光軸中心位置との距離を算出し、この距離をもとに算出したレンズの収差による歪み特性を用いて注目画素における実際の結像位置を算出することで歪み補正を行うことにより画像の画角を変えず、画像縮小による補正も場合でも補正できない画素を無くすることができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による画像補正装置を示す構成図である。図１において、画像補正装置は、画素カウント部１、距離算出部２、歪み量算出テーブル３、歪み量算出部4、画像バッファ部５、歪み補正部６から構成されている。
次に、動作について説明する。
画素カウント部１は、撮像素子から出力される水平同期信号および垂直同期信号をカウントすることにより、画像信号の水平座標Xおよび垂直座標Yを算出する。
距離算出部2は、画像信号の座標値(X，Y)と、撮像画像内における、光軸中心座標(Xc，Yc)との距離Rを式(1)により算出する。

歪み量算出テーブル３は、歪みのない理想的な結像位置の距離rと実際の結像位置の距離Rを用いて、以下の式(2)で表される歪み特性αを離散的に保持している。

この歪み特性は、図２のような樽型ひずみの場合、図４に示すような１．０以下の特性値となり、一方、図３のような糸巻き型ひずみの場合、図５に示すような１．０以上の特性値となる。
歪み量算出部４は、歪み量算出テーブル３を用いて、注目画素の光軸中心からの距離Rにおける歪み量αを算出する。歪み量算出テーブル３は、距離Rに対して離散的なデータのため、近傍の2点R_n、R_n+1における歪み特性α_n、α_n+1を用いて、以下の式(3)より算出する。

画像バッファ部５は、画像データ信号を一時的に記憶しておき、歪み補正部６からデータの参照を受ける。
歪み補正部６は、歪み量算出部４で算出された歪み特性αをもとに、画像バッファ部５に一時的に記憶された画像データ信号の補正を行う。注目画素の像は、図６に示すように、中心からの距離がαRの位置に結像されるため、補正後の結像位置(X',Y')は以下の式(4)で表される。

画像データは離散的に分布しているため、近傍４点を用いて結像位置(X',Y')における画像データを求める。近傍４点の画像データをI(x_n,y_n)、I(x_n,y_n+1)、I(x_n,y_n+1)、I(x_n+1,y_n+1)とすると、距離の重み付けを用いて以下の式(5)ように表される。

また、距離算出部２において、算出した距離をレンズのズーム位置、フォーカス位置、絞り量に応じてN次多項式により変換する構成とすることにより、歪み量算出テーブル３を変更することなく、補正を行うことができる。

以上のように、この発明の実施の形態１による画像補正方法では、注目画素の座標位置と光軸中心位置との距離を算出し、この距離をもとに算出したレンズの収差による歪み特性を用いて注目画素における実際の結像位置を算出することで歪み補正を行うことにより歪み補正を行うことができる効果がある。

実施の形態２．
この実施の形態２では、歪み特性が図２で示されるような樽型歪みの場合、その樽型歪みを補正する方法について説明する。この実施の形態２では、歪み補正部６の動作が上記実施の形態１と異なる。
樽型歪みの場合、歪み特性値が1．０以下のため、通常の補正では、拡大処理となる。したがって、歪み補正部６では、光軸中心を通る水平、垂直方向の画角を保持するように、歪み補正を行う。つまり、距離Rx(=X-X_c)における歪み特性をα_x、距離R_y(=Y-Y_c)における歪み特性をα_yとし、補正後の結像位置(X',Y')を以下の式(6)で求める。

したがって、実施の形態１と同様に、近傍４点を用いて結像位置(X',Y')における画像データを求め、歪み補正を行う。

以上のように、この発明の実施の形態２による画像補正方法では、実施の形態１に示した構成を変えることなく、光軸中心を通る水平、垂直方向の歪み特性で、注目画素の歪み特性を補正することにより、水平、垂直方向の画角を維持し、歪み補正を行うことができる効果がある。

実施の形態３．
この実施の形態３では、歪み特性が図３で示されるような糸巻き型歪みの場合、その糸巻き型歪みを補正する方法について説明する。この実施の形態３では、歪み補正部６の動作が上記実施の形態１と異なる。
糸巻き型歪みの場合、歪み特性値が1．０以上のため、通常の補正では、縮小処理となる。しかし、画像周辺部では、参照する画素が画像の領域外にあるため、画像データを算出することができない。また、光軸中心から対角方向に最も距離の大きい画素において、歪み特性が最大となる。
したがって、歪み補正部６では、対角方向の画角を基準にして、歪み補正を行う。つまり、画像内における、光軸中心からの距離の最大値をR_maxとすると、以下の式(7)を用いて、歪み補正量α'が１以下となるよう、変換を行う。

この歪み補正量α'を用いて、補正後の結像位置(X',Y')を以下の式(8)により求める。

したがって、実施の形態１と同様に、近傍4点を用いて結像位置(X',Y')における画像データを求め、歪み補正を行う。
以上のように、この発明の実施の形態３による画像補正方法では、実施の形態1に示した構成を変えることなく、光軸中心から距離の最も大きい画素の歪み補正量が１となるよう、歪み特性を変換することにより、撮像画像内の画素から、歪み補正を行うことができる効果がある。

実施の形態４．
この実施の形態４では、実施の形態1〜３で述べた、歪み量算出テーブル３を用いることなく、歪み量をN次多項式で近似することにより、歪み量を算出する場合について説明する。
以下、近似式を2次の多項式として説明する。
図７は、この発明の実施の形態4による画像補正装置を示す構成図である。図７において、画像補正装置は、画素カウント部１、距離算出部２、歪み量算出部４、画像バッファ部５、歪み補正部６から構成されている。
この実施の形態４では、歪み量算出部４の動作が上記実施の形態１とは異なる。
歪み量算出部４では、光軸中心からの距離Rにおける画素の歪み特性αを以下の式(9)に示す2次式を用いて算出する。

したがって、実施の形態１と同様に、結像位置(X',Y')を求め、近傍4点を用いて結像位置(X',Y')における画像データを求め、歪み補正を行う。
以上のように、この発明の実施の形態４による画像補正方法では、歪み量算出テーブルを用いることなく、近似式を用いて歪み補正を行うことにより、メモリの削減を行うことができる効果がある。また、レンズのズーム位置、フォーカス位置、絞り量に応じて近似式の係数を変更することで、歪み補正を行うことができる効果がある。

実施の形態５．
図８はこの発明の実施の形態５による画像補正装置を示す構成図である。図８において、画像補正装置は、画素カウント部１、距離算出部２、歪み量算出部４、画像バッファ部５、歪み補正部６、画像分割部７、画像メモリ部８から構成されている。
この実施の形態５では、画像メモリ部８および画像分割部７の動作が、上記実施の形態１とは異なる。
画像メモリ部８は、撮像装置から得られた画像データを記憶する構成要素である。
画像分割部７は、画像メモリ部８から画像データを切り出し、画像データを画像バッファ部５へ、画像データの水平、垂直方向の同期信号を画素カウント部１へ出力する。その際、画像分割部７では、歪み特性に基づき画像の分割を行う。光軸中心から垂直方向に離れた画素ほど垂直方向の歪みが大きく、また、水平方向に離れた画素ほど、水平方向の歪みが大きくなる。このため、図９に示すように、垂直方向の歪みが大きいブロックでは垂直方向に、水平方向の歪みが大きいブロックでは水平方向に画像を分割する。

以上のように、この発明の実施の形態５による画像補正装置では、歪み量に基づき画像データを適応的に分割することにより、画像バッファ部５の容量削減を行うことができる効果がある。

この発明に係る画像補正方法および画像補正装置は静止画又は動画を撮像するような撮像装置、また撮像装置によって撮像されて得られた映像信号をデジタル信号として記録する装置等に適用可能である。

この発明の実施の形態１による画像補正装置を示す構成図である。樽型歪み特性の場合の画像拡大による歪曲補正法の説明図である。糸巻き型歪み特性の場合の画像縮小による歪曲補正法の説明図である。樽型ひずみの場合のひずみ特性図である。糸巻き型ひずみの場合ひずみ特性図である。歪み特性による歪み補正部における歪み補正の説明図である。この発明の実施の形態4による画像補正装置を示す構成図である。この発明の実施の形態5による画像補正装置を示す構成図である。実施の形態5における画像分割部の画像分割方法の説明図である。

符号の説明

１；画素カウント部、２；距離算出部、３；歪み量算出テーブル、4；歪み量算出部、５；画像バッファ部、６；歪み補正部、７；画像分割部、８；画像メモリ部。

Claims

レンズを介して撮像素子に結像された画像を画像データ信号として取り出した際に、レンズの収差による歪みを補正する画像補正装置において、画像データ信号に含まれる水平同期信号および垂直同期信号をもとに各画素の座標位置を算出する画素カウント部と、各画素の座標位置と光軸中心位置との距離を算出し、少なくともレンズのズーム位置、フォーカス位置、絞り量の何れか１つに応じて、算出した距離を変換する距離算出部と、画像データを保持する画像バッファ部と、各画素と光軸中心との変換された距離をもとに、レンズの収差による歪み量を算出する歪み量算出部と、歪み量をもとに画像の歪みを補正する歪み補正部とを具備することを特徴とする画像補正装置。
前記歪み量算出部は、各距離に対する歪み量を多項式として近似した式をもとに、歪み量を算出する構成にされたことを特徴とする請求項１記載の画像補正装置。
前記歪み量算出部は、各距離に対する歪み量を記録した歪み量算出テーブルをもとに、歪み量を算出する構成にされたことを特徴とする請求項１記載の画像補正装置。
前記歪み補正部は、各画素の光軸中心を通る水平方向、および垂直方向の歪み量をもとに、各画素の歪み量を補正し、画像の歪みを補正することを特徴とする請求項１〜３の何れか１項に記載の画像補正装置。
前記歪み補正部は、光軸中心と最も距離の大きい画素における歪み量をもとに、各画素の歪み量を補正し、画像の歪みを補正する構成にされたことを特徴とする請求項１〜３の何れか１項に記載の画像補正装置。
レンズを介して撮像素子に結像された画像の画像データを記憶する画像メモリ部と、歪み量を参照して画像メモリ部から画像データを切り出し、画像データを画像バッファ部に、画像データの水平、垂直方向の同期信号を画素カウント部へ出力する画像分割部をさらに備えたことを特徴とする請求項１〜５の何れか１項に記載の画像補正装置。
レンズを介して撮像素子に結像された画像を画像データ信号として取り出した際に、レンズの収差による歪みを補正する画像補正方法において、画像データ信号に含まれる水平同期信号および垂直同期信号をもとに各画素の座標位置を算出する画素カウント工程と、各画素の座標位置と光軸中心位置との距離を算出し、少なくともレンズのズーム位置、フォーカス位置、絞り量の何れか１つに応じて、算出した距離を変換する距離算出工程と、画像データを画像バッファ部に保持する保持工程と、各画素と光軸中心との変換された距離をもとに、レンズの収差による歪み量を算出する歪み量算出工程と、画像バッファ部に保持された画像データを読み出し歪み量をもとに画像の歪みを補正する歪み補正工程とを具備することを特徴とする画像補正方法。