JP4378994B2

JP4378994B2 - 画像処理装置、画像処理方法ならびに撮像装置

Info

Publication number: JP4378994B2
Application number: JP2003124930A
Authority: JP
Inventors: 深雪岡田; 浩史早川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-04-30
Filing date: 2003-04-30
Publication date: 2009-12-09
Anticipated expiration: 2023-04-30
Also published as: US7321685B2; CN1306827C; US20040218813A1; JP2004336106A; EP1473671A2; EP1473671A3; CN1543226A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像レンズを介して取り込んだ画像における撮像レンズの収差の影響を補正する画像処理装置、画像処理方法ならびに撮像装置に関し、特に撮像レンズの色収差および歪曲収差を同時に補正できるものに関する。
【０００２】
【従来の技術】
近年、ビデオカメラやデジタルスチルカメラの小型化が急速に進み、撮影レンズ自体の小型化も進んでいる。撮像レンズの小型化が進むと、レンズの収差が大きくなり、取り込んだ画像の画質劣化を十分に抑えることが困難となる。具体的には、図６に示すようにRed,Green,Blueの各波長によってレンズでの屈折率が違うため、Greenの像に対して、Redの像は外側に、Blueの像は内側に結ぶ現象が起こり、白黒の被写体であってもその像のエッジに色にじみ(色ずれ)が生じるという問題点がある。そこで、例えば特許文献１には、信号処理によって撮像レンズの収差による影響を補正する技術が開示されている。
【０００３】
【特許文献１】
特開２０００−２９９８７４号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、図７に示されるような歪曲収差(distortionとも呼ばれる)によって、直線の被写体（図７（ａ）参照）が曲線にひずんでしまうという問題点も生じる。歪曲収差は、樽型、糸巻き型と呼ばれる２種類に大別され、図７（ｂ）は樽型の例を示している。
【０００５】
上記のような色収差、または歪曲収差を電気的に補正する手法は、どちらか一方のみの補正しか実現されておらず、また、色収差と歪曲収差とを両方補正可能とするためには、図８に示すように、これら２つの補正処理８１、８２を連結し、順に補正する手法を用いることが考えられる。しかし、この手法では、画像メモリからの読み出し、画像メモリへの書き込みが複数回必要となり、画像メモリへのアクセス時間を含む全体の処理時間が長くなってしまい、高速な補正処理の実現が困難となる。
【０００６】
特に、水平方向の補正と垂直方向の補正のどちらか一方しか一度に処理できない場合は、さらに処理時間が長くかかり、高速処理を妨げる原因となり、例えばデジタルスチルカメラの撮影間隔を短縮できないなど、商品の性能を損なう要因となる。
【０００７】
また、処理時間が長くなってしまうと、画像メモリへのアクセス処理を含む全体の消費電力も増大してしまい、バッテリーが長時間もたないなど商品性を損なう一因となっている。
【０００８】
【課題を解決するための手段】
本発明は、このような課題を解決するために成されたものである。すなわち、本発明は、撮像レンズを介して取り込まれた光が電気的に変換されてなる画像信号に対して撮像レンズの収差の影響を補正する画像処理装置において、手振れ補正量に基づいて手振れ補正ベクトルを算出する手振れ補正ベクトル算出手段と、撮像レンズの歪曲収差のデータと手振れ補正ベクトル算出手段によって算出した手振れ補正ベクトルとに基づき画像信号における各色成分毎に画面の座標に応じた補正ベクトルを算出する補正ベクトル算出手段と、撮像レンズを用いて撮像した際の撮像条件に基づいて色収差補正用の変換比率を算出し、この色収差補正用の変換比率と、補正ベクトル算出手段によって算出された補正ベクトルに基づく歪曲収差補正用の変換比率とに基づいて、画像信号の各色成分毎に画像の位置に応じた解像度変換比率を算出する変換比率算出手段と、変換比率算出手段によって算出された解像度変換比率に応じて画像信号の各色成分毎に画像の位置に応じた拡大もしくは縮小処理を行う解像度変換手段とを備えているものである。
【０００９】
また、本発明は、撮像レンズを介して取り込んだ光を電気的に変換してなる画像信号に対して前記撮像レンズの収差の影響を補正する画像処理方法において、手振れ補正量に基づいて手振れ補正ベクトルを算出する工程と、撮像レンズの歪曲収差のデータと手振れ補正ベクトルとに基づき画像信号における各色成分毎に画面の座標に応じた補正ベクトルを算出する工程と、撮像レンズを用いて撮像した際の撮像条件に基づいて色収差補正用の変換比率を算出し、この色収差補正用の変換比率と、補正ベクトルに基づく歪曲収差補正用の変換比率とに基づいて、画像信号の各色成分毎に画像の位置に応じた解像度変換比率を算出する工程と、算出された解像度変換比率に応じて画像信号に対する各色成分毎に画像の位置に応じた拡大もしくは縮小処理を行う工程とを備えるものである。
【００１０】
また、本発明は、撮像レンズを介して取り込んだ光を電気的な画像信号に変換する撮像素子と、手振れ補正量に基づいて手振れ補正ベクトルを算出する手振れ補正ベクトル算出手段と、撮像レンズの歪曲収差のデータと手振れ補正ベクトル算出手段によって算出した手振れ補正ベクトルとに基づき画像信号における各色成分毎に画面の座標に応じた補正ベクトルを算出する補正ベクトル算出手段と、撮像レンズを用いて撮像した際の撮像条件に基づいて色収差補正用の変換比率を算出し、この色収差補正用の変換比率と、補正ベクトル算出手段によって算出された補正ベクトルに基づく歪曲収差補正用の変換比率とに基づいて、画像信号の各色成分毎に画像の位置に応じた解像度変換比率を算出する変換比率算出手段と、変換比率算出手段によって算出された解像度変換比率に応じて画像信号の各色成分毎に画像の位置に応じた拡大もしくは縮小処理を行う解像度変換手段とを備える撮像装置である。
【００１１】
このような本発明では、撮像レンズの収差のデータに基づき画像信号における画面の座標に応じた補正ベクトルを算出し、この補正ベクトルと各種撮像条件に基づき画像信号に対する拡大もしくは縮小の変換比率を求めて拡大もしくは縮小処理を行うことで、撮像レンズの色収差、歪曲収差ならびに手振れを同時に補正することができるようになる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づき説明する。なお、本実施形態では、本発明の画像処理装置を画像記録再生装置に適用した場合を例とする。図１は、本実施形態に係る画像記録再生装置を説明するブロック図である。
【００１３】
すなわち、この画像記録再生装置は主としてデジタルスチルカメラから成るもので、撮像レンズＬを介して取り込んだ光を電気的な画像信号に変換するイメージャ（ＣＣＤ，ＣＭＯＳセンサ等）１と、画像信号を処理するカメラ信号処理部２と、カメラ信号処理部２からの出力信号を少なくとも３原色信号に変換または逆変換するマトリクス演算部３と、原色信号の各色ごとに画像の拡大または縮小を行う解像度変換部４と、手振れ補正量を検出する手振れ量センサ５と、撮像レンズのレンズ歪曲収差のデータを保持するレンズ歪みデータ用メモリ６と、レンズ歪みデータ用メモリ６からのレンズ歪曲収差のデータや画像内の座標に応じて補正ベクトルを算出する補正ベクトル算出部７と、撮像レンズＬのズーム位置やフォーカス位置を含む駆動状態、アイリスの絞り状態および手振れ量センサ５からの手振れ補正量、レンズ像高、補正ベクトル算出部７からの補正ベクトルおよび画像内の座標に応じて解像度変換部４での拡大または縮小の変換係数および光軸中心座標を制御する制御部１０とを備えている。
【００１４】
画像記録再生装置の主な機能としては、画像を取り込む「カメラモード」、画像を再生する「再生モード」、画像信号の色空間を変換する「マトリクス演算」、撮像レンズの収差補正を実現する「解像度変換」、撮像時に送る手振れを補正する「手振れ補正制御」がある。以下、各機能に沿った処理について説明する。
【００１５】
「カメラモード」
被写体からの光信号は数枚の撮像レンズＬを介してイメージャ１に与えられ、電気信号に変換される。イメージャ１からＡ／Ｄ変換部２１に渡された電気信号は、Ａ／Ｄ変換部２１によってデジタル信号から成る画像データに変換され、カメラ信号処理部２で処理が施される。例えば、Ａ／Ｄ変換部２１から出力される画像データがＲ，Ｇ，Ｂから成る場合、カメラ信号処理部２ではその画像データをＹ，Ｃｂ，Ｃｒの画像データに変換する。カメラ信号処理部２で処理された画像データは、カメラモードまたは再生モードの切り換え回路ＳＷを経てマトリクス演算回路３へ与えられる。
【００１６】
「再生モード」
本実施形態の画像記録再生装置は、カメラ部からの入力信号のみならず、再生信号に対しても適用できる。すなわち、フレキシブルディスクＦＤ、メモリスティック（登録商標）ＭＳなどの記録メディアから読み出された圧縮された画像データは伸張部３１で伸張され、カメラモードまたは再生モードの切り換え回路ＳＷを経てマトリクス演算回路３へ与えられる。
【００１７】
「マトリクス演算」
収差補正は、画像データがＲ，Ｇ，Ｂの状態になってから行なわれるのが適しているため、入力信号がＹ，Ｃｂ，Ｃｒの場合は、マトリクス演算部３による画像データの変換が必要となる。
【００１８】
図１において、Ｙ，Ｃｂ，Ｃｒなどの状態の画像データは、Ｒ，Ｇ，Ｂの状態となるようマトリクス演算部３でデータ変換され、画像メモリＭに書き込まれる。逆に画像メモリＭからＲ，Ｇ，Ｂの状態で読み出された画像データはマトリクス演算部３で逆変換され、再びＹ，Ｃｂ，Ｃｒの状態となって、記録用または表示用の処理が行われる。
【００１９】
図２は、Ｙ，Ｃｂ，Ｃｒのまま画像データを画像メモリＭに書き込んだ場合を示している。この場合、解像度変換部４での処理の前後にマトリクス演算部３による演算処理が必要となり、ここでＹ，Ｃｂ，ＣｒとＲ，Ｇ，Ｂとの間の変換が行なわれる。
【００２０】
「解像度変換（拡大／縮小）」
図１において、画像メモリＭに書き込まれたＲ，Ｇ，Ｂ別々の画像データは、解像度変換回路４において例えばＧ信号を基準としてＲ，Ｂ信号の変換、すなわち撮像レンズＬの特性に応じて例えばＲ信号は縮小、Ｂ信号は拡大される。なお、倍率色収差以外の収差が複合的に発生している場合は、拡大／縮小が変わる場合もある。この解像度変換部４によってレンズの収差成分が補正され、その後、再度画像メモリＭに書き込まれる。
【００２１】
解像度変換部４によって行う拡大／縮小の変換比率は、色収差補正に関しては、カメラモードではレンズ系から与えられる次の３点、（１）ズーム焦点距離、（２）フォーカス位置、（３）アイリスの絞り値と、メモリコントローラ８から与えられる（４）像高に相当する、解像度変換処理を行っている座標と光軸中心座標との距離の計４点の値をもとに制御部で制御される。
【００２２】
また、上記（４）の代替として、カメラ信号処理の映像信号からオートフォーカス（Auto Focus）用の検波処理を行い、画像の中の合焦座標(焦点があっている被写体が存在する座標)を画像全体の代表点として、拡大／縮小比率を算出する構成も考えられる。
【００２３】
これらの撮像条件は、画像データの取り込みと同時に検出したものを画像データの画像メモリＭへの格納とともに記憶しておき、画像データの読み出しの際に撮像条件も一緒に得られるようにしておいてもよい。
【００２４】
また、歪曲収差補正に関しては、カメラモードではレンズ歪みデータ用メモリ６から与えられる画像内の代表点数点のレンズ歪みデータと、メモリコントローラ８から与えられる解像度変換処理を行っている座標（出力画像における座標）とから、元画像における座標を算出し、これを変換比率算出部１１へ与える。
【００２５】
ここで解像度変換に必要な元画像の数画素の座標と変換比率とを求め、この歪曲収差補正用の変換比率と、さきほど求めた色収差補正用の変換比率とから、最終的な解像度変換比率を、Ｒ，Ｇ，Ｂ各色の各画素に対して算出することで、１つの解像度変換部４により、歪曲収差と色収差を同時に補正できることが本実施形態の大きな特徴である。
【００２６】
また、再生モードではユーザが出力画像を見ながら色収差最小、または歪曲最小となるよう調整を行うことができる、この場合、ユーザインタフェースより変換比率が制御されることになる。
【００２７】
図３は、解像度変換による収差の補正の原理を示したものである。収差を生じた画像では、白黒の被写体であっても、概して外側に赤の、内側に青の色にじみが現れる。そこでこの画像データをＲ，Ｇ，Ｂの画像データに分解し、Ｇ信号を基準としてＲ信号を縮小、Ｂ信号を拡大する。これらを再合成して得られた画像データでは収差が改善され、色にじみの少ない、解像度感の高い画質が実現できる。
【００２８】
本実施形態では、レンズ歪みデータ用メモリ６から与えられる画像内の代表点数点のレンズ歪みデータと、メモリコントローラ８から与えられる解像度変換処理を行っている座標（出力画像における座標）とから、元画像における座標を算出し、これを変換比率算出部１１へ与えて歪曲収差補正用の変換比率を求め、この変換比率に先ほど求めた色収差補正用の変換比率を掛け合わせることから、最終的な解像度変換比率を、Ｒ，Ｇ，Ｂ各色の各画素に対して算出する。この最終的な解像度変換比率を用いることで、１つの解像度変換部４での処理によって歪曲収差と色収差とを同時に補正できるようになる。
【００２９】
「手振れ補正」
撮影時に起こる手振れを補正する手段を撮像レンズＬ以降に有している場合、手振れ量センサ５より手振れ量を得て、制御部１０の手振れ補正ベクトル算出部１２で手振れ補正ベクトルを算出し、補正ベクトル算出部７に与える。同時にこの手振れ補正ベクトルは、二次元的に正負を逆転することにより、画像データにおけるレンズ光軸中心座標のシフトベクトルに相当するため、このレンズ光軸中心位置座標を制御部１０から解像度変換部４へ与えることにより、レンズ光軸中心座標を基点として拡大／縮小の係数発生処理を行う。
【００３０】
また、このレンズ光軸中心位置座標は、歪曲補正の座標算出ブロックにも与えられ、入力画像での座標をそのベクトル分だけシフトさせる処理を行うことにより、常にレンズ光軸中心に対して最適な歪み補正を実現できる。
【００３１】
なお、ここで対象となる手振れ補正手段とは、レンズ以降に設けられているものに限定され、例えばレンズ群の中に光軸をシフトさせる手段がある場合や（図４（ａ）参照）、イメージャ上での画像読み出しアドレスをシフトさせる場合（図４（ｂ）参照）、画像メモリ上でのアドレスをシフトさせる場合（図４（ｃ）参照）、などが相当する。
【００３２】
一方、例えばレンズの前側にプリズム等の補正手段を有する場合などは、画像データにおけるレンズ光軸中心座標は固定されているため、レンズ光軸中心座標を動的に制御する必要は無い。
【００３３】
また、手振れ量センサとしては、主に、ジャイロセンサ(例えば、図５（ａ）に示す角速度センサ)や、画像からの動きベクトル抽出型の検出（図５（ｂ）参照）などが、例として挙げられる。手振れセンサによる検出値は、画像データとともに画像メモリＭに記憶しておき、画像データの読み出しとともに得られるようにしておいてもよい。
【００３４】
このように、撮像条件に応じた撮像レンズＬの収差データを用い、画像データの各色成分に応じた変換比率を算出して、この変換比率を用いて解像度変換部４により各色成分の画像データを拡大、縮小処理することで、撮像レンズＬの収差および手振れ補正を一つの解像度変換部４で実現することができ、高速に画像データの補正を行って画質補正を行うことができるようになる。
【００３５】
なお、本実施形態では画像処理装置の例としてデジタルスチルカメラから成る画像記録再生装置を説明したが、本発明はこれに限定されず、例えばテレビ電話装置（パーソナルコンピュータを用いるものを含む）、カメラ付き携帯電話、ＰＤＡ（Personal Digital Assistant）など、動画を取り扱うものであってもよい。特に、本実施形態の画像処理装置、画像処理方法では短い処理時間でレンズ歪みを補正できるため、動画を取り扱う装置への適用も有効である。
【００３６】
また、本実施形態に係る画像処理方法は、パーソナルコンピュータで実行されるプログラム処理としても実現可能である。この場合、予め取り込んだ画像データについて、その画像データに対応する撮像条件や撮像レンズにおける色収差、歪曲収差のデータを上記プログラムによって取り込み、上記のような解像度変換処理を行うことで画像データに対する取り込み時のレンズ収差の影響を補正できるようになる。なお、上記撮像条件や撮像レンズにおける収差のデータは別途取り込んでも、画像データにこれらの情報を付加しておいてもよい。
【００３７】
また、解像度変換の対象として、Ｒ，Ｇ，Ｂから成る３原色を用いたが、これ以外（例えば、Ｒ，Ｇ，Ｂに加えてＣ（シアン），Ｍ（マゼンタ）の５色）でもよく、色数を増加させることによってさらに高精度な画質補正を行うことができるようになる。
【００３８】
また、レンズの収差データは、予めレンズ歪みデータ用メモリに蓄積しておいても、また外部から取り込んだり、レンズ交換した際に対応できるようデータを書き換えられるようにしてもよい。
【００３９】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。すなわち、レンズで生じる歪曲収差と色収差とを、同一のハードウェアで、同時に補正することができ、出力画像および記録画像においては、歪曲も色にじみも少ない高画質が実現できる。また、歪曲収差と色収差を同時に補正することにより、高速な補正処理が可能となり、デジタルスチルカメラなどにおいては、連写などの短い撮影間隔を実現できるとともに、消費電力の低減にもつながる。
【００４０】
また、カメラブロックからの撮影画像データのみならず、記録メディアからの再生画像データに関しても、本発明を適用することにより、歪曲収差や色収差が発生した状態で記録された画像データに対しても、再生時に補正処理が可能となり、画質改善が可能となる。さらに、手振れ補正手段を有するビデオカメラおよびデジタルスチルカメラに対しても、手振れベクトルに応じてレンズ光軸中心座標を制御することにより、正確な歪曲収差補正や色収差補正を実現することが可能となる。
【図面の簡単な説明】
【図１】本実施形態に係る画像記録再生装置を説明するブロック図である。
【図２】マトリクス演算を説明するブロック図である。
【図３】解像度変換による収差の補正の原理を説明する模式図である。
【図４】手振れ補正手段を説明する模式図である。
【図５】手振れ量センサを説明する模式図である。
【図６】レンズによる色ずれを説明する模式図である。
【図７】レンズの歪曲収差を説明する模式図である。
【図８】従来の収差補正を説明するブロック図である。
【符号の説明】
１…イメージャ、２…カメラ信号処理部、３…マトリクス演算部、４…解像度変換部、５…手振れ量センサ、６…レンズ歪みデータ用メモリ、７…補正ベクトル算出部、８…メモリコントローラ、１０…制御部、１１…変換比率算出部、１２…手振れ補正ベクトル算出部、Ｌ…撮像レンズ

Claims

撮像レンズを介して取り込まれた光が電気的に変換されてなる画像信号に対して前記撮像レンズの収差の影響を補正する画像処理装置において、
手振れ補正量に基づいて手振れ補正ベクトルを算出する手振れ補正ベクトル算出手段と、
前記撮像レンズの歪曲収差のデータと前記手振れ補正ベクトル算出手段によって算出した前記手振れ補正ベクトルとに基づき前記画像信号における各色成分毎に画面の座標に応じた補正ベクトルを算出する補正ベクトル算出手段と、
前記撮像レンズを用いて撮像した際の撮像条件に基づいて色収差補正用の変換比率を算出し、この色収差補正用の変換比率と、前記補正ベクトル算出手段によって算出された前記補正ベクトルに基づく歪曲収差補正用の変換比率とに基づいて、前記画像信号の各色成分毎に画像の位置に応じた解像度変換比率を算出する変換比率算出手段と、
前記変換比率算出手段によって算出された前記解像度変換比率に応じて前記画像信号の各色成分毎に画像の位置に応じた拡大もしくは縮小処理を行う解像度変換手段と
を備えることを特徴とする画像処理装置。
前記撮像レンズを用いて撮像した際の撮像条件は、前記撮影レンズのズーム位置、フォーカス位置を含む駆動状態、アイリスの絞り状態のいずれかである
ことを特徴とする請求項１記載の画像処理装置。
撮像レンズを介して取り込んだ光を電気的に変換してなる画像信号に対して前記撮像レンズの収差の影響を補正する画像処理方法において、
手振れ補正量に基づいて手振れ補正ベクトルを算出する工程と、
前記撮像レンズの歪曲収差のデータと前記手振れ補正ベクトルとに基づき前記画像信号における各色成分毎に画面の座標に応じた補正ベクトルを算出する工程と、
前記撮像レンズを用いて撮像した際の撮像条件に基づいて色収差補正用の変換比率を算出し、この色収差補正用の変換比率と、前記補正ベクトルに基づく歪曲収差補正用の変換比率とに基づいて、前記画像信号の各色成分毎に画像の位置に応じた解像度変換比率を算出する工程と、
算出された前記解像度変換比率に応じて前記画像信号に対する各色成分毎に画像の位置に応じた拡大もしくは縮小処理を行う工程と
を備えることを特徴とする画像処理方法。
撮像レンズを介して取り込んだ光を電気的な画像信号に変換する撮像素子と、
手振れ補正量に基づいて手振れ補正ベクトルを算出する手振れ補正ベクトル算出手段と、
前記撮像レンズの歪曲収差のデータと前記手振れ補正ベクトル算出手段によって算出した前記手振れ補正ベクトルとに基づき前記画像信号における各色成分毎に画面の座標に応じた補正ベクトルを算出する補正ベクトル算出手段と、
前記撮像レンズを用いて撮像した際の撮像条件に基づいて色収差補正用の変換比率を算出し、この色収差補正用の変換比率と、前記補正ベクトル算出手段によって算出された前記補正ベクトルに基づく歪曲収差補正用の変換比率とに基づいて、前記画像信号の各色成分毎に画像の位置に応じた解像度変換比率を算出する変換比率算出手段と、
前記変換比率算出手段によって算出された前記解像度変換比率に応じて前記画像信号の各色成分毎に画像の位置に応じた拡大もしくは縮小処理を行う解像度変換手段と
を備えることを特徴とする撮像装置。