WO2011158344A1 - 画像処理方法、プログラム、画像処理装置及び撮像装置 - Google Patents

Abstract

　歪み補正処理を比較的小規模な回路で、処理時間の短縮化を図りながら特定の歪み処理を行うことを目的とする。　そのための画像処理方法は、ワールド座標系に設定された曲面若しくは複数の平面を連結した面からなる仮想投影面の画像データの算出を、仮想投影面を歪み補正係数によりカメラ座標系に変換し、変換したカメラ座標系の座標と、撮像素子の画素データに基づいて行う。

Description

画像処理方法、プログラム、画像処理装置及び撮像装置

　本願発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、プログラム、画像処理装置及び撮像装置に関するものである。

　一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。

　特許文献２の車両周辺を表示する表示装置では、広角レンズを用いて撮影した撮影データをディスプレイに表示させる際の画像処理において、入射角度が所定値以上の場合には像高の変化率が増加するようにし、所定値未満の場合には像高の変化率が減少するように補正を行っている。

特開２００９－１４００６６号公報 特開２０１０－３０１４号公報

　特許文献１、２に開示されたように、レンズで得た撮像画像をリニアに補正すると、中央部にくらべて周辺部では像が拡大されるために形が崩れ見にくい画像となる。これを防ぐための補正として円筒歪補正や球形歪補正があるが、これらの補正を行うために画像処理装置としてハード化した場合には処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまう問題があった。

　特に、監視カメラや特許文献２に開示された車載カメラの様に撮像画像をモニターにリアルタイムで表示させるような場合においては、ユーザにより撮影領域を変更する指示に基づいてズーム、パン、チルト等の処理を追加するたびに新たな画像処理が必要となる。

　このため画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまう問題があった。

　本願発明はこのような問題に鑑み、比較的小規模な回路で、処理時間の短縮化を図りながら特定の歪み処理を行うことが可能な、画像処理方法、プログラム、画像処理装置及び撮像装置を提供することを目的とする。

　上記の目的は、下記に記載する発明により達成される。

　１．レンズを備えた光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
　ユーザの指示に基づいて、曲面若しくは複数の平面を連結した面からなる仮想投影面の面形状、サイズ及びワールド座標系における位置の設定を行う第１ステップと、
　前記第１ステップで設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換する第２ステップと、
　前記複数の画素データと前記第２ステップで変換したカメラ座標系における座標とに基づいて、前記第１ステップで設定された仮想投影面の画像データを算出する第３ステップと、
　を有することを特徴とする画像処理方法。

　２．前記第１ステップで設定された仮想投影面の面形状は、断面が円弧状である円筒形状若しくは複数枚の連続したパネルからなる多面鏡形状であることを特徴とする前記１に記載の画像処理方法。

　３．前記第３ステップで算出した画像データを表示部に表示させる第４ステップを有することを特徴とする前記１又は２に記載の画像処理方法。

　４．前記第１ステップで設定される仮想投影面は、複数の仮想投影面であることを特徴とする、前記１から３のいずれか一項に記載の画像処理方法。

　５．前記第３ステップでは、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、対応する位置の画素の画素データから前記各位置における画像データを得ることを特徴とする前記１から４のいずれか一項に記載の画像処理方法。

　６．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
　ワールド座標系における仮想投影面であって、曲面若しくは複数の平面を連結した面からなる仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面の画像データを算出する画像処理部と、
　を有することを特徴とする画像処理装置。

　７．前記仮想投影面の形状は、断面が円弧状の円筒形状若しくは複数枚の連続したパネルからなる多面鏡形状であることを特徴とする前記６に記載の画像処理装置。

　８．前記仮想投影面は、複数の仮想投影面であることを特徴とする前記６又は７に記載の画像処理装置。

　９．前記画像処理部は、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、対応する位置の画素の画素データから前記各位置における画像データを得ることを特徴とする前記６から８の何れか一項に記載の画像処理装置。

　１０．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置のプログラムであって、コンピュータを、
　位置及びサイズが設定されたワールド座標系の仮想投影面であって、曲面若しくは複数の平面を連結した面からなる仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する画像処理部、
　として機能させるプログラム。

　１１．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置のプログラムであって、コンピュータを、
　ワールド座標系における仮想投影面であって、曲面若しくは複数の平面を連結した面からなる仮想投影面の形状、サイズ及び配置位置を設定可能な設定部と、
　前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面の画像データを算出する画像処理部、
　として機能させるプログラム。

　１２．光学系と、
　複数の画素を有する撮像素子と、
　ワールド座標系の仮想投影面であって、曲面若しくは複数の平面を連結した面からなる仮想投影面の形状、サイズ及び配置位置を設定可能な設定部と、
　前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記撮像素子に受光して得られた複数の画素データに基づいて、前記設定部で設定された仮想投影面の画像データを算出する画像処理部と、
　を有することを特徴とする撮像装置。

　１３．前記仮想投影面の形状は、断面が円弧状の円筒形状若しくは複数枚の連続したパネルからなる多面鏡形状であることを特徴とする前記１２に記載の撮像装置。

　１４．ユーザが操作する操作部と、
　表示部と、
　を有し、
　前記設定部は、前記操作部への操作に基づいてワールド座標系における前記仮想投影面の形状、サイズ及び位置の設定を行い、
　前記表示部は、設定された前記仮想投影面での画像データを表示することを特徴とする前記１２又は１３に記載の撮像装置。

　１５．前記設定部で設定される仮想投影面は、複数の仮想投影面であることを特徴とする前記１２から１４の何れか一項に記載の撮像装置。

　１６．前記画像処理部は、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、対応する位置の画素の画素データから前記各位置における画像データを得ることを特徴とする前記１２から１５の何れか一項に記載の撮像装置。

　本願発明によれば、ワールド座標系に設定された仮想投影面を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系の座標と、撮像素子の画素データに基づいて仮想投影面の画像データを算出することにより、比較的小規模な回路で、処理時間の短縮化を図ることが可能となる。

　特に仮想投影面を、曲面若しくは複数の平面を連結した面からなる構成とすることにより円筒歪補正、球形歪補正、三面鏡歪補正も一度の処理で対応することが可能となる。

本実施形態に係る歪曲補正を説明する模式図である。 仮想投影面ＶＰの位置を移動させた例を示している。 撮像装置の概略構成を示すブロック図である。 メインの制御フローを示す図である。 ステップＳ１０のサブルーチンを示す図である。 ステップＳ２０のサブルーチンを示す図である。 仮想投影面の形状例を示す図であり、図７（ａ）は円筒形状の例であり、図７（ｂ）は三面鏡形状の例である。 仮想投影面ＶＰの座標を説明する図である。 カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。 ２つの仮想投影面ＶＰを設定した例を示している。 カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０をｒｏｌｌ回転させた例を示すものである。 仮想投影面ＶＰ０をｐｉｔｃｈ回転させた例を示すものである。 仮想投影面ＶＰ０をｙａｗ回転させた例を示すものである。 仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０を仮想ｐｉｔｃｈ回転させた例を示すものである。 仮想投影面ＶＰ０を仮想ｙａｗ回転させた例を示すものである。 カメラ座標系の画像中心ｏを移動中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０をＸ方向にオフセット移動させた例を示すものである。 仮想投影面ＶＰ０をＹ方向にオフセット移動させた例を示すものである。 仮想投影面ＶＰ０をＺ方向にオフセット移動させた例を示すものである。 表示部１２０に表示させた表示画像の例である。 表示部１２０に表示させた表示画像の例である。 仮想投影面ＶＰの形状が、逆向きの円筒形状の例を示している。 表示部１２０に図２４に対応する仮想投影面により算出した画像データを表示させた例である。

　本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。

　図１は、本実施形態に係る歪曲補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける対象物の物点である。θは光軸（Ｚ軸に一致）に対する入射角度である。

　ｘ、ｙはカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは画像中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズ特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数を用いてカメラ座標系に変換したものである。

　ＶＰは仮想投影面であり、曲面若しくは複数の平面を連結した面からなる。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３参照）への指示に基づいてその形状、サイズ、及びワールド座標系における位置の変更を行うことが可能である。

　本願において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。

　「円筒歪補正（あるいは円筒補正）」とは次の仮想投影面ＶＰを用いて行う歪補正方法である。仮想投影面ＶＰ形状が、光軸Ｚ方向に垂直なＸＹ平面（Ｘ軸は水平方向、Ｙ軸は垂直方向）へ投影した形状については長方形又は正方形とし、光軸Ｚ方向については一定でなく、任意に変化がある。

　「球形歪補正（あるいは球形補正）」とは次の仮想投影面ＶＰを用いて行う歪補正方法である。仮想投影面ＶＰ形状が、球の内面を矩形に切り欠いた形状であり、光軸Ｚに垂直なＸＹ平面に投影した形状については、長方形又は正方形とし、Ｘ軸方向、Ｙ軸方向についてもＺ軸方向についても一定でなく、任意に変化があり、特にＸ軸方向、Ｙ軸方向についての座標単位変化量は一定の曲率がある。

　「三面鏡補正（あるいは三面鏡歪補正）」とは次のの仮想投影面ＶＰを用いて行う歪補正方法である。仮想投影面ＶＰ形状がＸ軸方向、Ｙ軸方向については任意であり（特に好ましくは長方形又は正方形）、光軸Ｚ方向については一部が一定（変化量がない）で、他の部分には任意に変化がある。

　図１に示す例では、仮想投影面として円筒の内周面の一部を切り取った様な円筒形状の例を示している。仮想投影面の形状としてはこれに限られず、球をこれと交わる平面で切り欠いた半球あるいは球冠の内周面の形状、あるいは球の内周面を矩形に切り取った形状であってもよい。また複数の面を連結した形状であってもよい。複数の面を連結した形状としては、３枚の連続したパネルからなる三面鏡形状（後述）が好ましい。

　初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定の形状及びサイズで仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。図２における仮想投影面ＶＰ１は、仮想投影面ＶＰ０を操作部１３０の入力に基づいてＸＺ平面上で回転させた状態を示している。

　［ブロック図］
　図３は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備えている。

　撮像ユニット１１０は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。

　制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３から構成される。

　設定部１０２では、操作部１３０への入力指示に基づいて仮想投影面ＶＰの形状、位置、サイズの設定を行う。

　画像処理部１０１では、設定された仮想投影面ＶＰの形状、位置、サイズに基づいて仮想投影面上の各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データを作成する。記憶部１０３には、レンズのレンズパラメータにより算出された歪み補正係数が記憶されている。また仮想投影面ＶＰの位置、サイズ及び作成した変換テーブルの記憶も行う。

　表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データを逐次、表示画面に表示させる。

　操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。

　［制御フロー］
　図４から図６は、本実施形態の制御フローを示す図である。図４はメインの制御フローを示す図であり、図５、図６は図４のサブルーチンを示す図である。

　ステップＳ１０（「第１ステップ」に相当）では仮想投影面ＶＰの変換（設定）を行う。ステップＳ１０の仮想投影面変換について図５に基づいて説明する。ステップＳ１１では、ユーザにより仮想投影面形状の種類選択を行う、種類としては前述のように円筒形状、三面鏡形状がある。

　続いてステップＳ１２では仮想投影面の形状、位置を設定する。図７は仮想投影面の形状例を示す図であり、図７（ａ）は仮想投影面の形状として円筒形状が選択された例であり、図７（ｂ）は、三面鏡形状が選択された例である。前者では円筒歪補正が行われ、後者では三面鏡歪補正が行われる。

　図７（ａ）、図７（ｂ）に示すように初期状態においては、長手方向はワールド座標系のＸ軸と平行であり、短手方向は同Ｙ軸と平行であり、Ｘ軸方向の端部に近い面は内側に傾いている。また仮想投影面ＶＰの中心ｏｖはＺ軸上に位置し、中心ｏｖを通る中心軸ｖ－ａｘｉｓはＸＹ平面上にある。また双方の仮想投影面ＶＰは中心軸ｏｖ－ａｘｉｓを中心として左右対称の形状をしている。左右対称とすることにより仮想投影面ＶＰを記憶するのに必要なメモリ容量を削減することができる。なお端部の傾斜は内側（物点側に凸の形状）に限られず、外側に傾斜する形状（像側に凸の形状）としてもよい（図２４参照）。

　図７（ａ）に示す仮想投影面ＶＰは両端部が内側に傾斜した円筒形状であり、中心軸ｖ－ａｘｉｓから離れるほど内側への傾斜角度が大きくなる形状となっている。同図において、長さｌ_Ｘ、ｌ_Ｙ、ｌ_Ｚを設定することにより仮想投影面ＶＰの形状の設定が行われ、ｏｖの位置を変更することにより位置の設定を行うことができる。なお初期状態においては、長さｌ_Ｘ、ｌ_Ｙ、ｌ_Ｚに対応する各辺はそれぞれＸ軸、Ｙ軸、Ｚ軸に平行である。図２に示すように位置を変更することにより表示部１２０に表示されるカメラ視点が変更される（パン、チルトに相当）。また仮想投影面ＶＰの位置の変更に伴いレンズ中心Ｏとの距離が変更されればズームイン、ズームアウトされることになる。また縦横の長さｌ_Ｘ、ｌ_Ｙを変更することにより画角が変更されるのでズームイン、ズームアウトと同様の効果を得ることができる。また奥行き方向の長さｌ_Ｚを変更することにより仮想投影面ＶＰの曲率が変更されるので、これに伴い円筒歪補正の強度が変更される。なお仮想投影面ＶＰの位置変更に関しての具体例は後述する。

　図７（ｂ）に示す仮想投影面ＶＰは両端部が内側に傾斜した三面鏡形状であり、主鏡部ｍ、側鏡部Ｓ１、Ｓ２の３枚のパネルが連続している。初期状態においては、主鏡部ｍの平面はＸＹ平面と平行であり、長さｌ_Ｘ１とｌ_Ｘ２、ｌ_Ｙ１、ｌ_Ｚ１に対応する各辺はそれぞれＸ軸、Ｙ軸、Ｚ軸に平行である。側鏡部Ｓ１、Ｓ２の形状及びその平面の主鏡部ｍの平面に対する角度は同一であり、仮想投影面ＶＰは中心軸ｖ－ａｘｉｓを中心として左右対称の形状をしている。長さｌ_Ｘ１、ｌ_Ｘ２、ｌ_Ｙ１、ｌ_Ｚ１を設定することにより仮想投影面ＶＰの形状の設定が行われ、ｏｖの位置を変更することにより位置の設定を行うことができる。なお同図においては２枚の側鏡部を主鏡部の両脇に連結した三面鏡の例をしめしているが、主鏡部の両脇（Ｘ軸方向）だけでなく上下方向（Ｙ軸方向）にも側鏡を連結した多面鏡の形状であってもよい。

　図５の説明に戻る。ステップＳ１３では、ステップＳ１２までで設定された仮想投影面ＶＰを画素数ｎに分割する。当該画素数は表示部１２０の表示総画素数（画面解像度）と同等かこれ以上であることが好ましい。以下においては例として、当該画素数ｎ及び表示部１２０の表示総画素数はともに６４０×４８０ｐｉｘｅｌ（総画素数３０．７万）の固定条件で説明する。

　なお本実施形態においては仮想投影面ＶＰの面上において隣接する画素との間隔は等間隔に設定している。また仮想投影面ＶＰを、曲面若しくは複数の平面を連結した面からなる形状、且つ、端部側の面を傾斜させた形状としている。これらのことから、仮想投影面ＶＰの、レンズ中心面ＬＣに対してより正対している中心ｏｖの周辺（図７（ｂ）の例においては主鏡部ｍ）に比べて、傾斜している両端側（図７（ｂ）の例においては側鏡部Ｓ１、Ｓ２）の方が、入射角度θの変化に対してより高密度で画素が配置されることになる。これにより歪み補正を行う際の引き延ばしに対して、形状、色に与える影響が少なく、認識し易い画像を得ることができる。ここまでが図５に示したステップＳ１０のサブルーチンに関する制御である。

　図４のステップＳ２０（「第２、第３ステップ」に相当）では、ステップＳ１０で設定された仮想投影面ＶＰに基づいて、主に画像処理部１０１により歪み補正処理を行う。ステップＳ２０の歪み補正処理について図６を参照して説明する。

　ステップＳ２１では、仮想投影面ＶＰ上での各々の画素Ｇｖについてワールド座標系の座標Ｇｖ（Ｘ，Ｙ，Ｚ）を取得する。図８は、座標系を説明する模式図である。図８に示すように仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０ｐｉｘｅｌの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。

　ワールド座標系を取得する際には、円筒状等の曲面を持つ仮想投影面ＶＰであればその曲率に基づいて、三面形状等の複数のパネルを連続させた形状であれば各々のパネルの傾き角度に基づいて算出する。

　ステップＳ２２では、画素Ｇｖのワールド座標系での座標と記憶部１０３に記憶されている撮像ユニット１１０の歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ，ｙ）を算出する。具体的には、光学系のレンズパラメータより算出された歪み補正係数が記憶部１０３に記憶されており、当該係数と各画素Ｇｖの座標から得られる光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。

　図９はカメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。図９において点ａ～ｄは、図８の点Ａ～Ｄをカメラ座標系に変換したものである。なお図８では点Ａ～Ｄで囲まれる仮想投影面ＶＰは矩形の面であるが、図９においてカメラ座標系に座標変換した後の点ａ～ｄで囲まれる領域は（仮想投影面ＶＰの位置、形状に対応して）歪んだ形状となる。同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。

　ステップＳ２３では、座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定する。なお撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、ステップＳ２２で算出される座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。前者のようにｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）の画素データとして用いる。後者のようにｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しない場合には画素Ｇｖの画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、例えば座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いたりしてもよい。なお周辺の箇所としては４箇所には限られず１箇所、又は１６箇所若しくはそれ以上であってもよい。

　当該ステップＳ２１からステップＳ２４を、図８の起点となる点Ａ（０，０，Ｚａ）から１画素（ピクセル）ずつ移動させて右下の終点Ｃ（６３９，４７９，Ｚｃ）までの各画素（ピクセル）について実行することで全画素について歪み補正が行われた画像データを取得することができる。ここまでが図６に示したステップＳ２０のサブルーチンに関する制御である。

　図４の制御フローの説明に戻る。ステップＳ４０（「第４ステップ」に相当）では、ステップＳ２０で取得した画像データを表示部１２０の表示画面に表示させる。なおステップＳ２０、Ｓ４０は逐次実行されるものであり、撮影された画素データに基づく歪み処理後の画像データを表示部１２０にリアルタイムで表示させる。

　本実施形態によれば、仮想投影面ＶＰの形状、位置、サイズを設定することによりパン、チルト、ズーム処理をはじめ歪み補正処理を含む全ての処理を一括した処理で対応することが可能となるために、処理が軽くなり、比較的小規模な回路で、処理時間の短縮化を図ることが可能となる。特に仮想投影面ＶＰを、曲面若しくは複数の平面を連結した面からなる形状とすることにより、円筒歪補正、球形歪補正、三面鏡歪補正も一度の処理で対応することが可能となる。より詳しくは、従来であれば画像データを算出、パン、チルト、ズーム処理、円筒歪み補正と、一連の複数段階の処理を経て処理後の画像データを得ているが、本実施形態においては、これら一連の全て処理を、一括した処理で行うことが可能となる。このことによりＡＳＩＣ（Application Specific Integrated Circuit）等のような比較的小規模な回路構成であってもリアルタイムで処理可能となる。
［第２の実施形態］
　図１０は第２の実施形態に係る歪曲補正を説明する模式図である。図１から図６の説明において、仮想投影面は単一であったが、これに限られず２つあるいはこれ以上であってもよい。各々の仮想投影面の位置で得られた画像データを時分割やユーザの指示によりで切り換えて表示したり、表示画面を分割して同時に並べて表示したりする。図１０に示す第２の実施形態では、２つの仮想投影面を設定した例である。図１０に示す構成以外は、図３から図９に説明した実施形態と同一であり説明は省略する。

　図１０では仮想投影面ＶＰｈ、ＶＰｊの２つの仮想投影面を設定した例を示している。両者は独立にその形状、位置、サイズを設定可能である。同図においては、撮像素子面ＩＡ上仮想投影面ＶＰｈ、ＶＰｊ、に対応する範囲は領域ｈ、ｊであり、物点Ｐ１、Ｐ２に対応する点は、点ｐ１、ｐ２である。

　設定された仮想投影面ＶＰｈ、ＶＰｊのそれぞれに対して図４から図６に示すフローにより画像データが算出され、それぞれが個別に、図４のステップＳ４０の処理により表示部１２０に２画面表示される。

　［仮想投影面ＶＰの位置の変更の具体例］
　図１１から図１４は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰの位置を変更する例である。図１１に示すように画像中心ｏを回転中心としてｘ軸回りの回転がｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転がｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転がｒｏｌｌである。

　図１２、図１３、図１４は入力された回転量の設定値に基づいてそれぞれ仮想投影面ＶＰ０をｒｏｌｌ回転、ｐｉｔｃｈ回転、ｙａｗ回転させた例を示すものである。これらの図（及びこれ以降も）においてＣａ０、Ｃａ１は仮想カメラであり、ｃａｖは位置変更後の仮想カメラＣａ１のカメラ視点である。なお位置変更前の仮想カメラＣａ０のカメラ視点ｃａｖはＺ軸と一致している。

　図１２において仮想投影面ＶＰ０を位置変更してｒｏｌｌ回転させたものが仮想投影面ＶＰ１である。カメラ視点ｃａｖは位置変更前と後で一致している。

　図１３において、仮想投影面ＶＰ０を位置変更してｐｉｔｃｈ回転させたものが仮想投影面ＶＰ１であり、カメラ視点ｃａｖは同図において見上げる方向に移動している。

　図１４において、仮想投影面ＶＰ０を位置変更してｙａｗ回転させたものが仮想投影面ＶＰ１であり、カメラ視点ｃａｖは同図において時計回りに回転している。

　図１５から図１７は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。

　図１５に示すように仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ－ａｘｉｓ、他方をＰ－ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ－ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ－ａｘｉｓ回りの回転を仮想ｐｉｔｃｈ回転という。初期状態においては、仮想投影面ＶＰ０はカメラ座標系のｘｙ平面と平行であり、Ｚ軸上に中心ｏｖが存在する。この初期状態においては、Ｐ－ａｘｉｓはｘ軸と平行であり、Ｙａｗ－ａｘｉｓはｙ軸と平行である（なおＹａｗ－ａｘｉｓと図７のｖ－ａｘｉｓは同一である）。

　図１６において、仮想投影面ＶＰ０を位置変更して仮想ｐｉｔｃｈ回転させたものが仮想投影面ＶＰ１であり、位置変更後において仮想カメラＣａ１は上方に位置し、カメラ視点ｃａｖは見下げる方向となる。

　図１７において、仮想投影面ＶＰ０を位置変更して仮想ｙａｗ回転させたものが仮想投影面ＶＰ１であり、位置変更後において仮想カメラＣａ１、及びカメラ視点ｃａｖは反時計方向に回転する。

　図１８は、カメラ座標系の画像中心ｏを移動中心として仮想投影面ＶＰ０の位置を変更する例である。これらの例においては仮想カメラＣａ０を仮想投影面ＶＰ０とともに平行移動させたことに相当する視点変換が行われる。

　図１９、図２０、図２１は、入力されたオフセット移動量の設定値に基づいて仮想投影面ＶＰ０をＸ方向、Ｙ方向、Ｚ方向にそれぞれオフセット移動（平行移動）させた例を示すものである。初期状態においては、Ｚ方向へのオフセット移動は、ズームイン、ズームアウトと同様の動きとなる。初期状態以外においては、各方向へのオフセット移動は光学系の撮影領域外の暗部を画像領域外に移動させる際に有効である。

　図２２、図２３は、表示部１２０に表示させた表示画像の例である。図２２は、円筒形状（図１、図７（ａ）等）の仮想投影面ＶＰに基づいて算出した画像データを表示した表示画像の例であり、図２２は、三面鏡形状（図７（ｂ））の仮想投影面ＶＰでの表示画像の例である。中央に近い画像は、歪みが少なく正確に被写体を認識することができ、左右の端部に近い画像では、拡大表示されている。円筒歪補正あるいは三面鏡歪補正を行っているために端部側での像拡大にともなって形の崩れは生じがたい。

　図２４は、仮想投影面ＶＰの形状の変形例である。同図に示す例では仮想投影面ＶＰは逆向きの円筒形状であり、両端側が外側（奥側）に傾斜している。

　図２５は、図２４に示した逆向きの円筒形状の仮想投影面ＶＰに基づいて算出した画像データを表示した表示画像の例である。中央に近い画像では歪みは少ないが、左右の端部に近い画像では、歪みが残っているが広い領域を表示させることができる。またこのような形状の仮想投影面であっても、中央側よりも左右の端部に近い側では入射角度θの変化に対して高密度で画素が配置されることになるので、左右の端部側で画像が粗くなるという現象を避けることができる。

　以上に説明した実施の形態では、集光レンズを含む光学系として、単玉レンズからなる光学系を例示して説明したが、集光レンズは複数枚のレンズで構成されてもよく、光学系には集光レンズ以外の光学素子を備えていてもよいことは勿論であり、本願の発明を適用できるものである。その場合には、歪み補正係数は、光学系全体としての値を利用すればよい。しかしながら、撮像装置の小型化や低コスト化の上では、以上の実施の形態で例示したように、単玉のレンズを用いることが最も好ましいものである。

　１００　制御装置
　１０１　画像処理部
　１０２　設定部
　１０３　記憶部
　１１０　撮像ユニット
　１２０　表示部
　１３０　操作部
　ＶＰ　仮想投影面
　ＬＣ　レンズ中心面
　ＩＡ　撮像素子面
　Ｏ　レンズ中心
　ｏ　画像中心
　ｏｖ　仮想投影面の中心

Claims (16)

1. 　レンズを備えた光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
   　ユーザの指示に基づいて、曲面若しくは複数の平面を連結した面からなる仮想投影面の面形状、サイズ及びワールド座標系における位置の設定を行う第１ステップと、
   　前記第１ステップで設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換する第２ステップと、
   　前記複数の画素データと前記第２ステップで変換したカメラ座標系における座標とに基づいて、前記第１ステップで設定された仮想投影面の画像データを算出する第３ステップと、
   　を有することを特徴とする画像処理方法。
2. 　前記第１ステップで設定された仮想投影面の面形状は、断面が円弧状である円筒形状若しくは複数枚の連続したパネルからなる多面鏡形状であることを特徴とする請求項１に記載の画像処理方法。
3. 　前記第３ステップで算出した画像データを表示部に表示させる第４ステップを有することを特徴とする請求項１又は２に記載の画像処理方法。
4. 　前記第１ステップで設定される仮想投影面は、複数の仮想投影面であることを特徴とする、請求項１から３のいずれか一項に記載の画像処理方法。
5. 　前記第３ステップでは、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、対応する位置の画素の画素データから前記各位置における画像データを得ることを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
6. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
   　ワールド座標系における仮想投影面であって、曲面若しくは複数の平面を連結した面からなる仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面の画像データを算出する画像処理部と、
   　を有することを特徴とする画像処理装置。
7. 　前記仮想投影面の形状は、断面が円弧状の円筒形状若しくは複数枚の連続したパネルからなる多面鏡形状であることを特徴とする請求項６に記載の画像処理装置。
8. 　前記仮想投影面は、複数の仮想投影面であることを特徴とする請求項６又は７に記載の画像処理装置。
9. 　前記画像処理部は、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、対応する位置の画素の画素データから前記各位置における画像データを得ることを特徴とする請求項６から８の何れか一項に記載の画像処理装置。
10. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置のプログラムであって、コンピュータを、
    　位置及びサイズが設定されたワールド座標系の仮想投影面であって、曲面若しくは複数の平面を連結した面からなる仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する画像処理部、
    　として機能させるプログラム。
11. 　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置のプログラムであって、コンピュータを、
    　ワールド座標系における仮想投影面であって、曲面若しくは複数の平面を連結した面からなる仮想投影面の形状、サイズ及び配置位置を設定可能な設定部と、
    　前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面の画像データを算出する画像処理部、
    　として機能させるプログラム。
12. 　光学系と、
    　複数の画素を有する撮像素子と、
    　ワールド座標系の仮想投影面であって、曲面若しくは複数の平面を連結した面からなる仮想投影面の形状、サイズ及び配置位置を設定可能な設定部と、
    　前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記撮像素子に受光して得られた複数の画素データに基づいて、前記設定部で設定された仮想投影面の画像データを算出する画像処理部と、
    　を有することを特徴とする撮像装置。
13. 　前記仮想投影面の形状は、断面が円弧状の円筒形状若しくは複数枚の連続したパネルからなる多面鏡形状であることを特徴とする請求項１２に記載の撮像装置。
14. 　ユーザが操作する操作部と、
    　表示部と、
    　を有し、
    　前記設定部は、前記操作部への操作に基づいてワールド座標系における前記仮想投影面の形状、サイズ及び位置の設定を行い、
    　前記表示部は、設定された前記仮想投影面での画像データを表示することを特徴とする請求項１２又は１３に記載の撮像装置。
15. 　前記設定部で設定される仮想投影面は、複数の仮想投影面であることを特徴とする請求項１２から１４の何れか一項に記載の撮像装置。
16. 　前記画像処理部は、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、対応する位置の画素の画素データから前記各位置における画像データを得ることを特徴とする請求項１２から１５の何れか一項に記載の撮像装置。

Images