JP2014147034A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】円周魚眼のような撮影領域が画像全域ではない場合でも、歪曲収差後の画像において、撮影領域を極力含むような矩形領域を算出できることを提供する。
【解決手段】画像処理装置１は、画像に歪曲収差補正処理を行う補正部１０２と、あらかじめ定められた複数の処理方法のうちの１つを画像の撮影条件と補正部１０２による補正条件に応じて選択し、補正処理後の画像から切り出す領域のサイズを算出する算出部１０３とを有する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。詳しくは、本発明は、撮像装置によって撮影された画像を補正する画像処理装置、画像処理方法、プログラムに関するものであり、特に、画像処理装置の収差補正時における画像の切り出し方法に関する。

従来、撮像装置によって撮影された画像に対して、歪曲収差と呼ばれる主にレンズによる光学的な歪みを補正する技術が知られている。また、歪曲収差を補正する場合には、補正処理後の画像が、大きく分類して、糸巻き型（図９参照）と樽型（図１０参照）と呼ばれる２種類のいずれかの形状に変形することも知られている。
撮像装置により撮像されたデジタル画像は、一般的に矩形である。このため、例えば特許文献１または特許文献２のように、歪曲収差補正処理後の画像から矩形領域を切り出す手法が検討されてきた。この方法は、総じて、補正処理後の変形した画像から、できる限り最大の矩形領域を切り出すことに重点をおいたものであった。
ところで、一般的に利用されているレンズの１つに、魚眼レンズがある。魚眼レンズの中でも、特に円周魚眼（または全周魚眼）と呼ばれるレンズを用いる場合には、撮像素子などの撮像面は、全域が撮影領域として使用されるものではなく、中心からある半径の円の領域内が撮影領域として使用される。そして、この円の外の領域は、画像ではあるが被写体が写っていない黒い領域として記録される。
円周魚眼レンズを用いて撮影された画像の歪曲収差を補正する場合にも、前述の歪曲収差補正と、その後の画像の切り出しが必要となる。しかしながら、従来と同様に、変形後の画像から切り出し可能な最大の矩形の領域を切り出す処理を行うと、樽型に変形した場合には、円形の撮影領域の一部が切り取られてしまうことがある（図１０参照）。円周魚眼レンズ以外の一般的なレンズでは、撮像面の全域が撮影領域となるため、樽型の画像に内接する最大の矩形の領域を切り取る処理であっても問題がない。これに対して、円周魚眼レンズを用いた場合には、被写体は、撮像面の中心の円形の領域にのみ写っている。このため、樽型に変形した画像に対して前述のような従来の方法を用いると、被写体が写っている円形の撮影領域の一部が切り取られるという問題が生じる。

特開２０００−１０６６２３号公報 特開２００９−３８６４６号公報

上記実情に鑑み、本発明が解決しようとする課題は、円周魚眼レンズを用いた場合など、撮影領域が画像の全域ではない場合であっても、歪曲収差補正処理後の画像から撮影領域の欠損が少なくなるような矩形領域を算出することである。

前記課題を解決するため、本発明の画像処理装置は、画像に歪曲収差補正処理を行う補正手段と、あらかじめ定められた複数の処理方法のうちの１つを、前記画像の撮影条件と前記補正手段による補正条件に応じて選択し、補正処理後の画像から切り出す領域のサイズを算出する算出手段と、を有することを特徴とする。
本発明の画像処理方法は、画像に歪曲収差補正処理を行う補正ステップと、前記補正ステップにおいて補正された画像から切り出す領域を、前記画像の撮影条件と前記補正ステップにおける補正条件によって算出するステップと、を有することを特徴とする。
本発明のプログラムは、コンピュータに、画像に歪曲収差補正処理を行う補正ステップと、前記補正ステップにおいて補正された画像から切り出す領域を、前記画像の撮影条件と前記補正ステップにおける補正条件によって算出するステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、画像の撮影に用いられたレンズや補正条件によらず、補正処理後の画像から撮影領域が極力含まれるような矩形の領域を決定することができる。したがって、切出された領域の画像において、撮影領域が欠損することを防止または抑制できる。

図１は、本発明の第１実施形態にかかる画像処理装置の構成の一例を示すブロック図である。 図２は、撮影条件の判定と、歪曲収差補正処理と、切出し処理との一連の流れを示すフローチャートである。 図３は、図２のステップＳ２０２とＳ２０３における歪曲収差補正処理を示すフローチャートである。 図４は、補正処理後の画像の切出し領域のサイズを算出する処理を示すフローチャートである。 図５は、図４のサブプロセスＡの内容を示すフローチャートである。 図６は、元画像と撮影領域と切り出し領域の関係を模式的に示す図である。 図７（ａ）は、糸巻型の変形が生じる場合の変換テーブルの例を示す図であり、図７（ｂ）は、図７（ａ）に示す変換テーブルをグラフに示した図である。 図８（ａ）は、樽型の変形が生じる場合の変換テーブルの例を示す図であり、図８（ｂ）は、図８（ａ）の変換テーブルをグラフ化した図である。 糸巻き型の変形の例を模式的に示す図である。 樽型の変形の例を模式的に示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第１実施形態）
まず、図１を参照して、本発明の第１実施形態にかかる画像処理装置１の概略構成について説明する。図１は、本発明の第１実施形態にかかる画像処理装置１の構成の一例を示すブロック図である。画像処理装置１は、入力部１０１と、補正部１０２と、算出部１０３と、出力部１０４とを有する。
入力部１０１には、外部から画像（画像データ）が入力される。
補正部１０２は、入力部１０１から入力された画像に対して、歪曲収差補正処理を実行する。説明の便宜上、補正部１０２により歪曲収差補正処理が実行される前の画像を「元画像」と称し、補正された画像を「補正処理後の画像」と称することがある。
算出部１０３は、補正処理後の画像から切り出す矩形領域のサイズを算出する。説明の便宜上、補正処理後の画像から切り出す矩形領域を「切出し領域」と称する。切出し領域のサイズの算出のため、撮影条件に応じた複数の処理方法が予め定められている。そして、算出部１０３は、複数の処理方法から一つの処理方法を選択し、選択した当該一つの処理方法を用いて切出し領域のサイズを算出する。さらに、算出部１０３は、切出し領域の算出結果を用いて、補正処理後の画像から切り出し領域を切り出す。説明の便宜上、画像を切り出す処理を「切出し処理」と称する。
出力部１０４は、算出部１０３が切出した領域の画像を出力する。

次に、本実施形態にかかる処理フローについて説明する。本実施形態では、通常と異なる撮影条件として、円周魚眼レンズを用いた撮影を挙げる。図２は、撮影条件の判定と、歪曲収差補正処理と、切出し処理との一連の流れを示すフローチャートである。

ステップＳ２０１において、算出部１０３は、入力部１０１に入力された画像（元画像）の撮影条件を確認し、この画像が円周魚眼レンズを用いて撮影された画像であるかどうかを判定する。この画像が円周魚眼レンズを用いて撮影された画像であればステップＳ２０２に進み、そうでなければステップＳ２０３に進む。

ステップＳ２０３においては、補正部１０２は、入力部１０１に入力された画像に対して、通常の歪曲収差補正処理を実行する。ここでは、変換テーブルを用いて補正前画像の画素の座標を変換するという、従来一般の歪曲収差補正処理が適用できる。

ステップＳ２０２においては、補正部１０２は、入力部１０１に入力された画像に対して、円周魚眼レンズを用いて撮影された画像用の歪曲収差補正処理（以下、「円周魚眼用の歪曲収差補正処理」と称する）を実行する。なお、円周魚眼用の歪曲収差補正処理の内容は、通常の歪曲収差補正処理と同じであってもよい。ただし、円周魚眼用の歪曲収差補正処理においては、特別の注意を要することがある。
具体的な次のとおりである。円周魚眼レンズの円形の露光領域（イメージサークルと称することもある）は、撮像装置のセンサの矩形の撮像面（結像した光学像を画像データに変換できる面をいう）よりも小さい。このため、円周魚眼レンズを用いて撮影された画像は、矩形の画像の中央に、被写体が写っている円形の領域が存在する。この領域を「撮影領域」と称する。撮影領域は、レンズの露光領域が投影される領域である。そして、撮影領域の外側の領域は黒色の領域となる。
このように、全周魚眼レンズを用いて撮影された画像は、その全域が撮影領域となるわけではなく、画像には撮影領域ではない領域が含まれる。
黒色の領域は、通常は撮影領域外であるため、設計上、変換テーブルが存在しないことがある。しかしながら、何の補正も行わないと、画像内の連続性が保持できないことがある。また、黒色の領域にも、通常のノイズなどといった、ユーザが意識していない情報が存在している場合がある。このように、歪曲収差補正処理においては、この黒色の領域の扱いに特別の注意を要する。
そこで、本実施形態においては、円周魚眼用の歪曲収差補正処理を、通常の歪曲収差補正処理とは別の処理とする。たとえば、補正部１０２は、撮影領域の中心から円形の領域の外縁にかけて使用した変換テーブルの補正量を、その傾向を維持したまま仮想的に使用する。

ステップＳ２０４においては、算出部１０３は、歪曲収差補正処理により画像が樽型に変形するかどうかを判定する。前記のとおり、歪曲収差補正処理の条件（補正条件）によって、補正処理後の画像が樽型または糸巻型に変形する。画像が樽型に変形する補正条件である場合にはステップＳ２０６に進み、そうでない場合にはステップＳ２０５に進む。

ステップＳ２０５においては、算出部１０３は、複数の処理方法から、補正処理後の画像に内接する最大の矩形の領域を切り出す切出し処理を選択する。すなわち、撮影時の画像の一部が切り捨てられる切り出し処理を選択する。そして、算出部１０３は、選択した処理方法を用いて切出し処理を実行する。

ステップＳ２０６においては、算出部１０３は、複数の処理方法から、撮影領域の全域を含むように矩形の領域を切り出す切出し処理を選択する。そして、算出部１０３は、選択した処理方法を用いて切出し処理を実行する。

ステップＳ２０８においては、算出部１０３は、切出し画像の撮影領域の外側の領域を黒く塗りつぶす処理を実行する。

ステップＳ２０７において、出力部１０４は、切り出した領域の画像を出力する。

このように、あらかじめ、切出し処理のための複数の処理方法が定められている。複数の処理方法には、少なくとも次の２つが含まれる。（１）補正処理後の画像に内接する最大の矩形の領域を切り出す処理方法。（２）補正処理後の画像に含まれる撮影領域の全域を含むように矩形の領域を切り出す処理方法。（２）の処理方法には、補正条件に応じてさらに複数の処理方法が含まれる。そして、算出部１０３は、画像の撮影条件と補正条件に応じて、複数の処理方法から１つを選択し、選択した処理方法を用いて切出し処理を実行する。なお、（１）の処理方法には、従来公知の処理方法が適用できる。（２）の処理方法の詳細については後述する。

次に、歪曲収差補正処理について、図３を参照して説明する。図３は、図２のステップＳ２０２とＳ２０３における歪曲収差補正処理を示すフローチャートである。
歪曲収差補正処理は、上で説明したように通常の場合と、円周魚眼レンズの場合とで異なる部分はあるが、ここでは、共通する処理について説明する。

ステップＳ３０１において、補正部１０２は、元画像の先頭画素を選択する。
ステップＳ３０２においては、補正部１０２は、撮影領域の中心から選択した画素までの距離を算出する。
ステップＳ３０３においては、補正部１０２は、選択した画素の補正処理後における撮影領域の中心からの距離を算出する。
ステップＳ３０４においては、補正部１０２は、算出した距離から選択した画素の補正処理後の座標を算出する。
ステップＳ３０５においては、補正部１０２は、算出した座標を、選択した画素の補正処理後の座標として記録する。
ステップＳ３０６においては、補正部１０２は、ステップＳ３０２〜Ｓ３０５の処理が行われた画素が最後の画素であるかどうかを判定する。最後の画素でない場合にはステップＳ３０７に進み、最後の画素である場合にはステップＳ３０８に進む。
ステップＳ３０７においては、補正部１０２は、次の画素を補正対象の画素として選択する。そしてステップＳ３０２に進み、ステップＳ３０２以下の処理を繰り返す。これにより、補正部１０２は、元画像に含まれる全ての画素について、ステップＳ３０２〜Ｓ３０５の処理を実行する。
ステップＳ３０８においては、全ての画素について上記処理が終了したため、補正部１０２は、補正した画像を算出部１０３に出力する。

次に、図４〜図６を参照して、切出し領域のサイズを算出する処理について説明する。図４は、補正処理後の画像の切出し領域のサイズを算出する処理を示すフローチャートである。図５は、図４のサブプロセスＡの内容を示すフローチャートである。図６は、元画像と撮影領域と切り出し領域の関係を模式的に示す図である。算出部１０３は、切出し領域のサイズの算出を、元画像と変換テーブルとを用いて行う。

ステップＳ４０１〜Ｓ４０６において、算出部１０３は、元画像の左上の画素と、上辺中点の画素と、左辺中点の画素とを選択し、選択した画素のそれぞれについて、サブプロセスＡを実行する。なお、前記の選択される画素は一例であり、他の画素が選択されてもよい。たとえば、左上の画素ではなく、元画像の左上以外の四隅に位置する画素であってもよい。また、上辺中点の画素ではなく下辺中点の画素であってもよい。さらに、左辺中点の画素ではなく、右辺中点の画素であってもよい。

ここで、サブプロセスＡについて、図５を参照して説明する。
ステップＳ５０１において、算出部１０３は、選択したそれぞれの画素の撮影領域の中心からの距離を算出する。
ステップＳ５０２において、算出部１０３は、変換テーブルを用いて、選択したそれぞれの画素の補正処理後における座標を算出する。
ステップＳ５０３において、算出部１０３は、算出した座標を用いて、選択したそれぞれの画素の補正処理後における撮影領域の中心からの縦方向と横方向の距離を算出する。
ステップS５０４において、算出部１０３は、算出した縦方向と横方向の距離を返す。
そして、図４のステップＳ４０７に進む。

ステップＳ４０７においては、算出部１０３は、画像の左辺が短辺であるかどうかを判定する。左辺が短辺である場合には、画像が横長である。この場合には、ステップＳ４０８に進む。一方、左辺が短辺でない場合には、画像が縦長である。この場合には、ステップＳ４１２に進む。

ステップＳ４０８においては、算出部１０３は、撮影領域の中心から補正処理後における上辺中点の画素までの縦方向の距離の２倍の寸法を、切出し領域の縦方向のサイズに設定する。この距離は、ステップＳ４０４のサブプロセスＡにおいて算出される。
図１０に示すように、従来の方法では、樽型に変形した補正処理後の画像Ｑから内接する最大の矩形の領域Ｐを切り出すと、円形の撮影領域Ｒの上下の部分Ｓ（ハッチングが施された領域）が欠損することがある。
これに対して、本発明の実施形態では、図６に示すように、切出し領域Ｄの縦方向のサイズは、円形の撮影領域Ｃと同じかそれより大きくなる。したがって、円形の撮影領域Ｃの上下の部分に欠損が生じないようにできる。

ステップＳ４０９において、算出部１０３は、補正処理後の左上の画素と補正処理後の左辺中点の画素について、撮影領域の中心からの横方向の距離を比較する。これらの距離はステップＳ４０２とＳ４０６のサブプロセスＡにおいて算出される。
補正処理後の左上の画素の撮影領域の中心からの横方向距離が、補正処理後の左辺中点の画素の当該距離よりも大きい場合には、ステップＳ４１０に進む。一方、補正処理後の左上の画素の撮影領域の中心からの横方向距離が、補正処理後の左辺中点の画素の当該距離よりも小さい場合には、ステップＳ４１１に進む。

ステップＳ４１０において、算出部１０３は、補正処理後における左辺中点の画素の撮影領域の中心からの横方向距離の２倍の寸法を、切出し領域の横方向のサイズに設定する。
ステップＳ４１１において、算出部１０３は、補正処理後における左上の画素の撮影領域の中心からの横方向距離の２倍の寸法を、切出し領域の横方向のサイズに設定する。

一方、ステップＳ４０７において左辺が短辺でなく、画像が縦長である場合には、円形の撮影領域のうちで左右にのみ欠損が生じうる。すなわち、図１０を左右いずれかに９０度回転させた状態となる。この場合には、ステップＳ４１２に進む。ステップＳ４１２〜Ｓ４１５の処理は、ステップＳ４０８〜Ｓ４１１の処理において、画像の縦方向と横方向とを入れ替えた内容の処理である。具体的には、次のとおりである。
ステップＳ４１２においては、算出部１０３は、撮影領域の中心から補正処理後の左辺中点の画素までの横方向の距離の２倍の寸法を、切出し領域の横方向のサイズに設定する。前記のとおり、画像が縦長である場合には、円形の撮影領域のうちで左右にのみ欠損が生じうる。そこで、切出し領域の横方向のサイズを前記のように設定することにより、円形の撮影領域の左右に欠損が生じないようにできる。
ステップＳ４１３において、算出部１０３は、補正処理後の左上の画素と補正処理後の上辺中点の画素について、撮影領域の中心からの縦方向の距離を比較する。補正処理後の左上の画素の撮影領域の中心からの縦方向の距離が、補正処理後の上辺中点の画素の当該距離よりも大きい場合には、ステップＳ４１４に進む。一方、補正処理後の左上の画素の撮影領域の中心からの縦方向距離が、補正処理後の上辺中点の画素の当該距離よりも小さい場合には、ステップＳ４１５に進む。
ステップＳ４１４において、算出部１０３は、補正処理後における上辺中点の画素の撮影領域の中心からの縦方向の距離の２倍の寸法を、切出し領域の縦方向のサイズに設定する。
ステップＳ４１１において、算出部１０３は、補正処理後における左上の画素の撮影領域の中心からの縦方向距離の２倍の寸法を、切出し領域の縦方向のサイズに設定する。

ステップＳ４１６において、算出部１０３は、設定した縦横それぞれのサイズで、補正処理後の画像Ｂから切出し領域Ｄを切り出す。図６において、ハッチングが施された領域Ｅは、元画像には存在しない領域である。このように、算出部１０３は、切出し領域Ｄに、元画像には存在しない領域を付加する。なお、元画像における撮影領域Ｃの外側の領域は、円周魚眼レンズを用いて撮影された画像であれば、黒色となる。そこで、算出部１０３は、追加された領域Ｅを黒色で塗り潰す処理を行う。これにより、切り出された画像が不自然にならないようにできる。

なお、切出し領域のサイズの算出には、次のような方法も適用できる。
算出部１０３は、画像の撮影に用いられたセンサとレンズの情報を取得する。センサに関する情報には撮像面のサイズに関する情報が含まれる。レンズに関する情報には、撮影領域（イメージサークル）のサイズが含まれる。なお、画像処理装置１が、撮像装置のセンサに関する情報と、各種レンズの撮影領域に関する情報を保持している構成であってもよい。この場合には、算出部１０３は、撮像装置の型式（型番）や、画像の撮影に使用されたレンズの型式（型番）などの情報を取得し、当該撮像装置とレンズに対応する情報を読み出して切出し処理に用いる。また、撮像に用いられたレンズが倍率変更可能なズームレンズである場合には、倍率によって露光領域のサイズが変わることがあるため、算出部１０３は、レンズの倍率に関する情報も取得する。
次いで算出部１０３は、センサの撮像面のサイズとレンズの露光領域のサイズとから、撮影された画像（元画像）に含まれる撮影領域の位置およびサイズを判定する。
次いで算出部は、補正処理後の画像における撮影領域の外縁の位置を算出し、算出結果に基づいて、さらに補正処理後の画像における撮影領域の全体が含まれる矩形の領域を算出する。このようにして算出された矩形の領域が、切出し領域となる。
次いで算出部１０３は、算出した切出し領域を補正処理後の画像から切り出す。

さらに、画像処理装置１は、図４と図５に示す処理と、前述の撮影領域のサイズの算出結果を用いる処理とを合せて用いてもよい。
例えば、算出部１０３は、図４と図５に示す処理と、前述の撮影領域のサイズの算出結果を用いる処理とによって、切出し領域のサイズを算出する。そして、算出部１０３は、図４と図５に示す処理によって算出した切出し領域のサイズと、前述の撮影領域のサイズを用いて算出した切出し領域のサイズとを比較する。そして、算出部１０３は、サイズの大きい方を、最終的な切出しサイズに決定する。その後、算出部１０３は、決定した切出し領域のサイズを用いて、補正処理後の画像に対して切出し処理を実行する。
または、算出部１０３は、比較の結果、図４と図５に示す処理によって算出した切出し領域のサイズが、前述の撮影領域のサイズを用いて算出した切出し領域のサイズより小さい場合には、図４と図５に示す処理によって算出した切出し領域のサイズを拡大する。次いで、算出部１０３は、再びサイズを比較する。そして、算出部１０３は、図４と図５に示す処理によって算出した切出し領域のサイズが、前述の撮影領域のサイズを用いて算出した切出し領域のサイズ以上になった場合には、拡大した切出し領域のサイズを、最終的な切出し領域のサイズに決定する。

次に、歪曲収差補正処理で用いられる変換テーブルについて、図７と図８を参照して説明する。
図７（ａ）は、糸巻型の変形が生じる場合の変換テーブルの例を示す。図７（ａ）に示すように、変換テーブルは、センサ上におけるサイズとして、撮影領域の中心からの距離の射影を離散的に有している。そして、実際には、補正部１０２は、このテーブルに規定される値を補間して用いる。なお、補正の精度を高めるためには、変換テーブルがより多くの射影を有していることが好ましい。図７（ｂ）は、図７（ａ）に示す変換テーブルをグラフに示した図である。図７（ｂ）に示すように、撮影領域の周辺に近づくにしたがって、変化量が大きくなる。これは、補正により画像が糸巻型に変形する場合の変換テーブルの特徴である。
図８（ａ）は、樽型の変形が生じる場合の変換テーブルの例を示す。図８（ｂ）は、図８（ａ）の変換テーブルをグラフ化した図である。図８（ｂ）に示すように、樽型の変形が生じる場合の変換テーブルは、撮影領域の周辺に近づくにしたがって、変化量が小さくなる傾向を有する。
前記のとおり、歪曲収差補正処理による画像の変形は、大きく分類すると、糸巻型と樽型の２種類に分類される。このため、変換テーブルも大きく分類して前記の２種類に分類できる。

以上説明したとおり、本発明の実施形態によれば、円周魚眼レンズを用いて撮影された画像に歪曲収差補正を施した場合であっても、それ以外の場合であっても、撮像領域が極力切出し領域に含まれるように、切り出し領域のサイズを算出できる。

（第２実施形態）
前記第１実施形態においては、円周魚眼レンズを用いて撮影された画像に対する処理を例に示して説明したが、本発明は、このような構成に限定されない。本発明は、たとえば、所定のサイズのセンサを有する撮像装置に、当該所定のサイズとは異なるセンサを有する撮像装置用のレンズを装着して撮影した画像に対しても適用できる。
たとえば、撮像面のサイズが３６ｍｍ×２４ｍｍのセンサ（以下、「３６ｍｍセンサ」と称する）を有する撮像装置に、それよりも小さいサイズのセンサ用のレンズを装着して撮影することがある。このような組み合わせでは、レンズの露光領域が３６ｍｍセンサの撮像面よりも小さくなることがある。この場合には、レンズの露光領域のサイズとセンサの撮像面のサイズとがあらかじめ明らかであれば、算出部１０３は、切り出し領域のサイズを算出できる。例えば３６ｍｍセンサの全域に露光するためには、露光領域が半径２１．６３５ｍｍ以上の円形の領域のレンズが必要である。これに対し、撮像面のサイズが２４ｍｍ×１６ｍｍのセンサ（以下、「２４ｍｍセンサ」と称する）用のレンズでは、露光領域の半径が１４．４２ｍｍであると仮定できる。
そこで、算出部１０３は、３６ｍｍセンサを有する撮像装置に２４ｍｍセンサ用のレンズが装着されたことを撮影条件から判定できた場合には、次のように処理を行う。すなわち、算出部１０３は、センサの撮影面のうち、半径が１４．４２ｍｍの円の内側の領域、またはこの円に内接する矩形の領域が撮影領域であると判定する。そして、算出部１０３は、この円の内側の領域またはこの円に内接する矩形の領域を、実施例１と同様の処理によって切り出し領域として算出することができる。このように、実施例１に示した円周魚眼レンズの例とは異なるが、画像処理装置１は、センササイズがレンズと異なる場合においても、算出処理の内容を切り替えることが可能である。
また、これらは、撮影条件が決定されれば一意に決まるものであるが、撮影条件に応じて複数の処理方法（切出し領域のサイズの算出のアルゴリズム）を選択的に利用すべきものである。

ここで、本発明の実施形態にかかる画像処理装置１のハードウェア構成について簡単に説明する。本発明の実施形態にかかる画像処理装置１は、ＣＰＵとＲＡＭとＲＯＭと外部とデータの送受信を行うインターフェースとを有するコンピュータである。さらに、本発明の実施形態にかかる画像処理装置１は、外部から入力された画像や補正処理を施した画像を格納できる記憶デバイスや、このような記憶デバイスを接続できるインターフェースを有していてもよい。記憶デバイスとしては、たとえば、ＨＤＤやＳＳＤなどが適用できる。そして、歪曲収差補正処理と切出し処理を実行するためのコンピュータプログラム（コンピュータソフトウェア）はあらかじめＲＯＭに格納されている。さらに、ＲＯＭには、外部から画像を入力する処理を実行するためのコンピュータプログラムと、切出した領域の画像を外部に出力する処理を実行するためのプログラムとが格納される。
ＣＰＵは、ＲＯＭに格納されるコンピュータプログラムを読み出し、ＲＡＭを作業領域として用いて実行する。これにより、コンピュータが前記各部として機能するとともに前記各処理が実行される。
歪曲収差補正処理に用いられる変換テーブルは、コンピュータ読取り可能なテーブルとして、ＲＯＭに格納されている。そして、ＣＰＵは、歪曲収差補正処理においては、この変換テーブルをＲＯＭから読み出して用いる。
同様に、切出し処理のための複数の処理方法も、これら複数の処理を実行するためのコンピュータプログラムとして、あらかじめＲＯＭに格納されている。また、歪曲収差補正処理に必要な各種情報も、コンピュータ読取り可能なデータとして、ＲＯＭに格納される。そして、ＣＰＵは、画像の撮影条件と補正条件に応じて複数の処理方法のうちの一つを選択して読み出し、実行する。これにより、複数の処理方法が選択的に実行される。

また、本発明の実施形態にかかる画像処理装置１は、センサと、撮像した画像を格納可能な記録媒体を有する撮像装置に組み込まれる構成であってもよい。たとえば、本発明の実施形態にかかる画像処理装置は、デジタル一眼レフカメラに組み込まれる構成が適用できる。

また、前記実施形態の機能を実現するプログラムを、記録媒体から直接、または有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステムまたは装置に供給して実行する構成も、本発明に含まれる。従って、本発明の機能処理をコンピュータで実現するために、当該コンピュータに供給されてインストールされるプログラムコード自体も、本発明を実現するものである。つまり、本発明の機能処理を実現するためのプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等が適用できる。また、光／光磁気記憶媒体、不揮発性の半導体メモリも適用できる。

以上、本発明の実施形態（実施例）について詳細に説明したが、前記実施形態（実施例）は、本発明を実施するにあたっての具体例を示したに過ぎない。本発明の技術的範囲は、前記実施形態（実施例）に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の変更が可能であり、それらも本発明の技術的範囲に含まれる。

本発明は、補正により変形した画像から切出し領域を切り出すことができる画像処理装置、画像処理方法およびプログラムに関する。そして、本発明によれば、撮影に用いられるレンズや幾何学的な変換の種類によらず、補正処理後の画像から撮影領域をできるだけ含むような矩形領域を算出できる。

１：画像処理装置、１０１：入力部、１０２：補正部、１０３：算出部、１０４：出力部

Claims (11)

1. 画像に歪曲収差補正処理を行う補正手段と、
   あらかじめ定められた複数の処理方法のうちの１つを、前記画像の撮影条件と前記補正手段による補正条件に応じて選択し、補正処理後の画像から切り出す領域のサイズを算出する算出手段と、
   を有することを特徴とする画像処理装置。
2. 前記算出手段は、魚眼レンズで撮影された画像である場合には、魚眼レンズではないレンズで撮影された画像と異なる算出方法によって前記切り出す領域を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、画像に撮影領域ではない領域が含まれる場合には、画像の全域が撮影領域である場合と異なる方法によって、前記切り出し領域のサイズを算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記算出手段は、魚眼レンズで撮影された画像である場合には、前記歪曲収差補正処理を行った後の画像において、前記歪曲収差補正処理が施される前の撮影領域の全てが含まれるように、前記切り出し領域のサイズを算出することを特徴とする請求項２に記載の画像処理装置。
5. 前記算出手段は、魚眼レンズで撮影された画像であって、かつ、前記歪曲収差補正処理を行った後の画像が樽型である場合には、前記歪曲収差補正処理を行った後の画像において、前記歪曲収差補正処理が施される前の撮影領域の全てが含まれるように、前記切り出し領域のサイズを算出することを特徴とする請求項２に記載の画像処理装置。
6. 前記算出手段は、魚眼レンズで撮影された画像でない場合には、前記歪曲収差補正処理を行った後の画像において、前記歪曲収差補正処理が施される前の撮影領域の一部が含まれないように、前記切り出し領域のサイズを算出することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記算出手段は、画像に撮影領域ではない領域が含まれる場合には、前記歪曲収差補正処理を行った後の画像において、前記歪曲収差補正処理が施される前の撮影領域の全てが含まれるように、前記切り出し領域のサイズを算出することを特徴とする請求項３に記載の画像処理装置。
8. 前記算出手段は、画像に撮影領域ではない領域が含まれ、かつ、前記歪曲収差補正処理を行った後の画像が樽型である場合には、前記歪曲収差補正処理を行った後の画像において、前記歪曲収差補正処理が施される前の撮影領域の全てが含まれるように、前記切り出し領域のサイズを算出することを特徴とする請求項３に記載の画像処理装置。
9. 前記算出手段は、画像に撮影領域ではない領域が含まれない場合には、前記歪曲収差補正処理を行った後の画像において、前記歪曲収差補正処理が施される前の撮影領域の一部が含まれないように、前記切り出し領域のサイズを算出することを特徴とする請求項７または８に記載の画像処理装置。
10. 画像に歪曲収差補正処理を行う補正ステップと、
    前記補正ステップにおいて補正された画像から切り出す領域を、前記画像の撮影条件と前記補正ステップにおける補正条件に応じて算出するステップと、
    を有することを特徴とする画像処理方法。
11. コンピュータに、
    画像に歪曲収差補正処理を行う補正ステップと、
    前記補正ステップにおいて補正された画像から切り出す領域を、前記画像の撮影条件と前記補正ステップにおける補正条件に応じて算出するステップと、
    を実行させることを特徴とするプログラム。

Images