JP2013080998A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】歪円形画像に撮像される撮像対象の把握性を向上させることができる画像処理装置、画像処理方法及び画像処理プログラム等を提供する。
【解決手段】魚眼画像を魚眼画像用モニタ２に表示可能な魚眼画像データに変換し、所定の位置を基準とした所定の範囲内の魚眼画像を、平面正則画像用モニタ３に二次元的に視認可能に表示する平面正則画像データに歪補正し、魚眼画像データ又は、平面正則画像データを、選択的に出力する。
【選択図】図１

Description

本発明は、画像データを処理する画像処理装置及び画像処理方法等の技術分野に関する。

広角レンズ（例えば、魚眼レンズ）又は全方位ミラーは、広範囲な画角で被写体を撮像できるため、例えば、監視カメラシステム、テレビ会議システム等のカメラ装置（例えば、魚眼カメラ）に適用されている。

この魚眼カメラで撮像された魚眼画像（歪円形画像の一例）には歪が生じ、特に当該画像の外縁部（端面部）では著しい歪が生じる。そこで、魚眼画像に示される被写体の識別性を向上させるため、魚眼画像を二次元的に視認可能な平面正則画像に変換し、上記歪を補正する魚眼補正処理が行われている。

また、魚眼補正処理を適用した技術として、特許文献１では、魚眼レンズ全景縮小画像と、ポインティングデバイスで指定した当該魚眼画像内の所望の領域の切り出し歪補正領域とを同一画面上に出力表示する技術が開示されている。

特開２００８−３０１０３４号公報

しかしながら、特許文献１に開示された技術では、切り出し歪補正領域で示される画像に、魚眼レンズ全景縮小画像が縮小されて重畳して表示されているため、かかる魚眼レンズ全景縮小画像を十分に把握することが困難であった。また、切り出し歪補正領域で示される画像に、魚眼レンズ全景縮小画像が縮小されて重畳して表示されているため、かかる画像の表示方法に自由度が低いという問題点もあった。

そこで、本願発明は、このような問題等に鑑みてなされたものであり、歪円形画像に撮像される撮像対象の把握性を向上させることができる画像処理装置、画像処理方法及び画像処理プログラム等を提供することを課題の一つとする。

上記課題を解決するために、請求項１に記載の発明は、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換手段と、所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正手段と、前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択手段と、を備えることを特徴とする。

この発明によれば、歪円形画像に撮像される撮像対象の把握性及び画像の表示方法の自由度を向上させることができる。

請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記選択手段は、前記歪円形画像データを第１の表示部へ、前記平面正則画像データを第２の表示部へそれぞれ出力することを特徴とする。

この発明によれば、歪円形画像に撮像される撮像対象の把握性及び画像の表示方法の自由度をさらに向上させることができる。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置であって、前記歪円形画像の所定の位置を指示する指示手段を更に備え、前記歪補正手段は、前記指示手段によって指示された位置を基準に所定の範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正して出力することを特徴とする。

この発明によれば、歪円形画像に撮像される撮像対象の把握性を向上させ、歪円形画像から所望の平面正則画像を得ることができる。

請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の画像処理装置であって、前記歪円形画像変換手段は、前記歪円形画像を、所定の倍率又は大きさで歪円形画像データに変換することを特徴とする。

この発明によれば、円形画像に撮像される撮像対象の把握性を向上させ、歪円形画像から所望の平面正則画像を得ることができる。

請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の画像処理装置であって、前記歪円形画像データには、矩形の領域を示す平面正則画像データとして変換される領域を表示するポインタが表示され、前記指示手段は、前記ポインタによって、前記歪円形画像データの所定の位置を指示可能とし、前記歪補正手段は、前記ポインタによって指示された位置を基準に所定の範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正して出力することを特徴とする。

請求項６に記載の発明は、画像処理装置における画像処理方法であって、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換工程と、所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正工程と、前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択工程と、を有することを特徴とする。

請求項７に記載の発明は、画像処理装置に含まれるコンピュータを、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換手段、所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正手段、前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択手段、として機能させることを特徴とする。

本発明によれば、前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力するため、歪円形画像に撮像される撮像対象の把握性を向上させることができる。

本実施形態に係る画像処理システムの構成及び機能概要を示すシステム図である。 本実施形態に係る画像処理装置１の構成及び機能概要を示すブロック図である。 画像処理装置１における魚眼画像データを、平面正則データへの変換を示す概念図である。 セレクタ１７の機能概要を示す概念図である。 魚眼画像が魚眼画像用モニタ２へ、平面正則画像が平面正則画像用モニタ３へ、あたかもそれぞれ同時に表示されているように見せかけたときの表示画面例である。 画像処理装置１によって実行される処理の流れを示すフローチャートである。 魚眼画像データが所定の倍率又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合のマイコン１８の動作を示すフローチャートである。 魚眼画像データが所定の倍率又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合の表示画面例である。 他のポインタの一例を示す表示画面例である。 矩形の領域を示す平面正則画像データとして変換される領域を、予め魚眼画像上にポインタとして表示した場合の表示画面例である。 画像処理システムＳに、端末装置４を追加した場合の構成及び機能概要を示すブロック図である。 分割した画面に、一又は複数の魚眼画像又は平面正則画像を出力し、魚眼画像用モニタ２又は平面正則画像用モニタ３の表示部に表示させた場合の表示画面例である。

以下、添付図面を参照して本発明の実施形態について詳細に説明する。以下に説明する実施形態は、画像処理システムに対して本発明を適用した場合の実施形態である。

［１.画像処理システムの構成及び機能概要］
先ず、図１を参照して、本実施形態に係る画像処理システムの構成及び機能概要について説明する。

図１は、本実施形態に係る画像処理システムの構成及び機能概要を示すシステム図である。

図１に示すように、画像処理システムＳは、画像処理装置１（本願の画像処理装置の一例）と、魚眼画像用モニタ２（本願の第１の表示部の一例）と、平面正則画像用モニタ３（本願の第２の表示部の一例）等を備えて構成されている。画像処理装置１と、魚眼画像用モニタ２及び平面正則画像用モニタ３は、無線（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は赤外線通信等）又は有線（例えば、電線や光ファイバー等の通信経路による電気通信）等を用いて相互にデータ（詳しくは後述する魚眼画像データ又は平面正則画像データ）の送受信が可能となっている。

画像処理装置１は、詳しくは後述するが、光学系システム１０によって撮像され所定の電気信号に変換された歪円形画像の一例としての魚眼画像を魚眼画像用モニタ２に表示可能な歪円形画像データの一例としての魚眼画像データに変換して出力する。また、所定の位置を基準とした所定範囲内の魚眼画像（即ち、魚眼画像の一部又は全部）を、平面正則画像用モニタ３に二次元的に視認可能に表示する平面正則画像データに歪補正して出力する装置である。以下、単に魚眼画像といった場合には、魚眼画像用モニタ２に表示される魚眼画像データを、平面正則画像といった場合には、平面正則画像用モニタ３に表示される平面正則画像データをいうものとする。

魚眼画像用モニタ２及び平面正則画像用モニタ３は、詳しくは図示しないが、例えば、バックライト等の光源から照射される光が、偏光フィルタ、液晶等によって部分的に遮られ又は透過され、任意に設定可能な輝度で魚眼画像や平面正則画像等の画像を表示するディスプレイと、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する表示処理部と、各種データ及び魚眼画像用モニタ２及び平面正則画像用モニタ３の動作を担うコンピュータプログラムが記憶されたハードディスク（又は上記ＲＯＭに記憶）等を有する記憶部と、画像処理装置１との間で魚眼画像データ又は平面正則画像データ等の受信（送受信）を行うための通信部と、を備えた装置である。通信部は、例えば、ＤＶＩ（Digital Visual Interface）規格に準拠したＤＶＩ−Ｄコネクタ又はＵＳＢ規格に準拠したＵＳＢコネクタ、又は、Ｄ−Ｓｕｂコネクタ等を備えており、これらコネクタを介して画像処理装置１に接続され、魚眼画像データ又は平面正則画像データ等を受信するために用いられる。

このような魚眼画像用モニタ２及び平面正則画像用モニタ３としては、例えば、ＰＤＡ（Personal Digital Assistant）等を適用できる。

また魚眼画像用モニタ２及び平面正則画像用モニタ３としては、パーソナルコンピュータ用ディスプレイや、一般家庭用のテレビモニタ等を適用することもできる。この場合、魚眼画像用モニタ２及び平面正則画像用モニタ３は、ディスプレイ及び通信部のみを備え、表示処理部等を外部の装置に備える（魚眼画像用モニタ２及び平面正則画像用モニタ３には備えない）ように構成されている。

なお、以下に示す図面において、同一の番号を示す部材は、少なくとも同一の機能及び効果を有するものとして、その説明を省略する。

［１-１.画像処理装置１の構成及び機能概要］
次に、図２を参照して、本実施形態に係る画像処理装置１の構成及び機能概要について説明する。

図２は、本実施形態に係る画像処理装置１の構成及び機能概要を示すブロック図である。

図２に示すように、本実施形態に係る画像処理装置１は、光学系システム１０と、拡大縮小回路１１（本願の歪円形画像変換手段の一例）と、メモリコントローラ１２と、メモリ１３と、補正回路１４（本願の歪補正手段の一例）と、メモリコントローラ１５と、メモリ１６と、セレクタ１７（本願の選択手段の一例）と、マイコン１８（本願の指示手段の一例）等を備えて構成されている。

光学系システム１０は、撮像した魚眼画像を、所定の電気信号へ変換するものである。具体的に、光学系システム１０では、広角レンズ又は全方位ミラーの一例としての魚眼レンズ１０ａから取り込まれた光が、図示しない絞り機構等によって調節され、イメージセンサ１０ｂ上に光学像として結像される。かかる光学像は、イメージセンサ１０ｂによって電気信号に変換され、出力されるようになっている。以下、この出力される電気信号を単に入力画像と称する。

魚眼レンズ１０ａは、光学レンズの一種で、１８０度近くの画角を有するものを示す。魚眼レンズ１０ａには、正射影、等距離射影、立体射影、及び、等立体角射影の４種類の方式がある。本実施形態においては、かかる方式について、任意に選択可能であり、これに限定されるものではない。更には、他の広角レンズ又は全方位ミラー等を適用しても良い。イメージセンサ１０ｂは、上記結像された光学像を、例えばマトリクス配置されたフォトダイオード等を用いた光電交換機能によって光学像の明るさに比例した所定の電気信号に変換し出力する。イメージセンサ１０ｂの一例として、例えば、ＣＣＤ（Charge Couple Semiconductor）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が適用される。

拡大縮小回路１１は、マイコン１８の制御に基づいて、光学系システム１０によって出力された入力画像を、魚眼画像用モニタ２に表示可能な魚眼画像データに変換する。拡大縮小回路１１では、撮像された魚眼画像を所定の倍率（図示しない操作部によって入力又は予め設定された倍率）で拡大又は縮小又は、所定の大きさ（切り出しサイズ）で魚眼画像データに変換することができる。魚眼画像データに変換するための方法は公知であるため詳しい説明は省略するが、例えば、上記電気信号を魚眼画像用モニタ２に表示可能な所定のビデオ信号、例えば、ＮＴＳＣ方式、ＰＡＬ方式、又はプログレッシブスキャン方式等へ変換し出力したり、魚眼画像用モニタ２に表示可能な形式のファイル（例えば、ＰＩＣＴ、ＪＰＥＧ、ＧＩＦ、又はＭＰＥＧ等）へ変換し、セレクタ１７へ出力する。

メモリコントローラ１２は、撮像された魚眼画像を、例えば一般的な画像データ格納用のバッファメモリによって構成されるメモリ１３へ、例えば、ＸＹ座標系上の座標（ｘ、ｙ）で示される位置に配置された多数の画素の集合体によって構成される画素情報群として格納する。また、メモリコントローラ１２は、後述する補正回路１４により算出された対応座標における画素のデータ（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（緑）のそれぞれの輝度を示すデータ）を、メモリ１３に格納されたフレーム画像から取得し、補正回路１４へ出力する。

補正回路１４は、マイコン１８の制御に基づいて、魚眼画像の全て又は一部を平面正則画像へと変換し、平面正則画像用モニタ３に表示可能な所定のビデオ信号、例えば、ＮＴＳＣ方式、ＰＡＬ方式、又はプログレッシブスキャン方式等へ変換し出力したり、魚眼画像用モニタ２に表示可能な形式のファイルへ変換する。

なお、このビデオ信号への変換は、マイコン１８の制御に基づいて、後述するメモリ１６に格納された平面正則画像データを読み出した後に変換するようにしても良い。

魚眼画像の全て又は一部を平面正則画像への変換は、公知の手法であるため詳しい説明は省略するが、平面正則画像を構成する画素情報群を得るために、当該平面正則画像を構成する各画素情報に対応する魚眼画像における各画素情報が位置する対応座標が算出される。

具体的には、魚眼レンズの光学的特性をモデル化した仮想球面上の任意の点で接する平面を平面正則画像と定義し、当該平面上における各座標が公知の座標変換により、魚眼画像における各座標に変換され、上記対応座標が算出される。

ここで、対応座標の算出は、魚眼画像上における点を（ｘ、ｙ）と、平面正則画像上における点を（ｕ、ｖ）とすると、パラメータとしての補正係数Ａ〜Ｆ及び補正時の倍率に関する係数ｗを用いて、式（１）及び（２）によって算出されることが一般的に知られている。

また、平面正則画像Ｔ上の左右輪郭近傍に生じる歪みを改善するため、変換後の画素情報における座標Ｃ（ｕ、ｖ）に位置する画素情報を、ＵＶ湾曲座標系上の座標Ｃ´（ｕ´、ｖ）とＸＹ座標系上の座標Ｐ（ｘ、ｙ）との対応関係を示す対応関係式を用いて求めた座標Ｐ（ｘ、ｙ）の近傍に位置する画素情報に基づいて決定し、変換後の画素配列データに基づいて平面上の表示部に画像を表示することにより、平面正則画像を求める技術（詳しくは、例えば特開２０１０−６２７９０号公報参照）を適用して、魚眼画像から平面正則画像へと変換するようにしても良い。

この場合の対応座標の算出は、魚眼画像上における点を（ｘ、ｙ）と、ＵＶ湾曲座標系上の座標をＣ´（ｕ´、ｖ）とすると、パラメータとしての補正係数Ａ〜Ｆ及び補正時の倍率に関する係数ｗ´を用いて、式（３）及び（４）によって算出される。

また、補正回路１４は、魚眼画像の一部を平面正則画像に変換する場合には、例えば、魚眼画像の切り出し位置、切り出し画像サイズ、倍率に応じた魚眼補正演算に必要な各パラメータの算出及び演算を行わせる。

この場合、例えば、魚眼画像用モニタ２に表示される魚眼画像に対して、図示しない操作部の操作によって指示された当該魚眼画像の所定の位置に基づいて、上述したパラメータが算出される。そして、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データを、平面正則データへと変換されるようになっている。

ここで、図３を参照して、画像処理装置１における魚眼画像データを、平面正則データへの変換について説明する。

図３は、画像処理装置１における魚眼画像データを、平面正則データへの変換を示す概念図である。

例えば、図３（Ａ）に示すように、魚眼画像用モニタ２の表示画面２１には、魚眼画像２２が表示されている。魚眼画像２２には、ユーザの操作等により魚眼画像の所定位置を選択可能なポインタ２３が表示されている。

そして、ポインタ２３により魚眼画像の所定位置が選択されると、補正回路１４によって、ポインタ２３を中心に、所定範囲内の魚眼画像データが平面正則画像データに変換される。

そして、図２（Ｂ）に示すように、変換された平面正則画像データは、平面正則画像用モニタ３の表示部３１に表示される。

なお、補正回路１４は、ユーザの選択操作にかかわらず、入力された魚眼画像データの全てを平面正則画像データに変換するようにしても良い。

図２の説明に戻り、メモリコントローラ１５は、補正回路１４によって変換された平面正則画像データを、例えば、一般的な画像データ格納用のバッファメモリによって構成されたメモリ１６へ、ＵＶ座標系上の座標（ｕ、ｖ）で示される位置に配置された多数の画素の集合体によって構成される画素情報群として格納する。平面正則画像データの輪郭は、任意に設定することができる。

セレクタ１７は、マイコン１８の制御に基づいて、所定のデータを所定の装置に選択的に出力する。本実施形態においては、セレクタ１７は、マイコン１８の制御に基づいて、魚眼画像データを魚眼画像用モニタ２へ、平面正則画像データを平面正則画像用モニタ３へ出力する。

ここで、図４を参照して、セレクタ１７の機能概要について説明する。

図４は、セレクタ１７の機能概要を示す概念図である。

図４に示すように、セレクタ１７は、マイコン１８の制御に基づいてＰを中心に回動可能なレバーＬと、レバーＬの回動によって電気的に接続される端子Ａと端子Ａ´、及び端子Ｂと端子Ｂ´を備えている。

端子Ａは、拡大縮小回路１１と電気的に接続する信号線の端部であり、魚眼画像データが出力される。端子Ａ´は、マイコン１８を介して、魚眼画像用モニタ２と電気的に接続する信号線の端部である。この端子Ａと端子Ａ´がレバーＬによって接続されると、魚眼画像データが魚眼画像用モニタ２へ出力され、魚眼画像が表示されるようになっている。

端子Ｂは、メモリコントローラ１５と電気的に接続する信号線の端部であり、平面正則画像データが出力される。端子Ｂ´は、マイコン１８を介して、平面正則画像用モニタ３と電気的に接続する信号線の端部である。この端子Ｂと端子Ｂ´がレバーＬによって接続されると、平面正則画像データが平面正則画像用モニタ３へ出力され、平面正則画像が表示されるようになっている。

画像処理装置１では、マイコン１８の制御に基づいて、所定のタイミングで、魚眼画像を魚眼画像用モニタ２へ、平面正則画像を平面正則画像用モニタ３へ、それぞれ表示させることができる。

さらに、マイコン１８の制御に基づいて、レバーＬを高速に切り替えて、端子Ａと端子Ａ´が接続した状態と、端子Ｂと端子Ｂ´が接続した状態とを交互に高速に切り替えられることによって、魚眼画像が魚眼画像用モニタ２へ、平面正則画像が平面正則画像用モニタ３へ、あたかもそれぞれ同時に表示されているように見せかけることもできる。

ここで、図５を参照して、魚眼画像が魚眼画像用モニタ２へ、平面正則画像が平面正則画像用モニタ３へ、あたかもそれぞれ同時に表示されているように見せかけたときの表示画面例について説明する。

図５は、魚眼画像が魚眼画像用モニタ２へ、平面正則画像が平面正則画像用モニタ３へ、あたかもそれぞれ同時に表示されているように見せかけたときの表示画面例である。

図５に示されているように、マイコン１８の制御の下、レバーＬの高速切り替えに基づいて、端子Ａと端子Ａ´が接続した状態と、端子Ｂと端子Ｂ´が接続した状態とを交互に高速に切り替えられることによって、魚眼画像が魚眼画像用モニタ２へ、平面正則画像が平面正則画像用モニタ３へ、あたかもそれぞれ同時に表示されているように見せかけられている。

このようなセレクタ１７は、画像処理装置１内に実装されるハードウェア回路（装置）により行われるものであっても良いし、画像処理装置１内に実装されるマイクロコンピュータ（マイコン１８等）がＲＯＭ等に記憶された所定のプログラム（ソフトウェア）を実行することにより行われるものであっても良い。

図２に説明に戻り、マイコン１８は、例えば、ＣＰＵ、ＲＯＭ（例えば、制御プログラム又は本願の画像処理用プログラム等が記憶）、ＲＡＭ等を備え、画像制御装置１全体を統括的に制御するとともに、拡大縮小回路１１、補正回路１４、及びセレクタ１７に上述した動作を行わせるようになっている。

なお、本発明に係る画像処理装置１は、魚眼レンズを用いた撮影により得られた魚眼画像の一部分を平面正則画像に変換する機能をもった装置であるが、この装置による変換対象となる画像は、魚眼レンズを用いた撮影で得られた画像のみに限定されるものではない。たとえば、凸面鏡を用いた撮影画像（広角レンズ又は全方位ミラー等）など、魚眼レンズと同等の半球面射影モデルが適用される画像であれば、本発明に係る画像処理装置を利用した画像変換が可能である。

また、このような画像処理装置１（マイコン１８等）の動作（処理）は、画像処理装置１内に実装されるハードウェア回路により行われるものであっても良いし、画像処理装置１内に実装されるマイクロコンピュータ（マイコン１８等）がＲＯＭ等に記憶された所定のプログラム（ソフトウェア）を実行することにより行われるものであっても良い。

［２.画像処理装置１の動作］
次に、図６〜図１２を参照して、画像処理装置１の動作について説明する。

先ず、図６を参照して、画像処理装置１によって実行される処理の流れについて説明する。

図６は、画像処理装置１によって実行される処理の流れを示すフローチャートである。

図６に示すように、魚眼レンズ１０ａによって撮像され、光学系システム１０によって出力された入力画像（魚眼画像）が入力されると（ステップＳ１）、当該入力画像は、拡大縮小回路１１及びメモリコントローラ１２へ入力される。

この入力画像が、拡大縮小回路１１へ入力されると（ステップＳ２）、拡大縮小回路１１は、撮像された魚眼画像を所定の倍率で拡大又は縮小又は、所定の大きさの魚眼画像データに変換し（ステップＳ３）、セレクタ１７へ出力する。

また、入力画像がメモリコントローラ１２へ入力されると、メモリコントローラ１２は、当該入力画像をメモリ１３へ格納する（ステップＳ４）。

そして、メモリコントローラ１２は、例えば、必要に応じて、補正回路１４により算出された対応座標における画素のデータを、メモリ１３に格納されたフレーム画像から取得し、補正回路１４へ出力し、補正回路１４は、平面正則画像データへ変換する（ステップＳ５）。

そして、メモリコントローラ１５は、補正回路１４によって変換された平面正則画像データを、メモリ１６へ格納する（ステップＳ６）。

そして、マイコン１８の制御に基づいて、セレクタ１７から、選択された魚眼画像データ又は平面正則画像データが出力される（ステップＳ７）。

そして、魚眼画像データは魚眼画像用モニタ２へ、平面正則画像データは平面正則画像用モニタ３にそれぞれ表示される（ステップＳ８）。

次に、図７と図８を参照して、魚眼画像データが所定の倍率（拡大又は縮小を含む）又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合のマイコン１８の動作について説明する。

図７は、魚眼画像データが所定の倍率又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合のマイコン１８の動作を示すフローチャートである。

図８は、魚眼画像データが所定の倍率又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合の表示画面例である。

図７に示すように、例えば、所定の倍率又は大きさで魚眼画像が表示される場合には、ユーザは図示しない操作部の操作に基づいて、所定の倍率（例えば、所定の拡大率又は縮小率等）又は大きさ（画像サイズ等）を入力する。また、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合には、ユーザは図示しない操作部の操作に基づいて、所定の範囲内を指定する数値（例えば、変換後の平面正則画像の画像サイズ等）を入力する。

入力された値はパラメータとして、拡大縮小回路１１又は補正回路１４へ送信される（ステップＳ１１）。

具体的に、所定の倍率又は大きさで魚眼画像を表示される場合には、拡大縮小回路１１は、入力されたパラメータに基づいて、魚眼画像データから、入力された所定の倍率又は大きさに対応する魚眼画像データを抽出する。

図８（Ａ）に示す表示画面例は、魚眼画像データから、所定の倍率又は大きさで魚眼画像が表示された場合の表示画面例である。

図８（Ａ）では、魚眼画像データのうち、撮像された人を中心とした所定範囲内の画像が表示されている。

また、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合には、補正回路１４は、入力されたパラメータに基づいて、魚眼画像の切り出し位置、切り出し画像サイズ、倍率に応じた魚眼補正演算に必要な各パラメータの算出及び演算を行い、上述した対応座標を算出する。

図８（Ｂ）に示す表示画面例は、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示された場合の表示画面例である。

図８（Ｂ）では、建造物を中心とした所定範囲内の画像が表示されている。

そして、マイコン１８は、セレクタ１７から画像（画像データ）を選択し、取得する（ステップＳ１２）。

そして、外部へ画像を出力する（ステップＳ１３）。

例えば、マイコン１８の制御に基づいて、セレクタ１７が、魚眼画像データを魚眼画像用モニタ２へ、平面正則画像データを平面正則画像用モニタ３へ出力する。

そして、パラメータの変更があった場合には（ステップＳ１４：ＹＥＳ）、ステップＳ１１の処理へと移行し、パラメータの変更がない場合には（ステップＳ１４：ＮＯ）、ステップＳ１２の処理へと移行する。

以上説明したように、本実施形態においては、魚眼画像を魚眼画像用モニタ２に表示可能な魚眼画像データに変換し、所定の位置を基準とした所定の範囲内の魚眼画像を、平面正則画像用モニタ３に二次元的に視認可能に表示する平面正則画像データに歪補正し、魚眼画像データ又は、平面正則画像データを、選択的に出力するように構成したため、魚眼画像に撮像される撮像対象の把握性及び画像の表示方法の自由度を向上させることができる。

また、マイコン１８の制御に基づいて、魚眼画像データを魚眼画像用モニタ２へ、平面正則画像データを平面正則画像用モニタ３へ出力するように構成したため、魚眼画像に撮像される撮像対象の把握性及び画像の表示方法の自由度を向上させることができる。

また、ポインタ２３によって指示された位置を基準に所定の範囲内の魚眼画像データを、平面正則画像用モニタ３に二次元的に視認可能に表示する平面正則画像データに歪補正して出力するように構成したため、魚眼画像に撮像される撮像対象の把握性を向上させ、魚眼画像から所望の平面正則画像を得ることができる。

また、魚眼画像を、所定の倍率又は大きさで魚眼画像データに変換するように構成したため、魚眼画像に撮像される撮像対象の把握性を向上させ、魚眼画像から所望の平面正則画像を得ることができる。

また、上述したポインタは種々の形態を採ることができる。

ここで、図９及び図１０を参照して、他のポインタの例について説明する。

図９は、他のポインタの一例を示す表示画面例であり、図１０は、矩形の領域を示す平面正則画像データとして変換される領域を、予め魚眼画像上にポインタとして表示した場合の表示画面例である。

図９（Ａ）に示すように、ポインタを×印３５で表示させるようにしてもよいし、図１０（Ｂ）に示すように、所定の矩形領域３６で表示させるようにしてもよい。

また、図１０に示すように、矩形の領域を示す平面正則画像データとして変換される領域を、予め魚眼画像上にポインタとして表示したポインタ３７（本願のポインタの一例）で表示させるようにしてもよい。

上述したように、歪のある魚眼画像を平面正則画像へ変換するには、上記パラメータをもとに、平面正則画像における各画素（ｕ、ｖ）に対応する、魚眼画像における各画素（ｘ、ｙ）を特定する。

ここで、魚眼画像から矩形の領域を示す平面正則画像に変換する場合を考える。

この場合の平面正則画像を構成する各画素に対応する、魚眼画像における各画素を、魚眼画像上に模式的に表わすと、図１０のポインタ３７に示すように、歪のある矩形となる。

そこで、図１０のポインタ３７は、矩形の領域を示す平面正則画像データとして変換される領域を、予め魚眼画像上にポインタとして表示するようにしている。

これにより、魚眼画像に示される撮像対象から、所望の矩形の領域を示す平面正則画像を得る場合に、魚眼画像を見るだけで平面正則画像として変換されるべき領域を把握することができ、さらに、容易に撮像対象を指定し、所望の平面正則画像を得ることができる。

図１０のポインタ３７が示す領域が、矩形の領域を示す平面正則画像データとして変換されると、例えば、図３の表示部３１が示す平面正則画像が表示される。

また、画像処理システムＳに、端末装置４を追加するようにしてもよい。

ここで、図１１及び図１２を参照して、画像処理システムＳに端末装置４を追加した構成について説明する。

先ず、図１１を参照して、画像処理システムＳに、端末装置４を追加した場合の構成及び機能概要について説明する。

図１１は、画像処理システムＳに、端末装置４を追加した場合の構成及び機能概要を示すブロック図である。

図１１に示すように、画像処理装置１は、端末装置４を介して、魚眼画像用モニタ２及び平面正則画像用モニタ３と接続されている。

端末装置４は、図示しない操作部と、表示部と、通信部と、記憶部と、入出力インターフェース部と、システム制御部（ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える）と、を備え、例えば、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、又は携帯電話機等を適用できる。そして、例えばＲＯＭ等に記憶されたソフトウェアプログラムの制御に基づいて、以下に示す分割された画面の表示制御が行われるようになっている。

そして、端末装置４は、分割した画面に、一又は複数の魚眼画像又は平面正則画像を出力し、魚眼画像用モニタ２又は平面正則画像用モニタ３の表示部に表示させる。

ここで、図１２を参照して、分割した画面に、一又は複数の魚眼画像又は平面正則画像を出力し、魚眼画像用モニタ２又は平面正則画像用モニタ３の表示部に表示させた場合の表示画面例について説明する。

図１２は、分割した画面に、一又は複数の魚眼画像又は平面正則画像を出力し、魚眼画像用モニタ２又は平面正則画像用モニタ３の表示部に表示させた場合の表示画面例である。

具体的には、図１２に示すように、魚眼画像用モニタ２の表示部には、３つに分割された画面が表示されており、具体的には、撮像された魚眼画像全体を示す魚眼画像４１、魚眼画像４１の建造物部分が拡大されて平面正則画像に変換された平面正則画像４２、及び、魚眼画像４１の塔部分が拡大されて平面正則画像に変換された平面正則画像４３がそれぞれ表示されている。

また、図１２に示すように、平面正則画像用モニタ３の表示部には、４つに分割された画面が表示されており、具体的には、魚眼画像４１の建造物部分が拡大されて平面正則画像に変換された平面正則画像４４、魚眼画像４１の人が拡大されて平面正則画像に変換された平面正則画像４５、魚眼画像４１の自動車部分が拡大されて平面正則画像に変換された平面正則画像４６及び、魚眼画像４１の鉄塔の台部分が拡大されて平面正則画像に変換された平面正則画像４７がそれぞれ表示されている。

また、分割された画面（分割画面）の表示態様として、分割画面毎に、自由に配置や分割画面の大きさ等を変更し、又は、各分割画面の一部又は全部を重畳して表示することができる所謂ウインドウ（Window）による表示を適用するようにしてもよい。

なお、以上説明した実施形態は特許請求の範囲に係る発明を限定するものではない。そして、上記実施形態の中で説明されている構成の組み合わせ全てが発明の課題解決に必須の手段であるとは限らない。

また、上記実施形態においては、本願を画像処理システムに対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。

１ 画像処理装置
２ 魚眼画像用モニタ
３ 平面正則画像用モニタ
４ 端末装置
１０ 光学系システム
１１ 拡大縮小回路
１２ メモリコントローラ
１３ メモリ
１４ 補正回路
１５ メモリコントローラ
１６ メモリ
１７ セレクタ
１８ マイコン
Ｓ 画像処理装置システム

Claims (7)

1. 外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換手段と、
   所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正手段と、
   前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記選択手段は、前記歪円形画像データを第１の表示部へ、前記平面正則画像データを第２の表示部へそれぞれ出力することを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記歪円形画像データの所定の位置を指示する指示手段を更に備え、
   前記歪補正手段は、前記指示手段によって指示された位置を基準に所定の範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正して出力することを特徴とする画像処理装置。
4. 請求項１乃至３の何れか一項に記載の画像処理装置であって、
   前記歪円形画像変換手段は、前記歪円形画像を、所定の倍率又は大きさで歪円形画像データに変換することを特徴とする画像処理装置。
5. 請求項１乃至４の何れか一項に記載の画像処理装置であって、
   前記歪円形画像データには、矩形の領域を示す平面正則画像データとして変換される領域を表示するポインタが表示され、
   前記指示手段は、前記ポインタによって、前記歪円形画像の所定の位置を指示可能とし、
   前記歪補正手段は、前記ポインタによって指示された位置を基準に所定の範囲内の前記歪円形画像データを、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正して出力することを特徴とする画像処理装置。
6. 画像処理装置における画像処理方法であって、
   外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換工程と、
   所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正工程と、
   前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択工程と、
   を有することを特徴とする画像処理方法。
7. 画像処理装置に含まれるコンピュータを、
   外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換手段、
   所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正手段、
   前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択手段、
   として機能させることを特徴とする画像処理プログラム。

Images