JP2019080174A - 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 複数の画像を合成して全周囲の画像を形成するときに、複数の画像の重複部分を平均化すると、画像の情報が失われる。【解決手段】 画像処理ボード２３は、所定の画角で撮像領域を撮像する複数のカメラ２１Ａ，２１Ｂを有し、一のカメラ２１Ａの撮像領域が他のカメラ２１Ｂの撮像領域と重複する撮像システム２０において撮像された全周囲の画像を処理する。画像処理ボード２３の変換部２３０２は、複数のカメラ２１Ａ，２１Ｂによって撮像された複数の画像のうち、少なくとも一の画像に対し、画角を基の画角よりも小さな所定の画角とした画像に変換して、変換された少なくとも一の画像を含む複数の画像を合成して全天球画像を生成する。【選択図】図１２

Description

本発明は、画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラムに関する。

例えば、建機の事故が発生した場合、事故現場周辺の把握、事故原因の究明または対策のため、ドライブレコーダーの撮影画像が用いられる。大型建機の場合は、機体の様々な箇所にセンサを設置して、機体周囲の視覚情報を得ることができる。しかし、小型建機の場合は、センサを取り付ける箇所も限られている。このため、広範囲の画像を取得可能な小型の撮像装置が求められる。

特許文献１には、反対側に向いている第１と第２のレンズを有し、各レンズは180゜以上の視野を有するカメラ本体であってカメラの作動に応答して該第１と第２のレンズは重なった画像部分を取り込めるようにされているカメラ本体と、該第１と第２のレンズにより取り込まれた該画像部分は球状画像を形成できるものであり、この画像部分を記憶するメモリと、該メモリに接続され、画像部分を整合させ、かつ該第１と第２の両レンズの一緒に重なった画像部分を平均することにより継ぎ目なしの球状画像を作る画像部分継ぎ合わせ器とを備えた球状画像を取り込むための装置が開示されている。

しかし、個人が使用する通常の画像においては、継ぎ目のない視認性が要請されるのに対し、例えば、周囲の監視などの目的においては、情報の欠落がないことが要請される。上記の文献に記載の画像処理方法によると、複数の画像を合成して全周囲の画像を形成するときに、複数の画像の重複部分の平均化の処理により、画像の情報が失われるという課題がある。

請求項１に係る発明の画像処理装置は、所定の画角で撮像領域を撮像する複数の撮像手段を有し、前記複数の撮像手段の一の撮像手段の撮像領域が他の撮像手段の撮像領域と重複する撮像システムにおいて、撮像された全周囲の画像を処理する画像処理装置であって、前記複数の撮像手段によって撮像された複数の画像のうち、少なくとも一の画像に対し、画角を基の画角よりも小さな所定の画角とした画像に変換する変換手段と、前記変換手段によって変換された少なくとも一の画像を含む前記複数の画像を合成する合成手段と、を有する。

本発明によると、複数の画像を合成して全周囲の画像を形成するときに、複数の画像の重複部分の情報が失われることを防ぐことが可能になるという効果を奏する。

本発明の一実施形態に係る通信システムの全体構成図である。 一実施形態に係る撮像システムの全体構成図である。 撮像システムによる撮影範囲の一例を示す図である。 小型建機に搭載された撮像システムによる撮影範囲の一例を示す。 一実施形態に係る画像処理ボードのハードウェア構成図である。 一実施形態におけるカメラのコントローラのハードウェア構成図である。 一実施形態に係る撮像システムの機能ブロック図である。 撮影方向を説明するための説明図である。 魚眼レンズを用いたカメラにおける射影関係を説明するための説明図である。 全天球カメラが撮影した魚眼画像を３次元球体にテクスチャマッピングする例を示す図である。 魚眼画像から透視射影変換する例を示す図である。 ２つの魚眼レンズで撮影された画像から変換される半球体状の画像を示す。 画像の変換方法を説明するための図である。 撮像システムにおいて撮影された画像を伸縮して180°の画像に変換する例を示す。 画像データおよび射影変換情報を送信する処理を示すフロー図である。 画像データおよび射影変換情報に基づいて全天球画像を生成する処理を示すフロー図である。 ディスプレイの表示例である。 本発明の一実施形態に係る撮像システムの全体構成図である。 画像の伸縮方法を説明するための図である。 全天球画像を生成する概念を示す概念図である。 一実施形態に係る通信システムを構築する端末、カメラ、画像処理ボード、および管理システムの機能ブロック図である。 一実施形態における通信システムにおいて、全天球画像を生成し、再生する処理を示すシーケンス図である。

以下、図面を用いて、本発明の実施形態について説明する。

＜＜＜全体構成＞＞＞
図１は、本発明の一実施形態に係る通信システムの全体構成図である。以下、通信端末を単に端末と表す。図１に示されているように、通信システム１は、端末１０Ａ，１０Ｂ、撮像システム２０、および管理システム５０によって構築されている。端末１０Ａ，１０Ｂのうち任意のものを端末１０と表す。

端末１０は、通信機能を有する情報処理装置であり、例えば、タブレット、スマートフォン、シングルボードコンピュータなどのスマートデバイス、あるいはＰＣ(Personal Computer)などの情報処理装置である。以下、端末１０Ａは、スマートデバイスであり、端末１０ＢはＰＣである場合について説明する。

撮像システム２０は、移動体２０Ｍに搭載されており、撮影機能、画像処理機能、および通信機能を有する情報処理システムである。移動体２０Ｍとしては、特に限定されないが、フォークリフト、トラック、乗用車、または二輪車などの自動車、もしくはドローン、ヘリコプター、小型飛行機などの飛翔体が例示される。

管理システム５０は、通信機能および画像処理機能を有する情報処理装置である。管理システム５０は、端末１０からの要求に基づいて端末１０へ画像を送信するＷｅｂサーバとして機能する。

端末１０Ａおよび撮像システム２０は、Ｗｉ−Ｆｉ（Wireless Fidelity）またはbluetooth（登録商標）などの無線通信、もしくはＵＳＢ（Universal Serial Bus）ケーブルなどを介した有線通信によって接続されている。端末１０Ａは、Ｗｉ−Ｆｉ、無線ＬＡＮなどを介して、あるいは基地局を介してインターネット２Ｉと接続する。これにより、端末１０Ａは、インターネット２Ｉ上の管理システム５０との間で通信を確立する。また、端末１０Ｂは、ＬＡＮを介してインターネット２Ｉと接続する。これにより、端末１０Ｂは、管理システム５０との間で通信を確立する。以下、インターネット２Ｉ、ＬＡＮ、ならびに有線および無線の各種通信路を通信ネットワーク２と表す。

＜＜撮像システム＞＞
図２は、一実施形態に係る撮像システムの全体構成図である。撮像システム２０は、カメラ２１Ａ，２１Ｂと、固定装置２２と、画像処理ボード２３と、を有する。カメラ２１Ａ，２１Ｂのうち任意のものをカメラ２１と表す。カメラ２１と画像処理ボード２３とはケーブルにより電気的に接続されている。なお、カメラ２１と画像処理ボード２３とは無線通信により接続されていてもよい。

カメラ２１Ａ，２１Ｂは、筐体２１９Ａ，２１９Ｂに、それぞれ撮像体２１１Ａ，２１１Ｂ、コントローラ２１５、およびバッテリなどの部品を収容してなる。以下、撮像体２１１Ａ，２１１Ｂのうち任意のものを撮像体２１１と表す。なお、図２では、カメラ２１Ａにコントローラ２１５が収容された一例の構成を示している。この場合、カメラ２１Ａ，２１Ｂで撮像された画像は、ケーブル等を介して、カメラ２１Ａのコントローラ２１５に入力され、処理される。ただし、カメラ２１Ａ，２１Ｂにそれぞれコントローラが設けられており、それぞれのコントローラにおいてそれぞれのカメラで撮像した画像を処理してもよい。

撮像体２１１Ａ，２１１Ｂは、それぞれ結像光学系２１２Ａ，２１２Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子２１３Ａ，２１３Ｂを備える。以下、撮像素子２１３Ａ，２１３Ｂのうち任意のものを撮像素子２１３と表す。結像光学系２１２Ａ，２１２Ｂは、それぞれ例えば６群７枚の魚眼レンズとして構成されている。上記魚眼レンズは、例えば、180°（＝360°／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、185°以上の画角を有し、より好適には、190°以上の画角を有する。このような広角な結像光学系２１２Ａ，２１２Ｂと撮像素子２１３Ａ，２１３Ｂとを１個ずつ組み合わせたものを広角撮像光学系と表す。

カメラ２１Ａ，２１Ｂは、それぞれ、固定装置２２の固定板２２１に、固定ネジ２２２よって固定されている。固定板２２１は、強固で外的要因により変形しにくいものが望ましい。固定板２２１は、固定ネジ２２２により、取付部２２３に固定される。取付部２２３は、取付位置に合わせて変更可能な任意の形状を有しており、移動体２０Ｍにおける所定の位置に取り付けられる。

２つの結像光学系２１２Ａ，２１２Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２１３Ａ，２１３Ｂに対して位置が定められる。また、結像光学系２１２Ａ，２１２Ｂの光学素子の光学中心軸ＯＰは、対応する撮像素子２１３Ａ，２１３Ｂの受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように固定装置２２によって位置決めが行われる。

結像光学系２１２Ａ，２１２Ｂは、同一仕様のものであり、それぞれの光学中心軸ＯＰが合致するように、互いに逆向きに組み合わせて固定されている。撮像素子２１３Ａ，２１３Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレーム（フレームデータ）を出力する。撮像素子２１３Ａ，２１３Ｂでそれぞれ撮像された画像は、画像処理ボード２３へ転送されて、合成処理がされて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。そして、全天球画像の連続するフレームにより、全天球動画が構成される。以下、全天球画像および全天球動画を生成する処理について説明する。ただし、この処理は、水平面のみ３６０度を撮影した、いわゆるパノラマ画像およびパノラマ動画を生成する処理に置き換え可能である。

図３は、撮像システムによる撮影範囲の一例を示す図である。図３においてカメラ２１Ａ，２１Ｂは、距離Ｌだけ離されて背中合わせに配置されている。カメラ２１Ａにより撮影される範囲ＣＡと、カメラ２１Ｂにより撮影される範囲ＣＢと、は範囲ＣＡＢにおいて重複する。カメラ２１Ａ，２１Ｂの光学中心軸ＯＰは、一致している。これにより、カメラ２１Ａにより撮影された画像とカメラ２１Ｂにより撮影された画像において、重複する範囲ＣＡＢで位置ずれが生じない。上記の配置で撮影する場合、カメラ２１Ａの撮影範囲ＣＡと、カメラ２１Ｂの撮影範囲ＣＢのどちらにも含まれない死角となる範囲ＡＢが生じる。

図４は、小型建機に搭載された撮像システムによる撮影範囲の一例を示す。図４の（Ａ）は、小型建機を側面側から見た側面図であり、図４の（Ｂ）は、小型建機を上面側から見た上面図である。移動体２０Ｍとしての小型建機に最低２台のカメラ２１Ａ，２１Ｂを搭載することで、建機の全周囲、および操作者の手元や足元が撮影される。大型建機と異なり、小型建機では、カメラの設置スペースが限られており、周辺監視のために大規模な撮像システムを導入し難い。図４の撮像システム２０によると、小型・軽量な少数の装置により、建機の全周囲を撮像できる点で好ましい。また、図４において、死角となる範囲ＡＢは、小型建機の全周囲を撮影する目的においては必要性が低い。なお、全周囲とは、監視が必要な範囲としてユーザにより定められた範囲である。全周囲としては、後述の変換処理後に全天球画像を生成可能な撮影範囲であることが好ましいが、例えば、小型建機にカメラを設置したときには、全天球のうち小型建機の上部または下部が欠けたパノラマ画像でもよい。

＜＜ハードウェア構成＞＞
図５は、一実施形態に係る画像処理ボードのハードウェア構成図である。図５を用いて、画像処理ボードのハードウェア構成について説明する。画像処理ボード２３のハードウェア構成は、一般的な情報処理装置のハードウェア構成と同様である。

画像処理ボード２３は、ＣＰＵ１０１(Central Processing Unit)と、ＲＯＭ１０２(Read Only Memory)と、ＲＡＭ１０３(Random Access Memory)と、ＳＳＤ１０４（Solid State Drive）と、メディアＩ／Ｆ１０５（Interface）と、ネットワークＩ／Ｆ１０７と、ユーザＩ／Ｆ１０８と、バスライン１１０と、を有する。

ＣＰＵ１０１は、画像処理ボード２３全体の動作を制御する。ＲＯＭ１０２は、画像処理ボード２３上で動作する各種プログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＳＳＤ１０４は、各種プログラムで使用されるデータを記憶する。ＳＳＤ１０４は、ＨＤＤ(Hard Disk Drive)などの任意の不揮発性の記憶装置に置き換え可能である。メディアＩ／Ｆ１０５は、外部メモリなどの記録メディア１０６に記憶されている情報を読み出したり、記録メディア１０６に情報を書き込んだりするためのインタフェースである。ネットワークＩ／Ｆ１０７は、通信ネットワーク２を介して他の装置と通信するためのインタフェースである。ユーザＩ／Ｆ１０８は、ユーザに画像情報を提供したり、ユーザから操作入力を受け付けたりするためのインタフェースである。ユーザＩ／Ｆ１０８は、例えば、タッチパネル機能を搭載した液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイ、もしくはキーボードおよびマウスである。バスライン１１０は、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスまたはデータバスである。

端末１０および管理システム５０のハードウェア構成は、画像処理ボード２３のハードウェア構成と同様であるので説明を省略する。

図６は、一実施形態におけるカメラのコントローラのハードウェア構成図である。カメラ２１のコントローラ２１５は、ＣＰＵ（Central Processing Unit）２５２と、ＲＯＭ（Read Only Memory）２５４と、画像処理ブロック２５６と、動画圧縮ブロック２５８と、ＤＲＡＭ（Dynamic Random Access Memory）Ｉ／Ｆ２６０を介して接続されるＤＲＡＭ２７２と、外部センサＩ／Ｆ２６４を介して接続される加速度センサ２７６とを含む。

ＣＰＵ２５２は、カメラ２１の各部の動作を制御する。ＲＯＭ２５４は、ＣＰＵ２５２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック２５６は、撮像素子２１３と接続され、撮像された画像の画像信号が入力される。画像処理ブロック２５６は、ＩＳＰ（Image Signal Processor）などを含み、撮像素子２１３Ａ，２１３Ｂから入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。

動画圧縮ブロック２５８は、MPEG-4 AVC/H.264などの動画圧縮および伸張を行うコーデック・ブロックである。ＤＲＡＭ２７２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ２７６は、３軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。

カメラ２１は、さらに、外部ストレージＩ／Ｆ２６２と、ＵＳＢ（Universal Serial Bus）Ｉ／Ｆ２６６と、シリアルブロック２６８と、映像出力Ｉ／Ｆ２６９とを含む。外部ストレージＩ／Ｆ２６２には、外部ストレージ２７４が接続される。外部ストレージＩ／Ｆ２６２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ２７４に対する読み書きを制御する。ＵＳＢＩ／Ｆ２６６には、ＵＳＢコネクタ２７８が接続される。ＵＳＢＩ／Ｆ２６６は、ＵＳＢコネクタ２７８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック２６８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）２８０が接続される。映像出力Ｉ／Ｆ２６９は、画像処理ボード２３と接続するためのインタフェースである。

＜＜機能構成＞＞
次に、一実施形態に係る撮像システム２０の機能構成について説明する。図７は、一実施形態に係る撮像システム２０の機能ブロック図である。

カメラ２１の電源がオン状態になると、カメラ用の制御プログラムはメインメモリにロードされる。ＣＰＵ２５２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、カメラ２１の後述する各機能部および処理が実現される。

カメラ２１は、撮影部２１０１と、動画圧縮部２１０２と、画像管理部２１０３と、送信部２１０９と、を有する。また、カメラ２１は、ＲＯＭ２５４、ＤＲＡＭ２７２、または外部ストレージ２７４により構築される記憶部２１００を有する。

撮影部２１０１は、撮像素子２１３によって実現され、静止画を撮像し、または動画を撮影する。動画圧縮部２１０２は、動画圧縮ブロック２５８の処理により、動画の圧縮および伸張を行う。画像管理部２１０３は、ＣＰＵ２５２からの命令によって、画像データと射影変換情報とを対応付けて管理する。送信部２１０９は、ＣＰＵ２５２からの命令、および映像出力Ｉ／Ｆ２６９の処理によって、画像処理ボード２３との通信を制御する。

画像処理ボード２３は、射影変換情報管理部２３０１と、変換部２３０２と、表示部２３０３と、送受信部２３０９と、を有する。また、画像処理ボード２３は、ＲＯＭ１０２、ＲＡＭ１０３、またはＳＳＤ１０４により構築される記憶部２３００を有する。

射影変換情報管理部２３０１は、ＣＰＵ１０１からの命令により、カメラ２１によって撮影された画像の射影変換情報を管理する。変換部２３０２は、ＣＰＵ１０１からの命令により、一組の画像データのそれぞれの画角を変換し、射影変換情報を用いて変換された画像データを単位球にテクスチャマッピングすることにより全天球画像を合成する。表示部２３０３は、ＣＰＵ１０１からの命令、およびユーザＩ／Ｆ１０８のディスプレイの処理により、合成された全天球画像を表示する。送受信部２３０９は、ＣＰＵ１０１からの命令、およびネットワークＩ／Ｆ１０７の処理により、他の装置との通信を制御する。

＜＜原理＞＞
続いて、カメラ２１で撮影された画像から、全天球画像を生成する原理について説明する。まず、撮像システム２０が撮影する方向について説明する。図８は、撮影方向を説明するための説明図である。図８の（Ａ）は、カメラに対して、３軸の方向を定義する様子を示している。ここでは、カメラの正面方向、すなわちレンズの光学中心軸方向をRoll軸、カメラの上下方向をYaw軸、カメラの横方向をPitch軸と定義している。

カメラ２１の方向は、一のカメラ２１Ａのレンズ（結像光学系２１２Ａ，２１２Ｂ）の向きを基準として、（Yaw, Pitch, Roll）の角度で表すことができる。例えば、図８の（Ｂ）のカメラ２１では、カメラ２１Ａは、基準となる方向に対して正面を向いているため、（Yaw, Pitch, Roll）＝（0,0,0）である。一方で、カメラ２１Ｂは、基準となる向き、すなわち、光学中心軸方向（Roll軸方向）に対して反対方向であり、Yaw軸に対して180°回転していることから、（Yaw, Pitch, Roll）＝（180,0,0）である。

カメラ２１は、（Yaw, Pitch, Roll）のデータを撮影方向データとして結像光学系ごとに取得することで、各結像光学系の位置関係を決定し、画像データと併せて、画像処理ボード２３に送信する。これにより、画像処理ボード２３は、各カメラ２１による各撮影画像（魚眼画像）の位置関係を特定して、各撮影画像から全天球画像に変換することができる。なお、図８の（Ｂ）の例では、結像光学系が２個の場合を例に示したが、この個数に限定するものではない。画像処理ボード２３は、結像光学系ごとの撮影方向データを取得することで、撮影画像（魚眼画像）から全天球画像に変換できる。また、撮影方向データを決定する際に、カメラ２１のある一方向を基準としてもよいし、一つの結像光学系の撮影方向を基準に相対的に表してもよい。

次に、魚眼画像から全天球画像への変換について説明する。図９は、魚眼レンズを用いたカメラにおける射影関係を説明するための説明図である。本実施形態において、１つの魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズは、図９の（Ａ）に示すように、光学中心軸に対する入射角度φに対応した像高ｈの画像を生成する。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、等距離射影方式と呼ばれる投影モデルの魚眼レンズでは、ｆを焦点距離として、下記式（１）で表現される。図９の（Ｃ）は、入射角度φと像高ｈの関係の一例を示す。
ｈ＝ｆ×φ ・・・（１）

他の投影モデルとしては、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））および正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光学中心軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図９の（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像（魚眼画像）となる。

続いて魚眼画像から全天球画像への変換について説明する。図１０は、全天球カメラが撮影した魚眼画像を３次元球体にテクスチャマッピングする例を示す図である。図１０の（Ａ）は魚眼画像を、図１０の（Ｂ）は画像がテクスチャマッピングされる単位球を、それぞれ示している。図１０の（Ａ）の魚眼画像は、図９の（Ｂ）に対応しており、座標（ｕ，ｖ）に点Ｐを有する。魚眼画像において、中心Ｏを通りＵ軸に平行な線と、ＯＰが成す角度をａとし、ＯＰの距離（像高）をｈとする。点Ｐから、図９の（Ｃ）に示す射影データのテーブルに基づいて、線形補正などの各種手法により、像高ｈに対する入射角度φが求められる。ａおよびφを用いることで、点Ｐ（ｕ，ｖ）を、対応する３次元球体上の点Ｐ´（ｘ，ｙ，ｚ）に変換することができる。

図１０の（Ｂ）において、Ｐ´をＸＹ平面上に射影した点をＱ´（ｘ，ｙ，０）、球体の中心をＯ´とすると、図１０の（Ａ）における角ａは、図１０の（Ｂ）における直線Ｏ´Ｑ´とＸ軸のなす角となる。また、入射角度φは、直線Ｏ´Ｐ´とＺ軸のなす角となる。Ｚ軸はＸＹ平面に垂直であることから、直線Ｏ´Ｐ´とＸＹ平面のなす角Ｑ´Ｏ´Ｐ´は、９０−φとなる。以上より、点Ｐ’の座標（ｘ，ｙ，ｚ）は、下記式（２−１）〜（２−３）によって求めることができる。

（２−１）〜（２−３）によって点Ｐ´の座標を求めた上で、撮影方向データを用いて、撮影時にカメラ２１が向いていた方向に回転させると、図８で定義された回転は、下記式３のようになる。なお、図８で定義されるPitch軸、Yaw軸、Roll軸は、図１０の（Ｂ）のＸ軸、Ｙ軸、Ｚ軸にそれぞれ対応する。

さらに、（３−１）〜（３−３）式をまとめると、下記式（４）が得られる。（４）式を用いることで、魚眼画像から撮影方向に合わせて透視射影変換を行うことができる。

図１１は、魚眼画像から透視射影変換する例を示す図である。図１１では、２つの魚眼レンズで撮像された画像から、自由な方向の透視射影変換した例を示しており、図１１の（Ａ）は、撮影された魚眼画像を示している。図１１の（Ａ）のような魚眼画像は、図１０で示したように３次元球面上に対応する座標を求めることで、図１１の（Ｂ）のように半球体状の画像とすることができる。図１１では、２つの魚眼画像を基に変換することから、図１１の（Ｂ）では２つの半球体状の画像がから構成される。なお、図８の（Ｂ）において、濃い色で示される領域は、各半球が重複する領域を示している。

図１１の（Ｂ）の半球形状の画像を適切な配置でつなぐことによって、全天球画像を作成することができる。さらに、図１１（Ｃ）のように、球状に画像を配置した中心に、透視射影カメラを仮想的に配置して、任意の方向、画角で画像を切り出すことで、ユーザは全天球画像を視認することができる。

図１２は、２つの魚眼レンズで撮影された画像から変換される半球体状の画像を示す。図１２の（Ａ）に示すように、カメラ２１Ａ，２１Ｂによって撮影された画像を単位球にテクスチャマッピングした半球体状の画像ＩＡ，ＩＢは、それぞれ180°よりも広角な画角を有する。このため、画像ＩＡ，ＩＢをそのまま合成しても、360°の全天球画像は得られない。撮像システム２０の画像処理ボード２３は、180°よりも広角な画像ＩＡ，ＩＢをそれぞれ、画角が180°の画像ＩＡ´，ＩＢ´に変換する。すなわち、画像処理ボード２３は、画像ＩＡ，ＩＢにおける各端部Ａ，Ｂが端部Ａ´，Ｂ´の位置になるように変換する。続いて、画像処理ボード２３は、図１２の（Ｂ）に示すように、画角を180°に変換した画像ＩＡ´，ＩＢ´を合成して全天球画像を生成する。なお、撮像システム２０は、画像ＩＡ´，ＩＢ´の画角の和が360°になるように画像ＩＡ，ＩＢを変換すればよく、例えば、画像ＩＡ，ＩＢの画角がそれぞれ190°である場合、一方を、170°の画角に変換し、他方の画角を190°のまま変換しなくてもよい。

図１３は、画像の変換方法を説明するための図である。図１３の（Ａ）は、カメラ２１Ａ，２１Ｂによって撮影される広角の魚眼画像を、単位球にテクスチャマッピングした半球体状の画像ＩＡ，ＩＢを示す。図１３の（Ａ）に示すように、画像ＩＡ，ＩＢの画角をθとする。画像ＩＡ，ＩＢを、画角が180°の画像ＩＡ´，ＩＢ´に線形伸縮させて全天球画像を得るためには、式（１）の代わりに、式（５）を使用することで実現できる。
h=f×φ×180°/θ （５）

図１３の（Ｂ）は、画像ＩＡを線形伸縮させて画像ＩＡ´にした場合、どのように画像が変換されるかを示す。変換前の画像ＩＡの画素α１、α２、α３、α４は、変換後の画像ＩＡ´において、それぞれ、画素α１´、α２´、α３´、α４´の位置に移動する。画角の中心位置を0°とすると、画像ＩＡにおいて、θ/2°、θ/4°、-θ/6°、-θ/2°の位置にあった画素は、画像ＩＡ´において、それぞれ、90°、45°、-30°、-90°の位置に移動する。

図１４は、撮像システムにおいて撮影された画像を伸縮して180°の画像に変換する例を示す。図１４の（Ａ）は変換前の画像を示す。画像ＩＡにおける画素α５は、変換後の画像ＩＡ´における画素α５´の位置に移動する。重複する領域の画像ＩＡＢにおける画素α６，β６は、変換後の画像ＩＡ，ＩＢの双方に存在することになり、それぞれ画素α６´，β６´の位置に移動する。変換された画像ＩＡ´，ＩＢ´をつなぎ合わせると、画素α６´，β６´に同じ撮影対象が表示されることになる。つまり、重複する領域の画像ＩＡＢにおける撮影対象は、つなぎ合わせ処理を完了した時点で、二箇所に表示される。

以上説明した通り、上記の各式によって、魚眼画像から３次元球面に変換するテーブルが作成される。本実施形態では、画像処理ボード２３において、このような変換を行うために、撮影方向データや射影データなどの射影変換情報を付加情報として画像データに加えて、カメラ２１から画像処理ボード２３へ配信する。

＜＜処理＞＞
続いて、撮像システム２０における処理について説明する。まず、カメラ２１から画像処理ボード２３へ、画像データを送信する処理について説明する。

図１５は、画像データおよび射影変換情報を送信する処理を示すフロー図である。射影変換情報は、撮像システム２０の各カメラ２１が撮影する方向の角度（Yaw, Pitch, Roll）を示す撮影方向データ、および画像の像高(h)と撮影装置に対する光の入射角(φ)とを対応付けた射影変換データ（テーブル）とを含む。

撮像システム２０のカメラ２１Ａ，２１Ｂが撮影を開始すると、撮影部２１０１は、撮影された各魚眼画像の画像データ、撮影方向を示す各撮影方向データ、および各射影変換データを記憶部２１００に記憶する。以下、撮影された画像が動画である場合について説明する。画像データは、動画圧縮部２１０２によって圧縮処理された動画のフレームデータを含む。画像管理部２１０３は、記憶された画像データと射影変換情報（撮影方向データおよび射影変換データ）とを対応付ける（ステップＳ１１）。この対応付けは、データが記録された時刻や、フラグなどを用いて行われる。

カメラ２１の送信部２１０９は、記憶部２１００から射影変換情報を読み込み（ステップＳ１２）、画像データごとの射影変換情報を画像処理ボード２３へ送信する（ステップＳ１３）。

さらに、送信部２１０９は、動画圧縮部２１６が処理した動画のフレームデータを読み込み（ステップＳ１４）、フレームデータを画像処理ボード２３に送信する（ステップＳ１５）。送信部２１０９は、送信したフレームデータが最終フレームであるかを判定し（ステップＳ１６）、最終フレームであれば（ＹＥＳ）、処理を終了する。最終フレームでなければ（ＮＯ）、ステップＳ１４に戻り、送信部２１０９は、フレームデータを読み込む処理と配信する処理とを、最終フレームまで繰り返す。

続いて、画像データおよび射影変換情報を受信した画像処理ボード２３側の処理について説明する。図１６は、画像データおよび射影変換情報に基づいて全天球画像を生成する処理を示すフロー図である。

画像処理ボード２３の送受信部２３０９は、カメラ２１によって送信された画像データごとの射影変換情報（撮影方向データおよび射影変換データ）（ステップＳ１３参照）を受信する（ステップＳ２１）。画像処理ボード２３の射影変換情報管理部２３０１は、受信された画像データごとの射影変換情報を記憶部２３００に記憶する（ステップＳ２２）。

画像処理ボード２３の送受信部２３０９は、カメラ２１によって送信された（ステップＳ１３参照）魚眼画像の画像データの受信を開始する（ステップＳ２３）。受信された画像データは、バッファとして、記憶部２３００に記憶される。

画像処理ボード２３の変換部２３０２は、記憶部２３００に記憶された一組の画像データを読み出す。一組の画像データとは、カメラ２１Ａ，２１Ｂによって撮影された動画におけるフレームデータであって、同時刻の画像として対応付けられたものである。画像処理ボード２３の変換部２３０２は、これらの画像データに対応する射影変換情報を記憶部２３００から読み出す。

一組の画像データにおける各フレームは、それぞれ、180°以上の画角を有する。変換部２３０２は、読み出された一組の画像データのそれぞれを180°の画角に変換し、射影変換情報を用いて変換された一組の画像データを単位球にテクスチャマッピングすることにより全天球画像を合成する（ステップＳ２４）。180°よりも広角な画像を180°の画角に変換する処理には、上記の原理に記載の方法が用いられる。この場合、変換部２３０２は、魚眼画像から画素ごとにａ，ｈを求め、画像データごとの射影変換情報における射影変換データおよび式（５）を用いて画素ごとにφを求め、これを式（２−１）〜式（２−３）に当てはめて座標(x,y,z)を算出する。

変換部２３０２は、変換された全天球画像のフレームデータを、記憶部２３００に記憶する（ステップＳ２５）。変換部２３０２は、変換された画像データが、動画における最終フレームであるか判断し（ステップＳ２６）、最終フレームであれば（ＹＥＳ）処理を終了する。ステップＳ２６において最終フレームではない（ＮＯ）と判断された場合、変換部２３０２は、残りのフレームに関して、ステップＳ２４〜Ｓ２５のテクスチャマッピングおよび全天球画像のフレームデータの記憶の処理を繰り返す。

処理の終了後、記憶部２３００には、全天球画像のフレームデータからなる動画データが構築される。ユーザによる要求の入力に応じて、表示部２３０３は、記憶部２３００に記憶されている動画データを読み出し、動画データの各フレームデータに基づいて、全天球画像の所定領域を外部のディスプレイから表示させる。図１７は、ディスプレイの表示例である。動画データは、180°よりも広角の２つの魚眼画像を合成して得られる。このため、図１４を用いて説明したように、２つのカメラ２１Ａ，２１Ｂの撮像範囲が重複する領域の撮影対象は、複数表示される。このように、本実施形態によると、重複する領域の画像を破棄せずに全天球画像を生成することができる。

＜＜＜実施形態の変形例Ａ＞＞＞
続いて、実施形態の変形例Ａについて、上記の実施形態と異なる点について説明する。図１８は、本発明の一実施形態に係る撮像システムの全体構成図である。図１８の（Ａ）は、撮像システムが搭載された移動体を示す。図１８の（Ａ）に示されているように撮像システム２０´は、移動体２０Ｍ´としての乗用車に、カメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄと、画像処理ボード２３と、が搭載されてなる。カメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄのうち任意のものをカメラ２１と表す。カメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄのハードウェア構成は、上記実施形態におけるカメラ２１と同様である。カメラ２１は、画像処理ボード２３との間で、有線または無線の通信路により接続されている。

図１８において、カメラ２１Ａは移動体２０Ｍ´の前方に取り付けられており、カメラ２１Ｂは移動体２０Ｍ´の後方に取り付けられており、カメラ２１Ｃは右側のサイドミラーに取り付けられており、カメラ２１Ｄは左側のサイドミラーに取り付けられている。カメラ２１Ａ，２１Ｂは、それぞれの光学中心軸が合致するようにして、互いに逆向きに固定されている。カメラ２１Ｃ，２１Ｄは、それぞれの光学中心軸が合致するようにして、互いに逆向きに固定されている。カメラ２１Ａ，２１Ｂの光学中心軸と、カメラ２１Ｃ，２１Ｄの光学中心軸とは、交差している。これにより、各カメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄで撮影した画像を合成したときに、上下にずれのない全天球画像が得られる。

実施形態の変形例Ａでは、撮像システム２０´において、撮像方向データを決定するために、例えばカメラ２１Ａ，２１Ｂにおける光学中心軸方向をRoll軸、カメラ２１Ｃ，２１Ｄにおける光学中心軸方向をPitch軸、Roll軸およびPitch軸に対し垂直方向をYaw軸に設定してもよい。

図１８の（Ｂ）は、撮像システムによる撮影範囲の一例を示す図である。撮像システム２０´において、カメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄの画角は、それぞれ180°である。カメラ２１Ａによって撮影される範囲ＣＡと、カメラ２１Ｃによって撮影される範囲ＣＣと、は範囲ＣＡＣにおいて重複する。カメラ２１Ｃによって撮影される範囲ＣＣと、カメラ２１Ｂによって撮影される範囲ＣＢと、は範囲ＣＢＣにおいて重複する。カメラ２１Ｂによって撮影される範囲ＣＢと、カメラ２１Ｄによって撮影される範囲ＣＤと、は範囲ＣＢＤにおいて重複する。カメラ２１Ｄによって撮影される範囲ＣＤと、カメラ２１Ａによって撮影される範囲ＣＡと、は範囲ＣＡＤにおいて重複する。図１８の（Ｂ）によると、撮像システム２０´の４つのカメラ２１´により自動車の全周囲を撮影することができる。

図１９は、画像の伸縮方法を説明するための図である。図１９は、カメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄによって撮影される画角180°の半球の画像ＩＡ，ＩＢ，ＩＣ，ＩＤを示す。実施形態の変形例Ａでは、画角θ(=180°)の画像ＩＡ，ＩＢ，ＩＣ，ＩＤを、図１９に示すように、画角が90°の画像ＩＡ´，ＩＢ´，ＩＣ´，ＩＤ´に線形伸縮させる。画角θを180°から90°に変換するために、画像処理ボード２３は、式（１）の代わりに、式（６）を用いる。
h=f×φ×90°/θ （６）

図２０は、全天球画像を生成する概念を示す概念図である。図２０の（Ａ）は、180°の画角の画像ＩＡ，ＩＢ，ＩＣ，ＩＤから90°の画角に変換された各画像ＩＡ´，ＩＢ´，ＩＣ´，ＩＤ´を示す。画角を変換することにより、カメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄによって重複して撮像される領域の画像ＩＡＣ´、ＩＢＣ´、ＩＢＤ´、ＩＡＤ´も圧縮される。図２０の（Ａ）は、変換された各画像ＩＡ´，ＩＢ´，ＩＣ´，ＩＤ´を合成して得られる全天球画像を示す。全天球画像は、画角90°の４つの画像を合成して得られる。このため、図２０の（Ｂ）のように、４つのカメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄの撮像範囲が重複する領域の撮影対象は、重複して表示される。このように、本実施形態によると、重複する領域の画像を破棄せずに全天球画像を生成することができる。

実施形態の変形例Ａにおける処理は、撮影される画像が４つである点、式（６）を用いて180°の画角を90°に変換する点を除いて、上記の実施形態と同様である。

＜＜＜実施形態の変形例Ｂ＞＞＞
続いて、実施形態の変形例Ｂについて、上記の実施形態と異なる点を説明する。図２１は、一実施形態に係る通信システム１を構築する端末１０Ａ，１０Ｂ、カメラ２１、画像処理ボード２３、および管理システム５０の機能ブロック図である。

カメラ２１の機能構成は、上記実施形態と同様である。画像処理ボード２３の送受信部２３０９の機能構成は、上記実施形態と同様である。

端末１０Ａは、送受信部１００９Ａを有する。送受信部１００９Ａは、ＣＰＵ１０１からの命令、およびネットワークＩ／Ｆ１０７の処理により、他の装置との通信を制御する。

管理システム５０は、射影変換情報管理部５００１と、変換部５００２と、送受信部５００９と、を有する。また、管理システム５０は、ＲＯＭ１０２、ＲＡＭ１０３、またはＳＳＤ１０４により構築される記憶部５０００を有する。射影変換情報管理部５００１は、ＣＰＵ１０１からの命令により、カメラ２１によって撮影された画像に係る射影変換情報を管理する。変換部５００２は、ＣＰＵ１０１からの命令により、一組の画像データのそれぞれに対し画角を変換し、変換した各画像データに対し射影変換情報を用いて単位球にテクスチャマッピングすることにより全天球画像を合成する。送受信部５００９は、ＣＰＵ１０１からの命令、およびネットワークＩ／Ｆ１０７の処理により、他の装置との通信を制御する。

端末１０Ｂは、送受信部１００９Ｂと、受付部１００１と、表示部１００２と、を有する。送受信部１００９Ｂは、ＣＰＵ１０１からの命令、およびネットワークＩ／Ｆ１０７の処理により、他の装置との通信を制御する。受付部１００１は、ＣＰＵ１０１からの命令、およびユーザＩ／Ｆ１０８のタッチパネルの処理により、ユーザによる操作入力を受け付ける。表示部１００２は、ＣＰＵ１０１からの命令、およびユーザＩ／Ｆ１０８のディスプレイの処理により、画像を表示する。

図２２は、一実施形態における通信システム１において、全天球画像を生成し、再生する処理を示すシーケンス図である。カメラ２１は、撮影を開始すると、上記の実施形態のステップＳ１１〜Ｓ１３と同様の処理により、画像処理ボード２３へ、画像データごとの射影変換情報を送信する（ステップＳ３１）。

画像処理ボード２３の送受信部２３０９は、カメラ２１によって送信された射影変換情報を受信すると、受信した射影変換情報を端末１０Ａへ送信する（ステップＳ３２）。

端末１０Ａの送受信部１００９Ａは、画像処理ボード２３によって送信された射影変換情報を受信すると、受信した射影変換情報を管理システム５０へ送信する（ステップＳ３３）。管理システム５０の送受信部５００９は、端末１０Ａによって送信された射影変換情報を受信する。

カメラ２１Ａ，２１Ｂは、上記の実施形態のステップＳ１４〜Ｓ１６と同様の処理により、撮影した動画のフレームデータを画像処理ボード２３へ送信する（ステップＳ４１）。

画像処理ボード２３の送受信部２３０９は、カメラ２１によって送信された動画のフレームデータを受信すると、受信した動画のフレームデータを端末１０Ａへ送信する（ステップＳ４２）。

端末１０Ａの送受信部１００９Ａは、画像処理ボード２３によって送信された動画のフレームデータを受信すると、受信した動画のフレームデータを管理システム５０へ送信する（ステップＳ４３）。管理システム５０の送受信部５００９は、端末１０Ａによって送信された動画のフレームデータを受信する。

管理システム５０は、受信した射影変換情報および動画のフレームデータを用いて、ステップＳ２１〜Ｓ２６と同様の処理により全天球画像の動画データを生成する（ステップＳ５１）。すなわち、上記の実施形態では、画像処理ボード２３によって実行されていた全天球画像の生成処理を、実施形態の変形例Ｂでは、管理システム５０が実行する。生成された動画データは、記憶部５０００に記憶される。

端末１０Ｂのユーザが、全天球画像を表示するための操作入力を行うと、受付部１００１は、全天球画像の要求を受け付ける。端末１０Ｂの送受信部１００９Ｂは、全天球画像の要求を管理システム５０へ送信する（ステップＳ６１）。

管理システム５０の送受信部５００９は、端末１０Ｂによって送信された全天球画像の要求を受信する。この要求に応じて、管理システム５０の送受信部５００９は、記憶部５０００から全天球画像の動画データを読み出して、端末１０Ｂへ送信する。

端末１０Ｂの送受信部１００９Ｂは、管理システム５０によって送信された全天球画像の動画データを受信する。表示部１００２は、受信した動画データに基づいて、全天球画像をディスプレイから表示（再生）させる（ステップＳ７１）。

＜＜実施形態の主な効果＞＞
上記実施形態の画像処理方法によると、所定の画角で撮像領域を撮像する複数のカメラ２１Ａ，２１Ｂ（撮像手段の一例）を有し、一のカメラ２１Ａの撮像領域が他のカメラ２１Ｂの撮像領域と重複する撮像システム２０において、画像処理ボード２３（画像処理装置の一例）は、撮像された全周囲の画像を処理する。画像処理ボード２３の変換部２３０２（変換手段の一例、合成手段の一例）は、複数のカメラ２１Ａ，２１Ｂによって撮像された複数の画像のうち、少なくとも一の画像に対し、画角を基の画角よりも小さな所定の画角とした画像に変換して、変換された少なくとも一の画像を含む複数の画像を合成して画像を生成する（変換処理の一例、合成処理の一例）。これにより、複数の画像を合成して全周囲の画像を形成するときに、複数の画像の重複部分の情報が失われることを防ぐことができる。

画像処理ボード２３の変換部２３０２は、複数のカメラ２１Ａ，２１Ｂによって取得される複数の画像の画角の和が360°になるように画角を変換する。これにより、画像処理ボード２３は、複数の画像を合成して全天球画像を生成するときに、複数の画像の重複部分が生じないので、画像の損失を防ぐことができる。

撮像システム２０は、２つのカメラ２１Ａ，２１Ｂを備える。画像処理ボード２３の変換部２３０２は、２つのカメラ２１Ａ，２１Ｂのそれぞれによって取得される180°より広角の画像を180°の画角の画像に変換する。これにより、小型建機のようにカメラの設置スペースが少ない場合でも、２つのカメラ２１Ａ，２１Ｂを設置することで、小型建機の全周囲を撮像できるようになる。

２つのカメラ２１Ａ，２１Ｂにおけるカメラ２１Ａ（第１の撮像手段の一例）およびカメラ２１Ｂ（第２の撮像手段の一例）は、所定の間隔を置いて、それぞれ異なる方向が撮像されるように配置されている。これにより、同じ位置にカメラ２１Ａ，２１Ｂを配置した場合に車体などの死角により撮像できなかった領域が、所定の間隔を置いて配置することで撮像可能になる。

実施形態の変形例Ａにおいて、撮像システム２０は、４つのカメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄを備える。画像処理ボード２３の変換部２３０２は、４つのカメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄのそれぞれによって取得される90°より広角の画像を90°の画角の画像に変換する。これにより、２つのカメラ２１Ａ，２１Ｂを設置しただけでは、死角により全周囲が撮影できない場合でも、４つのカメラ２１Ａ，２１Ｂ，２１Ｃ，２１を設置することで、全周囲を撮像できるようになる。

２つのカメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄにおけるカメラ２１Ａ（第１の撮像手段の一例）、カメラ２１Ｂ（第２の撮像手段の一例）、カメラ２１Ｃ（第３の撮像手段の一例）、およびカメラ２１Ｄ（第４の撮像手段の一例）は、所定の間隔を置いて、それぞれ異なる方向が撮像されるように配置されている。これにより、同じ位置にカメラ２１Ａ，２１Ｂ，２１Ｃ，２１Ｄを配置した場合に車体などの死角により撮像できなかった領域を、所定の間隔を置いて配置することで撮像可能になる。

＜＜実施形態の補足＞＞
端末１０、撮像システム２０、および管理システム５０用のプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、上記記録媒体、あるいは、これらプログラムが記憶されたＨＤ(Hard Disk)は、プログラム製品(Program Product)として、国内又は国外へ提供できる。

また、上記実施形態における端末１０、撮像システム２０、および管理システム５０は、単一の装置によって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数の装置によって構築されていてもよい。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路を含むプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)や従来の回路モジュール等のデバイスを含むものとする。

１ 通信システム
２ 通信ネットワーク
１０ 端末
２０ 撮像システム
２１ カメラ
２３ 画像処理ボード
５０ 管理システム
１００１ 受付部
１００２ 表示部
１００９Ａ，１００９Ｂ 送受信部
２１０１ 撮影部
２１０２ 動画圧縮部
２１０３ 画像管理部
２１０９ 送信部
２３０１ 射影変換情報管理部
２３０２ 変換部
２３０３ 表示部
２３０９ 送受信部
５００１ 射影変換情報管理部
５００２ 変換部
５００９ 送受信部

特許第３２９０９９３号公報

Claims (10)

1. 所定の画角で撮像領域を撮像する複数の撮像手段を有し、前記複数の撮像手段の一の撮像手段の撮像領域が他の撮像手段の撮像領域と重複する撮像システムにおいて、撮像された全周囲の画像を処理する画像処理装置であって、
   前記複数の撮像手段によって撮像された複数の画像のうち、少なくとも一の画像に対し、画角を基の画角よりも小さな所定の画角とした画像に変換する変換手段と、
   前記変換手段によって変換された少なくとも一の画像を含む前記複数の画像を合成する合成手段と、
   を有する画像処理装置。
2. 前記変換手段は、前記複数の撮像手段によって取得される複数の画像の画角の和が３６０°になるように前記画角を変換する請求項１に記載の画像処理装置。
3. 前記複数の撮像手段と、
   請求項１または２に記載の画像処理装置と、
   を有する撮像システム。
4. ２つの撮像手段を備えており、
   前記変換手段は、前記２つの撮像手段のそれぞれによって取得される１８０°より広角の画像を１８０°の画角の画像に変換する請求項３に記載の撮像システム。
5. 前記２つの撮像手段における第１の撮像手段および第２の撮像手段は、所定の間隔を置いて、それぞれ異なる方向が撮像されるように配置されている請求項４に記載の撮像システム。
6. ４つの撮像手段を備えており、
   前記変換手段は、前記４つの撮像手段のそれぞれによって取得される９０°より広角の画像を９０°の画角の画像に変換する請求項３に記載の撮像システム。
7. 前記４つの撮像手段における第１の撮像手段、第２の撮像手段、第３の撮像手段、および第４の撮像手段は、所定の間隔を置いて、それぞれ異なる方向が撮像されるように配置されている請求項６に記載の撮像システム。
8. 通信端末と、
   請求項１または２に記載の画像処理装置と、を有し、
   前記画像処理装置は、前記通信端末による要求に応じて、前記合成手段によって合成された画像を前記通信端末へ送信する
   通信システム。
9. 所定の画角で撮像領域を撮像する複数の撮像手段を有し、前記複数の撮像手段の一の撮像手段の撮像領域が他の撮像手段の撮像領域と重複する撮像システムにおいて、撮像された全周囲の画像を処理する画像処理装置に、
   前記複数の撮像手段によって撮像された複数の画像のうち、少なくとも一の画像に対し、画角を基の画角よりも小さな所定の画角とした画像に変換する変換処理と、
   前記変換処理によって変換された少なくとも一の画像を含む前記複数の画像を合成する合成処理と、
   を実行させる画像処理方法。
10. 所定の画角で撮像領域を撮像する複数の撮像手段を有し、前記複数の撮像手段の一の撮像手段の撮像領域が他の撮像手段の撮像領域と重複する撮像システムにおいて、撮像された全周囲の画像を処理する画像処理装置に、
    前記複数の撮像手段によって撮像された複数の画像のうち、少なくとも一の画像に対し、画角を基の画角よりも小さな所定の画角とした画像に変換する変換処理と、
    前記変換処理によって変換された少なくとも一の画像を含む前記複数の画像を合成する合成処理と、
    を実行させるプログラム。