JPH114373A - 全周パノラマ画像構成方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 解像度の高い全周パノラマ画像をほぼ実時間
で作成でき、かつ、装置自体の小型化、低コスト化が可
能な全周パノラマ画像構成方法を提供する。 【解決手段】 撮像装置（１０）の撮像面に対向する位
置にミラー（１１）を傾斜して設置し、当該ミラーを撮
像装置の光軸を回転軸として３６０°回転させ、当該ミ
ラーの初期状態と初期状態から３６０°回転した終状態
の間をミラーの回転角に応じて適宜分割し、分割された
各状態において撮像装置が撮影したミラーに映る各画像
の画像情報を蓄積し、蓄積された各画像情報に対して各
回転角の分だけ画像の中心を軸として回転変換を行い、
回転変換された各画像情報を鏡像反転し、鏡像反転され
た各画像情報に対して平行移動およびパターンマッチン
グを行い、各画像情報を繋ぎ合わせて全周パノラマ画像
情報を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、全周パノラマ画像
構成方法及び装置に係わり、特に、災害監視用カメラシ
ステムや、自律移動しながら作業を実行する移動ロボッ
ト等の視覚システムにおいて、環境全体の大局的情報を
実時間で得るために用いる全周パノラマ画像を構成する
ための方法、及び、その方法を実現する全周パノラマ画
像構成装置に関する。

【０００２】

【従来の技術】災害監視用システムでは、災害を緊急に
発見することが求められる。そのため、環境全体の大局
的情報を実時間で把握するために、全周パノラマ画像が
必要となり、全周パノラマ画像を実時間で構成すること
が求められる。また、自律的に移動しながら作業をする
移動ロボットにおいても、ロボットを実際の環境内で誘
導するための環境認識用の視覚センサシステムとして、
環境全体の大局的認識を行うために前記と同様の全周パ
ノラマ画像が必要とされる。さらに、近年では、通信・
放送分野においても、電子的に合成されるスタジオセッ
トの構成時に全周パノラマ画像を利用するなど、幅広く
産業界において、全周パノラマ画像構成技術は必要とさ
れている。

【０００３】従来、前記したような全周パノラマ画像を
得るために、（１）カメラを回転させながら画像を取込
み、繋ぎ合わせる方法（例えば、特願平５−８３７１１
号；電子パノラマ画像表示装置）、（２）魚眼レンズを
用いて広視野画像を一括で取込む方法（例えば、特開平
６−５０１５８５号；全視野静止カメラオリエンテーシ
ョンシステム）、（３）球面、円錐面、双曲面などの特
殊形状の反射鏡を用いて、画像を一括で取込む方法（例
えば、特開平２−１５１８２８号；全方位観測装置）等
が知られている。

【０００４】一方、監視装置として提案されている全方
位視覚システムの一例として、仰角可変回転ミラーと、
その回転軸に光軸を一致させて装着したＴＶカメラと回
転制御回路、画像処理部、画像データ記憶部と画像モニ
タからなる３６０°視野光学的監視装置がある（例え
ば、特開平７−３２２１０４号；監視装置）。

【０００５】

【発明が解決しようとする課題】前記（１）の方法は、
撮像用ＣＣＤカメラ自体をモータ等の駆動系を用いて３
６０°全周回転させ、あるタイミングで画像を取込み、
繋ぎ合わせて全周パノラマ画像を作成するものである。
この（１）の方法では、解像度の高い全方位画像を得る
ことは可能であるが、重量物のカメラをモータ等を用い
て回転させるため、１シーンの撮像に時間がかかる、カ
メラ接続ケーブル類を引回す際にねじれないような特殊
な細工が必要となる、あるいは構造自体が大型化すると
いう問題点があった。

【０００６】また、（２）の方法は、魚眼レンズを用い
ることにより、視線方向について半周の画像が扱える
が、半周分の画像を１枚の撮像板で撮像するため、解像
度の高い全方位画像を得ることができないという問題点
があった。

【０００７】また、（３）の方法は、球面ミラー、円錐
面ミラー、双曲面ミラーなどに映し出される画像を撮像
装置により一括で取込み、全周パノラマ画像に変換する
ものである。この（３）の方法は、全方位を１枚の画像
で取込むため、駆動系の必要がないが、（２）の方法と
同様、全周パノラマ画像を１枚の撮像板で撮像するた
め、解像度の高い全方位画像を得ることができず、ま
た、特殊形状ミラーを必要とするためコストが高いとい
う問題点があった。

【０００８】一方、前記３６０°視野光学的監視装置
は、各停止角度の画像情報を表示しながら監視を行う装
置であり、本発明のような全周パノラマ画像を構成する
ための装置とは主旨が異なるものである。また、仰角可
変回転のためにモータを余分に使用する必要があり、装
置自体が大型化するという問題点があった。

【０００９】さらに、前記３６０°視野光学的監視装置
では、装置を具体的に実現しようとすると、ミラー駆動
機構とカメラとの間に透明ガラス体のような支持部品が
必要となり、機構が複雑化し、また、コストが高いとい
う問題点もあった。

【００１０】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、全周パ
ノラマ画像構成方法及び装置において、解像度の高い全
周パノラマ画像をほぼ実時間で作成でき、かつ、装置自
体の小型化、低コスト化が可能となる技術を提供するこ
とにある。

【００１１】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００１２】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。

【００１３】全周パノラマ画像構成方法において、撮像
装置の撮像面と直接、あるいは第２のミラーを介して対
向する位置に第１のミラーを傾斜して設置し、当該第１
のミラーを前記撮像装置の光軸、あるいは前記撮像装置
の光軸と等価な軸を回転中心として３６０°回転させ、
当該第１のミラーの初期状態と前記初期状態から３６０
°回転した終状態の間を、当該第１のミラーの回転角に
応じて適宜分割し、前記分割された各状態において前記
撮像装置で撮影した当該第１のミラーに映る各画像の画
像情報を蓄積し、蓄積された前記各画像情報に対して前
記各回転角の分だけ画像の中心を軸として回転変換を行
い、前記回転変換された各画像情報を必要に応じて鏡像
反転し、前記鏡像反転された各画像情報、あるいは前記
鏡像反転されない各画像情報に対して平行移動およびパ
ターンマッチングを行い、各画像情報を繋ぎ合わせて全
周パノラマ画像を得ることを特徴とする。

【００１４】全周パノラマ画像構成装置において、撮像
装置と、前記撮像装置と対向する位置に傾斜して設置さ
れる少なくとも１個のミラーと、前記少なくとも１個の
ミラーを前記撮像装置の光軸、あるいは前記撮像装置の
光軸と等価な軸を回転軸として回転させるミラー回転手
段と、前記少なくとも１個のミラーの回転角を検出する
回転角検出手段と、前記回転角検出手段からの信号を受
けて所望の回転角に達した時に、前記少なくとも１個の
ミラーに映る各画像を前記撮像装置で撮影する撮像装置
制御手段と、前記撮像装置からの各画像情報を記憶し、
記憶された各画像情報に対して幾何学変換およびパター
ンマッチング処理を行う画像処理手段とを備えることを
特徴とする。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。

【００１６】なお、実施の形態を説明するための全図に
おいて、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。

【００１７】［実施の形態１］図１は、本発明の一実施
の形態である全周パノラマ画像構成方法を実現する全周
パノラマ画像構成装置の概略構成を示すブロック図であ
る。

【００１８】本実施の形態の全周パノラマ画像構成装置
は、ＣＣＤカメラ１０、平板形状ミラー１１、ミラー駆
動用回転モータ１２、回転角検出用センサ１３、画像処
理用コントローラ１４、ミラー回転駆動制御用コントロ
ーラ１５から構成される。ここで、平板形状ミラー１１
は、ＣＣＤカメラ１０の撮像面に対向する位置に対し
て、４５°傾いた位置で設置されている。

【００１９】本実施の形態では、平板形状ミラー１１を
ミラー駆動用回転モータ１２を用いて回転させ、回転角
検出用センサ１３からの信号を利用して、ミラーの回転
位置と同期をとりながら、ミラー面に映る画像をＣＣＤ
カメラ１０で撮影し、画像処理用コントローラ１４に取
り込み、取込んだ画像情報を画像処理用コントローラ１
４を用いて、画像情報の幾何学変換、複数画像情報の周
辺部分の繋ぎ合わせ処理を行い、全周パノラマ画像を得
る。

【００２０】図２は、本実施の形態の全周パノラマ画像
の構成方法を説明するためのフローチャートである。ま
た、図３は、図１に示すＣＣＤカメラ１０に取り込まれ
る画像、および繋ぎ合わせた全周パノラマ画像を示す図
である。

【００２１】以下、図２、図３を用いて、本実施の形態
の全周パノラマ画像の構成方法を、全周を１６分割して
画像を取込む場合を例に挙げて説明する。

【００２２】まず、平板形状ミラー１１が初期位置θ０
にあるときに平板形状ミラー１１に映る映像をＣＣＤカ
メラ１０で撮影し、画像処理用コントローラ１４に取り
込む（ステップ１０１）。次に、モータを回転させ（ス
テップ１０２）、回転角を測定し（ステップ１０３）、
全周の１６分の１（２２．５°）の角度位置のときに平
板形状ミラー１１に映る映像をＣＣＤカメラ１０で撮影
し、画像処理用コントローラ１４に順次取り込む（ステ
ップ１０４）。

【００２３】即ち、平板形状ミラー１１が初期位置θ０
のときに取込まれる画像情報を画像情報０、全周の１６
分の１（２２．５°）回転した角度位置θ１のときに取
込まれる画像情報を画像情報１、以下順に、画像情報２
（４５°）、画像情報３（６７．５°）、画像情報４
（９０°）、画像情報５（１１２．５°）、画像情報６
（１３５°）、画像情報７（１５７．５°）、画像情報
８（１８０°）、画像情報９（２０２．５°）、画像情
報１０（２２５°）、画像情報１１（２４７．５°）、
画像情報１２（２７０°）、画像情報１３（２９２．５
°）、画像情報１４（３１５°）、画像情報１５（３３
７．５°）として、画像処理用コントローラ１４に順次
取り込む。

【００２４】図３に示すように、それぞれの画像情報１
〜画像情報１５は初期位置に対して、回転角度θｘ＝２
２．５×ｘ（ｘ＝１，２，…，１５）だけ回転している
ことになる。

【００２５】図４は、画像処理用コントローラにおい
て、画像情報０〜画像情報１５の１６枚の画像情報から
全周パノラマ画像情報を構成するアルゴリズムの流れを
説明する図である。

【００２６】次に、図４（ａ）に示すように、それぞれ
の画像情報１〜画像情報１５を回転角θｘ（ｘ＝１，
２，…，１５）分だけ、画像中心を軸として回転変換さ
せる（ステップ１０５）。また、図４（ｂ）に示すよう
に、当該回転変換後のそれぞれの画像情報０〜画像情報
１５を鏡像反転させる（ステップ１０６）。最後に、図
４（ｃ）に示すように、それぞれの画像情報０〜画像情
報１５の境界領域で、それぞれの画像情報同士を平行移
動させながら、パターンマッチングを行い、それぞれの
画像情報の繋ぎ合わせを行う（ステップ１０７）。

【００２７】以上説明した方法により、全周パノラマ画
像の構成が可能であり、実際に、本実施の形態の全周パ
ノラマ画像構成装置を構成し、実験を行った結果、全周
パノラマ画像を構成することができた。

【００２８】なお、図２にフローチャートにおける、回
転変換後のそれぞれの画像情報を鏡像反転させるステッ
プは、図５に示すように、第１のミラー１７と第２のミ
ラー１８との２枚のミラーを使って、２回反射をさせる
場合には、原理的に当然省略できることになる。

【００２９】なお、図５において、１６はＣＣＤカメ
ラ、１７は第１の平板形状ミラー、１８は第２の平板形
状ミラー、１９はミラー駆動用回転モータ、２０は回転
角検出用センサ、２１はミラー回転駆動制御用コントロ
ーラ、２２は画像処理用コントローラである。

【００３０】［実施の形態２］図６は、本発明の他の実
施の形態である全周パノラマ画像構成方法を実現する全
周パノラマ画像構成装置の概略構成を示すブロック図で
ある。

【００３１】本実施の形態の全周パノラマ画像構成装置
は、前記実施の形態と基本的な構成は同じであり、ＣＣ
Ｄカメラ３０、平板形状ミラー３１、ミラー駆動用回転
モータ３２、回転伝達用歯車３３、回転伝達用歯車３
４、回転角検出用センサ３５、ミラー回転駆動制御用コ
ントローラ３６、画像処理用コントローラ３７から構成
される。ここで、ＣＣＤカメラ３０の撮像面に対向する
位置に対して、４５°傾いた位置で平板形状ミラー３１
は設置されている。

【００３２】平板形状ミラー３１はミラー支持部品に回
転伝達用歯車３３を取付けた構造となっている。その回
転伝達用歯車３３には、回転角検出用センサ３５が取付
けられている。また、ミラー駆動用回転モータ３２に
は、回転伝達用歯車３４が取付けられている。

【００３３】ミラー回転駆動制御用コントローラ３６か
らの信号に応じて、ミラー駆動用回転モータ３２を駆動
し、回転伝達用歯車３４から回転伝達用歯車３３に動力
を伝達し平板形状ミラー３１を回転させる。

【００３４】パノラマ画像の構成方法については、前記
実施の形態と同様に、回転角検出用センサ３５からの信
号を用いて、ミラーの回転位置と同期をとりながら、ミ
ラー面に映る画像をＣＣＤカメラ３０で撮影し、画像処
理用コントローラ３７に取り込み、画像処理用コントロ
ーラ３７において、取り込んだ画像情報の幾何変換、複
数画像情報の周辺部分の繋ぎ合わせ処理を行って、全周
パノラマ画像を得ることができる。

【００３５】なお、本実施の形態のような構成とするこ
とで、従来のように撮像装置の上部に回転ミラーを設置
するための透明体の支持用部品が必要なくなることにな
り、大幅な低コスト化、小型化が実現できた。

【００３６】また、本発明において、ミラーの回転機構
は、前記各実施の形態において説明したミラーの回転機
構に限定されるものでなく、外部のミラーを回転させな
がら画像を取込み、合成するという特徴を有する本発明
の主旨に基づいて、種々の構成が可能であり、これらは
本発明の技術的範囲に当然包含されるものである。

【００３７】以上、本発明者によってなされた発明を、
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。

【００３８】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。

【００３９】（１）本発明によれば、撮像装置の撮像面
に対向する位置に傾斜させたミラーを設置し、そのミラ
ーを撮像装置の光軸を回転中心として３６０°回転さ
せ、ミラーの回転位置と同期をとりながらミラー面に映
る画像を撮像装置により取込んだ後、取込んだ画像情報
を繋ぎ合わせることにより、全周パノラマ画像を得るよ
うにしたので、撮像装置自体を回転させる必要が無いた
め、高速に全周パノラマ画像を更新することが可能にな
る。

【００４０】（２）本発明によれば、撮像装置で取込む
部分はミラーに映っている部分のみであり、これを繋ぎ
合わせて全周パノラマ画像を構成するので、解像度の高
い全周パノラマ画像をほぼ実時間で作成でき、かつ、装
置自体の小型化、低コスト化が可能となる。

【００４１】（３）本発明によれば、ミラー支持部品に
回転用歯車を取付け、当該歯車を外部のモータに取付け
た歯車を用いて動力を伝達し、ミラーを回転させるよう
にしたので、従来のように、撮像装置の上部に回転ミラ
ーを設置するための透明体の支持用部品が必要ないた
め、装置自体の低コスト化、小型化が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施の形態である全周パノラマ画像
構成方法を実現する全周パノラマ画像構成装置の概略構
成を示すブロック図である。

【図２】本実施の形態の全周パノラマ画像の構成方法を
説明するためのフローチャートである。

【図３】図１に示すＣＣＤカメラに取り込まれる画像、
および繋ぎ合わせた全周パノラマ画像をディスプレー上
に表示した中間調画像を示す図である。

【図４】画像処理用コントローラにおいて、画像情報０
〜画像情報１５の１６枚の画像情報から全周パノラマ画
像情報を構成するアルゴリズムの流れを説明する図であ
る。

【図５】本実施の形態１の全周パノラマ画像構成装置の
変形例の概略構成を示すブロック図である。

【図６】本発明の他の実施の形態である全周パノラマ画
像構成方法を実現する全周パノラマ画像構成装置の概略
構成を示すブロック図である。

【符号の説明】

１０，１６，３０…ＣＣＤカメラ、１１，１７，１８，
３１…平板形状ミラー、１２，１９，３２…ミラー駆動
用回転モータ、１３，２０，３５…回転角検出用セン
サ、１４，２２，３７…画像処理用コントローラ、１
５，２１，３６…ミラー回転駆動制御用コントローラ、
３３，３４…回転伝達用歯車。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 撮像装置の撮像面と直接、あるいは第２
   のミラーを介して対向する位置に第１のミラーを傾斜し
   て設置し、 当該第１のミラーを前記撮像装置の光軸、あるいは前記
   撮像装置の光軸と等価な軸を回転中心として３６０°回
   転させ、 当該第１のミラーの初期状態と前記初期状態から３６０
   °回転した終状態の間を、当該第１のミラーの回転角に
   応じて適宜分割し、前記分割された各状態において前記
   撮像装置で撮影した当該第１のミラーに映る各画像の画
   像情報を蓄積し、 蓄積された前記各画像情報に対して前記各回転角の分だ
   け画像の中心を軸として回転変換を行い、前記回転変換
   された各画像情報を必要に応じて鏡像反転し、前記鏡像
   反転された各画像情報、あるいは前記鏡像反転されない
   各画像情報に対して平行移動およびパターンマッチング
   を行い、各画像情報を繋ぎ合わせて全周パノラマ画像を
   得ることを特徴とする全周パノラマ画像構成方法。
2. 【請求項２】 撮像装置と、 前記撮像装置と対向する位置に傾斜して設置される少な
   くとも１個のミラーと、 前記少なくとも１個のミラーを前記撮像装置の光軸、あ
   るいは前記撮像装置の光軸と等価な軸を回転軸として回
   転させるミラー回転手段と、 前記少なくとも１個のミラーの回転角を検出する回転角
   検出手段と、 前記回転角検出手段からの信号を受けて所望の回転角に
   達した時に、前記少なくとも１個のミラーに映る各画像
   を前記撮像装置で撮影する撮像装置制御手段と、 前記撮像装置からの各画像情報を記憶し、記憶された各
   画像情報に対して幾何学変換およびパターンマッチング
   処理を行う画像処理手段とを備えることを特徴とする全
   周パノラマ画像構成装置。