JP2001333303A

JP2001333303A - 全方位視覚システム

Info

Publication number: JP2001333303A
Application number: JP2000152207A
Authority: JP
Inventors: Kiyoshi Kumada; 清熊田; Nobutoshi Gako; 宣捷賀好
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-05-23
Filing date: 2000-05-23
Publication date: 2001-11-30
Also published as: KR100442733B1; US6897883B1; KR20010107689A; EP1158474A2; EP1158474A3

Abstract

(57)【要約】【課題】画像変換処理を高速に行って、画素数が増加
しても動画像に十分追従することができ、小型化を図る
ことができる全方位視覚システムを提供する。【解決手段】周囲３６０゜の視野領域の映像が得ら
れ、中心射影の変換が可能な光学系１と、光学系１を通
して得られる光学像を画像データに変換する撮像手段２
と、撮像手段２からの出力を記録する画像記録手段３
と、入力された画像データをパノラマ画像や透視画像等
に変換する画像変換手段４と、表示手段５と、表示制御
手段６とを備えている。画像変換手段４は、パノラマ変
換や透視変換を行うための演算ロジック回路を含むハー
ドウェアで構成され、ソフトウェアで処理を行う従来技
術に比べて画像変換処理を高速に行うことができ、シス
テムの小型化が可能である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視野角を広げて全
方位を観測可能であり、監視カメラ等の視覚センサーに
用いられる全方位視覚システムに関する。

【０００２】

【従来の技術】近年、監視カメラ等の視覚センサーの分
野において、カメラとコンピューターを組み合わせるこ
とにより、従来では人間が自らの視覚で行っていた作業
を行わせるための様々な試みが実用化されつつある。一
般に、このような用途に用いられるカメラは視角が限ら
れており、視野角を広げる試みが広角レンズ（魚眼レン
ズ）を用いて行われている。また、移動ロボット等の分
野では、視野角を広げるために、回転体ミラー（円錐ミ
ラー、球面ミラー、双極面ミラー等）を利用する研究が
活発に行われている。

【０００３】しかし、従来の視覚センサーにおいては、
いずれも、光学系と撮像手段を用いて得られた全方位画
像を人間が見やすいパノラマ画像等に変換するために、
コンピューターによるソフト処理を行っていた。

【０００４】図１０に、従来の全方位視覚システムの一
例を示す。この全方位視覚システムは、広角レンズ（魚
眼レンズ）や回転体ミラー（円錐ミラー、球面ミラー、
双極面ミラー等）を利用した光学系１と、光学系１で得
られた光学像を画像データに変換する撮像手段２と、ソ
フト処理による画像変換手段と表示手段と表示制御手段
とを含むコンピューター（ワークステーション）７とか
ら構成されている。そして、光学系１で得られた円形の
光学像を撮像手段２で円形画像の画像データに変換し、
この画像データをコンピューター７に入力してソフトウ
ェアによる処理（ソフト処理）により人間が見やすい画
像である四角いパノラマ画像や透視画像に変換してい
た。

【０００５】

【発明が解決しようとする課題】ところで、円形画像の
画像データを入力して人間が見やすい四角いパノラマ画
像や透視画像に変換する画像変換処理は、三角関数を用
いた極座標から直交座標への座標変換が多用され、さら
に、この座標変換には高精度が要求される。

【０００６】このため、従来のようにコンピューター７
を用いてソフト処理により画像変換処理を行おうとする
と、双曲面ミラーを用いた場合でも１データ変換のため
に２０ステップ以上の演算処理が必要となり、ソフト処
理に長い時間がかかるという問題があった。

【０００７】なお、回転体ミラーの中でも双極面ミラー
を利用した場合には、正確な中心射影の変換が可能な光
学系であるため、線形演算処理のみで画像変換処理が可
能である。よって、広角レンズ（魚眼レンズ）や回転体
ミラーでも円錐ミラーや球面ミラーを利用した光学系を
用いた場合に比べると、処理速度は比較的速くなる。広
角レンズ（魚眼レンズ）や回転体ミラーである円錐ミラ
ーや球面ミラーを用いた場合には、画像変換処理のため
に三角関数に加えて非線形演算処理が必要であるため、
さらに長い時間がかかるという問題があった。

【０００８】さらに、画像変換処理をソフト処理で行っ
た場合、予め定数演算の計算結果をレジスタに保存して
おいたとしても、これを逐次呼び出して計算結果を再度
レジスタに一時保存するというステップを何度も繰り返
す必要があり、上述したステップ数に応じたデータ処理
時間が必要であった。

【０００９】従って、画素数が少ない場合にはソフト処
理にかかる時間は少なくて済むが、画素数が多くなるに
つれてソフト処理にかかる時間が飛躍的に増加する。こ
のため、画像変換処理が可能なフレーム数としては、１
０万画素程度の画素数で秒当たり数フレームが限度であ
った。

【００１０】静止画の場合には、ソフト処理に時間がか
かっても問題が無いため、従来の全方位視覚システムに
よっても高画質化が可能である。しかし、動画像の場合
には、画素数が多くなるにつれてソフト処理の処理速度
が追いつかず、非常に見難い画像となるため、さらなる
画像変換処理の高速化が不可欠であった。

【００１１】本発明は、このような従来技術の課題を解
決するためになされたものであり、画像変換処理を高速
に行って、画素数が増加しても動画像に十分追従するこ
とが可能な全方位視覚システムを提供することを目的と
する。

【００１２】

【課題を解決するための手段】本発明の全方位視覚シス
テムは、周囲３６０゜の視野領域の映像が得られ、該映
像に対して中心射影の変換が可能な光学系と、該光学系
を通して得られる光学像を画像データに変換する撮像手
段と、該画像データを表示データに変換する画像変換手
段と、該画像変換手段からの出力を表示する表示手段
と、該表示手段に表示する画像を制御する表示制御手段
とを備え、該画像変換手段がバッファメモリーとＣＰＵ
と三角関数のルックアップテーブルと演算ロジック回路
とを備えており、そのことにより上記目的が達成され
る。

【００１３】前記画像変換手段が、少なくとも入力画像
をパノラマ画像に変換する変換機能、透視画像に変換す
る機能、変換領域を選択する機能、ズームイン・ズーム
アウト機能およびパン・チルト機能のいずれかを有する
構成とすることができる。

【００１４】前記画像変換手段は、入力された画像デー
タをベースとして、ズームイン・ズームアウトまたはパ
ン・チルトを行った後の画像に対応する部分をパノラマ
画像または透視画像に変換するのが好ましい。

【００１５】前記演算ロジック回路が、線形演算処理回
路のみで構成されていてもよい。

【００１６】前記光学系が、２葉双曲面のうちの一方の
双曲面形状を有する双曲面ミラーからなり、該双曲面ミ
ラーの回転軸が前記撮像手段に備わった撮像レンズの光
軸に一致し、該撮像レンズの第１主点が該双曲面ミラー
の片方の焦点位置に配されていてもよい。

【００１７】前記光学系が、回転体凸面ミラーを含む複
数枚の回転体ミラーからなり、該複数枚の回転体ミラー
の回転軸が前記撮像手段に備わった撮像レンズの光軸に
一致し、該複数枚の回転体ミラーのうちの第１ミラーの
焦点に向かう光が該第１ミラーで反射された後に第２ミ
ラーで反射され、該第２ミラーの焦点位置に配された撮
像レンズの第１主点に集光されるように構成されていて
もよい。

【００１８】前記撮像手段が、光学像をデジタル画像デ
ータに変換するデジタル撮像手段であってもよい。

【００１９】前記撮像手段からの出力を記録する画像記
録手段を備え、該画像記録手段が、デジタル記録手段で
あってもよい。

【００２０】前記ＣＰＵが並列演算機能を備えているの
が好ましい。

【００２１】なお、本明細書において、中心射影の変換
が可能であるとは、撮像手段で撮影した画像を光学系の
一方の焦点位置を視点とする画像と見なすことができる
ということを示す。

【００２２】以下、本発明の作用について説明する。

【００２３】本発明にあっては、画像記録手段に記録し
た画像データまたは撮像手段から出力された画像データ
をパノラマ画像や透視画像に変換する機能、変換領域を
選択する機能、ズームイン・ズームアウト機能、パン・
チルト機能等を有する画像変換手段を備えている。この
画像変換手段は、画像データを入力する入力バッファメ
モリーと、画像変換処理を行う演算ロジック回路と、画
像変換処理を制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏ
ｃｅｓｓｉｎｇＵｎｉｔ）と、ルックアップテーブル
と、画像変換処理後の画像データが入力される出力バッ
ファメモリーとで構成されている。よって、ソフトウェ
アで処理を行う従来技術に比べて、各演算の中間結果を
記憶手段に蓄積したり、それを読み出す処理を行う必要
がない。また、本発明では画像変換のための演算処理を
ハードウェアで行うため、演算用ハードウェアの入出力
間の遅延時間内で画像変換処理を行うことが可能であ
る。さらに、画像変換手段がハードウェアで構成されて
いるので、全方位視覚システムの小型化を図ることが可
能である。なお、一般的な三角関数の計算方法は、級数
展開して近似計算を行う。このとき、何次の項まで計算
するかによって精度が決まり、高精度が要求される場合
には項数が増えるため、計算時間が飛躍的に増加する。
よって、三角関数のルックアップテーブルを用いること
により、計算時間を短縮することが可能である。

【００２４】上記ズームイン・ズームアウト機能または
パン・チルト機能は、パノラマ画像や透視画像に変換す
るための座標変換後の画像データをベースとすると、座
標変換後の画像データを一旦保存するためのバッファメ
モリーが必要になる。よって、撮像手段または画像記憶
手段から入力画像データをベースとして、ズームイン・
ズームアウトまたはパン・チルト後の画像に対応する部
分を、パノラマ画像または透視画像に変換するのが好ま
しい。

【００２５】上記光学系としては、例えば後述する実施
形態１に示すように、２葉双曲面のうちの一方の双曲面
形状を有する双曲面ミラーからなり、双曲面ミラーの回
転軸が撮像手段に備わった撮像レンズの光軸に一致し、
撮像レンズの第１主点が双曲面ミラーの片方の焦点位置
（他方の焦点位置）に配されたものを用いることができ
る。この場合、撮像手段で撮影した画像を、双曲面ミラ
ーの一方の焦点位置を視点とした画像と見なすことが可
能になる。よって、三角関数のルックアップテーブルを
用いて、線形演算処理のみで極座標から直交座標への座
標変換を行ってパノラマ画像や透視画像への変換が可能
となる。

【００２６】または、後述する実施形態２に示すよう
に、回転体凸面ミラーを含む複数枚の回転体ミラーから
なり、その回転体ミラーの回転軸が撮像手段に備わった
撮像レンズの光軸に一致し、その回転体ミラーのうちの
第１ミラーの焦点に向かう光がその第１ミラーで反射さ
れた後に第２ミラーで反射され、その第２ミラーの焦点
位置に配された撮像レンズの第１主点に集光されるよう
に光学系を構成してもよい。この場合、撮像手段で撮影
した画像を、第１ミラーの焦点位置を視点とした画像と
見なすことが可能になる。よって、三角関数のルックア
ップテーブルを用いて、線形演算処理のみで極座標から
直交座標への座標変換を行ってパノラマ画像や透視画像
への変換が可能となる。

【００２７】上記撮像手段として、光学像をデジタル画
像データに変換するデジタル撮像手段を用いることによ
り、データ処理が容易になる。

【００２８】上記画像記録手段として、デジタル記録手
段を用いることにより、データ処理が容易になる。

【００２９】さらに、並列演算機能を備えたＣＰＵを用
いることにより、高速に画像変換処理を行うことが可能
となる。

【００３０】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて、図面を参照しながら説明する。

【００３１】（実施形態１）図１は、本発明の一実施形
態である全方位視覚システムの構成を説明するためのブ
ロック図である。この全方位視覚システムは、周囲３６
０゜の視野領域の映像が得られ、その映像に対して中心
射影の変換が可能な光学系１と、光学系１を通して得ら
れる光学像を画像データに変換する撮像手段２と、撮像
手段２からの出力を記録する画像記録手段３と、画像記
録手段３に記録した画像データまたは撮像手段２から出
力された画像データをパノラマ画像に変換したり、透視
画像に変換したりする画像変換手段４と、画像変換手段
４からの出力を表示する表示手段５と、表示手段５に表
示する画像の選択やサイズ等を制御する表示制御手段６
とを備えている。

【００３２】以下に、各部分について、詳細に説明す
る。

【００３３】中心射影の変換が可能な光学系１として
は、例えば図２に示すようなものを用いることができ
る。ここでは、回転体ミラーの１種である２葉双曲面の
うちの一方の双曲面形状を有する双曲面ミラー５４を用
いて、双曲面ミラー５４の回転軸が撮像手段２に備わっ
た撮像レンズの光軸に一致し、撮像レンズの第１主点が
双曲面ミラーの片方の焦点位置（他方の焦点（外焦点）
位置）に配されている。これにより、撮像手段２で撮
影した画像を双曲面ミラー５４の一方の焦点位置を視
点とする画像と見なすことが可能になる。このような光
学系は、例えば特開平６−２９５３３３号公報に詳述さ
れているので、特徴点のみを以下に説明する。

【００３４】図２において、双曲面ミラー５４とは、双
曲線をＺ軸を中心として回転して得られる曲面（２葉双
曲面）のうちの一方（Ｚ＞０の領域）の曲面の凸状面に
鏡面を形成したものである。この２葉双曲面は、（Ｘ²＋Ｙ²）／ａ²−Ｚ²／ｂ²＝−１ｃ²＝（ａ²＋ｂ²）で表される。なお、ａおよびｂは双曲面の形状を定義す
る定数であり、ｃは焦点の位置を定義する定数である。

【００３５】この双曲面ミラー５４は２つの焦点と
とを有し、外部から一方の焦点に向かう光は双曲面ミ
ラー５４で反射され、全て他方の焦点に向かうという
特徴を有する。従って、双曲面ミラー５４の回転軸と撮
像レンズの光軸とを一致させると共に、他方の焦点位置
に撮像レンズの第１主点を配置することにより、撮像
手段２で撮影された画像が、一方の焦点を視点中心と
して視野方向によって視点位置が変わらない画像とな
る。

【００３６】このため、後述する画像変換手段４では、
ＬＵＴ（ルックアップテーブル）１０を使用することに
より、非線形演算処理を含まず、線形演算処理のみで入
力された画像データをパノラマ画像や透視画像等の表示
データに変換する画像変換処理が可能となる。

【００３７】撮像手段２はビデオカメラ等であり、図２
における双曲面ミラー５４を介して得られる光学像を、
ＣＣＤやＣＭＯＳ等の固体撮像素子を利用してデジタル
画像データに変換する。撮像手段のレンズは、一般的な
球面レンズでも非球面レンズであってもよく、焦点位置
に第１主点が配置されていればよい。

【００３８】画像記録手段３は、撮像手段２のデジタル
出力を入力として、その時系列画像信号をテープ、また
はＭＯやＭＤ、ＤＶＤ等のディスクタイプの記録メディ
アにデジタル記録する。

【００３９】画像変換手段４は、図３に示すように、入
力バッファメモリー８と、ＣＰＵ９と、三角関数のルッ
クアップテーブルＬＵＴ１０と、画像変換用の演算ロジ
ック回路１１と、出力バッファメモリー１２を備えてお
り、各々がバスライン１３で接続されている。

【００４０】この画像変換手段４の入力バッファメモリ
ー８には、画像記録手段３に記録した画像データ、また
は撮像手段２から出力された画像データが入力される。
この入力バッファメモリー８に入力された画像データは
円形画像であるので、これを演算ロジック回路１１によ
り三角関数のルックアップテーブル１０を用いて極座標
から直交座標への座標変換を行うことにより、人間が見
やすい四角いパノラマ画像や透視画像に変換される。こ
の変換については、以下に詳述する。さらに、必要に応
じて画像のズームイン・ズームアウトやパン・チルト
等、視覚方向の変更に対応した画像変換処理が施され、
画像変換処理後の画像データが出力バッファメモリー１
２に入力される。一連の処理は、ＣＰＵ９により制御さ
れる。

【００４１】なお、ズームイン・ズームアウト機能また
はパン・チルト機能は、座標変換後の画像データをベー
スとすると、座標変換後の画像データを一旦保存するた
めのバッファメモリーが必要になる。よって、本実施形
態では、座標変換後の画像データをベースとするのでは
なく、撮像手段または画像記録手段から入力された画像
データをベースとして、ズームイン・ズームアウトまた
はパン・チルト後の画像に対応する部分を、パノラマ画
像または透視画像に変換する方式を採用する。これによ
り、バッファメモリーを増加させることなく画像変換を
行うことができ、システムの小型化が可能となる。

【００４２】表示手段５はブラウン管、ＬＣＤやＥＬ等
からなるモニター等であり画像変換手段４の出力バッフ
ァメモリー１２からの出力を入力として、画像を表示す
る。

【００４３】表示制御手段６は専用のマイクロコンピュ
ーター等であり、表示手段５に表示する画像の種類（例
えば画像変換手段４により変換されたパノラマ状の画像
や透視変換された画像等）、画像の向きや画像のサイズ
等を選択して制御する。

【００４４】次に、上記演算ロジック回路１１による画
像変換の原理について、説明する。画像変換としては、
３６０゜のパノラマ画像に変換するためのパノラマ画像
変換および透視画像に変換するための透視変換がある。
また、透視変換には横回転移動（左右移動、いわゆるパ
ン動作）および縦回転移動（上下移動、いわゆるチルト
動作）がある。

【００４５】まず、３６０゜のパノラマ画像変換につい
て、図４を用いて説明する。図４（ａ）の５７は撮像手
段２または画像記録手段３から入力された円形画像であ
り、図４（ｂ）の５８はドーナツ状に切り出して切り開
く途中を示し、図４（ｃ）の５９は引き伸ばして直交座
標に変換した後のパノラマ画像である。

【００４６】図４（ａ）に示すように、入力円形画像を
その中心を原点とした極座標で表すと、各画素Ｐの座標
は（ｒ，θ）で表わされる。図４（ｂ）に示すように、
点Ｐのパノラマ画像上の座標を（ｘ，ｙ）とすると、図
４（ａ）の入力円形画像をＯ（ｒｏ，θｏ）を基準とし
て四角いパノラマ画像に変換する座標変換式は、ｘ＝θ−θｏｙ＝ｒ−ｒｏで表される。図４（ａ）の入力円形画像の中心を原点
（Ｘｏ，Ｙｏ）とし、入力円形画像上の点Ｐの座標を
（Ｘ，Ｙ）とすると、Ｘ＝Ｘｏ＋ｒ×ｃｏｓθ Ｙ＝Ｙｏ−ｒ×ｓｉｎθ であるので、ｘ＝ａｒｃｔａｎ｛（Ｙ−Ｙｏ）／（Ｘ−Ｘｏ）｝−θ
ｏｙ＝ｓｑｒｔ｛（Ｘ−Ｘｏ）²＋（Ｙ−Ｙｏ）²｝と表される。

【００４７】パノラマ画像のパン動作については、基準
点Ｏ（ｒｏ，θｏ）の座標θｏを所定のキー操作に対応
して一定角度Δθだけ増減した点を基準として変換する
ことにより、左右にパンした後のパノラマ画像を入力画
像から直接生成することができる。なお、パノラマ画像
ではチルト動作は行わない。

【００４８】次に、透視変換について、図５を用いて説
明する。透視変換の座標変換については、空間上の点が
入力画像上のどの位置に対応するかを計算し、その点の
画像情報を透視変換後の画像上の対応する座標位置に割
り当てる方法を採用する。

【００４９】図５に示すように、空間上の点の座標をＰ
（ｔｘ，ｔｙ，ｔｚ）とし、撮像手段受光部２ａに形成
される円形画像（入力座標系）上の対応する点の座標を
Ｐ（ｒ，θ）とし、撮像手段２の撮像レンズの焦点距離
をＦとし、さらに、ミラー定数を（ａ，ｂ，ｃ）（上記
図２のａ、ｂ、ｃと同じ）とすると、ｒ＝Ｆ×ｔａｎ（（π／２）−β）・・・（１）但し、αは物点から双曲面ミラーの焦点へ向かう入射
光の焦点から見た入射角（水平面からの上下振れ角）で
あり、βは物点から双曲面ミラーの焦点へ向かう光が
双曲面ミラーで反射されて撮像手段に入射する入射角
（但し、光軸からの角度ではなく、光軸に垂直なレンズ
平面からの角度）であり、 β＝ａｒｃｔａｎ（（（ｂ²＋ｃ²）×ｓｉｎα−２×ｂ
×ｃ）／（ｂ²−ｃ²） ×ｃｏｓα） α＝ａｒｃｔａｎ（ｔｚ／ｓｑｒｔ（ｔｘ²＋ｔｙ²）） θ＝ａｒｃｔａｎ（ｔｙ／ｔｘ）となる。

【００５０】上記式（１）を整理すると、ｒ＝Ｆ×（（（ｂ²−ｃ²）×ｓｑｒｔ（ｔｘ²＋ｔ
ｙ²））／（（ｂ²＋ｃ²）×ｔｚ−２×ｂ×ｃ×ｓｑｒ
ｔ（ｔｘ²＋ｔｙ²＋ｔｚ²）））である。さらに、円形画像上の点の座標を直交座標に変
換してＰ（Ｘ，Ｙ）とすると、Ｘ＝ｒ×ｃｏｓθ Ｙ＝ｒ×ｓｉｎθ であるので、Ｘ＝Ｆ×（（（ｂ²−ｃ²）×ｔｘ／（（ｂ²＋ｃ²）×ｔｚ−２×ｂ×ｃ ×ｓｑｒｔ（ｔｘ²＋ｔｙ²＋ｔｚ²）））・・・（２）Ｙ＝Ｆ×（（（ｂ²−ｃ²）×ｔｙ／（（ｂ²＋ｃ²）×ｔｚ−２×ｂ×ｃ ×ｓｑｒｔ（ｔｘ²＋ｔｙ²＋ｔｚ²）））・・・（３）となる。

【００５１】以上の計算により、空間上の点Ｐ（ｔｘ，
ｔｙ，ｔｚ）を透視したときの直交座標系への透視変換
がなされる。

【００５２】ここで、双曲面ミラー５４の焦点から距離
Ｒ、俯角φ（上記αと同じ）、Ｚ軸周りの回転角θの空
間上に、図５に示すような幅Ｗ、高さｈの画像平面を考
える。このとき、平面上の点、例えば左上コーナーの点
Ｑの座標（ｔｘｑ，ｔｙｑ，ｔｚｑ）は、ｔｘｑ＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｃｏｓθ−（Ｗ／２）ｓｉｎ θ ・・・（４）ｔｙｑ＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｓｉｎθ＋（Ｗ／２）ｃｏｓ θ ・・・（５）ｔｚｑ＝Ｒｓｉｎφ−（ｈ／２）ｃｏｓφ ・・・（６）で表される。

【００５３】よって、上記式（４）、（５）および
（６）を上記式（２）および（３）に代入することによ
り、入力画像面上の対応する点の座標ＸとＹとを求める
ことができる。ここで、透視画面サイズをピクセル（画
素）単位で幅ｄおよび高さｅとすると、上記式（４）、
（５）および（６）においてＷをＷ／ｄステップでＷ〜
−Ｗ、ｈをｈ／ｅステップでｈ〜−ｈまで変化させたと
きに、入力画像面上の対応する点の画像データを並べる
ことにより透視画像が得られる。

【００５４】次に、透視変換における横回転移動と縦回
転移動（パン・チルト動作）について説明する。まず、
上述のようにして得られた点Ｐが横回転移動（左右移
動）した場合について説明する。横回転移動について
は、移動角度をΔθとすると、移動後の座標（ｔｘ’，
ｔｙ’，ｔｚ’）は、ｔｘ’＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｃｏｓ（θ＋Δθ） −（Ｗ／２）ｓｉｎ（θ＋Δθ）・・・（７）ｔｙ’＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｓｉｎ（θ＋Δθ）＋（Ｗ／２）ｃｏｓ（θ＋Δθ）・・・（８）ｔｚ’＝Ｒｓｉｎφ−（ｈ／２）ｃｏｓφ ・・・（９）で表される。

【００５５】よって、横回転移動については、上記式
（７）、（８）および（９）を上記式（２）および
（３）に代入することにより、入力画像面上の対応する
点の座標ＸとＹとを求めることができる。他の平面上の
点についても同様である。よって、上記式（７）、
（８）および（９）においてＷ〜−Ｗ、ｈ〜−ｈまで変
化させたときに、入力画像面上の対応する点の画像デー
タを並べることにより回転画像が得られる。

【００５６】次に、上述のようにして得られた点Ｐが縦
回転移動（上下移動）した場合について説明する。縦回
転移動については、移動角度をΔφとすると、移動後の
座標（ｔｘ”，ｔｙ”，ｔｚ”）は、ｔｘ”＝（Ｒｃｏｓ（φ＋Δφ）＋（ｈ／２）ｓｉｎ（φ＋Δφ） ×ｃｏｓθ−（Ｗ／２）ｓｉｎθ ・・・（１０）ｔｘ”＝（Ｒｃｏｓ（φ＋Δφ）＋（ｈ／２）ｓｉｎ（φ＋Δφ） ×ｓｉｎθ＋（Ｗ／２）ｃｏｓθ ・・・（１１）ｔｚ’＝Ｒｓｉｎ（φ＋Δφ）−（ｈ／２）ｃｏｓ（φ＋Δφ）・・・（１２）で表される。

【００５７】よって、縦回転移動については、上記式
（１０）、（１１）および（１２）を上記式（２）およ
び（３）に代入することにより、入力画像面上の対応す
る点の座標ＸとＹとを求めることができる。他の平面上
の点についても同様である。よって、上記式（１０）、
（１１）および（１２）においてＷ〜−Ｗ、ｈ〜−ｈま
で変化させたときに、入力画像面上の対応する点の画像
データを並べることにより回転画像が得られる。

【００５８】透視画像のズームイン・ズームアウト機能
については、所定のキー操作に対応して上記変換式
（４）〜（１２）中の式Ｒを一定量ΔＲだけ増減するこ
とにより、ズームイン・ズームアウト後の透視画像を入
力画像から直接生成することができる。

【００５９】さらに、変換領域を選択する機能について
は、入力画像からパノラマ画像への変換に際して、変換
領域（半径方向）の範囲を所定のキー操作により指定で
きるようにすることができる。すなわち、変換領域指定
モードにおいて、パノラマ画像への変換幅を２つの円で
表示し、内側の円を基準点Ｏ（ｒｏ，θｏ）の座標ｒｏ
を半径とする円、外側の円をパノラマの上側の円とし、
円形入力画像の最大径をｒｍａｘ、撮像手段自身の画像
半径をｒｍｉｎとすると、この２つの円の半径をｒｍｉ
ｎ、ｒｍａｘの間で所定のキー操作により自由に指定で
きるようにする。透視画像のサイズ（透視変換領域）に
ついても、同様に、透視変換式においてＷとｈとを自由
に設定できるようにしてもよい。

【００６０】次に、上記演算ロジック回路１１の主要部
の回路構成例について、図６〜図８を用いて説明する。

【００６１】まず、パノラマ変換ロジックは、図６に示
すように、２つのラッチ１４、１５と、２つの乗算器１
６、１７と、加算器１９と、減算器１８からなる。

【００６２】ここで、２つのラッチ１４、１５は、その
入力がバスライン１３に接続されており、制御信号Ｐ
ｓ、Ｐｃにより三角関数のＬＵＴ１０からバスライン１
３を介してｓｉｎθ_j、ｃｏｓθ_jの値を取り込んで保持
する。ラッチ１４がｓｉｎθ_jの値を保持するラッチ
（Ｓラッチ）であり、ラッチ１５がｃｏｓθ_jの値を保
持するラッチ（Ｃラッチ）である。各ラッチ１４、１５
の出力は乗算器１６、１７によりｒ_iと掛け合わされ
る。そして、乗算器１７の出力（ｒ_i×ｃｏｓθ_j）が加
算器１９によりＸｏと加算され、入力画像上の点のＸ座
標データとしてＸ＝Ｘｏ＋ｒ_iｃｏｓθ_j が出力される。また、乗算器１６の出力（ｒ_i×ｓｉｎ
θ_j）が減算器１８によりＹｏから減算され、入力画像
上の点のＹ座標データとしてＹ＝Ｙｏ−ｒ_iｓｉｎθ_j が出力される。このＸ座標データ、Ｙ座標データがバス
ライン１３を介してＣＰＵ９に送られ、対応する入力バ
ッファメモリー８の画像データが出力バッファメモリー
１２の対応する座標位置に送られて保存される。次に、
透視変換ロジックは、図７に示すように、４つのラッチ
２０〜２３と、乗算器２４〜２７、３０〜３５、３８
と、加算器２９、３６と、減算器２８、３７からなる第
１ステップ（透視変換ロジック−１）と、図８に示すよ
うに、乗算器４１〜４７、５１と、加算器４０、４８、
４９と、減算器３９、５２と、平方根器５０と、逆数器
５３からなる第２ステップ（透視変換ロジック−２）と
を有する。

【００６３】ここで、図７に示す４つのラッチ２０〜２
３は、その入力がバスライン１３に接続されており、制
御信号θｓ、θｃ、φｓ、φｃにより三角関数のＬＵＴ
１０からバスライン１３を介してｓｉｎθ、ｃｏｓθ、
ｓｉｎφ、ｃｏｓφの値を取り込んで保持する。ラッチ
２０がｓｉｎθの値を保持するラッチであり、ラッチ２
１がｃｏｓθの値を保持するラッチであり、ラッチ２２
がｓｉｎφの値を保持するラッチであり、ラッチ２３が
ｃｏｓφの値を保持するラッチである。各ラッチ２２、
２３の出力は、乗算器３３、３５によりＲと掛け合わさ
れると共に、乗算器３２、３４によりｈ／２と掛け合わ
される。乗算器３２、３３の出力は加算器３６により加
算されて各々の出力が乗算器２４、２６に送られ、ラッ
チ２０、２１の出力と掛け合わされる。さらに、ラッチ
２０、２１の出力は乗算器２５、２７によりｗ／２と掛
け合わされ、それらの出力が減算器２８により引き算さ
れると共に加算器２９により足し算され、空間上の点の
座標ｔｘとしてｔｘ＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｃｏｓθ−
（Ｗ／２）ｓｉｎθ が出力され、空間上の点の座標ｔｙとしてｔｙ＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｓｉｎθ＋
（Ｗ／２）ｃｏｓθ が出力されると共に、乗算器３０、３１によりｔｘ²、
ｔｙ²が生成される。一方、乗算器３４、３５の出力は
減算器３７により引き算され、空間上の点の座標ｔｚと
してｔｚ＝Ｒｓｉｎφ−（ｈ／２）ｃｏｓφ が出力されると共に、乗算器３８によりｔｚ²が生成さ
れる。

【００６４】さらに、ｔｘ²、ｔｙ²、ｔｚ²は、図８に
示す加算器４８、４９により加算され、平方根器５０に
入力されて平方根が計算される。なお、ｓｑｒｔ（ｔｘ²＋ｔｙ²＋ｔｚ²）＝Ｒ（定数）である。この出力が乗算器５１により定数２ｂｃと掛け
合わされ、減算器５２に入力される。なお、ａ、ｂ、ｃ
はミラー定数である。一方、加算器４０と減算器３９に
より定数ｂ²とｃ²の和と差が計算され、定数ｂ²とｃ²の
和が乗算器５３でｔｚと掛け合わされて減算器５２に送
られ、上記乗算器５１の出力と引き算される。この出力
がさらに逆数器５３により逆数に変換され、乗算器４
４、４５に送られる。また、定数ｂ²とｃ²の差は乗算器
４１、４２によりｔｘ、ｔｙと掛け合わされ、その出力
が乗算器４４、４５に送られて、上記逆数器５３の出力
と掛け合わされる。さらに、これらの出力が乗算器４
６、４７に送られ、定数Ｆと掛け合わされて、入力画像
上の点のｘ座標データとしてｘ＝Ｆ×（（（ｂ²−ｃ²）×ｔｘ／（（ｂ²＋ｃ²）×ｔ
ｚ−２×ｂ×ｃ×ｓｑｒｔ（ｔｘ²＋ｔｙ²＋ｔ
ｚ²）））が出力され、入力画像上の点のｙ座標データとしてｙ＝Ｆ×（（（ｂ²−ｃ²）×ｔｙ／（（ｂ²＋ｃ²）×ｔ
ｚ−２×ｂ×ｃ×ｓｑｒｔ（ｔｘ²＋ｔｙ²＋ｔ
ｚ²）））が出力される。なお、Ｆは撮像レンズの焦点距離（定
数）である。このｘ座標データ、ｙ座標データがバスラ
イン１３を介してＣＰＵ９に送られ、対応する入力バッ
ファメモリー８の画像データが出力バッファメモリー１
２の対応する座標位置に送られて保存される。

【００６５】なお、パノラマ画像のパン・チルト機能、
透視画像のズームイン・ズームアウト機能およびパノラ
マ画像や透視画像の変換領域の選択機能については、上
述したように、いずれもパラメータ（定数）の変換で対
応しているため、専用の回路を追加する必要はない。

【００６６】以上のように、パノラマ画像変換、透視変
換および横回転移動や縦回転移動（パン・チルト動作）
等、いずれの画像変換も、線形演算処理のみで処理する
ことが可能である。これは、上述したように、撮像手段
２で撮影した画像を双曲面ミラー５４の一方の焦点位置
を視点とする画像と見なすことができる（中心射影の
変換が可能である）ため、三角関数のルックアップテー
ブＬＵＴ１０を用いて、線形演算処理のみで極座標から
直交座標への変換が可能なためである。また、ズームイ
ン・ズームアウト機能等についても線形演算処理で処理
することが可能である。

【００６７】従来では、上記画像データの変換処理をソ
フトウェアで行っており、１データの変換のために２０
ステップ以上の演算処理が必要であった。さらに、各演
算処理の中間結果を記憶手段に蓄積し、さらに、それを
読み出す処理も必要であった。これに対して、本実施形
態では、演算処理をハードウェアである画像変換手段４
により行うため、演算用ハードウェアの入出力間の遅延
時間内で画像データの変換処理を行うことが可能であ
る。よって、従来では問題となっていた動画像の変換に
も対応可能である。また、並列処理可能なＣＰＵ９を用
いることにより、さらに高速に処理を行うことができ
る。さらに、画像変換手段４がハードウェアで構成され
ているので、全方位視覚システムの小型化を図ることも
可能である。

【００６８】（実施形態２）本実施形態では、中心射影
の変換が可能な光学系１の一例として、図９に示すよう
な、回転体凸面ミラーとこれを含む複数枚の回転体ミラ
ーを用いた。

【００６９】ここでは、回転体ミラーの一例である放物
面ミラー５５ａ、５５ｂを用い、２枚の放物面ミラー５
５の回転軸が撮像手段２に備わった撮像レンズの光軸に
一致し、撮像手段２に近い方の第１放物面ミラー５５ａ
には切り欠き５６が設けられている。そして、この第１
放物面ミラー５５ａの焦点に向かう光がこのミラー５５
ａで反射され、他方の第２放物面ミラー５５ｂの内面で
反射され、このミラー５５ｂの焦点位置に配された撮像
レンズの第１主点に集光されるように構成されている。
これにより、撮像手段２で撮影した画像を第１放物面ミ
ラー５５ａの焦点を視点とする画像と見なすことが可能
になる。

【００７０】このような光学系は、例えば特開平１１−
３３１６５４号公報に詳述されており、本発明の画像変
換手段を含む全方位視覚システムは、この光学系を使用
することも可能である。

【００７１】

【発明の効果】以上詳述したように、本発明によれば、
画像変換手段を演算ロジック回路を含むハードウェアで
構成することにより、ソフトウェアで処理を行う従来技
術に比べて、画像変換処理を高速に行うことができる。
よって、画素数が増加しても、動画像に十分追従できる
性能を発揮することができる。さらに、画像変換手段を
ハードウェアで構成することにより、全方位視覚システ
ムの小型化を図ることができる。

【００７２】さらに、ズームイン・ズームアウトまたは
パン・チルトを入力された画像データをベースとして行
い、ズームイン・ズームアウトまたはパン・チルト後の
画像に対応する部分を、パノラマ画像または透視画像に
変換することにより、処理ステップの削減とバッファメ
モリーの使用量を減らすことが可能となり、一層の高速
化とシステムの小型化が可能となる。また、並列演算機
能を備えたＣＰＵを用いることにより、さらに高速に画
像変換処理を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態である全方位視覚システム
の構成を説明するためのブロック図である。

【図２】実施形態１における光学系の構成例を示す斜視
図である。

【図３】実施形態１における画像変換手段の構成例を示
すブロック図である。

【図４】実施形態１における３６０゜のパノラマ画像変
換について説明するための平面図であり、（ａ）は入力
された円形画像であり、（ｂ）はドーナツ状に切り出し
て切り開く途中であり、（ｃ）は引き伸ばして直交座標
に変換した後のパノラマ画像である。

【図５】実施形態１における透視変換について説明する
ための斜視図である。

【図６】実施形態１におけるパノラマ変換ロジックの構
成例を示す図である。

【図７】実施形態１における透視変換ロジックの構成例
を示す図である。

【図８】実施形態１における透視変換ロジックの構成例
を示す図である。

【図９】実施形態２における光学系の構成例を示す斜視
図である。

【図１０】従来の全方位視覚システムの構成例を示すブ
ロック図である。

【符号の説明】

１光学系２撮像手段３画像記録手段４画像変換手段５表示手段６表示制御手段７コンピューター（ワークステーション）８入力バッファメモリー９ＣＰＵ１０ＬＵＴ１１演算ロジック回路１２出力バッファメモリー１３バスライン１４、１５、２０〜２３ラッチ１６、１７、２４〜２７、３０〜３５、３８、４１〜４
７、５１乗算器１８、２８、３７、３９、５２減算器１９、２９、３６、４０、４８、４９加算器５０平方根器５３逆数器５４双曲面ミラー５５放物面ミラー５５ａ第１放物面ミラー５５ｂ第２放物面ミラー５６切り欠き５７円形入力画像５８ドーナツ状に切り出し、切り開く途中の状態５９引き伸ばし後のパノラマ画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 ＷＳＧ０６Ｔ 1/00 ２８０Ｇ０６Ｔ 1/00 ２８０４２０４２０ＣＨ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 ＥＦターム(参考） 2H087 KA01 LA21 RA04 TA01 TA03 TA06 5B047 AA30 BC09 BC15 CA17 5B057 AA19 BA02 BA15 CD05 CD11 CH04 CH07 CH11 5C022 AA01 AB66 AB68 AC01 AC42 AC69 AC78 5C054 AA01 CA04 CC02 CE08 CH01 EA01 EA05 EA07 EJ00 FD02 FD07 GB01 GD01 HA18

Claims

【特許請求の範囲】

【請求項１】周囲３６０゜の視野領域の映像が得ら
れ、該映像に対して中心射影の変換が可能な光学系と、該光学系を通して得られる光学像を画像データに変換す
る撮像手段と、該画像データを表示データに変換する画像変換手段と、該画像変換手段からの出力を表示する表示手段と、該表示手段に表示する画像を制御する表示制御手段とを
備え、該画像変換手段がバッファメモリーとＣＰＵと三角関数
のルックアップテーブルと演算ロジック回路とを備えて
いる全方位視覚システム。
【請求項２】前記画像変換手段が、少なくとも入力画
像をパノラマ画像に変換する変換機能、透視画像に変換
する機能、変換領域を選択する機能、ズームイン・ズー
ムアウト機能およびパン・チルト機能のいずれかを有す
る請求項１に記載の全方位視覚システム。
【請求項３】前記画像変換手段は、入力された画像デ
ータをベースとして、ズームイン・ズームアウトまたは
パン・チルトを行った後の画像に対応する部分をパノラ
マ画像または透視画像に変換する請求項２に記載の全方
位視覚システム。
【請求項４】前記演算ロジック回路が、線形演算処理
回路のみで構成されている請求項１乃至請求項３のいず
れかに記載の全方位視覚システム。
【請求項５】前記光学系が、２葉双曲面のうちの一方
の双曲面形状を有する双曲面ミラーからなり、該双曲面
ミラーの回転軸が前記撮像手段に備わった撮像レンズの
光軸に一致し、該撮像レンズの第１主点が該双曲面ミラ
ーの片方の焦点位置に配されている請求項１乃至請求項
４のいずれかに記載の全方位視覚システム。
【請求項６】前記光学系が、回転体凸面ミラーを含む
複数枚の回転体ミラーからなり、該複数枚の回転体ミラ
ーの回転軸が前記撮像手段に備わった撮像レンズの光軸
に一致し、該複数枚の回転体ミラーのうちの第１ミラー
の焦点に向かう光が該第１ミラーで反射された後に第２
ミラーで反射され、該第２ミラーの焦点位置に配された
撮像レンズの第１主点に集光されるように構成されてい
る請求項１乃至請求項４のいずれかに記載の全方位視覚
システム。
【請求項７】前記撮像手段が、光学像をデジタル画像
データに変換するデジタル撮像手段である請求項１乃至
請求項６のいずれかに記載の全方位視覚システム。
【請求項８】前記撮像手段からの出力を記録する画像
記録手段を備え、該画像記録手段が、デジタル記録手段
である請求項１乃至請求項７のいずれかに記載の全方位
視覚システム。
【請求項９】前記ＣＰＵが並列演算機能を備えている
請求項１乃至請求項８のいずれかに記載の全方位視覚シ
ステム。