JP4326104B2 - 画像入力装置 - Google Patents
画像入力装置 Download PDFInfo
- Publication number
- JP4326104B2 JP4326104B2 JP2000069575A JP2000069575A JP4326104B2 JP 4326104 B2 JP4326104 B2 JP 4326104B2 JP 2000069575 A JP2000069575 A JP 2000069575A JP 2000069575 A JP2000069575 A JP 2000069575A JP 4326104 B2 JP4326104 B2 JP 4326104B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reflecting surface
- reflecting
- optical axis
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Input (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、反射面によって反射した画像を撮像する画像入力装置に関するものである。
【０００２】
【従来の技術】
一般の単眼のカメラにおいては、一方向の画角の画像を撮像するように構成されている。これに対して、特許第２９３９０８７号や特開平１１−１７４６０３号公報などのように、反射面によって反射した画像を撮像するようにしてカメラの周囲の広い画角を一度に撮影する画像入力装置が知られている。
【０００３】
広い画角を一度に撮影するこの画像入力装置は、曲面の形状の一つの反射面をカメラの光軸上に配置し、その反射面による反射像を撮像することにより、１つのカメラでカメラの光軸まわりの３６０度の画像を撮像するように構成されており、いわゆる、全方位画像撮像装置と呼ばれている。
【０００４】
この全方位画像撮像装置は、一つのカメラに一つの反射曲面という極めて単純な構成により簡便に装置の構成が可能であるにも関わらず、死角のない画像を得ることができるため、空間認識装置として、ロボットの誘導などに適用されている。
【０００５】
前記反射面の形状は、カメラの光軸回りの軸回転対称の形状を有する場合が多く、例えば円錐、球、双曲面などの形状を有する。これらの反射面を用いた場合には、カメラに円形の画像が撮像され、円形の半径方向がカメラの光軸方向、円周方向がカメラの光軸回りの方向を示す全方位画像となる。
【０００６】
したがって、得られた円形の画像データを幾何変換すれば、カメラの光軸回りの全周の画像いわゆるパノラマ画像を再構築できる。特に、双曲面の場合には、双曲面の内部焦点の位置の一点から全方向を観測した時の画像が再生できるため、視点の移動のない違和感のないパノラマ画像が得られることが知られている。また、反射面の形状により、カメラの光軸方向に撮像できる範囲すなわち画角が異なることも知られている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記の全方位画像撮像装置のような反射面を有する画像入力装置では、以下のような課題を有する。
【０００８】
従来の装置では、一つの曲率を有した反射面に対して構成されているため、例えば、一つの曲率を有する双曲面の反射面を用いた構成の場合には、その双曲面の形状により画角が固定となるため、通常の可変倍率のカメラ、いわゆるズーム付きカメラのように画角の変更ができない。
【０００９】
また、全方位の画像を１つのカメラで撮像すると、３６０度全周の画像を１つの結像素子に結像するため、原理的に通常の視野のカメラに比べて空間解像度の低い画像となってしまう。そのため、同一のカメラで通常の視野の画像を撮像することが望まれるが、従来装置ではその要望を満たすことができない。
【００１０】
本発明は、反射面を有する画像入力装置において、全方位画像や通常の平面反射による画像などの異なる画角の画像を簡便に撮像できる画像入力装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の請求項１記載の画像入力装置は、画像撮像素子と、結像光学系と、互いに異なる形状を有する複数の反射面と、前記複数の反射面から任意の反射面を選択する選択手段とを設け、前記選択手段により選択した任意の反射面と前記結像光学系とが共働して前記結像光学系の光軸回りの画像を前記画像撮像素子に結像することを特徴とする。
【００１２】
本発明の請求項２記載の画像入力装置は、請求項１において、前記選択手段により選択された反射面を検出する検出手段と、前記検出手段の出力に応じて前記画像撮像素子から出力された画像を幾何変換処理する変換処理手段とを設けたことを特徴とする。
【００１３】
本発明の請求項３記載の画像入力装置は、請求項１において、前記選択手段により前記複数の反射面から選択する第一の反射面を、前記結像光学系の光軸上かつ前記画像撮像素子の結像面に相対する位置に配置し、前記第一の反射面とは異なる形状の第二の反射面を、前記結像光学系の光軸上かつ前記第一の反射面の背面位置に配置して保持する保持手段と、前記第一の反射面の位置と前記第二の反射面の位置を逆転させる反転手段とを設けたことを特徴とする。
【００１４】
本発明の請求項４記載の画像入力装置は、請求項３において、前記反転手段は、前記保持手段を前記結像光学系の光軸に垂直な軸回りに回転する回転機構であることを特徴とする。
【００１５】
本発明の請求項５記載の画像入力装置は、請求項１において、前記複数の反射面の第一の反射面は、前記結像光学系の光軸回りの全方向の画像を、前記画像撮像素子上に、ほぼ同心円状に結像する軸回転対称面であることを特徴とする。
【００１６】
本発明の請求項６記載の画像入力装置は、請求項５において、前記複数の反射面の第二の反射面は、前記第一の反射面と異なる曲率を有し、前記結像光学系の光軸方向において前記第一の反射面と異なる画角の全方向の画像を前記画像撮像素子上に、ほぼ同心円状に結像する軸回転対称面であることを特徴とする。
【００１７】
本発明の請求項７記載の画像入力装置は、請求項６において、前記第一の反射面が第一の双曲面であり、前記第二の反射面が前記第一の双曲面と異なる曲率の第二の双曲面であり、前記選択手段により、前記第一の反射面を選択した時の前記第一の双曲面の内部焦点の位置と、前記第二の反射面を選択した時の前記第二の双曲面の内部焦点の位置とが略一致することを特徴とする。
【００１８】
本発明の請求項８記載の画像入力装置は、請求項７において、前記第一の反射面を選択した時の前記第一の双曲面により結像した第一の画像と前記第二の反射面を選択した時の前記第二の双曲面により結像した第二の画像とを記憶する記憶手段と、前記記憶手段に記憶された前記第一の画像および第二の画像を、幾何変換し、１視点からの画像に変換する幾何変換手段と、前記変換処理手段により変換された第一の画像および第二の画像を合成処理する合成処理手段とを設けたことを特徴とする。
【００１９】
本発明の請求項９記載の画像入力装置は、請求項５において、前記複数の反射面の第二の反射面は、前記結像光学系の光軸回りの単一方向からの画像を、前記画像撮像素子上に結像する反射面であることを特徴とする。
【００２０】
本発明の請求項１０記載の画像入力装置は、請求項９において、前記複数の反射面の第二の反射面を駆動し、前記結像光学系の光軸回りの任意の方向からの画像を前記画像撮像素子上に結像させる方向選択手段を設けたことを特徴とする。
【００２１】
本発明の請求項１１記載の画像入力装置は、請求項１０において、前記複数の反射面の第一の反射面を用いて前記画像撮像素子に結像した前記結像光学系の光軸回りの全方向の画像を表示する表示手段と、前記表示手段に表示された表示画像の任意の領域を指示する指示手段と、前記方向選択手段が前記指示手段により指示された前記表示画像の領域に一致する方向からの画像を前記第二の反射面により前記画像撮像素子上に結像するように制御する制御手段とを設けたことを特徴とする。
【００２２】
本発明の請求項１２記載の画像入力装置は、請求項１１において、前記第一の反射面を用いて前記画像撮像素子上に結像した第一の画像を記憶する記憶手段と、前記記憶手段に記憶した第一の画像を幾何変換した変換画像を生成し、前記制御手段により制御された前記第二の反射面により前記画像撮像素子上に結像した第二の画像を前記変換画像に重ねる画像処理手段とを設けたことを特徴とする。
【００２３】
【発明の実施の形態】
以下、本発明の各実施の形態を図１〜図１６に基づいて説明する。
（実施の形態１）
図１〜図８は（実施の形態１）を示す。
【００２４】
図１，図２は（実施の形態１）の画像入力装置を示し、カメラ部とこのカメラ部の出力データを処理する処理装置とで構成されている。
１はカメラ部である。カメラ部１については、その断面形状を示している。カメラ部１は以下の部品により構成される。
【００２５】
２はＣＣＤまたはＣＭＯＳなどの画像撮像素子である。３は結像レンズで、結像レンズ３の光軸４の方向の像を結像し画像撮像素子２に画像を結像する。５ａは第一の反射鏡で、光軸４を中心とした回転対称の形状であり、双曲面形状である。５ｂは第二の反射鏡で、光軸４を中心とした回転対称の形状であり、第一の反射鏡とは異なる双曲面形状である。６は保持部材で、第一の反射鏡５ａと第二の反射鏡５ｂを保持している。７は反転手段としての回転装置で、保持部材６に連結して保持部材６を回転させ、第一の反射鏡５ａと第二の反射鏡５ｂの位置を逆転（図１では上下逆）する。この回転装置７は、自己の回転位置を認識する機能を有している。
【００２６】
９はカメラ台座で、画像撮像素子２と結像レンズ３と透明保持部材１０とを固定保持している。透明保持材１０は、ガラスなどの透明体の楕円柱または円柱の構造を有しており、第一の反射鏡５ａと第二の反射鏡５ｂ、保持部材６、回転装置７、保護部材８を、カメラ台座９上に、結像レンズ３から一定距離をもって位置決めするとともに、ガラス等の透明な材料で構成することにより、光軸４まわりの空間の画像を遮ることなく、反射鏡５ａまたは反射鏡５ｂで反射させることができる。
【００２７】
上記のカメラ部１の信号を処理する部分は次のように構成されている。
１１は画像記憶装置で、画像撮像素子２に結像した画像を取り込み記憶する。１２は幾何変換装置で、画像記憶装置１１に記憶された画像を幾何変換して、一点の視点から観測した時のようなパノラマ画像を生成する。１３は合成処理装置で、第一の反射鏡５ａと第二の反射鏡５ｂにより撮像して画像記憶装置１１に記憶され、さらに幾何変換装置１２により変換されたそれぞれの画像を合成した画像を生成する。１４は表示装置で、合成処理装置１３からの画像出力を表示する。１５は制御装置で、内部に保有するプログラムに記述された内容に応じて画像撮像素子２、回転装置７、画像記憶装置１１、幾何変換装置１２、合成処理装置１３の動作を制御する。
【００２８】
ここで、図３を用いて第一の反射鏡５ａと第二の反射鏡５ｂの位置関係について示す。
図３は図１，図２の画像入力装置のカメラ部１を示し、１６ａは第一の反射鏡５ａの双曲面の内部焦点、１６ｂは第二の反射鏡５ｂの双曲面の内部焦点を示している。１７は結像レンズ３の主点を示している。１８は保持部材６の回転装置７による回転中心軸を示している。矢印Ｄが回転中心軸１８の周りの回転方向を示している。第一の反射鏡５ａの双曲面と第二の反射鏡５ｂの双曲面の回転中心軸は、光軸４と一致しており、それらの双曲面の凸面は上下逆方向を向いている。
【００２９】
ここで、 内部焦点１６ａと回転中心軸１８の距離をＲａ、内部焦点１６ｂと回転中心軸１８の距離をＲｂとすると、
Ｒａ ＝ Ｒｂ
の式が成立するように構成する。ここで、双曲面形状の反射面によって反射結像した画像は、その内部焦点の位置から観測した画像に変換できることが知られている。
【００３０】
したがって、回転装置７により保持部材６が矢印Ｄの方向に回転し、第一の反射鏡５ａと第二の反射鏡５ｂの位置が入れ換わっても、それぞれの内部焦点と結像レンズ３の主点１７からの距離Ｌは不変となる。
【００３１】
そのため、第一の反射鏡５ａと第二の反射鏡５ｂから反射した全方向の画像を変換すると、空間上の同一視点からのパノラマ像が再生できる。
つぎに、図４（ａ）（ｂ）（ｃ）を用いて、第一の反射鏡５ａと第二の反射鏡５ｂによる画角の違いについて説明する。
【００３２】
図４（ａ）は第二の反射鏡５ｂで画像を撮像する時の画角を示し、図４（ｂ）は第一の反射鏡５ａで画像を撮像する時の画角を示している。図４（ｃ）は第一の反射鏡５ａと第二の反射鏡５ｂの画角を比較した図である。
【００３３】
図４（ａ）において、第二の反射鏡５ｂは光軸４の周りには３６０度で、光軸４方向には角度αの画角の画像を撮像する。一方、図４（ｂ）において、第一の反射鏡５ａは第二の反射鏡５ｂよりも曲率半径の小さい形状をしているため、光軸４の周りには３６０度で、かつ第二の反射鏡５ｂの場合に比べて、より光軸４方向に向かって結像レンズ３より遠い側を撮像することがわかる。
【００３４】
図４（ｃ）が画角の違いを明確にするために示した模式図である。点１９にそれぞれの内部焦点の位置を一致させて示している。図４（ｃ）に明かなように、それぞれの反射鏡での撮像できる画角は一部重なりながら、異なる画角を撮像していることがわかる。
【００３５】
制御装置１５は図５のステップ２０ａ〜２０ｉのように構成されている。
以下、制御装置１５の構成を、図５のフローチャートに従って説明する。
（ステップ２０ａ）回転位置の認識：
制御装置１５は回転装置７の位置を認識し、２つの反射鏡のうちどちらが画像撮像素子２の方向を向いているかを認識する。図１，図２の場合には第二の反射鏡５ｂが認識される。以下、初期の反射鏡の位置を図１，図２として説明する。
（ステップ２０ｂ）画像Ａの撮像：
制御装置１５は画像撮像素子２を駆動して画像を撮像する。この画像を画像Ａとする。画像Ａは、第二の反射鏡５ｂによって反射した画像である。図６（ａ）に画像Ａの模式図を示した。図６（ａ）のように、ドーナッツ型の画像が撮像され、画像Ａの円周方向θが図４（ａ）の光軸４回りの方向を示し、αは、図４（ａ）と同じく、光軸４方向の画角方向となる。
（ステップ２０ｃ）画像Ａの記憶：
ステップ２０ｂで撮像された画像は、画像記憶装置１１に送られ記憶される。このとき、第二の反射鏡５ｂを用いて撮像された画像Ａであることがわかるように区別して記憶しておく。
（ステップ２０ｄ）回転装置７の駆動：
制御装置１５は回転装置７を駆動し、第一の反射鏡５ａと第二の反射鏡５ｂの位置を逆転する。
（ステップ２０ｅ）画像Ｂの撮像：
制御装置１５は、画像撮像素子２を駆動して画像を撮像する。この画像を画像Ｂとする。画像Ｂは、第一の反射鏡５ａによって反射した画像である。図６（ｂ）に画像Ｂの模式図を示した。図６（ｂ）のように、ドーナッツ型の画像が撮像され、画像Ｂの円周方向θが図４（ｂ）の光軸４回りの方向を示し、βは、図４（ｂ）と同じく、光軸４方向の画角方向となる。
（ステップ２０ｆ）画像Ｂの記憶：
（ステップ２０ｅ）で撮像された画像は、画像記憶装置１１に送られ記憶される。このとき、第一の反射鏡５ａを用いて撮像された画像Ｂであることがわかるように区別して記憶しておく。
（ステップ２０ｇ）画像Ａ、画像Ｂの変換：
幾何変換装置１２により、画像記憶装置１１に記憶された画像Ａと画像Ｂをそれぞれパノラマ画像に変換する。図６（ａ）（ｂ）において、θ方向を長軸方向に、α方向およびβ方向を短軸方向となる矩形画像に幾何変換することによりパノラマ画像が生成できる。図７の破線２１が画像Ａをパノラマ画像に変換したパノラマ画像Ａ、図７の実線２２が画像Ｂをパノラマ画像に変換したパノラマ画像Ｂである。
【００３６】
幾何変換装置１２は、撮像した第一の反射鏡５ａと第二の反射鏡５ｂで異なる変換パラメータを内蔵しており、画像記憶装置１１から呼び出した画像の種類に応じて処理パラメータを入れ替えて処理を実行する。
（ステップ２０ｈ）画像Ａ、画像Ｂの合成：
図７は破線２１で示したパノラマ画像Ａと実線２２で示したパノラマ画像Ｂを合成した位置を示している。図４に示したように、破線２１で示したパノラマ画像Ａは、画角αの位置を撮像し、実線２２で示したパノラマ画像Ｂは、画角βの位置を撮像している。パノラマ画像Ａとパノラマ画像Ｂはいずれも、空間上同一の視点から観測した画像である。
【００３７】
したがって、図７のように合成して一枚の画像（２１−２２）を生成することにより、より画角の広いパノラマ画像を生成する。パノラマ画像Ａとパノラマ画像Ｂの互いに重なりあった領域では画像を補間し合って画像の解像度が向上している。
（ステップ２０ｉ）表示：
ステップ２０ｈにより生成された画像を、図１（ｂ）に示した表示装置１４に表示して処理を終わる。
【００３８】
図１，図２のように、単一の画像撮像素子に対して、複数の画角の反射鏡５ａ，５ｂを有する構造であるため、異なる画角の画像を簡便に撮像することができる。特に、反射面が一度に光軸回りの全方位の画像を撮像する場合においては、異なる画角の全方位画像を単一の画像撮像素子により撮像できる。
【００３９】
さらに、複数の反射鏡のうち撮像に用いない反射鏡が、画像を撮像する時の光軸方向の死角の位置に格納されているため、撮像方向を遮ることなく良好な画角で画像を撮像することが可能である。特に、全方位の画像を一度に得るような場合においては、死角が少ないため特に有効である。
【００４０】
さらに、図１，図２に示したような異なる曲率を有する二つの双曲面の反射鏡で撮像した画像を合成することにより、３６０度のパノラマ画像の画角を広げることが可能となると同時に画像の解像度も向上することができる。
【００４１】
なお、本実施の形態では、二つの双曲面の反射鏡を切り替える場合について示したが、必ずしも双曲面である必要はない。たとえば、図８（ａ）や図８（ｂ）のように、両者ともに円錐面や一方が球面でもかまわない。これらの場合も同様に３６０度のパノラマ画像が生成できるため、二つの異なる画角のパノラマ画像を得ることができ、これらを合成することにより画角を広げることが可能であることは言うまでもない。
【００４２】
なお、図２に示すように透明保持部材１０を楕円形状にしたのは、下記の理由による。
図１において第一の反射鏡５ａと第二の反射鏡５ｂを回転して位置を入れ替える場合に、小さな直径の円筒形であると第一，第二の反射鏡５ａ，５ｂが衝突して回転できない。そのため、第一，第二の反射鏡５ａ，５ｂの回転軌道に接触しない範囲でできるだけ小さい形状になるように、第一，第二の反射鏡５ａ，５ｂの先端が衝突しないように楕円形状に構成している。
【００４３】
さらに、透明保持部材１０は全周を覆っているので、光が通過する際の光の劣化（減衰，屈折）が周方向に均一になって、局所的に画像が劣化しない。
（実施の形態２）
図９〜図１４は（実施の形態２）を示す。
【００４４】
図９，図１０は（実施の形態２）の画像入力装置を示し、図１，図２と同様の作用を成すもの同一の符号を付けて説明を省略する。
図９，図１０の１００は（実施の形態２）のカメラ部である。カメラ部１００のうち、１０１は平面ミラーである。１０２は平面ミラー保持部材である。１０３は双曲面ミラーである。１０４は方向選択手段としての平面ミラー回転装置で、平面ミラー１０１と平面ミラー保持部材１０２を光軸４まわりに回転させる。１０５は保持部材で、平面ミラー１０１、平面ミラー保持部材１０２と双曲面ミラー１０３と平面ミラー回転装置１０４を保持している。１０６は回転装置で、保持部材１０５を光軸４方向に回転させることにより、平面ミラー１０１と双曲面ミラー１０３の位置を逆転（図９，図１０では上下）させることができる。
【００４５】
上記のカメラ部１００の信号を処理する部分は次のように構成されている。
１０７は画像処理装置で、画像記憶装置１１に記憶された画像に対して加工処理を施して表示装置１４に表示する。１０８は入力装置で、表示装置１４に表示された画像に対して位置の指定などの指示を行う装置である。１０９は制御装置で、平面ミラー回転装置１０４と回転装置１０５と画像撮像素子２と画像記憶装置１１と画像処理装置１０７を内部に保有するプログラムに記述された内容に応じて制御を行う。
【００４６】
制御装置１０９は図１１のステップ１１０ａ〜１１０ｉのように構成されている。
図１２は図９，図１０におけるカメラ部１００の動作を示した説明図である。
【００４７】
図１３は図９，図１０におけるカメラ部１００により撮像された全方位画像の説明図である。
図１４は図９，図１０における画像処理装置１０７により処理され表示装置１４に表示された合成画像の説明図である。
【００４８】
以下、制御装置１０９の構成を、図１１のフローチャートに従って説明する。
（ステップ１１０ａ）全方位画像の撮像：
双曲面ミラー１０３の位置が、図７に示したように結像レンズ３に相対する位置にあることを確認後、画像撮像素子２を動作させて画像を撮像する。図１２（ａ）がステップ１１０ａ動作時のカメラ部１００を示す。
【００４９】
図１３が撮像された全方位画像である。θが光軸４周りを示し、αが光軸４方向を示しており、光軸４周りの全方向の画像が撮像される。このような画像を、全方位画像と呼ぶことにする。
（ステップ１１０ｂ）全方位画像の記憶：
画像記憶装置１１に全方位画像を記憶する。
（ステップ１１０ｃ）全方位画像の表示：
画像記憶装置１１に記憶された全方位画像を表示装置１４に表示する。
なお、画像処理装置１０７は、画像記憶装置１１から表示装置１４に画像をスルーする。
（ステップ１１０ｄ）視線方向の指示：
図１３に示した全方位画像のうち、任意の点を入力装置１０８により入力する。入力する点の選択は、全方位画像のうち、より詳細な画像を得たい場所を指示する。図１３における点１１１が入力した点であるとする。
（ステップ１１０ｅ）反射鏡の上下反転：
制御装置１０９が回転装置１０５に働きかけて、保持部材１０５を光軸４方向に回転させることにより、平面ミラー１０１と双曲面ミラー１０３の位置を逆転させる。図１２（ｂ）が（ステップ１１０ｅ）において平面ミラー１０１が回転した状態を示す。
（ステップ１１０ｆ）平面ミラーの方向制御：
平面ミラー１０１は光軸４周りの一方向のみの画像を反射する。したがって、（ステップ１１０ｄ）で指定した点１１１の位置に対応する光軸４まわりの方向を向くように、平面ミラー回転装置１０４を回動させる。図１２（ｃ）が、平面ミラ−が平面ミラー回転装置１０４により回動している状態を示す。
（ステップ１１０ｆ）平面反射画像の撮像：
画像撮像素子２を動作させて平面ミラー１０１で反射した画像（平面反射画像と呼ぶ）を撮像する。
（ステップ１１０ｇ）平面反射画像の記憶：
画像記憶装置１１に平面反射画像を記憶する。
（ステップ１１０ｈ）全方位画像と平面反射画像の合成：
画像記憶装置１１に記憶された全方位画像を画像処理装置１０７が呼び出し、パノラマ画像に変換する。図１４の１１２が、図１３の全方位画像を幾何変換して展開して得られたパノラマ画像である。ここで、点１１３が図１３における点１１１に対応する位置を示している。次に、画像記憶装置１１から平面反射画像を呼び出して、パノラマ画像に合成する。１１４が平面反射画像が張り付けられた場所を示している。
【００５０】
このように、双曲面ミラー１０３により得られた全方位画像の一部を指示すると、平面ミラー１０１が所定の方向に回動し、指示した位置に対応する詳細な画像を撮像することができる。
【００５１】
なお、（実施の形態２）では全方位画像に平面反射画像を合成したが、必ずしも重ねる必要はなく、平面反射画像を直接に表示装置１４に示しても、全方位の画像の一部を視線方向を詳細に観測する目的を達成できる。
【００５２】
さらに、（実施の形態２）では双曲面ミラーを用いたが、一度に全方位の画像を得ることができれば、その限りでなく、円錐、球などの形状でもよい。
（実施の形態３）
図１５と図１６は（実施の形態３）を示す。
【００５３】
（実施の形態１）（実施の形態２）では、動作を制御装置の制御により自動で動作させていたが、必ずしも自動制御する必要はない。たとえば、図１５に示したような構造にすれば、極めて簡便にミラーの回動が可能である。図１６（ａ）〜（ｆ）は使用状態の説明図である。
【００５４】
図１５（ａ）（ｂ）において、２００がカメラ部である。カメラ部２００において、図１，図２と同様の作用をなすものには同一の符号を付けて説明を省略する。
【００５５】
２０１が保持部材で、上下に平面ミラー１０１と双曲面ミラー１０３とを保持している。ここで保持部材２０１は、図１６（ｂ）のように透明保持材１０Ｃならびに保護部材８とは分離できるような構造となっている。そこで、図１６（ｃ）のように保持部材２０１を手動操作で回転させて再び図１６（ｄ）に示すように透明保持材１０に接合させる。次に、図１６（ｅ）のように平面ミラー１０１で撮像したい方向になるように保持部材２０１を手動操作で回転させる。最後に、図１６（ｆ）のように保護部材８を保持部材２０１に接合して動作を完了する。
【００５６】
このような構造であれば、回動のための装置が必要なく、極めて簡単な構造で異なる形状のミラーを置き換えることが可能である。
【００５７】
【発明の効果】
以上のように本発明によれば、単一の画像撮像素子に対して、複数の画角の反射鏡を有する構造であるため、異なる画角の画像を簡便に撮像することができる。
【００５８】
特に、反射面が一度に光軸回りの全方位の画像を撮像する場合においては、異なる画角の全方位画像を単一の画像撮像素子により撮像できる。
さらに、撮像に用いない反射鏡が光軸方向の全方位の画像を撮像する時の死角の位置に格納しているため、良好な画角で全方位の画像を撮像することが可能である。
【００５９】
さらに、異なる曲率を有する曲面の反射鏡で撮像した画像を合成することにより、３６０度のパノラマ画像の画角を広げることが可能となると同時に画像の解像度も向上することができる。
【００６０】
また、特に一方が全方位の画像を得ることができる反射鏡を有し、もう一方が平面ミラーを有する場合には、全方位の画像の一部を指示することにより、平面ミラーが所定の方向に回動し、指示した位置に対応する詳細な画像を撮像することができる。
【００６１】
さらに、全方位の画像に平面ミラーによる詳細な画像を重ねて表示することも可能である。
さらに、以上のような効果をアクチュエータなどの動力を用いずに、手動で簡便に行える構成を採用した場合には、単純で安価な構成で実現できる。
【図面の簡単な説明】
【図１】（実施の形態１）の画像入力装置の構成図
【図２】同実施の形態の画像入力装置の平面図
【図３】同実施の形態のカメラ部の位置関係の説明図
【図４】同実施の形態の異なる反射鏡の画角の違いの説明図
【図５】同実施の形態の動作を示すフローチャート図
【図６】同実施の形態において形状の異なる反射鏡で撮像された画像の説明図
【図７】同実施の形態において形状の異なる反射鏡で撮像された画像の合成結果を示した説明図
【図８】同実施の形態の画像入力装置の説明図
【図９】（実施の形態２）の画像入力装置の構成図
【図１０】同実施の形態の画像入力装置の構成図
【図１１】同実施の形態の動作を示すフローチャート図
【図１２】同実施の形態のカメラ部の動作の説明図
【図１３】同実施の形態の撮像画像の説明図
【図１４】同実施の形態の合成画像を示す説明図
【図１５】（実施の形態３）の画像入力装置の説明図
【図１６】同実施の形態の使用状態の説明図
【符号の説明】
１ カメラ部
２ 画像撮像素子
３ 結像レンズ
４ 結像レンズの光軸
５ａ 第一の反射鏡
５ｂ 第二の反射鏡
６ 保持部材
７ 回転装置
８ 保護部材
９ カメラ台座
１０ 透明保持材
１１ 画像記憶装置
１２ 幾何変換装置
１３ 合成処理装置
１４ 表示装置
１５ 制御装置
１６ａ，１６ｂ 双曲面の内部焦点
１７ 結像レンズ３の主点
１８ 回転中心軸
１００ カメラ部
１０１ 平面ミラー
１０２ 平面ミラー保持部材
１０３ 双曲面ミラー
１０４ 平面ミラー回転装置
１０５ 保持部材
１０６ 回転装置
１０７ 画像処理装置
１０８ 入力装置
１０９ 制御装置
【発明の属する技術分野】
本発明は、反射面によって反射した画像を撮像する画像入力装置に関するものである。
【０００２】
【従来の技術】
一般の単眼のカメラにおいては、一方向の画角の画像を撮像するように構成されている。これに対して、特許第２９３９０８７号や特開平１１−１７４６０３号公報などのように、反射面によって反射した画像を撮像するようにしてカメラの周囲の広い画角を一度に撮影する画像入力装置が知られている。
【０００３】
広い画角を一度に撮影するこの画像入力装置は、曲面の形状の一つの反射面をカメラの光軸上に配置し、その反射面による反射像を撮像することにより、１つのカメラでカメラの光軸まわりの３６０度の画像を撮像するように構成されており、いわゆる、全方位画像撮像装置と呼ばれている。
【０００４】
この全方位画像撮像装置は、一つのカメラに一つの反射曲面という極めて単純な構成により簡便に装置の構成が可能であるにも関わらず、死角のない画像を得ることができるため、空間認識装置として、ロボットの誘導などに適用されている。
【０００５】
前記反射面の形状は、カメラの光軸回りの軸回転対称の形状を有する場合が多く、例えば円錐、球、双曲面などの形状を有する。これらの反射面を用いた場合には、カメラに円形の画像が撮像され、円形の半径方向がカメラの光軸方向、円周方向がカメラの光軸回りの方向を示す全方位画像となる。
【０００６】
したがって、得られた円形の画像データを幾何変換すれば、カメラの光軸回りの全周の画像いわゆるパノラマ画像を再構築できる。特に、双曲面の場合には、双曲面の内部焦点の位置の一点から全方向を観測した時の画像が再生できるため、視点の移動のない違和感のないパノラマ画像が得られることが知られている。また、反射面の形状により、カメラの光軸方向に撮像できる範囲すなわち画角が異なることも知られている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記の全方位画像撮像装置のような反射面を有する画像入力装置では、以下のような課題を有する。
【０００８】
従来の装置では、一つの曲率を有した反射面に対して構成されているため、例えば、一つの曲率を有する双曲面の反射面を用いた構成の場合には、その双曲面の形状により画角が固定となるため、通常の可変倍率のカメラ、いわゆるズーム付きカメラのように画角の変更ができない。
【０００９】
また、全方位の画像を１つのカメラで撮像すると、３６０度全周の画像を１つの結像素子に結像するため、原理的に通常の視野のカメラに比べて空間解像度の低い画像となってしまう。そのため、同一のカメラで通常の視野の画像を撮像することが望まれるが、従来装置ではその要望を満たすことができない。
【００１０】
本発明は、反射面を有する画像入力装置において、全方位画像や通常の平面反射による画像などの異なる画角の画像を簡便に撮像できる画像入力装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の請求項１記載の画像入力装置は、画像撮像素子と、結像光学系と、互いに異なる形状を有する複数の反射面と、前記複数の反射面から任意の反射面を選択する選択手段とを設け、前記選択手段により選択した任意の反射面と前記結像光学系とが共働して前記結像光学系の光軸回りの画像を前記画像撮像素子に結像することを特徴とする。
【００１２】
本発明の請求項２記載の画像入力装置は、請求項１において、前記選択手段により選択された反射面を検出する検出手段と、前記検出手段の出力に応じて前記画像撮像素子から出力された画像を幾何変換処理する変換処理手段とを設けたことを特徴とする。
【００１３】
本発明の請求項３記載の画像入力装置は、請求項１において、前記選択手段により前記複数の反射面から選択する第一の反射面を、前記結像光学系の光軸上かつ前記画像撮像素子の結像面に相対する位置に配置し、前記第一の反射面とは異なる形状の第二の反射面を、前記結像光学系の光軸上かつ前記第一の反射面の背面位置に配置して保持する保持手段と、前記第一の反射面の位置と前記第二の反射面の位置を逆転させる反転手段とを設けたことを特徴とする。
【００１４】
本発明の請求項４記載の画像入力装置は、請求項３において、前記反転手段は、前記保持手段を前記結像光学系の光軸に垂直な軸回りに回転する回転機構であることを特徴とする。
【００１５】
本発明の請求項５記載の画像入力装置は、請求項１において、前記複数の反射面の第一の反射面は、前記結像光学系の光軸回りの全方向の画像を、前記画像撮像素子上に、ほぼ同心円状に結像する軸回転対称面であることを特徴とする。
【００１６】
本発明の請求項６記載の画像入力装置は、請求項５において、前記複数の反射面の第二の反射面は、前記第一の反射面と異なる曲率を有し、前記結像光学系の光軸方向において前記第一の反射面と異なる画角の全方向の画像を前記画像撮像素子上に、ほぼ同心円状に結像する軸回転対称面であることを特徴とする。
【００１７】
本発明の請求項７記載の画像入力装置は、請求項６において、前記第一の反射面が第一の双曲面であり、前記第二の反射面が前記第一の双曲面と異なる曲率の第二の双曲面であり、前記選択手段により、前記第一の反射面を選択した時の前記第一の双曲面の内部焦点の位置と、前記第二の反射面を選択した時の前記第二の双曲面の内部焦点の位置とが略一致することを特徴とする。
【００１８】
本発明の請求項８記載の画像入力装置は、請求項７において、前記第一の反射面を選択した時の前記第一の双曲面により結像した第一の画像と前記第二の反射面を選択した時の前記第二の双曲面により結像した第二の画像とを記憶する記憶手段と、前記記憶手段に記憶された前記第一の画像および第二の画像を、幾何変換し、１視点からの画像に変換する幾何変換手段と、前記変換処理手段により変換された第一の画像および第二の画像を合成処理する合成処理手段とを設けたことを特徴とする。
【００１９】
本発明の請求項９記載の画像入力装置は、請求項５において、前記複数の反射面の第二の反射面は、前記結像光学系の光軸回りの単一方向からの画像を、前記画像撮像素子上に結像する反射面であることを特徴とする。
【００２０】
本発明の請求項１０記載の画像入力装置は、請求項９において、前記複数の反射面の第二の反射面を駆動し、前記結像光学系の光軸回りの任意の方向からの画像を前記画像撮像素子上に結像させる方向選択手段を設けたことを特徴とする。
【００２１】
本発明の請求項１１記載の画像入力装置は、請求項１０において、前記複数の反射面の第一の反射面を用いて前記画像撮像素子に結像した前記結像光学系の光軸回りの全方向の画像を表示する表示手段と、前記表示手段に表示された表示画像の任意の領域を指示する指示手段と、前記方向選択手段が前記指示手段により指示された前記表示画像の領域に一致する方向からの画像を前記第二の反射面により前記画像撮像素子上に結像するように制御する制御手段とを設けたことを特徴とする。
【００２２】
本発明の請求項１２記載の画像入力装置は、請求項１１において、前記第一の反射面を用いて前記画像撮像素子上に結像した第一の画像を記憶する記憶手段と、前記記憶手段に記憶した第一の画像を幾何変換した変換画像を生成し、前記制御手段により制御された前記第二の反射面により前記画像撮像素子上に結像した第二の画像を前記変換画像に重ねる画像処理手段とを設けたことを特徴とする。
【００２３】
【発明の実施の形態】
以下、本発明の各実施の形態を図１〜図１６に基づいて説明する。
（実施の形態１）
図１〜図８は（実施の形態１）を示す。
【００２４】
図１，図２は（実施の形態１）の画像入力装置を示し、カメラ部とこのカメラ部の出力データを処理する処理装置とで構成されている。
１はカメラ部である。カメラ部１については、その断面形状を示している。カメラ部１は以下の部品により構成される。
【００２５】
２はＣＣＤまたはＣＭＯＳなどの画像撮像素子である。３は結像レンズで、結像レンズ３の光軸４の方向の像を結像し画像撮像素子２に画像を結像する。５ａは第一の反射鏡で、光軸４を中心とした回転対称の形状であり、双曲面形状である。５ｂは第二の反射鏡で、光軸４を中心とした回転対称の形状であり、第一の反射鏡とは異なる双曲面形状である。６は保持部材で、第一の反射鏡５ａと第二の反射鏡５ｂを保持している。７は反転手段としての回転装置で、保持部材６に連結して保持部材６を回転させ、第一の反射鏡５ａと第二の反射鏡５ｂの位置を逆転（図１では上下逆）する。この回転装置７は、自己の回転位置を認識する機能を有している。
【００２６】
９はカメラ台座で、画像撮像素子２と結像レンズ３と透明保持部材１０とを固定保持している。透明保持材１０は、ガラスなどの透明体の楕円柱または円柱の構造を有しており、第一の反射鏡５ａと第二の反射鏡５ｂ、保持部材６、回転装置７、保護部材８を、カメラ台座９上に、結像レンズ３から一定距離をもって位置決めするとともに、ガラス等の透明な材料で構成することにより、光軸４まわりの空間の画像を遮ることなく、反射鏡５ａまたは反射鏡５ｂで反射させることができる。
【００２７】
上記のカメラ部１の信号を処理する部分は次のように構成されている。
１１は画像記憶装置で、画像撮像素子２に結像した画像を取り込み記憶する。１２は幾何変換装置で、画像記憶装置１１に記憶された画像を幾何変換して、一点の視点から観測した時のようなパノラマ画像を生成する。１３は合成処理装置で、第一の反射鏡５ａと第二の反射鏡５ｂにより撮像して画像記憶装置１１に記憶され、さらに幾何変換装置１２により変換されたそれぞれの画像を合成した画像を生成する。１４は表示装置で、合成処理装置１３からの画像出力を表示する。１５は制御装置で、内部に保有するプログラムに記述された内容に応じて画像撮像素子２、回転装置７、画像記憶装置１１、幾何変換装置１２、合成処理装置１３の動作を制御する。
【００２８】
ここで、図３を用いて第一の反射鏡５ａと第二の反射鏡５ｂの位置関係について示す。
図３は図１，図２の画像入力装置のカメラ部１を示し、１６ａは第一の反射鏡５ａの双曲面の内部焦点、１６ｂは第二の反射鏡５ｂの双曲面の内部焦点を示している。１７は結像レンズ３の主点を示している。１８は保持部材６の回転装置７による回転中心軸を示している。矢印Ｄが回転中心軸１８の周りの回転方向を示している。第一の反射鏡５ａの双曲面と第二の反射鏡５ｂの双曲面の回転中心軸は、光軸４と一致しており、それらの双曲面の凸面は上下逆方向を向いている。
【００２９】
ここで、 内部焦点１６ａと回転中心軸１８の距離をＲａ、内部焦点１６ｂと回転中心軸１８の距離をＲｂとすると、
Ｒａ ＝ Ｒｂ
の式が成立するように構成する。ここで、双曲面形状の反射面によって反射結像した画像は、その内部焦点の位置から観測した画像に変換できることが知られている。
【００３０】
したがって、回転装置７により保持部材６が矢印Ｄの方向に回転し、第一の反射鏡５ａと第二の反射鏡５ｂの位置が入れ換わっても、それぞれの内部焦点と結像レンズ３の主点１７からの距離Ｌは不変となる。
【００３１】
そのため、第一の反射鏡５ａと第二の反射鏡５ｂから反射した全方向の画像を変換すると、空間上の同一視点からのパノラマ像が再生できる。
つぎに、図４（ａ）（ｂ）（ｃ）を用いて、第一の反射鏡５ａと第二の反射鏡５ｂによる画角の違いについて説明する。
【００３２】
図４（ａ）は第二の反射鏡５ｂで画像を撮像する時の画角を示し、図４（ｂ）は第一の反射鏡５ａで画像を撮像する時の画角を示している。図４（ｃ）は第一の反射鏡５ａと第二の反射鏡５ｂの画角を比較した図である。
【００３３】
図４（ａ）において、第二の反射鏡５ｂは光軸４の周りには３６０度で、光軸４方向には角度αの画角の画像を撮像する。一方、図４（ｂ）において、第一の反射鏡５ａは第二の反射鏡５ｂよりも曲率半径の小さい形状をしているため、光軸４の周りには３６０度で、かつ第二の反射鏡５ｂの場合に比べて、より光軸４方向に向かって結像レンズ３より遠い側を撮像することがわかる。
【００３４】
図４（ｃ）が画角の違いを明確にするために示した模式図である。点１９にそれぞれの内部焦点の位置を一致させて示している。図４（ｃ）に明かなように、それぞれの反射鏡での撮像できる画角は一部重なりながら、異なる画角を撮像していることがわかる。
【００３５】
制御装置１５は図５のステップ２０ａ〜２０ｉのように構成されている。
以下、制御装置１５の構成を、図５のフローチャートに従って説明する。
（ステップ２０ａ）回転位置の認識：
制御装置１５は回転装置７の位置を認識し、２つの反射鏡のうちどちらが画像撮像素子２の方向を向いているかを認識する。図１，図２の場合には第二の反射鏡５ｂが認識される。以下、初期の反射鏡の位置を図１，図２として説明する。
（ステップ２０ｂ）画像Ａの撮像：
制御装置１５は画像撮像素子２を駆動して画像を撮像する。この画像を画像Ａとする。画像Ａは、第二の反射鏡５ｂによって反射した画像である。図６（ａ）に画像Ａの模式図を示した。図６（ａ）のように、ドーナッツ型の画像が撮像され、画像Ａの円周方向θが図４（ａ）の光軸４回りの方向を示し、αは、図４（ａ）と同じく、光軸４方向の画角方向となる。
（ステップ２０ｃ）画像Ａの記憶：
ステップ２０ｂで撮像された画像は、画像記憶装置１１に送られ記憶される。このとき、第二の反射鏡５ｂを用いて撮像された画像Ａであることがわかるように区別して記憶しておく。
（ステップ２０ｄ）回転装置７の駆動：
制御装置１５は回転装置７を駆動し、第一の反射鏡５ａと第二の反射鏡５ｂの位置を逆転する。
（ステップ２０ｅ）画像Ｂの撮像：
制御装置１５は、画像撮像素子２を駆動して画像を撮像する。この画像を画像Ｂとする。画像Ｂは、第一の反射鏡５ａによって反射した画像である。図６（ｂ）に画像Ｂの模式図を示した。図６（ｂ）のように、ドーナッツ型の画像が撮像され、画像Ｂの円周方向θが図４（ｂ）の光軸４回りの方向を示し、βは、図４（ｂ）と同じく、光軸４方向の画角方向となる。
（ステップ２０ｆ）画像Ｂの記憶：
（ステップ２０ｅ）で撮像された画像は、画像記憶装置１１に送られ記憶される。このとき、第一の反射鏡５ａを用いて撮像された画像Ｂであることがわかるように区別して記憶しておく。
（ステップ２０ｇ）画像Ａ、画像Ｂの変換：
幾何変換装置１２により、画像記憶装置１１に記憶された画像Ａと画像Ｂをそれぞれパノラマ画像に変換する。図６（ａ）（ｂ）において、θ方向を長軸方向に、α方向およびβ方向を短軸方向となる矩形画像に幾何変換することによりパノラマ画像が生成できる。図７の破線２１が画像Ａをパノラマ画像に変換したパノラマ画像Ａ、図７の実線２２が画像Ｂをパノラマ画像に変換したパノラマ画像Ｂである。
【００３６】
幾何変換装置１２は、撮像した第一の反射鏡５ａと第二の反射鏡５ｂで異なる変換パラメータを内蔵しており、画像記憶装置１１から呼び出した画像の種類に応じて処理パラメータを入れ替えて処理を実行する。
（ステップ２０ｈ）画像Ａ、画像Ｂの合成：
図７は破線２１で示したパノラマ画像Ａと実線２２で示したパノラマ画像Ｂを合成した位置を示している。図４に示したように、破線２１で示したパノラマ画像Ａは、画角αの位置を撮像し、実線２２で示したパノラマ画像Ｂは、画角βの位置を撮像している。パノラマ画像Ａとパノラマ画像Ｂはいずれも、空間上同一の視点から観測した画像である。
【００３７】
したがって、図７のように合成して一枚の画像（２１−２２）を生成することにより、より画角の広いパノラマ画像を生成する。パノラマ画像Ａとパノラマ画像Ｂの互いに重なりあった領域では画像を補間し合って画像の解像度が向上している。
（ステップ２０ｉ）表示：
ステップ２０ｈにより生成された画像を、図１（ｂ）に示した表示装置１４に表示して処理を終わる。
【００３８】
図１，図２のように、単一の画像撮像素子に対して、複数の画角の反射鏡５ａ，５ｂを有する構造であるため、異なる画角の画像を簡便に撮像することができる。特に、反射面が一度に光軸回りの全方位の画像を撮像する場合においては、異なる画角の全方位画像を単一の画像撮像素子により撮像できる。
【００３９】
さらに、複数の反射鏡のうち撮像に用いない反射鏡が、画像を撮像する時の光軸方向の死角の位置に格納されているため、撮像方向を遮ることなく良好な画角で画像を撮像することが可能である。特に、全方位の画像を一度に得るような場合においては、死角が少ないため特に有効である。
【００４０】
さらに、図１，図２に示したような異なる曲率を有する二つの双曲面の反射鏡で撮像した画像を合成することにより、３６０度のパノラマ画像の画角を広げることが可能となると同時に画像の解像度も向上することができる。
【００４１】
なお、本実施の形態では、二つの双曲面の反射鏡を切り替える場合について示したが、必ずしも双曲面である必要はない。たとえば、図８（ａ）や図８（ｂ）のように、両者ともに円錐面や一方が球面でもかまわない。これらの場合も同様に３６０度のパノラマ画像が生成できるため、二つの異なる画角のパノラマ画像を得ることができ、これらを合成することにより画角を広げることが可能であることは言うまでもない。
【００４２】
なお、図２に示すように透明保持部材１０を楕円形状にしたのは、下記の理由による。
図１において第一の反射鏡５ａと第二の反射鏡５ｂを回転して位置を入れ替える場合に、小さな直径の円筒形であると第一，第二の反射鏡５ａ，５ｂが衝突して回転できない。そのため、第一，第二の反射鏡５ａ，５ｂの回転軌道に接触しない範囲でできるだけ小さい形状になるように、第一，第二の反射鏡５ａ，５ｂの先端が衝突しないように楕円形状に構成している。
【００４３】
さらに、透明保持部材１０は全周を覆っているので、光が通過する際の光の劣化（減衰，屈折）が周方向に均一になって、局所的に画像が劣化しない。
（実施の形態２）
図９〜図１４は（実施の形態２）を示す。
【００４４】
図９，図１０は（実施の形態２）の画像入力装置を示し、図１，図２と同様の作用を成すもの同一の符号を付けて説明を省略する。
図９，図１０の１００は（実施の形態２）のカメラ部である。カメラ部１００のうち、１０１は平面ミラーである。１０２は平面ミラー保持部材である。１０３は双曲面ミラーである。１０４は方向選択手段としての平面ミラー回転装置で、平面ミラー１０１と平面ミラー保持部材１０２を光軸４まわりに回転させる。１０５は保持部材で、平面ミラー１０１、平面ミラー保持部材１０２と双曲面ミラー１０３と平面ミラー回転装置１０４を保持している。１０６は回転装置で、保持部材１０５を光軸４方向に回転させることにより、平面ミラー１０１と双曲面ミラー１０３の位置を逆転（図９，図１０では上下）させることができる。
【００４５】
上記のカメラ部１００の信号を処理する部分は次のように構成されている。
１０７は画像処理装置で、画像記憶装置１１に記憶された画像に対して加工処理を施して表示装置１４に表示する。１０８は入力装置で、表示装置１４に表示された画像に対して位置の指定などの指示を行う装置である。１０９は制御装置で、平面ミラー回転装置１０４と回転装置１０５と画像撮像素子２と画像記憶装置１１と画像処理装置１０７を内部に保有するプログラムに記述された内容に応じて制御を行う。
【００４６】
制御装置１０９は図１１のステップ１１０ａ〜１１０ｉのように構成されている。
図１２は図９，図１０におけるカメラ部１００の動作を示した説明図である。
【００４７】
図１３は図９，図１０におけるカメラ部１００により撮像された全方位画像の説明図である。
図１４は図９，図１０における画像処理装置１０７により処理され表示装置１４に表示された合成画像の説明図である。
【００４８】
以下、制御装置１０９の構成を、図１１のフローチャートに従って説明する。
（ステップ１１０ａ）全方位画像の撮像：
双曲面ミラー１０３の位置が、図７に示したように結像レンズ３に相対する位置にあることを確認後、画像撮像素子２を動作させて画像を撮像する。図１２（ａ）がステップ１１０ａ動作時のカメラ部１００を示す。
【００４９】
図１３が撮像された全方位画像である。θが光軸４周りを示し、αが光軸４方向を示しており、光軸４周りの全方向の画像が撮像される。このような画像を、全方位画像と呼ぶことにする。
（ステップ１１０ｂ）全方位画像の記憶：
画像記憶装置１１に全方位画像を記憶する。
（ステップ１１０ｃ）全方位画像の表示：
画像記憶装置１１に記憶された全方位画像を表示装置１４に表示する。
なお、画像処理装置１０７は、画像記憶装置１１から表示装置１４に画像をスルーする。
（ステップ１１０ｄ）視線方向の指示：
図１３に示した全方位画像のうち、任意の点を入力装置１０８により入力する。入力する点の選択は、全方位画像のうち、より詳細な画像を得たい場所を指示する。図１３における点１１１が入力した点であるとする。
（ステップ１１０ｅ）反射鏡の上下反転：
制御装置１０９が回転装置１０５に働きかけて、保持部材１０５を光軸４方向に回転させることにより、平面ミラー１０１と双曲面ミラー１０３の位置を逆転させる。図１２（ｂ）が（ステップ１１０ｅ）において平面ミラー１０１が回転した状態を示す。
（ステップ１１０ｆ）平面ミラーの方向制御：
平面ミラー１０１は光軸４周りの一方向のみの画像を反射する。したがって、（ステップ１１０ｄ）で指定した点１１１の位置に対応する光軸４まわりの方向を向くように、平面ミラー回転装置１０４を回動させる。図１２（ｃ）が、平面ミラ−が平面ミラー回転装置１０４により回動している状態を示す。
（ステップ１１０ｆ）平面反射画像の撮像：
画像撮像素子２を動作させて平面ミラー１０１で反射した画像（平面反射画像と呼ぶ）を撮像する。
（ステップ１１０ｇ）平面反射画像の記憶：
画像記憶装置１１に平面反射画像を記憶する。
（ステップ１１０ｈ）全方位画像と平面反射画像の合成：
画像記憶装置１１に記憶された全方位画像を画像処理装置１０７が呼び出し、パノラマ画像に変換する。図１４の１１２が、図１３の全方位画像を幾何変換して展開して得られたパノラマ画像である。ここで、点１１３が図１３における点１１１に対応する位置を示している。次に、画像記憶装置１１から平面反射画像を呼び出して、パノラマ画像に合成する。１１４が平面反射画像が張り付けられた場所を示している。
【００５０】
このように、双曲面ミラー１０３により得られた全方位画像の一部を指示すると、平面ミラー１０１が所定の方向に回動し、指示した位置に対応する詳細な画像を撮像することができる。
【００５１】
なお、（実施の形態２）では全方位画像に平面反射画像を合成したが、必ずしも重ねる必要はなく、平面反射画像を直接に表示装置１４に示しても、全方位の画像の一部を視線方向を詳細に観測する目的を達成できる。
【００５２】
さらに、（実施の形態２）では双曲面ミラーを用いたが、一度に全方位の画像を得ることができれば、その限りでなく、円錐、球などの形状でもよい。
（実施の形態３）
図１５と図１６は（実施の形態３）を示す。
【００５３】
（実施の形態１）（実施の形態２）では、動作を制御装置の制御により自動で動作させていたが、必ずしも自動制御する必要はない。たとえば、図１５に示したような構造にすれば、極めて簡便にミラーの回動が可能である。図１６（ａ）〜（ｆ）は使用状態の説明図である。
【００５４】
図１５（ａ）（ｂ）において、２００がカメラ部である。カメラ部２００において、図１，図２と同様の作用をなすものには同一の符号を付けて説明を省略する。
【００５５】
２０１が保持部材で、上下に平面ミラー１０１と双曲面ミラー１０３とを保持している。ここで保持部材２０１は、図１６（ｂ）のように透明保持材１０Ｃならびに保護部材８とは分離できるような構造となっている。そこで、図１６（ｃ）のように保持部材２０１を手動操作で回転させて再び図１６（ｄ）に示すように透明保持材１０に接合させる。次に、図１６（ｅ）のように平面ミラー１０１で撮像したい方向になるように保持部材２０１を手動操作で回転させる。最後に、図１６（ｆ）のように保護部材８を保持部材２０１に接合して動作を完了する。
【００５６】
このような構造であれば、回動のための装置が必要なく、極めて簡単な構造で異なる形状のミラーを置き換えることが可能である。
【００５７】
【発明の効果】
以上のように本発明によれば、単一の画像撮像素子に対して、複数の画角の反射鏡を有する構造であるため、異なる画角の画像を簡便に撮像することができる。
【００５８】
特に、反射面が一度に光軸回りの全方位の画像を撮像する場合においては、異なる画角の全方位画像を単一の画像撮像素子により撮像できる。
さらに、撮像に用いない反射鏡が光軸方向の全方位の画像を撮像する時の死角の位置に格納しているため、良好な画角で全方位の画像を撮像することが可能である。
【００５９】
さらに、異なる曲率を有する曲面の反射鏡で撮像した画像を合成することにより、３６０度のパノラマ画像の画角を広げることが可能となると同時に画像の解像度も向上することができる。
【００６０】
また、特に一方が全方位の画像を得ることができる反射鏡を有し、もう一方が平面ミラーを有する場合には、全方位の画像の一部を指示することにより、平面ミラーが所定の方向に回動し、指示した位置に対応する詳細な画像を撮像することができる。
【００６１】
さらに、全方位の画像に平面ミラーによる詳細な画像を重ねて表示することも可能である。
さらに、以上のような効果をアクチュエータなどの動力を用いずに、手動で簡便に行える構成を採用した場合には、単純で安価な構成で実現できる。
【図面の簡単な説明】
【図１】（実施の形態１）の画像入力装置の構成図
【図２】同実施の形態の画像入力装置の平面図
【図３】同実施の形態のカメラ部の位置関係の説明図
【図４】同実施の形態の異なる反射鏡の画角の違いの説明図
【図５】同実施の形態の動作を示すフローチャート図
【図６】同実施の形態において形状の異なる反射鏡で撮像された画像の説明図
【図７】同実施の形態において形状の異なる反射鏡で撮像された画像の合成結果を示した説明図
【図８】同実施の形態の画像入力装置の説明図
【図９】（実施の形態２）の画像入力装置の構成図
【図１０】同実施の形態の画像入力装置の構成図
【図１１】同実施の形態の動作を示すフローチャート図
【図１２】同実施の形態のカメラ部の動作の説明図
【図１３】同実施の形態の撮像画像の説明図
【図１４】同実施の形態の合成画像を示す説明図
【図１５】（実施の形態３）の画像入力装置の説明図
【図１６】同実施の形態の使用状態の説明図
【符号の説明】
１ カメラ部
２ 画像撮像素子
３ 結像レンズ
４ 結像レンズの光軸
５ａ 第一の反射鏡
５ｂ 第二の反射鏡
６ 保持部材
７ 回転装置
８ 保護部材
９ カメラ台座
１０ 透明保持材
１１ 画像記憶装置
１２ 幾何変換装置
１３ 合成処理装置
１４ 表示装置
１５ 制御装置
１６ａ，１６ｂ 双曲面の内部焦点
１７ 結像レンズ３の主点
１８ 回転中心軸
１００ カメラ部
１０１ 平面ミラー
１０２ 平面ミラー保持部材
１０３ 双曲面ミラー
１０４ 平面ミラー回転装置
１０５ 保持部材
１０６ 回転装置
１０７ 画像処理装置
１０８ 入力装置
１０９ 制御装置
Claims (12)
- 画像撮像素子と、
結像光学系と、
互いに異なる形状を有する複数の反射面と、
前記複数の反射面から任意の反射面を選択する選択手段と
を設け、
前記選択手段により選択した任意の反射面と前記結像光学系とが共働して前記結像光学系の光軸回りの画像を前記画像撮像素子に結像する
画像入力装置。 - 前記選択手段により選択された反射面を検出する検出手段と、
前記検出手段の出力に応じて前記画像撮像素子から出力された画像を幾何変換処理する変換処理手段とを設けた
請求項１記載の画像入力装置。 - 前記選択手段により前記複数の反射面から選択する第一の反射面を、前記結像光学系の光軸上かつ前記画像撮像素子の結像面に相対する位置に配置し、前記第一の反射面とは異なる形状の第二の反射面を、前記結像光学系の光軸上かつ前記第一の反射面の背面位置に配置して保持する保持手段と、
前記第一の反射面の位置と前記第二の反射面の位置を逆転させる反転手段を有する
請求項１記載の画像入力装置。 - 前記反転手段は、前記保持手段を前記結像光学系の光軸に垂直な軸回りに回転する回転機構である
請求項３記載の画像入力装置。 - 前記複数の反射面の第一の反射面は、前記結像光学系の光軸回りの全方向の画像を、前記画像撮像素子上に、ほぼ同心円状に結像する軸回転対称面である
請求項１記載の画像入力装置。 - 前記複数の反射面の第二の反射面は、前記第一の反射面と異なる曲率を有し、前記結像光学系の光軸方向において前記第一の反射面と異なる画角の全方向の画像を前記画像撮像素子上に、ほぼ同心円状に結像する軸回転対称面である
請求項５記載の画像入力装置。 - 前記第一の反射面が第一の双曲面であり、前記第二の反射面が前記第一の双曲面と異なる曲率の第二の双曲面であり、前記選択手段により、前記第一の反射面を選択した時の前記第一の双曲面の内部焦点の位置と、前記第二の反射面を選択した時の前記第二の双曲面の内部焦点の位置とが略一致する
請求項６記載の画像入力装置。 - 前記第一の反射面を選択した時の前記第一の双曲面により結像した第一の画像と前記第二の反射面を選択した時の前記第二の双曲面により結像した第二の画像とを記憶する記憶手段と、
前記記憶手段に記憶された前記第一の画像および第二の画像を、幾何変換し、１視点からの画像に変換する幾何変換手段と、
前記変換処理手段により変換された第一の画像および第二の画像を合成処理する合成処理手段と
を設けた請求項７記載の画像入力装置。 - 前記複数の反射面の第二の反射面は、前記結像光学系の光軸回りの単一方向からの画像を、前記画像撮像素子上に結像する反射面である
請求項５記載の画像入力装置。 - 前記複数の反射面の第二の反射面を駆動し、前記結像光学系の光軸回りの任意の方向からの画像を前記画像撮像素子上に結像させる方向選択手段を設けた
請求項９記載の画像入力装置。 - 前記複数の反射面の第一の反射面を用いて前記画像撮像素子に結像した前記結像光学系の光軸回りの全方向の画像を表示する表示手段と、
前記表示手段に表示された表示画像の任意の領域を指示する指示手段と、
前記方向選択手段が前記指示手段により指示された前記表示画像の領域に一致する方向からの画像を前記第二の反射面により前記画像撮像素子上に結像するように制御する制御手段と
を設けた請求項１０記載の画像入力装置。 - 前記第一の反射面を用いて前記画像撮像素子上に結像した第一の画像を記憶する記憶手段と、
前記記憶手段に記憶した第一の画像を幾何変換した変換画像を生成し、前記制御手段により制御された前記第二の反射面により前記画像撮像素子上に結像した第二の画像を前記変換画像に重ねる画像処理手段と
を設けた請求項１１記載の画像入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069575A JP4326104B2 (ja) | 2000-03-14 | 2000-03-14 | 画像入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069575A JP4326104B2 (ja) | 2000-03-14 | 2000-03-14 | 画像入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001257914A JP2001257914A (ja) | 2001-09-21 |
| JP4326104B2 true JP4326104B2 (ja) | 2009-09-02 |
Family
ID=18588423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000069575A Expired - Fee Related JP4326104B2 (ja) | 2000-03-14 | 2000-03-14 | 画像入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4326104B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3841621B2 (ja) * | 2000-07-13 | 2006-11-01 | シャープ株式会社 | 全方位視覚センサー |
| JP3979522B2 (ja) * | 2002-02-21 | 2007-09-19 | シャープ株式会社 | カメラ装置及び監視システム |
| JP5287706B2 (ja) * | 2009-12-25 | 2013-09-11 | ソニー株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
| JP4819960B1 (ja) * | 2010-08-24 | 2011-11-24 | 暁 吉井 | 全視野投影装置および全視野映像システム |
| JP2014164216A (ja) * | 2013-02-27 | 2014-09-08 | Omron Corp | 広角撮像装置 |
| CN105530418B (zh) * | 2015-02-13 | 2019-09-27 | 福州瑞芯微电子股份有限公司 | 便携式电子设备，及其中的摄像结构 |
| CN106550181B (zh) * | 2016-11-09 | 2020-01-03 | 华为机器有限公司 | 摄像头模组和终端设备 |
| JP7313478B2 (ja) | 2019-05-05 | 2023-07-24 | 華為技術有限公司 | コンパクトカメラモジュール、端末デバイス、画像化方法、及び画像化装置 |
-
2000
- 2000-03-14 JP JP2000069575A patent/JP4326104B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001257914A (ja) | 2001-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6322753B2 (ja) | アクティブな中心窩能力を有する広角（ｆｏｖ）結像デバイス | |
| JP3841621B2 (ja) | 全方位視覚センサー | |
| RU2201607C2 (ru) | Всенаправленное устройство формирования изображения | |
| JP5514072B2 (ja) | 風景の画像を異なる解像度で取り込むことを可能にするイメージング装置 | |
| JP2003510666A (ja) | トラッキングカメラ | |
| US7298548B2 (en) | Multi-directional viewing and imaging | |
| RU2000117577A (ru) | Всенаправленное устройство формирования изображения | |
| JPH08125835A (ja) | 全方位撮影装置及び全方位画像合成装置 | |
| JP4326104B2 (ja) | 画像入力装置 | |
| JP2001333303A (ja) | 全方位視覚システム | |
| TW522254B (en) | A wide-angle camera device | |
| JP2000165738A (ja) | 撮像装置 | |
| JPH114373A (ja) | 全周パノラマ画像構成方法及び装置 | |
| JPH1054939A (ja) | 反射式画角変換光学装置及びこれを用いた光学システム | |
| KR101789317B1 (ko) | 멀티스케일 이미징 시스템 | |
| JPH06141211A (ja) | 表示システムおよび撮像装置 | |
| US7253969B2 (en) | Spherical and nearly spherical view imaging assembly | |
| JP2000358174A (ja) | 画像入力システム | |
| KR101873987B1 (ko) | 멀티스케일 이미징 시스템 | |
| KR101957353B1 (ko) | 미러의 회전이 가능한 멀티스케일 이미징 시스템 | |
| JP3526805B2 (ja) | 対物鏡と広角画像入力装置 | |
| KR101815696B1 (ko) | 분할 이미징 시스템 | |
| KR101957357B1 (ko) | 단일 미러를 사용한 멀티스케일 이미징 시스템 | |
| KR101844063B1 (ko) | 멀티스케일 이미징 시스템 | |
| KR101819977B1 (ko) | 듀얼 렌즈 멀티스케일 이미징 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070314 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090609 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |