JP2004072349A - 撮像装置、及びその制御方法 - Google Patents
撮像装置、及びその制御方法 Download PDFInfo
- Publication number
- JP2004072349A JP2004072349A JP2002228025A JP2002228025A JP2004072349A JP 2004072349 A JP2004072349 A JP 2004072349A JP 2002228025 A JP2002228025 A JP 2002228025A JP 2002228025 A JP2002228025 A JP 2002228025A JP 2004072349 A JP2004072349 A JP 2004072349A
- Authority
- JP
- Japan
- Prior art keywords
- view
- field
- image
- imaging
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】全体径が小さな撮像装置によって、1つの視点から広範囲の視界を同時刻に高解像度で撮像すること。
【解決手段】第1の方向を撮像するカメラ201と、第2の方向を撮像するカメラ202と、カメラ201の視界を第1の視界に制御するミラー221と、カメラ202の視界を第1の視界と水平面において隣接する第2の視界に制御するミラー222とを備え、ミラー221とミラー222とは互いに稜線を共有せず、且つ前記第1の視界を有する仮想の撮像手段のレンズ中心と、前記第2の視界を有する仮想の撮像手段のレンズ中心とが略一致する。
【選択図】 図2
【解決手段】第1の方向を撮像するカメラ201と、第2の方向を撮像するカメラ202と、カメラ201の視界を第1の視界に制御するミラー221と、カメラ202の視界を第1の視界と水平面において隣接する第2の視界に制御するミラー222とを備え、ミラー221とミラー222とは互いに稜線を共有せず、且つ前記第1の視界を有する仮想の撮像手段のレンズ中心と、前記第2の視界を有する仮想の撮像手段のレンズ中心とが略一致する。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、広範囲の視界を撮像する撮像装置及びその制御方法に関するものである。
【0002】
【従来の技術】
移動体に搭載された撮像装置によって現実空間を撮像し、撮像された実写画像データをもとに、撮像した現実空間を計算機を用いて仮想空間として表現する試みが提案されている(例えば遠藤、片山、田村、廣瀬、渡辺、谷川:“移動車輌搭載カメラを用いた都市空間の電脳映像化について”(信学ソサイエティ、PA−3−4、pp。276−277、1997年)、または廣瀬、渡辺、谷川、遠藤、片山、田村:“移動車輌搭載カメラを用いた電脳映像都市空間の構築(2)−実写画像を用いた広域仮想空間の生成−”(日本バーチャルリアリティ学会第2回大会論文集、pp。67−70、1997年)などを参照)。
【0003】
移動体に搭載された撮像装置によって撮像された実写画像データをもとに、撮像した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のCG技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage−Based Rendering(IBR)技術が近年注目を集めている。IBR技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。IBR技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【0004】
このようなIBR技術を用いてウォークスルー可能な仮想空間を構築するためには、使用者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、使用者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。
【0005】
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているGPS(Global Positioning System)に代表される人工衛星を用いた測位システムを利用するのが一般的である。GPSなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている(特開平11−168754)。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
【0006】
このような仮想空間内のウォークスルーにおいては、使用者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ実写画像で保存しておき、使用者の仮想空間における視点位置と視線方向とに基づいてパノラマ実写画像から再生すべき部分画像を切り出し、これを表示することが考えられる。
【0007】
パノラマ実写画像のデータ形式としては、1つの視点からの同時刻の広視野(または全周)画像であることが望ましい。このような画像を撮像したい場合、複数のカメラの視界を多角錐ミラーによって反射させて撮像する装置が用いられていた。この例を図1に示す。
【0008】
図1に例示するように、角錐ミラー12はカメラ部11のカメラ台数と同じ数の平面鏡から構成される。平面鏡は隣接する平面鏡と角錐の稜線を共有するように配置されている。カメラ部11を構成するそれぞれのカメラは、対応する平面鏡に反射した周囲の情景を撮像する。各平面鏡による各カメラのレンズ中心の虚像が一致するように配置すれば、撮像された画像は1つの視点からの同時刻の画像となる。なお、各ミラーは、各ミラーに接する同図鉛直方向の直線15と45度の角度を保っている。
【0009】
【発明が解決しようとする課題】
しかしながら上記のような撮像装置では、装置の全体径を小さくしようとすると複数のカメラが物理的に干渉してしまうため、小型化に限界があるという課題を有していた。
【0010】
本発明は以上の問題に鑑みてなされたものであり、全体径が小さな撮像装置によって、1つの視点から広範囲の視界を同時刻に高解像度で撮像することを目的とする。
【0011】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の撮像装置は以下の構成を備える。
【0012】
すなわち、第1の方向を撮像する第1の撮像手段と、
第2の方向を撮像する第2の撮像手段と、
前記第1の撮像手段の視界を該視界と異なる第1の視界に制御する第1の視界制御手段と、
前記第2の撮像手段の視界を前記第1の視界と水平面において隣接する第2の視界に制御する第2の視界制御手段とを備え、
前記第1の視界制御手段と前記第2の視界制御手段とは互いに稜線を共有せず、且つ前記第1の視界を有する仮想の撮像手段のレンズ中心と、前記第2の視界を有する仮想の撮像手段のレンズ中心とが略一致することを特徴とする。
【0013】
本発明の目的を達成するために、例えば本発明の撮像装置の制御方法は以下の構成を備える。
【0014】
すなわち、第1の方向を第1の撮像手段により撮像する工程と、
第2の方向を第2の撮像手段により撮像する工程と、
第1の視界制御手段により、前記第1の撮像手段の視界を該視界と異なる第1の視界に制御する工程と、
第2の視界制御手段により、前記第2の撮像手段の視界を前記第1の視界と水平面において隣接する第2の視界に制御する工程を有し、
前記第1の視界制御手段と前記第2の視界制御手段とは互いに稜線を共有せず、且つ前記第1の視界を有する仮想の撮像手段のレンズ中心と、前記第2の視界を有する仮想の撮像手段のレンズ中心とが略一致することを特徴とする。
【0015】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【0016】
[第1の実施形態]
本実施形態では、全体径が小さな(装置規模が小さな)撮像装置によって、1つの視点から広範囲の視界を同時刻に高解像度で撮像する撮像装置及びその制御方法を示す。
【0017】
まず説明を簡単にするために、2台のカメラと、カメラの視界を反射制御させるための2枚のミラーとからなる撮像装置を例に取り、この撮像装置について以下、説明する。
【0018】
図2(a)は2台のカメラ201,202と2枚のミラー221,222による撮像装置の構成を説明するための模式図である。カメラ201はその視線方向が同図鉛直方向下向きとなるように、カメラ202はその視線方向が鉛直方向上向きとなるように固定され、カメラ201とミラー221との同図鉛直方向の距離(第1の距離)と、カメラ202とミラー222との同図鉛直方向の距離(第2の距離)とは互いに等しく、夫々後述の距離を保っている。
【0019】
またミラー221、222は夫々同じ形状で、互いに稜線を共有しないように配置されており、夫々同図鉛直方向の直線231,232と45度の角度を保っている。すなわち、カメラ201の視線方向ベクトルのミラー221への入射角、カメラ202の視線方向ベクトルのミラー222への入射角は共に45度となる。本実施形態では、ミラー221、222が稜線を共有しないように互い違いに配置されている。
【0020】
同図の撮像装置を同図鉛直方向上から見た模式図を図2(b)に示す。同図において点線で示されている部分は裏側(非反射面)であることを示す。カメラ201の視界はミラー221で反射され、視界241となる。一方、カメラ202の視界はミラー222で反射され、視界242となる。上記第1の距離と上記第2の距離とは同じであるので、視界241の視野角と視界242の視野角とは同じになる。よって上記第1の距離、上記第2の距離を共に所定の距離に合わせることで、視界241と視界242とは水平面(上記鉛直方向を法線方向とする平面)において隣接することになり、カメラ201とカメラ202で網羅できる視界は視界243(視界241+視界242)となる。
【0021】
また、視界241の視野角と視界242の視野角とは同じであるので、視界241を有する仮想のカメラのレンズ中心位置と視界242を有する仮想のカメラのレンズ中心位置とはほぼ一致し、このレンズ中心位置は視界243を有する仮想のカメラのレンズ中心位置250となる。すなわち、上記カメラ201とカメラ202とで、視界243を有する1つの仮想のカメラを実現することができる。
【0022】
以上のように、180度異なる方向に向けて配置された2台のカメラの視界を2枚のミラーで反射させ、反射させた夫々の視界を有する2台の仮想のカメラのレンズ中心同士を一致させることで、全体のカメラで網羅できる視界を広げることができ、より広い視界の画像を撮像することができる。またそれに加え上記構成によれば、2台のカメラが大きく離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0023】
次に、同様の仕組みを用いてより広範囲の視界を得るために、6台のカメラと、6枚のミラーを用いた撮像装置について以下説明する。図3は、6台のカメラと、6枚のミラーにより構成される撮像装置の上面図と側面図とにおいて、各部の対応関係を示す図である。
【0024】
同図に示したカメラとミラーの夫々2つずつの配置関係は図2に示した配置に基づいている。図3において301〜306はカメラで、321〜326はミラーである。ここで、ミラー321〜326は互いに稜線を共有していない。図3の上の図は、撮像装置の上面図である。図3の下の図は撮像装置の側面図である。
【0025】
同図において、カメラ301の視界はミラー321で反射し、図2を用いて説明した原理に従って視界361となる。同様に、カメラ302〜306の視界は夫々ミラー322〜326で反射し、夫々視界362〜366となる。夫々のカメラとミラーの2つずつは図2を用いて説明した構成を備えるので、夫々の視界361〜366を有する仮想のカメラのレンズ中心位置は点399でほぼ一致し、その結果、カメラ301〜カメラ306で網羅できる視界は(視界361+視界362+視界363+視界364+視界365+視界366)となり、視界380となる。つまり、この視界380の範囲内、すなわち全周方向の情景が撮像可能となる。
【0026】
以上の構成により、図2に示した構成で得られる視界に比して、より広い視野角の視界を得ることができると共に、この視界の画像を撮像することができる。また上記構成により、カメラが1台置きに大きく離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0027】
以上説明した1つの視点からの同時刻の画像を撮像するための本実施形態における撮像装置の構成を図4に示す。
【0028】
夫々のカメラには画像記録装置が接続されており、夫々のカメラによって撮像された画像は夫々のカメラに接続された画像記録装置に送られ、記憶される。なお夫々のカメラは動画像を撮像しており、1フレーム毎の静止画を画像記録装置に送り、画像記録装置は送られた1フレーム毎の画像を順次記録する。
【0029】
また夫々のカメラには同期信号発生装置が接続されている。各カメラが同時刻に画像を撮像し、各画像記録装置が同時刻に撮像された画像を記録するためには、夫々のカメラが同期を取って撮像を行う必要がある。そこで同期信号発生装置は、夫々のカメラに対して同期信号を送る。この同期信号は、例えばシャッター同期を取るための信号である。これにより、夫々のカメラは同期を取って撮像を行うことができる。
【0030】
また夫々の画像記録装置にはタイムコード発生装置が接続されている。タイムコード発生装置は、各画像記録装置内に逐次記録される画像に、タイムコード発生装置がカウントしている時刻(撮像時刻)をデータとして添付する。このように、撮像された各画像に撮像時刻を添付することで、各画像記録装置内に記憶された画像において、所望の時刻に撮像された画像群を特定することができ、この画像群を用いて所望の時刻の広視野角の画像を得ることができる。なお、画像に添付するのは撮像時刻に限定されることなく、他にも例えば、GPS等によって取得した位置データでもよい。また、画像記録装置に記録する順番に画像に1、2、3、4、、、とインデックスを付けても良い。つまり、夫々の画像記録装置が保持する画像群において、同時刻に撮像された画像を特定できれば良い。
【0031】
以上の構成を備える撮像装置を用いて1つの視点からの同時刻における広視野角の画像を撮像する処理を、図5に示す同処理のフローチャートを用いて説明する。
【0032】
まずステップS501で各カメラで基準物体を撮影し、撮影した基準物体がきちんと写る(カメラの視界に基準物体が入っている、ピントが合っている、など)ように歪曲収差補正のパラメータ及びカメラの内部パラメータ(焦点距離など)を求める(調節する)。なお、直接基準物体を撮像できないカメラ、つまりミラーによってその視界を反射させることで、間接的でしか基準物体を撮像することができないカメラについては、ミラーを用いて基準物体を撮像し、上述のパラメータを求める(調節する)。パラメータを求める(調節する)処理はカメラが自動的に行っても良いし、手動で行っても良い。
【0033】
次にステップS502で、各カメラで撮像する画像を繋ぎ合わせるための後述する処理を行う。具体的には、隣り合ったカメラの夫々の視界をまたぐように物体が存在する場合、夫々のカメラで死角が無く、この物体を撮像できるようにカメラの位置姿勢を補正したりする。
【0034】
ステップS503では、隣り合った2台のカメラの両方に写るような大きな基準物体を撮影し、夫々のカメラの相対位置、姿勢を求める。これは後述する各カメラで撮像する画像を繋ぎ合わせるための処理であって、詳しくは後述する。この作業を全てのカメラのペアについて求める。
【0035】
そして最後にステップS504で、各カメラを同期させて、同時刻の画像を撮像する。撮像した画像には上述の通り、撮像時刻のデータがタイムコードとして添付される。
【0036】
以上の処理によって、1つの視点からの同時刻における広視野角の画像を生成することができる。次に撮像された画像を繋ぎ合わせる処理を図6に示した同処理のフローチャートを用いて説明する。
【0037】
まずステップS601で、撮像した画像を取り込む。具体的には図4に示した画像記録装置から一般のパーソナルコンピュータ(PC)などの計算機に取り込む。なお、画像記録装置にPCを用いている場合には、本ステップにおける処理は、例えば撮像した画像をハードディスクなどの外部記憶装置に保存した場合、RAMなどのメモリに読み込む処理となる。よって以降の処理はPCによって行われる処理となる。
【0038】
次にステップS602で、取り込んだ画像の歪曲収差や色合い、明暗などのばらつきを補正する。具体的には例えば、隣の画像と隣接する部分の各画素値を、隣接する画像間の色合い、明暗がなだらかになるように変化させるなどの処理を行う。なお、この処理は一般には画像処理ソフトを用いて行う。
【0039】
そして最後にステップS603で、画像に添付されたタイムコードを参照して、同時刻に撮像された画像を撮像時のステップS503で行ったカメラの位置、姿勢に応じて繋ぎ合わせる。具体的には、各カメラの位置姿勢に応じて、繋げる画像の順番や、隣り合った画像同士の重なりなどを決める。
【0040】
以上の説明により、本実施形態における撮像装置及びその制御方法によって、1つの視点からの同時刻における広範囲の視界を得ることができる。その結果、得た視界の範囲内の画像を撮像することができる。
【0041】
また、カメラが1台置きに大きく離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。また、カメラを複数用いて撮像を行っているので、単一のカメラで撮像するよりも高解像度の画像を得ることができる。
【0042】
なお本実施形態ではカメラ6つで全周方向の情景を撮像していたが、これに限定されることなく、任意の台数のカメラでもよい。また本実施形態ではカメラは動画像を撮像していたが、これに限定されることなく、静止画を撮像するカメラでもよい。
【0043】
[第2の実施形態]
本実施形態では、1つの視点から広範囲の視界を同時刻に高解像度で撮像する全体径が小さな撮像装置の別の例を示す。
【0044】
まず説明を簡単にするために、2台のカメラと、カメラの視界を反射制御させるための2枚のミラーとからなる撮像装置を例に取り、この撮像装置について以下、説明する。
【0045】
図7(a)は2台のカメラ701,702と2枚のミラー721,722による撮像装置の構成を説明するための模式図である。カメラ701、702は共にその視線方向が同図鉛直方向下向きとなるよう固定され、カメラ701とミラー721との同図鉛直方向の距離(第1の距離)は、カメラ702とミラー722との同図鉛直方向の距離(第2の距離)よりもΔdだけ短くなっている。
【0046】
またミラー721、722は夫々同じ形状で、互いに稜線を共有しないように配置されており、ミラー722はミラー721に対して同図鉛直上方向にΔdだけ移動させた位置に設置されている。また夫々のミラー721,722は同図鉛直方向の直線731,732と45度の角度を保っている。すなわち、カメラ701の視線方向ベクトルのミラー721への入射角、カメラ702の視線方向ベクトルのミラー722への入射角は共に45度となる。
【0047】
同図の撮像装置を同図鉛直方向上から見た模式図を図7(b)に示す。カメラ701の視界はミラー721で反射され、視界741となる。一方、カメラ702の視界はミラー722で反射され、視界742となる。視界741の視野角と視界742の視野角とは同じである。上記第1の距離は、上記第2の距離よりもΔdだけ短いので、視界741と視界742とは水平面(上記鉛直方向を法線方向とする平面)において隣接することになり、カメラ701とカメラ702で網羅できる視界は視界743(視界741+視界742)となる。
【0048】
また、視界741の視野角と視界742の視野角とは同じであるので、視界741を有する仮想のカメラのレンズ中心位置と視界742を有する仮想のカメラのレンズ中心位置とはほぼ一致し、このレンズ中心位置は視界743を有する仮想のカメラのレンズ中心位置750となる。すなわち、上記カメラ701とカメラ702とで、視界743を有する1つの仮想のカメラを実現することができる。
【0049】
以上のように、同じ方向に向けて配置された2台のカメラの視界を、位置を若干ずらした2枚のミラーで反射させ、反射させた視界を有する仮想のカメラのレンズ中心同士を一致させることで、全体のカメラで網羅できる視界を広げることができ、より広い視界の画像を撮像することができる。この方法では、2台のカメラが若干離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0050】
次に、同様の仕組みを用いてより広範囲の視界を得るために、6台のカメラと、6枚のミラーを用いた撮像装置について以下説明する。図8は、6台のカメラと、6枚のミラーにより構成される撮像装置の上面図と側面図とにおいて、各部の対応関係を示す図である。
【0051】
同図に示したカメラとミラーの夫々2つずつの配置関係は図7に示した配置に基づいている。図8において801〜806はカメラで、821〜826はミラーである。ここで、ミラー821〜826は互いに稜線を共有していない。図8の上の図は、撮像装置の上面図である。図8の下の図は撮像装置の側面図である。
【0052】
同図において、カメラ801の視界はミラー821で反射し、視界861となる。同様に、カメラ802〜806の視界は夫々ミラー822〜826で反射し、それぞれ視界862〜866となる。視界861〜866をそれぞれ有するカメラのレンズ中心は同図より899でほぼ一致し、その結果、カメラ801〜806で網羅できる視界は(視界861+視界862+視界863+視界864+視界865+視界866)となり、視界880となる。つまり、この視界880の範囲内、すなわち全周方向の情景が撮像可能となる。
【0053】
以上の構成により、図7に示した構成で得られる視界に比して、より広い視野角の視界を得ることができると共に、この視界の画像を撮像することができる。また上記構成により、カメラが1台置きに若干離れた(Δdだけ離れた)位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0054】
以上説明した1つの視点からの同時刻の画像を撮像するための本実施形態における撮像装置の構成は図4と同じであり、1つの視点からの同時刻における広視野角の画像を撮像する処理のフローチャートは図5と同じであり、また撮像された画像を繋ぎ合わせる処理のフローチャートは図6と同じである。
【0055】
以上の説明により、本実施形態における撮像装置及びその制御方法によって、1つの視点からの同時刻における広範囲の視界を得ることができる。その結果、得た視界の範囲内の画像を撮像することができる。また、カメラが1台置きに若干離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0056】
また、カメラを複数用いて撮像を行っているので、単一のカメラで撮像するよりも高解像度の画像を得ることができる。なお本実施形態ではカメラ6つで全周方向の情景を撮像していたが、これに限定されることなく、任意の台数のカメラでもよい。また本実施形態ではカメラは動画像を撮像していたが、これに限定されることなく、静止画を撮像するカメラでもよい。
【0057】
[第3の実施形態]
本実施形態では更に、第1の実施形態や第2の実施形態で説明したカメラとミラーの構成による視界よりも広い視界を得るカメラとミラーの構成について説明する。図9にその構成例を示す。図9は、本実施形態に係る撮像装置の上面図である。よって鉛直上方向は紙面手前方向、鉛直下方向は紙面奥方向となる。同図において901,907はカメラで、901,927はミラーである。
【0058】
ミラー901,927は長方形(正方形でも良い)のものであり、鉛直方向とほぼ並行に設置されている。カメラ901の視界941はミラー921により、視界961となる。またカメラ907の視界947はミラー927により視界967となる。各カメラと各ミラーは同図の通り、視界961を有する仮想のカメラのレンズ中心と視界967を有する仮想のカメラのレンズ中心が点999でほぼ一致するように配置する。
【0059】
その結果、同図に示した構成で得られる視界は(視界961+視界967)となり、この範囲内で点999を中心とする情景の画像を撮像することができる。また、カメラ自身がミラーに映ることはない。また図9に示した構成を、図3や図8に示したカメラとミラーの全ての組に適用してもよい。
【0060】
[第4の実施形態]
図9に示したカメラとミラーの構成を例に取ると、余白部分が存在する。この余白部分を図10に示す。同図において、斜線部分1001はどのカメラの視界にも入っておらず、また、そこに何か物体が存在してもどのカメラにも写ることはない。よってこの余白部分1001に例えば音の記録装置を設置すれば、その場における音を録音することができる。このようにカメラとミラーの構成によって生じる余白部分に各種のセンサを設けることで、どのカメラの視界にも入らずに、各場の光量や音などの測定を行うことができる。
【0061】
[第5の実施形態]
上述の実施形態では、各カメラの直接の視界を制御することで、より広い視界を得ていたが、これに限定されるものではない。例えばプリズムなどを用いてカメラの視界を屈折させ、この屈折させた視界を用いても良い。図11に本実施形態におけるカメラとプリズムの構成を示す。
【0062】
カメラ1101の視界1141をプリズム1121を用いて屈折させることで視界1161を得ることができる。またカメラ1102の視界1142をプリズム1122を用いて屈折させることで視界1162を得ることができる。そして各カメラと各プリズムを、視界1161を有する仮想のカメラのレンズ中心と視界1162を有する仮想のカメラのレンズ中心を点1199でほぼ一致するように配置することで、視界(視界1161+視界1162)を得ることができる。
【0063】
また、同様にして図12に示すように、プリズムの代わりに大レンズを用いてもよい。図12に示した構成は図11に示した構成において、プリズムの代わりに大レンズを用いた以外は同じ構成である。
【0064】
【発明の効果】
以上説明したように本発明によれば、全体径が小さな撮像装置によって、1つの視点から広範囲の視界を同時刻に高解像度で撮像することができる。
【図面の簡単な説明】
【図1】複数のカメラの視界を多角錐ミラーによって反射させて広視野を撮像する従来の構成例を示す図である。
【図2】(a)は2台のカメラ201,202と2枚のミラー221,222による本発明の第1の実施形態に係る撮像装置の構成を説明するための模式図で、(b)は(a)に示す撮像装置を鉛直方向上から見た模式図である。
【図3】6台のカメラと、6枚のミラーにより構成される本発明の第1の実施形態に係る撮像装置の上面図と側面図とにおいて、各部の対応関係を示す図である。
【図4】1つの視点からの同時刻の画像を撮像するための本発明の第1の実施形態に係る撮像装置の構成を示す図である。
【図5】1つの視点からの同時刻における広視野角の画像を撮像する本発明の第1の実施形態に係る処理のフローチャートである。
【図6】撮像された画像を繋ぎ合わせる本発明の第1の実施形態に係る処理のフローチャートである。
【図7】(a)は2台のカメラ701,702と2枚のミラー721,722による本発明の第2の実施形態に係る撮像装置の構成を説明するための模式図で、(b)は(a)の撮像装置を鉛直方向上から見た模式図である。
【図8】6台のカメラと、6枚のミラーにより構成される本発明の第2の実施形態に係る撮像装置の上面図と側面図とにおいて、各部の対応関係を示す図である。
【図9】本発明の第3の実施形態に係る撮像装置の上面図である。
【図10】本発明の第4の実施形態において余白部分を説明するための図である。
【図11】本発明の第5の実施形態である、プリズムを使用することによって、レンズ中心を仮想的に一致させたカメラとプリズムの構成を示す図である。
【図12】本発明の第5の実施形態である、大レンズを使用することによって、レンズ中心を仮想的に一致させたカメラと大レンズの構成を示す図である。
【発明の属する技術分野】
本発明は、広範囲の視界を撮像する撮像装置及びその制御方法に関するものである。
【0002】
【従来の技術】
移動体に搭載された撮像装置によって現実空間を撮像し、撮像された実写画像データをもとに、撮像した現実空間を計算機を用いて仮想空間として表現する試みが提案されている(例えば遠藤、片山、田村、廣瀬、渡辺、谷川:“移動車輌搭載カメラを用いた都市空間の電脳映像化について”(信学ソサイエティ、PA−3−4、pp。276−277、1997年)、または廣瀬、渡辺、谷川、遠藤、片山、田村:“移動車輌搭載カメラを用いた電脳映像都市空間の構築(2)−実写画像を用いた広域仮想空間の生成−”(日本バーチャルリアリティ学会第2回大会論文集、pp。67−70、1997年)などを参照)。
【0003】
移動体に搭載された撮像装置によって撮像された実写画像データをもとに、撮像した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のCG技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage−Based Rendering(IBR)技術が近年注目を集めている。IBR技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。IBR技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【0004】
このようなIBR技術を用いてウォークスルー可能な仮想空間を構築するためには、使用者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、使用者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。
【0005】
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているGPS(Global Positioning System)に代表される人工衛星を用いた測位システムを利用するのが一般的である。GPSなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている(特開平11−168754)。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
【0006】
このような仮想空間内のウォークスルーにおいては、使用者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ実写画像で保存しておき、使用者の仮想空間における視点位置と視線方向とに基づいてパノラマ実写画像から再生すべき部分画像を切り出し、これを表示することが考えられる。
【0007】
パノラマ実写画像のデータ形式としては、1つの視点からの同時刻の広視野(または全周)画像であることが望ましい。このような画像を撮像したい場合、複数のカメラの視界を多角錐ミラーによって反射させて撮像する装置が用いられていた。この例を図1に示す。
【0008】
図1に例示するように、角錐ミラー12はカメラ部11のカメラ台数と同じ数の平面鏡から構成される。平面鏡は隣接する平面鏡と角錐の稜線を共有するように配置されている。カメラ部11を構成するそれぞれのカメラは、対応する平面鏡に反射した周囲の情景を撮像する。各平面鏡による各カメラのレンズ中心の虚像が一致するように配置すれば、撮像された画像は1つの視点からの同時刻の画像となる。なお、各ミラーは、各ミラーに接する同図鉛直方向の直線15と45度の角度を保っている。
【0009】
【発明が解決しようとする課題】
しかしながら上記のような撮像装置では、装置の全体径を小さくしようとすると複数のカメラが物理的に干渉してしまうため、小型化に限界があるという課題を有していた。
【0010】
本発明は以上の問題に鑑みてなされたものであり、全体径が小さな撮像装置によって、1つの視点から広範囲の視界を同時刻に高解像度で撮像することを目的とする。
【0011】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の撮像装置は以下の構成を備える。
【0012】
すなわち、第1の方向を撮像する第1の撮像手段と、
第2の方向を撮像する第2の撮像手段と、
前記第1の撮像手段の視界を該視界と異なる第1の視界に制御する第1の視界制御手段と、
前記第2の撮像手段の視界を前記第1の視界と水平面において隣接する第2の視界に制御する第2の視界制御手段とを備え、
前記第1の視界制御手段と前記第2の視界制御手段とは互いに稜線を共有せず、且つ前記第1の視界を有する仮想の撮像手段のレンズ中心と、前記第2の視界を有する仮想の撮像手段のレンズ中心とが略一致することを特徴とする。
【0013】
本発明の目的を達成するために、例えば本発明の撮像装置の制御方法は以下の構成を備える。
【0014】
すなわち、第1の方向を第1の撮像手段により撮像する工程と、
第2の方向を第2の撮像手段により撮像する工程と、
第1の視界制御手段により、前記第1の撮像手段の視界を該視界と異なる第1の視界に制御する工程と、
第2の視界制御手段により、前記第2の撮像手段の視界を前記第1の視界と水平面において隣接する第2の視界に制御する工程を有し、
前記第1の視界制御手段と前記第2の視界制御手段とは互いに稜線を共有せず、且つ前記第1の視界を有する仮想の撮像手段のレンズ中心と、前記第2の視界を有する仮想の撮像手段のレンズ中心とが略一致することを特徴とする。
【0015】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【0016】
[第1の実施形態]
本実施形態では、全体径が小さな(装置規模が小さな)撮像装置によって、1つの視点から広範囲の視界を同時刻に高解像度で撮像する撮像装置及びその制御方法を示す。
【0017】
まず説明を簡単にするために、2台のカメラと、カメラの視界を反射制御させるための2枚のミラーとからなる撮像装置を例に取り、この撮像装置について以下、説明する。
【0018】
図2(a)は2台のカメラ201,202と2枚のミラー221,222による撮像装置の構成を説明するための模式図である。カメラ201はその視線方向が同図鉛直方向下向きとなるように、カメラ202はその視線方向が鉛直方向上向きとなるように固定され、カメラ201とミラー221との同図鉛直方向の距離(第1の距離)と、カメラ202とミラー222との同図鉛直方向の距離(第2の距離)とは互いに等しく、夫々後述の距離を保っている。
【0019】
またミラー221、222は夫々同じ形状で、互いに稜線を共有しないように配置されており、夫々同図鉛直方向の直線231,232と45度の角度を保っている。すなわち、カメラ201の視線方向ベクトルのミラー221への入射角、カメラ202の視線方向ベクトルのミラー222への入射角は共に45度となる。本実施形態では、ミラー221、222が稜線を共有しないように互い違いに配置されている。
【0020】
同図の撮像装置を同図鉛直方向上から見た模式図を図2(b)に示す。同図において点線で示されている部分は裏側(非反射面)であることを示す。カメラ201の視界はミラー221で反射され、視界241となる。一方、カメラ202の視界はミラー222で反射され、視界242となる。上記第1の距離と上記第2の距離とは同じであるので、視界241の視野角と視界242の視野角とは同じになる。よって上記第1の距離、上記第2の距離を共に所定の距離に合わせることで、視界241と視界242とは水平面(上記鉛直方向を法線方向とする平面)において隣接することになり、カメラ201とカメラ202で網羅できる視界は視界243(視界241+視界242)となる。
【0021】
また、視界241の視野角と視界242の視野角とは同じであるので、視界241を有する仮想のカメラのレンズ中心位置と視界242を有する仮想のカメラのレンズ中心位置とはほぼ一致し、このレンズ中心位置は視界243を有する仮想のカメラのレンズ中心位置250となる。すなわち、上記カメラ201とカメラ202とで、視界243を有する1つの仮想のカメラを実現することができる。
【0022】
以上のように、180度異なる方向に向けて配置された2台のカメラの視界を2枚のミラーで反射させ、反射させた夫々の視界を有する2台の仮想のカメラのレンズ中心同士を一致させることで、全体のカメラで網羅できる視界を広げることができ、より広い視界の画像を撮像することができる。またそれに加え上記構成によれば、2台のカメラが大きく離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0023】
次に、同様の仕組みを用いてより広範囲の視界を得るために、6台のカメラと、6枚のミラーを用いた撮像装置について以下説明する。図3は、6台のカメラと、6枚のミラーにより構成される撮像装置の上面図と側面図とにおいて、各部の対応関係を示す図である。
【0024】
同図に示したカメラとミラーの夫々2つずつの配置関係は図2に示した配置に基づいている。図3において301〜306はカメラで、321〜326はミラーである。ここで、ミラー321〜326は互いに稜線を共有していない。図3の上の図は、撮像装置の上面図である。図3の下の図は撮像装置の側面図である。
【0025】
同図において、カメラ301の視界はミラー321で反射し、図2を用いて説明した原理に従って視界361となる。同様に、カメラ302〜306の視界は夫々ミラー322〜326で反射し、夫々視界362〜366となる。夫々のカメラとミラーの2つずつは図2を用いて説明した構成を備えるので、夫々の視界361〜366を有する仮想のカメラのレンズ中心位置は点399でほぼ一致し、その結果、カメラ301〜カメラ306で網羅できる視界は(視界361+視界362+視界363+視界364+視界365+視界366)となり、視界380となる。つまり、この視界380の範囲内、すなわち全周方向の情景が撮像可能となる。
【0026】
以上の構成により、図2に示した構成で得られる視界に比して、より広い視野角の視界を得ることができると共に、この視界の画像を撮像することができる。また上記構成により、カメラが1台置きに大きく離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0027】
以上説明した1つの視点からの同時刻の画像を撮像するための本実施形態における撮像装置の構成を図4に示す。
【0028】
夫々のカメラには画像記録装置が接続されており、夫々のカメラによって撮像された画像は夫々のカメラに接続された画像記録装置に送られ、記憶される。なお夫々のカメラは動画像を撮像しており、1フレーム毎の静止画を画像記録装置に送り、画像記録装置は送られた1フレーム毎の画像を順次記録する。
【0029】
また夫々のカメラには同期信号発生装置が接続されている。各カメラが同時刻に画像を撮像し、各画像記録装置が同時刻に撮像された画像を記録するためには、夫々のカメラが同期を取って撮像を行う必要がある。そこで同期信号発生装置は、夫々のカメラに対して同期信号を送る。この同期信号は、例えばシャッター同期を取るための信号である。これにより、夫々のカメラは同期を取って撮像を行うことができる。
【0030】
また夫々の画像記録装置にはタイムコード発生装置が接続されている。タイムコード発生装置は、各画像記録装置内に逐次記録される画像に、タイムコード発生装置がカウントしている時刻(撮像時刻)をデータとして添付する。このように、撮像された各画像に撮像時刻を添付することで、各画像記録装置内に記憶された画像において、所望の時刻に撮像された画像群を特定することができ、この画像群を用いて所望の時刻の広視野角の画像を得ることができる。なお、画像に添付するのは撮像時刻に限定されることなく、他にも例えば、GPS等によって取得した位置データでもよい。また、画像記録装置に記録する順番に画像に1、2、3、4、、、とインデックスを付けても良い。つまり、夫々の画像記録装置が保持する画像群において、同時刻に撮像された画像を特定できれば良い。
【0031】
以上の構成を備える撮像装置を用いて1つの視点からの同時刻における広視野角の画像を撮像する処理を、図5に示す同処理のフローチャートを用いて説明する。
【0032】
まずステップS501で各カメラで基準物体を撮影し、撮影した基準物体がきちんと写る(カメラの視界に基準物体が入っている、ピントが合っている、など)ように歪曲収差補正のパラメータ及びカメラの内部パラメータ(焦点距離など)を求める(調節する)。なお、直接基準物体を撮像できないカメラ、つまりミラーによってその視界を反射させることで、間接的でしか基準物体を撮像することができないカメラについては、ミラーを用いて基準物体を撮像し、上述のパラメータを求める(調節する)。パラメータを求める(調節する)処理はカメラが自動的に行っても良いし、手動で行っても良い。
【0033】
次にステップS502で、各カメラで撮像する画像を繋ぎ合わせるための後述する処理を行う。具体的には、隣り合ったカメラの夫々の視界をまたぐように物体が存在する場合、夫々のカメラで死角が無く、この物体を撮像できるようにカメラの位置姿勢を補正したりする。
【0034】
ステップS503では、隣り合った2台のカメラの両方に写るような大きな基準物体を撮影し、夫々のカメラの相対位置、姿勢を求める。これは後述する各カメラで撮像する画像を繋ぎ合わせるための処理であって、詳しくは後述する。この作業を全てのカメラのペアについて求める。
【0035】
そして最後にステップS504で、各カメラを同期させて、同時刻の画像を撮像する。撮像した画像には上述の通り、撮像時刻のデータがタイムコードとして添付される。
【0036】
以上の処理によって、1つの視点からの同時刻における広視野角の画像を生成することができる。次に撮像された画像を繋ぎ合わせる処理を図6に示した同処理のフローチャートを用いて説明する。
【0037】
まずステップS601で、撮像した画像を取り込む。具体的には図4に示した画像記録装置から一般のパーソナルコンピュータ(PC)などの計算機に取り込む。なお、画像記録装置にPCを用いている場合には、本ステップにおける処理は、例えば撮像した画像をハードディスクなどの外部記憶装置に保存した場合、RAMなどのメモリに読み込む処理となる。よって以降の処理はPCによって行われる処理となる。
【0038】
次にステップS602で、取り込んだ画像の歪曲収差や色合い、明暗などのばらつきを補正する。具体的には例えば、隣の画像と隣接する部分の各画素値を、隣接する画像間の色合い、明暗がなだらかになるように変化させるなどの処理を行う。なお、この処理は一般には画像処理ソフトを用いて行う。
【0039】
そして最後にステップS603で、画像に添付されたタイムコードを参照して、同時刻に撮像された画像を撮像時のステップS503で行ったカメラの位置、姿勢に応じて繋ぎ合わせる。具体的には、各カメラの位置姿勢に応じて、繋げる画像の順番や、隣り合った画像同士の重なりなどを決める。
【0040】
以上の説明により、本実施形態における撮像装置及びその制御方法によって、1つの視点からの同時刻における広範囲の視界を得ることができる。その結果、得た視界の範囲内の画像を撮像することができる。
【0041】
また、カメラが1台置きに大きく離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。また、カメラを複数用いて撮像を行っているので、単一のカメラで撮像するよりも高解像度の画像を得ることができる。
【0042】
なお本実施形態ではカメラ6つで全周方向の情景を撮像していたが、これに限定されることなく、任意の台数のカメラでもよい。また本実施形態ではカメラは動画像を撮像していたが、これに限定されることなく、静止画を撮像するカメラでもよい。
【0043】
[第2の実施形態]
本実施形態では、1つの視点から広範囲の視界を同時刻に高解像度で撮像する全体径が小さな撮像装置の別の例を示す。
【0044】
まず説明を簡単にするために、2台のカメラと、カメラの視界を反射制御させるための2枚のミラーとからなる撮像装置を例に取り、この撮像装置について以下、説明する。
【0045】
図7(a)は2台のカメラ701,702と2枚のミラー721,722による撮像装置の構成を説明するための模式図である。カメラ701、702は共にその視線方向が同図鉛直方向下向きとなるよう固定され、カメラ701とミラー721との同図鉛直方向の距離(第1の距離)は、カメラ702とミラー722との同図鉛直方向の距離(第2の距離)よりもΔdだけ短くなっている。
【0046】
またミラー721、722は夫々同じ形状で、互いに稜線を共有しないように配置されており、ミラー722はミラー721に対して同図鉛直上方向にΔdだけ移動させた位置に設置されている。また夫々のミラー721,722は同図鉛直方向の直線731,732と45度の角度を保っている。すなわち、カメラ701の視線方向ベクトルのミラー721への入射角、カメラ702の視線方向ベクトルのミラー722への入射角は共に45度となる。
【0047】
同図の撮像装置を同図鉛直方向上から見た模式図を図7(b)に示す。カメラ701の視界はミラー721で反射され、視界741となる。一方、カメラ702の視界はミラー722で反射され、視界742となる。視界741の視野角と視界742の視野角とは同じである。上記第1の距離は、上記第2の距離よりもΔdだけ短いので、視界741と視界742とは水平面(上記鉛直方向を法線方向とする平面)において隣接することになり、カメラ701とカメラ702で網羅できる視界は視界743(視界741+視界742)となる。
【0048】
また、視界741の視野角と視界742の視野角とは同じであるので、視界741を有する仮想のカメラのレンズ中心位置と視界742を有する仮想のカメラのレンズ中心位置とはほぼ一致し、このレンズ中心位置は視界743を有する仮想のカメラのレンズ中心位置750となる。すなわち、上記カメラ701とカメラ702とで、視界743を有する1つの仮想のカメラを実現することができる。
【0049】
以上のように、同じ方向に向けて配置された2台のカメラの視界を、位置を若干ずらした2枚のミラーで反射させ、反射させた視界を有する仮想のカメラのレンズ中心同士を一致させることで、全体のカメラで網羅できる視界を広げることができ、より広い視界の画像を撮像することができる。この方法では、2台のカメラが若干離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0050】
次に、同様の仕組みを用いてより広範囲の視界を得るために、6台のカメラと、6枚のミラーを用いた撮像装置について以下説明する。図8は、6台のカメラと、6枚のミラーにより構成される撮像装置の上面図と側面図とにおいて、各部の対応関係を示す図である。
【0051】
同図に示したカメラとミラーの夫々2つずつの配置関係は図7に示した配置に基づいている。図8において801〜806はカメラで、821〜826はミラーである。ここで、ミラー821〜826は互いに稜線を共有していない。図8の上の図は、撮像装置の上面図である。図8の下の図は撮像装置の側面図である。
【0052】
同図において、カメラ801の視界はミラー821で反射し、視界861となる。同様に、カメラ802〜806の視界は夫々ミラー822〜826で反射し、それぞれ視界862〜866となる。視界861〜866をそれぞれ有するカメラのレンズ中心は同図より899でほぼ一致し、その結果、カメラ801〜806で網羅できる視界は(視界861+視界862+視界863+視界864+視界865+視界866)となり、視界880となる。つまり、この視界880の範囲内、すなわち全周方向の情景が撮像可能となる。
【0053】
以上の構成により、図7に示した構成で得られる視界に比して、より広い視野角の視界を得ることができると共に、この視界の画像を撮像することができる。また上記構成により、カメラが1台置きに若干離れた(Δdだけ離れた)位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0054】
以上説明した1つの視点からの同時刻の画像を撮像するための本実施形態における撮像装置の構成は図4と同じであり、1つの視点からの同時刻における広視野角の画像を撮像する処理のフローチャートは図5と同じであり、また撮像された画像を繋ぎ合わせる処理のフローチャートは図6と同じである。
【0055】
以上の説明により、本実施形態における撮像装置及びその制御方法によって、1つの視点からの同時刻における広範囲の視界を得ることができる。その結果、得た視界の範囲内の画像を撮像することができる。また、カメラが1台置きに若干離れた位置に配置されていて物理的に干渉しないため、撮像装置の全体径を小さくすることができる。
【0056】
また、カメラを複数用いて撮像を行っているので、単一のカメラで撮像するよりも高解像度の画像を得ることができる。なお本実施形態ではカメラ6つで全周方向の情景を撮像していたが、これに限定されることなく、任意の台数のカメラでもよい。また本実施形態ではカメラは動画像を撮像していたが、これに限定されることなく、静止画を撮像するカメラでもよい。
【0057】
[第3の実施形態]
本実施形態では更に、第1の実施形態や第2の実施形態で説明したカメラとミラーの構成による視界よりも広い視界を得るカメラとミラーの構成について説明する。図9にその構成例を示す。図9は、本実施形態に係る撮像装置の上面図である。よって鉛直上方向は紙面手前方向、鉛直下方向は紙面奥方向となる。同図において901,907はカメラで、901,927はミラーである。
【0058】
ミラー901,927は長方形(正方形でも良い)のものであり、鉛直方向とほぼ並行に設置されている。カメラ901の視界941はミラー921により、視界961となる。またカメラ907の視界947はミラー927により視界967となる。各カメラと各ミラーは同図の通り、視界961を有する仮想のカメラのレンズ中心と視界967を有する仮想のカメラのレンズ中心が点999でほぼ一致するように配置する。
【0059】
その結果、同図に示した構成で得られる視界は(視界961+視界967)となり、この範囲内で点999を中心とする情景の画像を撮像することができる。また、カメラ自身がミラーに映ることはない。また図9に示した構成を、図3や図8に示したカメラとミラーの全ての組に適用してもよい。
【0060】
[第4の実施形態]
図9に示したカメラとミラーの構成を例に取ると、余白部分が存在する。この余白部分を図10に示す。同図において、斜線部分1001はどのカメラの視界にも入っておらず、また、そこに何か物体が存在してもどのカメラにも写ることはない。よってこの余白部分1001に例えば音の記録装置を設置すれば、その場における音を録音することができる。このようにカメラとミラーの構成によって生じる余白部分に各種のセンサを設けることで、どのカメラの視界にも入らずに、各場の光量や音などの測定を行うことができる。
【0061】
[第5の実施形態]
上述の実施形態では、各カメラの直接の視界を制御することで、より広い視界を得ていたが、これに限定されるものではない。例えばプリズムなどを用いてカメラの視界を屈折させ、この屈折させた視界を用いても良い。図11に本実施形態におけるカメラとプリズムの構成を示す。
【0062】
カメラ1101の視界1141をプリズム1121を用いて屈折させることで視界1161を得ることができる。またカメラ1102の視界1142をプリズム1122を用いて屈折させることで視界1162を得ることができる。そして各カメラと各プリズムを、視界1161を有する仮想のカメラのレンズ中心と視界1162を有する仮想のカメラのレンズ中心を点1199でほぼ一致するように配置することで、視界(視界1161+視界1162)を得ることができる。
【0063】
また、同様にして図12に示すように、プリズムの代わりに大レンズを用いてもよい。図12に示した構成は図11に示した構成において、プリズムの代わりに大レンズを用いた以外は同じ構成である。
【0064】
【発明の効果】
以上説明したように本発明によれば、全体径が小さな撮像装置によって、1つの視点から広範囲の視界を同時刻に高解像度で撮像することができる。
【図面の簡単な説明】
【図1】複数のカメラの視界を多角錐ミラーによって反射させて広視野を撮像する従来の構成例を示す図である。
【図2】(a)は2台のカメラ201,202と2枚のミラー221,222による本発明の第1の実施形態に係る撮像装置の構成を説明するための模式図で、(b)は(a)に示す撮像装置を鉛直方向上から見た模式図である。
【図3】6台のカメラと、6枚のミラーにより構成される本発明の第1の実施形態に係る撮像装置の上面図と側面図とにおいて、各部の対応関係を示す図である。
【図4】1つの視点からの同時刻の画像を撮像するための本発明の第1の実施形態に係る撮像装置の構成を示す図である。
【図5】1つの視点からの同時刻における広視野角の画像を撮像する本発明の第1の実施形態に係る処理のフローチャートである。
【図6】撮像された画像を繋ぎ合わせる本発明の第1の実施形態に係る処理のフローチャートである。
【図7】(a)は2台のカメラ701,702と2枚のミラー721,722による本発明の第2の実施形態に係る撮像装置の構成を説明するための模式図で、(b)は(a)の撮像装置を鉛直方向上から見た模式図である。
【図8】6台のカメラと、6枚のミラーにより構成される本発明の第2の実施形態に係る撮像装置の上面図と側面図とにおいて、各部の対応関係を示す図である。
【図9】本発明の第3の実施形態に係る撮像装置の上面図である。
【図10】本発明の第4の実施形態において余白部分を説明するための図である。
【図11】本発明の第5の実施形態である、プリズムを使用することによって、レンズ中心を仮想的に一致させたカメラとプリズムの構成を示す図である。
【図12】本発明の第5の実施形態である、大レンズを使用することによって、レンズ中心を仮想的に一致させたカメラと大レンズの構成を示す図である。
Claims (10)
- 第1の方向を撮像する第1の撮像手段と、
第2の方向を撮像する第2の撮像手段と、
前記第1の撮像手段の視界を該視界と異なる第1の視界に制御する第1の視界制御手段と、
前記第2の撮像手段の視界を前記第1の視界と水平面において隣接する第2の視界に制御する第2の視界制御手段とを備え、
前記第1の視界制御手段と前記第2の視界制御手段とは互いに稜線を共有せず、且つ前記第1の視界を有する仮想の撮像手段のレンズ中心と、前記第2の視界を有する仮想の撮像手段のレンズ中心とが略一致することを特徴とする撮像装置。 - 前記第2の撮像手段は前記第1の撮像手段と対向する位置近傍に設けられ、更に前記第2の撮像手段は前記第1の撮像手段が撮像する方向と対向する方向を撮像することを特徴とする請求項1に記載の撮像装置。
- 前記第2の撮像手段は前記第1の撮像手段の位置から、前記第1の撮像手段が撮像する方向と略平行の方向に所定距離だけ離間した位置に設けられており、前記第1の撮像手段と前記第2の撮像手段とは当該方向を撮像し、更に前記第2の視界制御手段は前記第1の視界制御手段の位置から当該方向に前記所定の距離離間した位置に設けられていることを特徴とする請求項1に記載の撮像装置。
- 前記第1の視界制御手段、前記第2の視界制御手段はミラーであることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 更に、前記第1の撮像手段、第2の撮像手段が撮像した画像を記録する画像記録手段と、
前記第1の撮像手段、第2の撮像手段が同期を取って動作するための同期信号を出力する同期信号発生手段と、
前記第1の撮像手段、第2の撮像手段が撮像した画像に、所定のタイミング毎に共通のコードを添付するコード添付手段と
を備えることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 - 前記コードは、画像が撮像された時刻を含むことを特徴とする請求項5に記載の撮像装置。
- 前記コードは、画像が撮像された位置を含むことを特徴とする請求項5に記載の撮像装置。
- 更に、前記画像記録手段に記録された画像から、共通のコードが添付された画像を、予め測定された前記第1の撮像手段、第2の撮像手段、前記第1の視界制御手段、及び前記第2の視界制御手段の位置姿勢に応じて繋ぎ合わせることで、略一致した視点位置から見た画像を生成する生成手段を備えることを特徴とする請求項5乃至7のいずれか1項に記載の撮像装置。
- 前記第1の撮像手段、第2の撮像手段は静止画、動画のいずれかを撮像するカメラであることを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
- 第1の方向を第1の撮像手段により撮像する工程と、
第2の方向を第2の撮像手段により撮像する工程と、
第1の視界制御手段により、前記第1の撮像手段の視界を該視界と異なる第1の視界に制御する工程と、
第2の視界制御手段により、前記第2の撮像手段の視界を前記第1の視界と水平面において隣接する第2の視界に制御する工程を有し、
前記第1の視界制御手段と前記第2の視界制御手段とは互いに稜線を共有せず、且つ前記第1の視界を有する仮想の撮像手段のレンズ中心と、前記第2の視界を有する仮想の撮像手段のレンズ中心とが略一致することを特徴とする撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002228025A JP2004072349A (ja) | 2002-08-05 | 2002-08-05 | 撮像装置、及びその制御方法 |
US10/630,804 US20040021767A1 (en) | 2002-08-05 | 2003-07-31 | Image sensing apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002228025A JP2004072349A (ja) | 2002-08-05 | 2002-08-05 | 撮像装置、及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004072349A true JP2004072349A (ja) | 2004-03-04 |
Family
ID=31185111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002228025A Pending JP2004072349A (ja) | 2002-08-05 | 2002-08-05 | 撮像装置、及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20040021767A1 (ja) |
JP (1) | JP2004072349A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005099572A (ja) * | 2003-09-26 | 2005-04-14 | Chuo Electronics Co Ltd | 広域撮影方法および表示方法 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6809887B1 (en) * | 2003-06-13 | 2004-10-26 | Vision Technologies, Inc | Apparatus and method for acquiring uniform-resolution panoramic images |
US7720353B1 (en) * | 2005-06-21 | 2010-05-18 | Hewlett-Packard Development Company, L.P. | Parallel communication streams from a multimedia system |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
US9876953B2 (en) | 2010-10-29 | 2018-01-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Omnidirectional sensor array system |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US20140315489A1 (en) * | 2013-04-22 | 2014-10-23 | Htc Corporation | Method for performing wireless display sharing, and associated apparatus and associated computer program product |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9386222B2 (en) * | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9294672B2 (en) * | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
KR102117686B1 (ko) * | 2016-11-01 | 2020-06-01 | 주식회사 케이티 | 영상 제공 서버, 영상 제공 방법 및 사용자 단말 |
DE102018108360A1 (de) | 2018-04-09 | 2019-10-10 | Vermes Microdispensing GmbH | Dosiersystem mit piezokeramischem Aktor |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4910545A (en) * | 1987-09-09 | 1990-03-20 | Canon Kabushiki Kaisha | Finder optical system |
US5140358A (en) * | 1988-10-04 | 1992-08-18 | Canon Kabushiki Kaisha | Camera |
US6266479B1 (en) * | 1997-06-09 | 2001-07-24 | Matsushita Electric Industrial Co., Ltd. | Video signal recording and reproducing apparatus |
JPH11168754A (ja) * | 1997-12-03 | 1999-06-22 | Mr System Kenkyusho:Kk | 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 |
US7804517B2 (en) * | 1998-07-31 | 2010-09-28 | Sony Corporation | Three-dimensional image-capturing apparatus |
US6870680B2 (en) * | 2001-08-17 | 2005-03-22 | Sony Corporation | Imaging device |
US7522186B2 (en) * | 2000-03-07 | 2009-04-21 | L-3 Communications Corporation | Method and apparatus for providing immersive surveillance |
US7365779B2 (en) * | 2000-09-14 | 2008-04-29 | Fujitsu Ten Limited | Image processing apparatus for selectively storing specific regions of an image |
JP4738672B2 (ja) * | 2001-09-03 | 2011-08-03 | キヤノン株式会社 | 像振れ補正機能付カメラ |
US6768598B2 (en) * | 2002-04-02 | 2004-07-27 | Sony Corporation | Image pickup system |
-
2002
- 2002-08-05 JP JP2002228025A patent/JP2004072349A/ja active Pending
-
2003
- 2003-07-31 US US10/630,804 patent/US20040021767A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005099572A (ja) * | 2003-09-26 | 2005-04-14 | Chuo Electronics Co Ltd | 広域撮影方法および表示方法 |
Also Published As
Publication number | Publication date |
---|---|
US20040021767A1 (en) | 2004-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004072349A (ja) | 撮像装置、及びその制御方法 | |
US10574888B2 (en) | Digital 3D/360 degree camera system | |
US7429997B2 (en) | System and method for spherical stereoscopic photographing | |
US20040027451A1 (en) | Immersive imaging system | |
JP2004531113A (ja) | 注釈記入による全方位性3次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 | |
JPH09322060A (ja) | 撮像装置、画像合成装置及び画像合成システム | |
JP2012165102A (ja) | 撮影方法、撮影機、撮影装置、3次元画像形成方法、全方位3次元画像形成方法、投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法 | |
JP5347802B2 (ja) | 構図制御装置、撮像システム、構図制御方法、プログラム | |
JP3478687B2 (ja) | 複眼撮像装置 | |
JP3676916B2 (ja) | 立体撮像装置および立体表示装置 | |
JP3678792B2 (ja) | 立体画像撮像装置 | |
KR20160031464A (ko) | 비디오 필름을 촬영하기 위한 촬영 카메라의 위치를 추적하는 시스템 | |
JP2015061311A (ja) | 撮像装置及び撮像装置の制御方法 | |
JPH1066106A (ja) | 複眼カメラシステム | |
JP4740477B2 (ja) | 立体画像撮影用アダプタレンズ及び立体画像撮影システム | |
JP4225040B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
JP2001258050A (ja) | 立体映像撮像装置 | |
JPH1023297A (ja) | 画像入力装置 | |
JP2002214726A (ja) | 撮像装置及びその方法 | |
JP4122717B2 (ja) | 画像入力装置 | |
KR200378727Y1 (ko) | 전방위 파노라마 재생장치 | |
JP2004086401A (ja) | 対象物認識装置および方法 | |
JP2004239989A (ja) | 広視野角画像撮影装置 | |
KR20030076654A (ko) | 획득된 이미지의 번짐자국 제거방법 | |
KR200378726Y1 (ko) | 전방위 파노라마 촬영장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060418 |