Nothing Special   »   [go: up one dir, main page]

JP5213880B2 - パノラマ画像処理システム - Google Patents

パノラマ画像処理システム Download PDF

Info

Publication number
JP5213880B2
JP5213880B2 JP2009553639A JP2009553639A JP5213880B2 JP 5213880 B2 JP5213880 B2 JP 5213880B2 JP 2009553639 A JP2009553639 A JP 2009553639A JP 2009553639 A JP2009553639 A JP 2009553639A JP 5213880 B2 JP5213880 B2 JP 5213880B2
Authority
JP
Japan
Prior art keywords
video
imaging
display system
image
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009553639A
Other languages
English (en)
Other versions
JP2010521879A (ja
Inventor
ストゥゼンプコ,サディアス・ジェイ
チャンバレン,ジェシー・ディヴィッド
ラバレイ,ダニエル・ローレンス
ローズ,マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kollmorgen Corp
Original Assignee
Kollmorgen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kollmorgen Corp filed Critical Kollmorgen Corp
Publication of JP2010521879A publication Critical patent/JP2010521879A/ja
Application granted granted Critical
Publication of JP5213880B2 publication Critical patent/JP5213880B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像データ処理に関し、更に特定すれば、厳しいリアル・タイム撮像処理能力を要求する厳しい軍事用途に適したパノラマ撮像システムに関する。
従来技術
米国海軍の潜水艦の大部分は、未だに昔からの潜望鏡の使用に頼っている。潜望鏡の深さでは、例えば、バージニア級潜水艦に装備される潜望鏡および最新世代の非貫通フォトニクス・マスト(non-penetrating photonics mast)でさえも、特定の接触(contact)を視認するためには、回転させなければならない。接触が難しい環境(contact deep environment)において受動的に動作する場合、このような手動接触識別は時間がかかり、場合によっては潜水艦を潜在的に危険な状況に置く虞れもある。
現行のパノラマ・システムは、主に2つの手法の内の1つを用いている。第1の手法は、水平線上の360度を撮像焦点面の円に撮像する特殊な光学素子を用いる。表示のために、画像処理を用いて、円を直線にマッピングする。しかしながら、この手法には様々な欠点がある。即ち、このシステムで達成可能な最高分解能は、光学構成において物理的に利用することができる焦点面/焦点面群のサイズによって制限される。加えて、光学的分解能は、視野全域にわたって均一ではない。通例、これは、多数の別個のカメラを用いて実現可能な画素よりも遥かに少なくなる。また、この手法は、連続透過性円筒を必要とし、この連続透過性円筒も適度の構造的堅牢性を備えなければならないために、機械的課題もある。
第2の手法は、完全な円を撮像するために、標準的ビデオ・カメラをいくらか多めに用い、円周上に配列する。通例、汎用プロセッサ上で走る画像処理ソフトウェアを用いて、別個の画像を組み立て直して即ち縫合(stitch)して1つの連続体にするか、または代わりに数枚の長い画像セグメントにする。この手法は、計算集約的、非効率的、厄介であり、著しいレイテンシおよび処理オーバーヘッドを生ずる可能性がある。このため、当技術分野では、改良した高分解能リアル・タイム・パノラマ撮像システムが求められている。
ここに開示し特許請求するのは、低レイテンシ、高分解能、連続運動パノラマ・ビデオ撮像システムである。一実施形態では、本システムは、ほぼリアル・タイムのビデオ・カメラ画像信号を発生する、複数の高分解能ビデオ・カメラを含む。360度視野全体を包含するビデオ・カメラ画像信号を発生するために、複数のカメラを所定の角度位置に位置付けるために、支持部が設けられている。本システムは、通信リンクを通じて複数のカメラに結合されており、複数のビデオ・カメラからビデオ・カメラ画像信号を受信し、ビデオ・カメラ画像信号を一斉に並列処理し、パノラマ画像信号を発生するように構成されている画像プロセッサを含む。画像プロセッサは、第2通信リンクを通じてディスプレイに結合することができ、このディスプレイは、複数のカメラ周囲の視野におけるパノラマ画像をほぼリアル・タイムで示すことができる。
本発明のその他の態様、特徴、および技法は、以下の本発明の詳細な説明を検討することにより、当業者には明白となろう。
本発明の特徴、目的、および利点は、以下に明記する詳細の説明を、図面と共に検討することによって一層明らかとなろう。図面においては、同様の参照符号は全体を通じて呼応して同一視することとする。
図1は、360度撮像システムの一実施形態のブロック図である。 図2は、本発明の1又は2以上の実施形態による撮像システムの簡略ブロック図である。 図3は、本発明の一実施形態による、撮像デバイスのレイアウトを示す、センサ・ポッドの平面図である。 図4は、本発明の1又は2以上の実施形態による画像処理アルゴリズムの論理フローを示すブロック図である。 図5は、本発明の1又は2以上の実施形態による画像処理アルゴリズムを示すブロック図である。
開示の全体像
本発明の一態様は、パノラマ撮像デバイスに関する。一実施形態では、複数の高分解能ビデオ・カメラを含む撮像デバイスを提供することができる。複数の高分解能カメラは、安全確実にそして調整可能に、ビデオ・カメラを配置するように構成されている筐体即ちポッド内に設置することができる。更に、ビデオ・カメラは、静止画像、動画、一連の画像、および/またはあらゆる種類の撮像データ一般を供給するように構成することもできる。
以下で更に詳しく説明するが、複数の高分解能ビデオ・カメラは、カメラ当たり少なくとも500キロ画素(kilopixel)の、それぞれのカメラの視野における画像を表す、ほぼリアル・タイムのビデオ・カメラ画像信号を発生することができる。また、他の画素値を用いてもよいことは認められてしかるべきである。例えば、一実施形態では、各カメラは1メガ画素の画像信号を供給するように構成することもできる。複数のカメラを所定の角度位置に位置付けるための支持部を用いると、複数のカメラが調和して動作し、カメラを中心とする360度視野全体に亘るビデオ・カメラ画像信号を発生することが可能になる。
本発明の別の態様は、複数のビデオ・カメラからのカメラ画像信号を画像プロセッサに供給することである。一実施形態では、画像プロセッサは、継ぎ目のないパノラマ画像を表す継ぎ目のないビデオ信号を発生するために、ビデオ・カメラ画像信号を並列に処理するように構成することができる。その後、ビデオ信号をディスプレイ・デバイスに、通信リンクを通じて、供給することができる。次いで、ディスプレイ・デバイスは複数のカメラを中心とする視野における継ぎ目のないパノラマ画像をほぼリアル・タイムで表示することができる。本明細書において用いる場合、継ぎ目のないパノラマ画像は、視野の断絶や歪みのない、連続360度パノラマ画像に関係付けることができる。別の実施形態によれば、ビデオ信号は、画像データをほぼ連続的に表示するように、全体的に継ぎ目のない画像として表示することができる。
パノラマ撮像システムの特徴は、潜水艦の用途というコンテキストでも有用となることもある。ある種の実施形態では、本発明は、水平線の360度連続画像をビデオ・レート( video rate)で供給することができる。ある種の実施形態では、本発明は、潜水艦が、潜望鏡またはマストのいずれも回転することなく、瞬時に全てのコンタクトを観察することを可能にする。また、パノラマ撮像システムは、地上系撮像、空中撮像、およびあらゆる種類の撮像一般というような、他の用途にも使用可能である場合もあることも認められてしかるべきである。
ある種の実施形態では、パノラマ撮像は、潜水艦の状況認識(situation awareness)および衝突回避能力を改善することができる。船長および船員は、システムのユーザとして、船舶の安全性や外部環境を素早く、最小限の操作者の介入で、評価できることを期待される。この目的のために、継ぎ目のないパノラマ視野の表示は、1つの高解像度ビデオ・モニタ上で表示可能とする。
本発明の教示に基づいて、単一ディスプレイ実施態様および多重ディスプレイ実施態様双方に合わせたカメラおよび処理資源の追加によって、分解能の向上が可能となる場合もある。他の実施形態では、投射ゴーグル(projection goggle)または同様のシステムを用いた仮想ディスプレイも用いることができ、この場合、表示される画像に基づいて、操作者の方位を検出することができる。本発明の更に別の実施形態、態様、特徴、および教示については、以下で更に詳しく説明する。
本明細書において用いる場合、「a」または「an」という用語は、1又は2以上を意味するものとする。「複数」という用語は、2又は3以上を意味するものとする。「別の」(another)という用語は、第2以降と定めることとする。「含む」および/または「有する」という用語は、範囲が決められていないこととする(例えば、備えている(comprising))。「または」という用語は、本明細書において用いる場合、包含、即ち、いずれか1つまたはいずれかの組み合わせを意味するように解釈することとする。したがって、「A、BまたはC」は、「以下のいずれか、即ち、A、B、C、AおよびB、AおよびC、BおよびC、A、BおよびC」を意味する。この定義の例外が生じるのは、要素、機能、ステップ、または行為の組み合わせが、ある意味では本質的に相互に排他的である場合だけである。
この文書全体を通じて「一実施形態」、「ある種の実施形態」、「実施形態」または同様の用語を引用する場合、当該実施形態と関連付けて記載されている特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味するものとする。つまり、本明細書全体を通じて、種々の場所においてこのような句が現れる場合、全てが必ずしも同じ実施形態に言及している訳ではない。更に、特定の特徴、構造、または特性は、1又は2以上の実施形態において、適した態様であればそのいずれでも、制限なく組み合わせることができる。
ファームウェアで実施する場合、本発明の要素は、本質的に、必要なタスクを実行するためのコード・セグメントとなる。プログラムまたはコード・セグメントは、いずれのプロセッサ読み取り可能媒体上にでも格納することができる。
本発明の実施形態例
これより図1を参照すると、図1は、撮像システム100の上位ブロック図を示し、一実施形態では、撮像システム100は、低レイテンシ、高分解能、連続運動パノラマ・ビデオ撮像システムに対応する。図1に示すように、システム100は、センサ・ポッド110を含む。センサ・ポッド110は、更に、図3の平面図においてセンサ300として示されている。一実施形態では、センサ・ポッド110は、耐圧エンクロージャ即ち筐体を含む。別の実施形態によれば、センサ・ポッド110は、複数の撮像出力を備えており、これらをマルチプレクサ120によってファイバ(またはRF)チャネル125上に多重化して画像プロセッサ150に送信することができる。画像プロセッサ150は、デマルチプレクサ130によって多重分離された後に、特定用途集積回路(ASIC)またはフィールド・プログラマブル・ゲート・アレイ(FPGA)回路またはボード1601〜160nのような2又は3以上の適したディジタル信号プロセッサを備えることができる。ある種の実施形態では、センサ・ポッド110は、複数の高分解能ビデオ・カメラを備えることができる。このような高分解能ビデオ・カメラは、それぞれのカメラの視野における画像を表す、少なくともカメラ当たり500キロ画素の、ほぼリアル・タイムのビデオ・カメラ画像信号を発生するように構成することができる。また、高分解能カメラは、他の画素値によって特徴付けることができる高分解能撮像データも発生することができることは認められてしかるべきである。例えば、一実施形態では、高分解能は、少なくとも500キロ画素の画像信号データに関するとすればよい。本明細書において用いる場合、ほぼリアル・タイムとは、60から100msec以下のレイテンシに関するとすればよい。しかしながら、他のレイテンシ値を用いてもよいことは認められよう。
画像プロセッサ150は、センサ・ポッド110に近接して位置付けるとよいが、別の実施形態では、1又は2以上のビデオ撮像システム(例えば、システム100)との通信のために、システム・センタを用いてもよい。同様に、1又は2以上のビデオ撮像システムの動作を遠隔制御するためにも、システム・センタを用いてもよい。これについては、図2を参照しながら更に詳しく論ずることにする。
図1には示されていないが、センサ・ポッド110はセンサ(例えば、複数のカメラ)を所定の角度位置に位置付けて、複数のカメラが共同で、当該複数のカメラの周囲の360度視野全体を包含するビデオ・カメラ画像信号を発生することを可能にするように、支持部に結合する、またはこれと一体化することもできる。
一実施形態では、図1に示すように、FPGAボード(群)1601〜160nを高速画像プロセッサs150内に統合することもできる。更に、プロセッサ150をディスプレイ175に電気的に接続して、得られる画像データを表示することもできる。一例として、画像プロセッサ150は、センサ・ポッド110から受信するビデオ・カメラ画像を一斉に並列処理して、ビデオ・カメラが取り込んだ継ぎ目のないパノラマ画像を表すビデオ信号を発生する。別の実施形態によれば、センサ・ポッド110から受信した画像データをシリアルに処理することもできる。次いで、これらの信号をディスプレイ175に送信し、複数のカメラ周囲の視野におけるシームレスのパノラマ画像のほぼリアル・タイム画像を得ることができる。一実施形態では、CPU165は、グラフィクス・カード170に供給する撮像データを受信し扱うことができる。CPU165は、更に、オペレータ・インターフェース145からの制御情報を受信するように構成することもできる。別の実施形態では、センサ・ポッド110によって収集された撮像データは、視覚撮像データ、非視覚撮像データ、赤外線データ、熱撮像データ、マイクロ波撮像データ、磁気撮像データ等の少なくとも1つに関するとよい。
尚、センサ・ポッド110内にあるセンサが収集したデータは、デマルチプレクサ130、インターフェース・ボード140、および/または入力/出力(I/O)カード155を用いて、ファイバ・チャネル125から収集すればよいことは認めることができよう。別の実施形態によれば、I/Oカード155を用いて、撮像データおよび非撮像データを含む1又は2以上の信号を受信および/または出力することもできる。そのようにすると、I/Oカード155は、センサ・ポッド110が供給するのではない別のデータを受信するために用いることもできる。別のデータには、レーダ・データ、プラットフォーム・データ等が含まれるが、これらに限定されるのではない。更に別の実施形態では、I/Oカード155は、有線リンクまたはワイヤレス・リンクのいずれかを通じて遠隔地からコマンドを受信するように構成することもできる。別の実施形態では、I/Oカード155は、センサ・ポッド110と関連付けることもできる、汎地球測地システム(GPS)データ、タイム・スタンプ・データ、方位、速度、および動作座標の内1又は2以上に関するメタデータを受信することができる。更に、I/Oカード155は、圧縮ビデオのようなビデオをIPを通じて出力するために用いることもできる。
加えて、システム100は、更に、画像データを安定化させるために、動き補償アルゴリズムを備えるとよい。動き補償アルゴリズムは、ビデオ信号を修正して移動(movement)を調整するように構成することができる。一実施形態では、センサ・ポッド110の動きを特徴付ける1又は2以上の出力信号をインターフェース・ボード140に供給するように、慣性測定ユニット(IMU)115を構成することができる。そのために、IMU115の出力を用いてビデオ信号を修正し、移動を調整することができる。
一実施形態では、動き補償アルゴリズムは、追加のビデオ・カメラから発生したビデオ・カメラ画像信号を調整するために、ビデオ・カメラの1つの視野内において概ね固定されている物体を利用することができる。要するに、基準線を確立するためには、他のビデオ・カメラからのビデオ・カメラ画像信号に関して、少なくとも1つのビデオ・カメラの視野における固定物体から得られるビデオ信号を用いて、ビデオ・データ減算プロセスを用いることができる。別の実施形態によれば、システム100は、ビデオ・データ減算を実行するように構成した回路を含むこともできる。
一例として、IMU115はレベル・センサの形態とするとよく、機械式ジャイロおよび光ファイバ・ジャイロの1つを含むがこれに限定されるのではない。レベル・センサは、センサ・ポッド110の内部またはその近傍に配置し、センサ・ポッド110の方位および動きを検知するように構成することができる。一実施形態では、センサ・ポッド110は、慣性空間における方位および動きを検知し、対応するデータを高速画像プロセッサ150に送信することができる。ある種の実施形態では、画像プロセッサ150(および/またはその上にあるFPGA(群)1601〜160n)が着信ビデオを処理し、以下の内1又は2以上を実行することができる。
・方位を補正し、プラットフォームの動きを補償するための画像の安定化。
・連続(縫合)表示を生成するための画像の平行移動および位置合わせ。
・真の方位座標で画像を表示するように、方位角軸を中心とする回転を補償するための、方位角面における画像位置の補正。
引き続き図1を参照すると、システム100は、画像プロセッサ15の出力をフォーマットするグラフィクス・カード170を含むことができる。そのようにすると、撮像データをディスプレイ175に供給することができる。
一実施形態では、移動を受ける可動プラットフォーム(例えば、潜水艦、水上軍艦(naval surface vessel)、タンク、戦車等)の上に支持部を載置し、動き補償アルゴリズムを用いて、ビデオ信号を修正しこのような移動に対する調整を行うことができる。
別の実施形態によれば、センサ・ポッド110は、1又は2以上の非視覚センサを含むこともできる。例えば、一実施形態では、センサ105は、センサ・ポッド110の視野内にある非視覚データを収集するために設けることができ、次いでセンサ・ポッド110の出力と統合することができる。次に、この出力を用いて、非視覚データを画像プロセッサ150に伝達することができ、画像プロセッサ150は、非視覚データを、非視覚データと同時に収集したビデオ・カメラ画像信号から発生した画像データ(例えば、継ぎ目のないパノラマ画像)と関連付けることができる。センサ105によって検出した非視覚データは、インターフェース・ボード140を通じて画像プロセッサ150に供給してもよい。
別の実施形態では、センサ・ポッド110は、更に、汎地球測地データを画像プロセッサ150に供給する汎地球測地センサも含むことができる。そして、画像プロセッサ150は、汎地球測地データを、非視覚データおよび/またはメタデータと同時に収集したビデオ・カメラ画像信号から発生した画像データ(例えば、継ぎ目のないパノラマ画像)と関連付けることができる。非限定的な例として、このような非視覚データは、真北インディケータ、方位(bearing)、機首方位(heading)、緯度、経度、1日の時刻、地図座標、チャート座標、および/または速度、深度、および傾斜のようなプラットフォーム動作パラメータに関係することができる。
別の実施形態では、本システムのカメラおよび光学部品(例えば、センサ・ポッド110)は、等級A(重要任務)または等級B(非重要任務)のいずれかを満たすように設計することができる。加えて、必要な冷却手段を決定するために、熱分析を用いることもできる。海洋用途に応用する場合、受動冷却方法を用いて熱をマストに導き、最終的に海水に導くことができる。能動冷却方法は、用途によっては、これの方が望ましくない場合もある。センサ・ポッド110は、カメラおよび/または光学構成要素を含むように記載したが、電子撮像デバイスおよび撮像デバイス一般を含む電子的撮像デバイスも等しく用いてもよいことは、等しく認められてしかるべきである。
引き続き図1を参照すると、FPGA(群)1601〜160nを別の回路カード上に一体化してもよい。一実施形態では、FPGA(群)1601〜160nは、Xilinx Vertex4または5と関係付けることができ、Nallatech, Inc.(ナラテック社)製造の回路カード上に一体化することができる。また、ビデオ・インターフェース回路またはボード150は、多数のディジタル・ビデオ・インターフェース選択肢を受け入れるように構成することもでき、ディジタル・ビデオ・インターフェースの選択肢には、SDI、GigE、カメラ・リンク、およびディジタル・ビデオ一般が含まれるが必ずしもこれらには限定されないことは認めることができよう。一実施形態では、カスタム・インターフェース・ボード140を用いて、高速、高帯域ディジタル・ビデオ・データを直接FPGA(群)1601〜160nとインターフェースすることができるが、バス180(例えば、PCI/PCIXバス)には負担をかけない。そのようにすると、システム100および関連する撮像方法のユーザは、船舶または場所の近接度を素早く評価することができる。FPGA(群)1601〜160nによるほぼリアル・タイムの撮像は、並列、および/またはパイプライン状、即ち、直列でセンサ・ポッド110が発生する画像信号を処理することによって得ることができる。本明細書において用いる場合、パイプライン状処理における処理は、少なくとも部分的に撮像データを受け取る順序に基づく撮像データの処理に関するとすればよい。時間が絶対不可欠であるとして360度画像を供給できれば有利であろう。更に、FPGA(群)1601〜160nによる並列処理は、パノラマ画像の動き補償および/または安定化を促進することもできる。移動を受けるセンサ・ポッド110を取り付ける場合、動き補償回路がビデオ信号を修正し、このような移動に対して調整することができる。
図1には示さないが、本システムは、更に、複数のカメラの少なくとも1つの視野における物体の移動を検出するために、自動化した検出アルゴリズムを備えるとよいことは認められてしかるべきである。一実施形態では、オペレータ制御デバイスを用いて、継ぎ目のないパノラマ画像における対称区域を特定し、画像プロセッサを制御して、追加の画像信号情報を供給し、対称区域の拡大図を表示することができる。オペレータ・インターフェース145は、表示する情報の制御のために、1又は2以上の信号を出力するように構成することができる。一実施形態では、オペレータ・インターフェース145は、マウスのような入力デバイスを含むことができる。また、システム100は、基準画像フレームを後続フレームと比較することによって、移動を検出することもできる。後続画像に現れる変化を用いて、可能な動きを示すことができる。
これより図2を参照すると、本発明の1又は2以上の実施形態による撮像システムの簡略ブロック図が示されている。図2に示すように、1又は2以上のセンサ・ポッド2051〜205n(例えば、センサ・ポッド110)は、データ通信ネットワーク215を通じて1又は2以上のプロセッサ225a〜225bと通信するように構成することができる。一実施形態によれば、センサ・ポッド2051〜205nの各々は、遠隔地から1つのワークステーションによって制御するように構成することもできる。各ワークステーションは、グラフィカル・ユーザ・インターフェース(GUI)220aおよび処理ロジック225a(例えば、画像プロセッサ150)を含むことができる。そのようにすると、センサ・ポッド2051〜205nが検知した撮像データおよび/または非撮像データを、遠隔地で処理し、ユーザに提示することができる。別の実施形態によれば、各センサ・ポッド2051〜205nは、撮像データをデータ通信ネットワーク215を通じて送信する前に、撮像データを処理する処理ロジック2101〜210nを含むことができる。データ215通信ネットワークは、有線またはワイヤレス通信ネットワークの1つとすることができる。
これより図3を参照すると、本発明の別の実施形態によるセンサ筐体(例えば、センサ・ポッド110)の平面図が示されている。即ち、センサ・ポッド300は、エンクロージャ材料305、複数の撮像デバイス3101〜310n、およびマウント/支持部315を含むように示されている。一実施形態では、撮像デバイス3101〜310nは、少なくとも500キロ画素のほぼリアル・タイムのビデオ・カメラ画像信号を発生することができる複数の高分解能ビデオ・カメラで構成することができるが、多数のその他の形式の撮像デバイスも、本発明の原理にしたがって等しく用いられることは、等しく認められてしかるべきである。例えば、撮像デバイスは、赤外線(IR)、短波赤外線(SWIR)、電子倍増電荷結合ディスプレイ(EMCCD)等の内少なくとも1つに関するとすればよい。
ある種の実施形態では、カメラ・エンクロージャ材料305は、ステンレス鋼製の円筒とするとよい。加えて、この円筒の壁厚は、深海潜水でも耐えるように、約1/2インチとするとよいが、他のしかるべき材料の厚さも、同様に用いることができる。更に、エンクロージャ材料305は、他の種類の材料から成るのでもよく、合金、他の金属、シームレス高強度材料一般等が含まれる。撮像デバイス3101〜310nに合わせた光学開口(optical aperture)をクオーツまたはサファイアで作ることができ、例えば、冗長性を持つO−リング・シールを用いて、エンクロージャ内に密閉することができる。図3に示すように、撮像デバイス3101〜310nの光路は、エンクロージャ材料305を通過することができ、外部環境から封止および保護することができる。しかしながら、撮像デバイス3101〜310nを支持部に移動自在に結合してもよいことも認めることができよう。
Westerly, Rode Islandに事務所があるSEACON(登録商標)Phoenix, Inc.が製造するコネクタのような、耐圧密閉コネクタを用いると、電力および信号はエンクロージャ(例えば、エンクロージャ材料305)を通過することができる。ある種の実施形態では、センサ・ポッド300は、ねじ込み結合によって(潜水艦の潜望鏡のような)マストに取り付けることができる。マストまたは潜望鏡の外径は、ねじ切り部を含むことができ、センサ・エンクロージャの外径もそのようにすることができる。結合リングは、その内径にねじ切り部を有する。一実施形態では、マウント315は、撮像デバイス3101〜310nが共同で、センサ・ポッド300周囲の360度視野全体を包含するビデオ・カメラ画像信号を発生することを可能にするように、撮像デバイス3101〜310nを所定の角度位置に位置付ける支持部としての役割を果たすことができる。
図3は、撮像デバイス3101〜310nにエンクロージャを設けることとして説明したが、撮像デバイスの各々を別個に取り付けてもよいことも認められてしかるべきである。例えば、一実施形態では、撮像デバイス3101〜310nは、車両の4つの四分体(quadrant)に、またはその周囲に取り付けることができる。そのようにすると、撮像デバイス3101〜310nの各々を別個のエンクロージャに収容することができる。同様に、潜水艦の用途に関して図3を説明したが、センサ・ポッド300を水上戦艦(surface vessel)、戦車、およびあらゆる車両一般の1つに取り付けてもよいことは認められてしかるべきである。地上車両上で用いる場合、撮像デバイス3101〜310nを、弾道弾保護を含むことができる一体構造体として、車両の高い位置に取り付けることもできる。あるいは、水上戦艦上で用いる場合、撮像デバイス3101〜310nを、マストおよび/または展開可能な構造に固定した上部構造上の高い位置に取り付けることもできる。
一例として、本発明の1又は2以上の実施形態にしたがって、多様な動作環境に本発明をどのようにして適応させることができるか示すために、以下の2つの想定動作場面を提案する。
想定動作環境例
想定場面1(5マイル先にあるタンカの認識)
タンカの長さは、300メートルある可能性がある。5マイルは8kmであり、目標対辺は37.5mラジアンである。認識には、目標寸法の端から端まで(across)少なくとも4サイクルまたは8画素が必要となる。したがって、画素IFOVは4.7mRad未満でなければならない。1mRad IFOVは、この要件を容易に満たす。
想定場面2(1マイル先にある漁船の認識)
漁船の長さは、10メートルである。1マイルは1.6kmであり、目標対辺は、6.25mラジアンである。認識には、目標寸法の端から端まで少なくとも4サイクルまたは8画素が必要となる。したがって、画素IFOVは、0.78mRad未満でならなければならず、これはほぼ1mRadである。したがって、1mRadシステムであれば、この要件をほぼ満たすはずである。
1mRadのIFOVでは、360度水平線の周囲に6282mRadが得られる。4台のカメラに割り当てるとすると、カメラ毎(例えば、センサ200の撮像デバイス2101〜210n)に約1570画素が必要となる。水平フォーマットに1600画素を有するカメラが入手可能である。水平方向の重複が3から5度であると正しい画像の位置合わせができると仮定すると、次の値を用いることができる。
カメラの水平視野:95度
水平画素数:最少1600
IFOV:1.036mRad
カメラの垂直視野:71.2度
これより図4を参照すると、本発明の一実施形態にしたがって、画像プロセッサ(例えば、画像プロセッサ150)のFPRA(群)(例えば、FPGA(群)1601〜160n)が実行する画像処理シーケンス400のブロック図が示されている。図4に示すように、IMUセンサ420(例えば、IMUセンサ115)からの入力を用いて、4台のカメラからの画像データを最初に回転させて、2つの次元におけるセンサ(例えば、センサ・ポッド110)の傾きを補正するとよい。尚、本発明の原理にしたがって構成した耐圧センサ(例えば、センサ・ポッド110および/またはセンサ・ポッド200)に、4台のカメラを一体化してもよいことは認められてしかるべきである。別の実施形態によれば、カメラ410a〜410dによって供給される撮像データは、ブロック415a〜415cにおいて補正することもできる。これについては以下で図5に関して更に詳細に説明する。
一旦傾きに対して調整したならば、ブロック430a〜430bにおいて、4台のカメラの既知の相対位置を用いて、受信データを変換することができる。次に、ブロック440において、本質的に連続なパノラマを作成するように、画像データを混合することができる。混合の後、ビンナー(binner)450において、画素を組み合わせるとよい。何故なら、多くのディスプレイは、最大の解像度を表示するのに十分な解像度を有していない場合もあるからである。ブロック420において受信したユーザ入力は、受信画像データの拡大および/または操作を含む、所望の絵図 (view)を示すことができる。その後、ブロック460において画像のトリミングを行って、選択した垂直サイズとした後に、データを表示できるように、画像データを2又は3以上の区間に分割する。
引き続き図4を参照すると、多くのディスプレイは、本発明の撮像システム(例えば、システム100)が撮像する画素よりも、画素が少ない。したがって、前述のようにパノラマ全体を表示するときに、画素を組み合わせる(間引く(bin))必要がある場合もある。しかしながら、パノラマ画像において特定の対象区域/項目を検出する場合、ある種の実施形態では、図3の画像処理を用いて、ブロック480においてズーム機構を用いて対象区域/項目を拡大することができる。ズーム機構は、一実施形態にしたがって最大画素解像度で(即ち、間引くことなく各画素を表示することができる)対象区域および/または項目周囲のその画像部分を別個のウィンドウにおいて表示することができる。
他の実施形態では、FPGA(群)(例えば、FPGA(群)1601〜160n)は、自動目標現出を遂行するために、画像データの処理を実行することができる。一般的な用語では、検出アルゴリズムは、局在的コントラスト、動き等のような、ある種の画像特徴が検出された領域を探し求める。このために、目標認識を同様に実行することができ、これによって、認識した画像の固有性に基づいて、物体を自動的に特徴付ける。一実施形態によれば、目標認識は、センサ(例えば、センサ・ポッド110)によって検出した物体に基づくことができる。代わりに、ユーザ入力を通じて目標を特定してもよく、またはこれを組み合わせてもよい。更に、ユーザは、ズーム機構480が発生する表示ウィンドウの拡大または操作のために地理的座標を規定することもできる。
更に、本明細書において開示する種々の特徴、特性、および実施形態の全ては、赤外線帯域におけるパノラマ撮像にも等しく適用可能な場合もあることも認められてしかるべきである。しかしながら、赤外線カメラは、通例、市販の可視光スペクトルのカメラよりも画素数が少ないので、このような場合全体的なシステム分解能が低くなる可能性がある。
最後に、目標追跡アルゴリズムをFPGA(群)(例えば、FPGA(群)1601〜160n)にプログラミングすることができることも認められてしかるべきである。目標追跡アルゴリズムの例には、質量中心(centroid)、相関、エッジ(edge)等を含むことができる。そのようにすると、追跡項目を360度パノラマ・ディスプレイ上で表すことができる。
これより図5を参照すると、図4の画像補正(例えば、画像補正ブロック415a〜415d)の間に実行することができる画像処理シーケンス500のブロック図が示されている。ブロック510において、撮像デバイス(例えば、撮像デバイス3101〜310n)から受信した撮像データ505を補正して、画素を位置合わせし直すようにすることができる。ブロック515において、バイエル補間プロセスを画像データに対して実行して、撮像データのRGBカラーをフィルタ処理することができる。ブロック520において、RGBカラー・データをYUVカラー・データに変換して、撮像データをルーマ成分およびクロミナンス成分に関して規定することができる。次に、ブロック525において、撮像データを自動的に等価することができる。ブロック530において、撮像データをYUVからRGBカラー・データに変換することができる。別の実施形態によれば、プロセス500は、ブロック535において、撮像データの補正のためのバレル歪み補正を含むこともできる。補正した撮像データ540は、変換および/または混合のために供給することができる。プロセス500は、画像データを補正するための具体的なステップを実行するように説明したが、プロセス500によって追加の行為および/または異なる行為も実行してもよいことは認められてしかるべきである。
以上、ある種の実施形態例について説明し添付図面に示したが、このような実施形態は、広範な発明の限定ではなく単なる例示に過ぎないこと、そして種々の他の変更が当業者に想起され得るので、本発明は図示し説明した具体的な構造や構成に限定されないことは言うまでもない。本明細書において引用した商標および著作権は、それらそれぞれの所有者の資産である。

Claims (25)

  1. 低レイテンシ、高分解能、連続運動フル360度パノラマ・ビデオ撮像・表示システムであって、
    複数の高分解能ビデオ・カメラであって、各々、それぞれのビデオ・カメラの視野における画像を表す、少なくとも500キロ画素のビデオ・カメラ画像信号を個々の画素のディジタルストリームとして発生する、ビデオ・カメラと、
    前記複数のビデオ・カメラを位置付ける支持部であって、前記複数のビデオ・カメラが、当該複数のビデオ・カメラ周囲の360度視野全体を包含するディジタル画素ストリームのビデオ・カメラ画像信号を一斉に発生することを可能にするために、当該支持部を中心として所定の角度位置に位置付ける、支持部と、
    前記複数のビデオ・カメラと画像プロセッサとの間にあり、前記複数のビデオ・カメラから前記画像プロセッサに前記ディジタル画素ストリームのビデオ・カメラ画像信号を伝達する、通信リンクと、
    前記複数のビデオ・カメラのそれぞれから前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信し、前記複数のビデオ・カメラのそれぞれからの前記ディジタル画素ストリームのビデオ・カメラ画像信号を、前記複数のビデオ・カメラのその他のものからの前記ディジタル画素ストリームのビデオ・カメラ画像信号と並列処理し、結合されたビデオ信号を発生する、画像プロセッサであって、
    前記ディジタル画素ストリームのビデオ・カメラ画像信号の画像修正であって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つ画像修正のために画素の完全なフレームを受信する前に画素修正が実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号の画像修正と、
    前記ディジタル画素ストリームのビデオ・カメラ画像信号のシリンドリカル・ラッピングであって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つシリンドリカル・ラッピングのために画素の完全なフレームを受信する前に画素のシリンドリカル・ラッピングが実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号のシリンドリカル・ラッピングと、
    前記ディジタル画素ストリームのビデオ・カメラ画像信号のイメージ・ブレンディングであって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つイメージ・ブレンディングのために画素の完全なフレームを受信する前に画素のブレンディングが実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号のイメージ・ブレンディングと、
    前記ディジタル画素ストリームのビデオ・カメラ画像信号のピクセル・ビニングであって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つピクセル・ビニングのために画素の完全なフレームを受信する前に画素のビニングが実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号のピクセル・ビニングと、
    前記ディジタル画素ストリームのビデオ・カメラ画像信号のイメージ・トリミングであって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つイメージ・トリミングのために画素の完全なフレームを受信する前に画素のトリミングが実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号のイメージ・トリミングと、
    を実施するよう構成される、画像プロセッサと、
    前記結合されたビデオ信号をディスプレイ装置に伝達するために、前記画像プロセッサと前記ディスプレイ装置との間にある通信リンクと、
    前記結合されたビデオ信号を、前記複数のビデオ・カメラの周囲の視野において、完全な、像の歪みが修正された、シームレスな、結合された360度パノラマ画像として表示する前記ディスプレイ装置であって、結合された360度パノラマ画像のそれぞれは、画像の発生から100ミリ秒を越えない範囲内にある前記ディジタル画素ストリームのビデオ・カメラ画像信号に基づいて表示され、前記ビデオ・カメラ画像のそれぞれは、全体として、時間的に同じ瞬間を反映する前記結合された360度パノラマ画像を構成する、ディスプレイ装置と、
    を備えている、ビデオ撮像・表示システム。
  2. 請求項1記載のビデオ撮像・表示システムにおいて、前記画像プロセッサは、前記ディジタル画素ストリームのビデオ・カメラ画像信号の並列処理のために、フィールド・プログラマブル・ゲート・アレイを含む、ビデオ撮像・表示システム。
  3. 請求項1記載のビデオ撮像・表示システムであって、更に、前記複数のビデオ・カメラの視野における非視覚データを収集するために非視覚スペクトルにおいて動作可能な少なくとも1つのセンサと、前記非視覚データを前記少なくとも1つのセンサから前記画像プロセッサに伝達する通信リンクとを備えており、前記画像プロセッサは、前記非視覚データを、当該非視覚データと同時に収集した前記ディジタル画素ストリームのビデオ・カメラ画像信号から発生したパノラマ画像と関連付ける、ビデオ撮像・表示システム。
  4. 請求項3記載のビデオ撮像・表示システムにおいて、前記少なくとも1つのセンサは、赤外線センサである、ビデオ撮像・表示システム。
  5. 請求項3記載のビデオ撮像・表示システムであって、更に、汎地球測地データを前記画像プロセッサに供給する汎地球測地センサを備えており、前記画像プロセッサは、前記汎地球測地データを、前記非視覚データと同時に収集したディジタル画素ストリームのビデオ・カメラ画像信号から発生したパノラマ画像と関連付ける、ビデオ撮像・表示システム。
  6. 請求項1記載のビデオ撮像・表示システムにおいて、前記画像プロセッサは、前記パノラマ画像の安定化のために、動き補償アルゴリズムを実行するように構成された動き補償回路を含む、ビデオ撮像・表示システム。
  7. 請求項6記載のビデオ撮像・表示システムにおいて、前記支持部は、移動を受けるプラットフォーム上に載置されており、前記動き補償アルゴリズムは、このような移動に対して調整するために、前記ビデオ信号を修正する、ビデオ撮像・表示システム。
  8. 請求項7記載のビデオ撮像・表示システムにおいて、前記動き補償回路は、更に、安定化回路を備えている、ビデオ撮像・表示システム。
  9. 請求項7記載のビデオ撮像・表示システムであって、更に、前記支持部上に動きセンサを備えており、前記センサは、前記支持部の相対的移動を表す信号を表す信号を発生し、更に、前記センサと前記動き補償回路との間に通信リンクを備えている、ビデオ撮像・表示システム。
  10. 請求項7記載のビデオ撮像・表示システムにおいて、前記動き補償アルゴリズムは、前記複数のビデオ・カメラの1つの視野における、所定物体を利用して、前記複数のビデオ・カメラの内の前記1つからのディジタル画素ストリームのビデオ・カメラ画像信号に対して、前記複数のビデオ・カメラのその他のものからの前記ディジタル画素ストリームのビデオ・カメラ画像信号を調整する、ビデオ撮像・表示システム。
  11. 請求項1記載のビデオ・表示システムであって、更に、前記複数のビデオ・カメラの少なくとも1つの視野における物体の移動を検出するために検出回路を備えている、ビデオ・表示システム。
  12. 請求項1記載のビデオ撮像・表示システムであって、更に、前記パノラマ画像における対象区域を特定し、当該対象区域の拡大図を表示するために追加の画像信号情報を提供するように前記画像プロセッサを制御するオペレータ制御デバイスを備えている、ビデオ撮像・表示システム。
  13. 請求項1記載のビデオ撮像・表示システムにおいて、前記画像プロセッサは、前記複数のビデオ・カメラに近接して位置付けられている、ビデオ撮像・表示システム。
  14. 請求項13記載のビデオ撮像・表示システムであって、更に、複数のビデオ撮像・表示システムの画像プロセッサとの通信のため、および前記ビデオ撮像システムから離れた場所から前記複数のビデオ撮像システムの動作を制御するためのシステム・センタを備えている、ビデオ撮像・表示システム。
  15. 請求項1記載の撮像・表示システムにおいて、前記画像プロセッサが発生するパノラマ画像を表す前記結合されたビデオ信号は、継ぎ目のないパノラマ画像に関する、撮像・表示システム。
  16. 請求項1記載の撮像・表示システムにおいて、360度の視野を与えるよう前記複数の高分解能ビデオ・カメラを配置するとともに前記カメラを環境から保護するように構成した筐体内に、前記高分解能ビデオ・カメラを取り付けた、撮像・表示システム。
  17. 請求項1記載の撮像・表示システムにおいて、前記複数の高分解能ビデオ・カメラを、可動である前記プラットフォームの四分体に取り付けた、撮像・表示システム。
  18. 請求項1記載の撮像・表示システムにおいて、前記複数の高分解能ビデオ・カメラを環境から保護するために、ビデオ・カメラ毎に1つの筐体として、別個の筐体内において前記支持部周囲の離間位置に前記ビデオ・カメラを別個に取り付けた、撮像・表示システム。
  19. 請求項12記載の撮像・表示システムにおいて、1つ又は複数の関心領域が、表示のためにビデオ画像処理システムによって、別々に独立して処理される、撮像・表示システム。
  20. 請求項19記載の撮像・表示システムにおいて、前記関心領域が、操作者の方向に関連付けられたプラットフォームの移動方向に関連する、撮像・表示システム。
  21. 請求項19記載の撮像・表示システムにおいて、前記ビデオ画像処理システムの1つ又は複数のセンサが、前記1つ又は複数の関心領域に関連付けられたデータを収集する、撮像・表示システム。
  22. 請求項19記載の撮像・表示システムにおいて、前記関心領域に関連付けられたプラットフォーム座標が自動的に送信され、前記ビデオ画像処理システムの外部のサブシステムを指揮・管理する、撮像・表示システム。
  23. プラットフォーム上に載置される、低レイテンシ、高分解能、連続運動フル360度パノラマ・ビデオ撮像・表示システムであって、
    複数の高分解能ビデオ・カメラであって、各々、それぞれのビデオ・カメラの視野における画像を表す、少なくとも500キロ画素のビデオ・カメラ画像信号を個々の画素のディジタルストリームとして発生する、ビデオ・カメラと、
    前記複数のビデオ・カメラを位置付けるように前記プラットフォーム上に載置されるよう構成された支持部であって、前記複数のビデオ・カメラが、前記プラットフォーム周囲の360度視野全体を包含するディジタル画素ストリームのビデオ・カメラ画像信号を一斉に発生することを可能にするために、当該支持部を中心として所定の角度位置に位置付ける、支持部と、
    前記複数のビデオ・カメラと画像プロセッサとの間にあり、前記複数のビデオ・カメラから前記画像プロセッサに前記ディジタル画素ストリームのビデオ・カメラ画像信号を伝達する、通信リンクと、
    前記複数のビデオ・カメラのそれぞれから前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信し、前記複数のビデオ・カメラのそれぞれからの前記ディジタル画素ストリームのビデオ・カメラ画像信号を、前記複数のビデオ・カメラのその他のものからの前記ディジタル画素ストリームのビデオ・カメラ画像信号と並列処理し、結合されたビデオ信号を発生するように構成された画像プロセッサであって、画像処理が、前記複数のビデオ・カメラの少なくとも一つが動く場合であっても前記結合したビデオ信号から表示される画像は静止したままであるような動的動き補償を含む、画像プロセッサと、
    前記結合されたビデオ信号をディスプレイ装置に伝達するために、前記画像プロセッサと前記ディスプレイ装置との間にある通信リンクと、
    前記結合されたビデオ信号を、前記複数のビデオ・カメラの周りの視野において、完全な、像の歪みが修正された、シームレスな、結合された360度パノラマ画像として表示する前記ディスプレイ装置であって、結合された360度パノラマ画像のそれぞれは、画像の発生から100ミリ秒を越えない範囲内にある前記ディジタル画素ストリームのビデオ・カメラ画像信号に基づいて表示され、前記ビデオ・カメラ画像のそれぞれは、全体として、時間的に同じ瞬間を反映する前記プラットフォーム周囲の視野の前記結合された360度パノラマ画像を構成する、ディスプレイ装置と、
    を備えている、ビデオ撮像・表示システム。
  24. 請求項23記載の撮像・表示システムにおいて、前記プラットフォームは乗物である、撮像・表示システム。
  25. 請求項24記載の撮像・表示システムにおいて、前記乗物は、陸上乗物、海上乗物、航空乗物から成る組から選択される、撮像・表示システム。
JP2009553639A 2007-03-16 2008-03-14 パノラマ画像処理システム Active JP5213880B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US91848907P 2007-03-16 2007-03-16
US60/918,489 2007-03-16
PCT/US2008/003395 WO2008115416A1 (en) 2007-03-16 2008-03-14 System for panoramic image processing

Publications (2)

Publication Number Publication Date
JP2010521879A JP2010521879A (ja) 2010-06-24
JP5213880B2 true JP5213880B2 (ja) 2013-06-19

Family

ID=39766235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009553639A Active JP5213880B2 (ja) 2007-03-16 2008-03-14 パノラマ画像処理システム

Country Status (8)

Country Link
US (1) US8106936B2 (ja)
EP (2) EP2562578B1 (ja)
JP (1) JP5213880B2 (ja)
CN (1) CN101702939A (ja)
CA (1) CA2680813C (ja)
ES (1) ES2633742T3 (ja)
PL (1) PL2562578T3 (ja)
WO (1) WO2008115416A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI383666B (zh) * 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
US8582805B2 (en) * 2007-11-05 2013-11-12 California Institute Of Technology Synthetic foveal imaging technology
US9307165B2 (en) * 2008-08-08 2016-04-05 Qualcomm Technologies, Inc. In-camera panorama image stitching assistance
US20110211040A1 (en) * 2008-11-05 2011-09-01 Pierre-Alain Lindemann System and method for creating interactive panoramic walk-through applications
US8605783B2 (en) * 2009-05-22 2013-12-10 Microsoft Corporation Composite video generation
US20100321471A1 (en) * 2009-06-22 2010-12-23 Casolara Mark Method and system for performing imaging
US8947502B2 (en) * 2011-04-06 2015-02-03 Qualcomm Technologies, Inc. In camera implementation of selecting and stitching frames for panoramic imagery
US20110115913A1 (en) * 2009-11-17 2011-05-19 Werner Lang Automated vehicle surrounding area monitor and display system
US20110115911A1 (en) * 2009-11-19 2011-05-19 Fang Kuo-Tsai On-board rear view mirror with an electronic video-audio recorder
EP2525574A4 (en) 2010-01-29 2013-07-10 Huawei Device Co Ltd METHOD, DEVICE AND SYSTEM FOR VIDEO COMMUNICATION
CA2794928A1 (en) * 2010-03-30 2011-10-06 Social Animal, Inc. System and method for capturing and displaying cinema quality panoramic images
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
US8780174B1 (en) * 2010-10-12 2014-07-15 The Boeing Company Three-dimensional vision system for displaying images taken from a moving vehicle
EP2458406A1 (en) * 2010-11-24 2012-05-30 Javad GNSS, Inc. Satellite signal multipath mitigation in GNSS devices
DE102010053895A1 (de) * 2010-12-09 2012-06-14 Eads Deutschland Gmbh Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9036001B2 (en) 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
SG191198A1 (en) * 2010-12-16 2013-07-31 Massachusetts Inst Technology Imaging system for immersive surveillance
US20120262540A1 (en) * 2011-04-18 2012-10-18 Eyesee360, Inc. Apparatus and Method for Panoramic Video Imaging with Mobile Computing Devices
US9389677B2 (en) * 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
US9219768B2 (en) 2011-12-06 2015-12-22 Kenleigh C. Hobby Virtual presence model
JP6113406B2 (ja) * 2012-01-11 2017-04-12 三菱電機株式会社 赤外線目標検出装置
WO2013109976A1 (en) 2012-01-20 2013-07-25 Thermal Imaging Radar, LLC Automated panoramic camera and sensor platform with computer and optional power supply
EP2810018A4 (en) * 2012-01-30 2015-12-30 Google Inc DEVICE AND METHOD FOR RECORDING IMAGES UNDER WATER
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
FR2992741B1 (fr) * 2012-06-28 2015-04-10 Dcns Dispositif de surveillance de l'environnement exterieur d'une plate-forme notamment navale, periscope et plate-forme comportant un tel dispositif
EP2915324B1 (en) 2012-11-05 2020-07-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
FR2998126B1 (fr) 2012-11-15 2014-12-26 Giroptic Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
US11694565B2 (en) * 2012-11-29 2023-07-04 Imran Haddish Virtual and augmented reality instruction system
CN103064430B (zh) * 2012-12-18 2015-10-14 湖南华南光电(集团)有限责任公司 机电融合型图像稳定装置
CN103149948B (zh) * 2013-02-04 2015-04-22 北京航空航天大学 一种两自由度大负载跟踪稳定平台系统
KR102070776B1 (ko) * 2013-03-21 2020-01-29 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
EP2979445A4 (en) * 2013-03-27 2016-08-10 Bae Sys Inf & Elect Sys Integ ELECTROOPTICAL FUSION ZOOM CAMERA WITH SEVERAL VIEW FIELDS AND MULTIPLE SENSORS
CN105122633B (zh) 2013-04-09 2019-04-05 热成像雷达有限责任公司 步进电机控制系统及方法
CN105074789B (zh) 2013-04-09 2019-03-12 热成像雷达有限责任公司 火灾检测系统
US9635252B2 (en) * 2013-04-16 2017-04-25 Disney Enterprises, Inc. Live panoramic image capture and distribution
KR20150011938A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
EP3030935B1 (en) 2013-08-09 2020-11-18 Thermal Imaging Radar LLC Methods for analyzing thermal image data using a plurality of virtual devices and methods for correlating depth values to image pixels
US9998661B1 (en) * 2014-05-13 2018-06-12 Amazon Technologies, Inc. Panoramic camera enclosure
US10594950B2 (en) * 2014-06-23 2020-03-17 Sony Corporation Photographing apparatus
US9521830B2 (en) * 2014-08-21 2016-12-20 Identiflight, Llc Bird or bat detection and identification for wind turbine risk mitigation
US10275679B2 (en) 2014-08-21 2019-04-30 Identiflight International, Llc Avian detection systems and methods
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US20160140760A1 (en) * 2014-11-13 2016-05-19 Upton Beall Bowden Adapting a display on a transparent electronic display
WO2016160794A1 (en) 2015-03-31 2016-10-06 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
USD776181S1 (en) 2015-04-06 2017-01-10 Thermal Imaging Radar, LLC Camera
US10703374B2 (en) 2015-05-19 2020-07-07 Lg Electronics Inc. Vehicle driving assisting apparatus and vehicle comprising same
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
US10582259B2 (en) 2015-06-30 2020-03-03 Gopro, Inc. Pipelined video interface for remote controlled aerial vehicle with camera
US10148874B1 (en) * 2016-03-04 2018-12-04 Scott Zhihao Chen Method and system for generating panoramic photographs and videos
CN105872470A (zh) * 2016-04-25 2016-08-17 科盾科技股份有限公司 船载安全航行光电辅助系统
CN105812747A (zh) * 2016-04-25 2016-07-27 科盾科技股份有限公司 一种船载安全航行光电辅助系统
JP2018085611A (ja) * 2016-11-22 2018-05-31 三菱重工業株式会社 表示制御装置、船舶、画像表示方法、プログラム
KR102609477B1 (ko) 2017-02-06 2023-12-04 삼성전자주식회사 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
US10607383B2 (en) * 2017-05-11 2020-03-31 International Business Machines Corporation Seamless focus plane stitching to create panoramic video
KR102330264B1 (ko) * 2017-08-04 2021-11-23 삼성전자주식회사 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN107564039A (zh) * 2017-08-31 2018-01-09 成都观界创宇科技有限公司 应用于全景视频的多目标跟踪方法及全景相机
CN107507230A (zh) * 2017-08-31 2017-12-22 成都观界创宇科技有限公司 应用于全景图像的目标跟踪方法及全景相机
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
CN108761992B (zh) * 2018-08-10 2024-06-28 杭州在现科技有限公司 一种内置稳定器的3d全景相机
CN110874925A (zh) * 2018-08-31 2020-03-10 百度在线网络技术(北京)有限公司 智能路侧单元及其控制方法
KR102012717B1 (ko) * 2018-10-25 2019-08-21 전자부품연구원 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템
US10880475B2 (en) 2018-10-25 2020-12-29 Korea Electronics Technology Institute Video conversion apparatus and system for generating 360-degree virtual reality video in real time
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
CN112399075B (zh) * 2020-10-15 2022-06-07 浙江大华技术股份有限公司 补光灯的控制方法、监控设备、电子装置和存储介质
CN112702509A (zh) * 2020-12-15 2021-04-23 杭州丽视智能科技有限公司 用于相机的全景视频生成方法、相机及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5657073A (en) 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
WO2001068540A2 (en) * 2000-03-16 2001-09-20 Lee Scott Friend Imaging apparatus
US6788333B1 (en) 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2002209208A (ja) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
US7345705B2 (en) * 2001-07-27 2008-03-18 Raytheon Company Photonic buoy
EP1427191A4 (en) * 2001-08-17 2006-08-16 Sony Corp PICTURE SETUP
WO2003027766A2 (en) * 2001-09-27 2003-04-03 Eyesee360, Inc. System and method for panoramic imaging
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
CN1706195A (zh) * 2002-10-18 2005-12-07 沙诺夫股份有限公司 使用多个摄像机以允许全景可视的方法和系统
JP3849645B2 (ja) * 2003-01-20 2006-11-22 ソニー株式会社 監視装置
US8068154B2 (en) * 2004-05-01 2011-11-29 Eliezer Jacob Digital camera with non-uniform image resolution
US7889232B2 (en) 2004-06-22 2011-02-15 Stratech Systems Limited Method and system for surveillance of vessels
US7381952B2 (en) 2004-09-09 2008-06-03 Flir Systems, Inc. Multiple camera systems and methods
US7982777B2 (en) 2005-04-07 2011-07-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
US9270976B2 (en) 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method

Also Published As

Publication number Publication date
CA2680813A1 (en) 2008-09-25
EP2562578B1 (en) 2017-06-14
EP2130084A4 (en) 2010-06-30
CA2680813C (en) 2016-06-14
EP2130084A1 (en) 2009-12-09
WO2008115416A1 (en) 2008-09-25
CN101702939A (zh) 2010-05-05
ES2633742T3 (es) 2017-09-25
EP2562578A3 (en) 2013-06-26
US20090058988A1 (en) 2009-03-05
PL2562578T3 (pl) 2017-12-29
JP2010521879A (ja) 2010-06-24
US8106936B2 (en) 2012-01-31
EP2562578A2 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
JP5213880B2 (ja) パノラマ画像処理システム
US20120229596A1 (en) Panoramic Imaging and Display System With Intelligent Driver's Viewer
US10084960B2 (en) Panoramic view imaging system with drone integration
US9270976B2 (en) Multi-user stereoscopic 3-D panoramic vision system and method
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US20120200703A1 (en) Imaging system for uav
US9025004B2 (en) Optronic system having supra-hemispheric vision
US20190126826A1 (en) Optronic viewing device for a land vehicle
KR101545276B1 (ko) Ptz 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법
NO334902B1 (no) System og fremgangsmåte for overvåking av minst ett observasjonsområde
US10397474B2 (en) System and method for remote monitoring at least one observation area
JP6482855B2 (ja) 監視システム
US10582181B2 (en) Panoramic vision system with parallax mitigation
KR102614425B1 (ko) 잠수함용 전자광학체계
US11415990B2 (en) Optical object tracking on focal plane with dynamic focal length
JP6610741B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP2013030851A (ja) 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム
Rose et al. Real-time 360 imaging system for situational awareness
WO2005048605A1 (en) Synthetic electronic imaging system
Armstrong Dual-waveband MWIR/visible three-axis stabilized sensor suite for submarine optronics masts
RU2574324C2 (ru) Оптико-электронная система, имеющая сверхполусферический обзор
Lensen et al. Application of heterogeneous multiple camera system with panoramic capabilities in a harbor environment
JP2020068423A (ja) 表示装置および表示方法
Luison et al. An innovative algorithm for panoramic representation in observation systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130226

R150 Certificate of patent or registration of utility model

Ref document number: 5213880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250