JP5752770B2 - 画像処理方法および装置 - Google Patents

Description

本発明の実施形態は、２つの画像パッチの類似度の計算を含む画像処理方法に関する。

この出願は、２０１２年１１月５日に出願された、英国特許出願番号１２１９８４４．６号に基づいて優先権の利益を主張し、全体が参照されることによりここに組み込まれる。

異なる画像の領域間での類似度の計算は、多くの画像解析アプリケーションの基本的役割を果たす。これらのアプリケーションはステレオマッチング、マルチモーダル画像比較および位置合わせ、動き推定、画像位置合わせおよびトラッキングを含む。

一般に、マッチングおよび位置合わせ技術は、異方性放射輝度分布関数（anisotropic radiance distribution functions）、遮へい（occlusions）または異なる取得プロセスにより引き起こされる、非線形照度変化から生ずることがある広範囲の変形（transformations）にロバストである必要がある。異なる取得プロセスの例は、可視的、赤外線、および、Ｘ線、核磁気共鳴映像法（ＭＲＩ）および超音波のような異なる医用画像技術である。

以下では、実施形態は図面を参照して記述される。
図１は、本実施形態に係る画像処理システムを示す。 図２は、第１画像パッチおよび第２画像パッチを示す。 図３は、本実施形態に係る２つの画像パッチ間の類似度を計算する方法を示す。 図４は、２つの画像パッチに関するジョイントヒストグラムの一例を示す。 図５は、ジョイントヒストグラムでの量子化および変位の影響を示す。 図６は、条件付き分散の和の方法と、差分の条件付き分散の和の方法との結果の比較を示す。 図７は、勾配降下探索を用いる人工的な位置合わせタスクでの異なる類似度の性能を比較する結果を示す。 図８は、映像シーケンスのフレーム上でオブジェクトを追跡する際の差分の条件付き分散の和の利用例を示す。 図９は、本実施形態に係る画像パッチ間の類似度を計算する方法を示す。 図１０は、本実施形態に係る画像処理装置を示す。 図１１は、ステレオ画像ペアの左画像と右画像との間のシフトまたは視差からの奥行きの計算を示す。 図１２は、本実施形態に係るステレオ画像ペアからの奥行き画像を生成する方法を示す。 図１３は、２つの医用画像キャプチャデバイスを示す。 図１４は、本実施形態に係る画像処理システムを示す。 図１５は、本実施形態に係るマルチモーダル画像を位置合わせする方法を示す。

本実施形態では、第１画像パッチと第２画像パッチとの間の類似度を計算する方法は、前記第１画像パッチは、前記第１画像パッチの要素とそれぞれ関連する複数の第１明暗値を具備し、第２画像パッチは、前記第２画像パッチの要素とそれぞれ関連する複数の第２明暗値を具備し、前記第１画像パッチおよび前記第２画像パッチは、前記第１画像パッチの各要素が前記第２画像パッチの要素に対応するような、対応するサイズおよび形状を有し、
前記第２画像パッチでの部分領域の集合を決定し、各部分領域は、部分領域について定義される第１明暗値範囲内にある第１明暗値を有する前記第１画像パッチの要素に対応する前記第２画像パッチの要素の前記集合として決定され、
部分領域の前記集合のうちの各部分領域について、部分領域の前記要素の全体で、要素に関連する前記第２明暗値と、前記第１画像パッチの対応する要素に関連する前記第１明暗値との関数の分散を計算し、
前記計算された分散の全ての部分領域の和として、前記類似度を計算することを具備する。

本実施形態では、要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との前記関数は、前記要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との差分である。

本実施形態では、要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との前記関数は、前記要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との比である。

本実施形態では、前記第１画像パッチおよび前記第２画像パッチは２次元画像パッチであり、前記第１画像パッチおよび前記第２画像パッチの前記要素は画素である。

本実施形態では、前記第１画像パッチおよび前記第２画像パッチは３次元画像パッチであり、前記第１画像パッチおよび前記第２画像パッチの前記要素はボクセルである。

本実施形態では、第１画像および第２画像から奥行き画像を得る方法は、前記第１画像の複数の画素のそれぞれについて、前記第１画像の対象画素で中心となる第１パッチを定義し、前記第２画像の画素で中心となる複数の第２画像パッチを定義し、本実施形態に係る第２画像パッチと第１画像パッチとの間の類似度を計算する方法を用いて前記複数の第２画像パッチの各第２画像パッチと前記第１画像パッチとの間の類似度を計算し、前記対象画素で中心となる前記第１画像パッチに一致するような最大の類似度を有する前記第２画像パッチを選択し、および前記一致するとして選択された前記第２画像パッチの前記中心における前記第２画像の前記画素と前記対象画素との間の前記差異を決定することによって、前記第１画像および前記第２画像の画素間の複数の差異を計算し、前記複数の差異から奥行き画像を計算することを具備する。

本実施形態では、前記複数の第２画像パッチは、エピポーラ線上の画素で中心となるパッチとして選択される。

本実施形態では、第１画像と第２画像との間の変換を決定する画像位置合わせ方法は前記第２画像の第２画像パッチと前記第１画像の第１画像パッチとの間の類似度を計算することを具備する。

本実施形態では、前記第１画像および前記第２画像は、異なる画像キャプチャモダリティから得られる。

本実施形態では、画像処理装置は、第１画像パッチと第２画像パッチとを示すデータを格納するメモリと、前記第１画像パッチは、前記第１画像パッチの要素とそれぞれ関連する複数の第１明暗値を具備し、第２画像パッチは、前記第２画像パッチの要素とそれぞれ関連する複数の第２明暗値を具備し、前記第１画像パッチおよび前記第２画像パッチは、前記第１画像パッチの各要素が前記第２画像パッチの要素に対応するような、対応するサイズおよび形状を有し、前記第２画像パッチでの部分領域の集合を決定し、各部分領域は、部分領域について定義される第１明暗値範囲内にある第１明暗値を有する前記第１画像パッチの要素に対応する前記第２画像パッチの要素の前記集合として決定され、部分領域の前記集合のうちの各部分領域について、部分領域の前記要素の全体で、要素に関連する前記第２明暗値と、前記第１画像パッチの対応する要素に関連する前記第１明暗値との関数の分散を計算し、前記計算された分散の全ての部分領域の和として、前記第１画像パッチと前記第２画像パッチとの間の前記類似度を計算するプロセッサと、を具備する。

本実施形態では、要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との前記関数は、前記要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との差分である。

本実施形態では、要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との前記関数は、前記要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との比である。

本実施形態では、前記第１画像パッチおよび前記第２画像パッチは２次元画像パッチであり、前記第１画像パッチおよび前記第２画像パッチの前記要素は画素である。

本実施形態では、前記第１画像パッチおよび前記第２画像パッチは３次元画像パッチであり、前記第１画像パッチおよび前記第２画像パッチの前記要素はボクセルである。

本実施形態では、画像システムは、あるシーンの第１画像をキャプチャする第１カメラと、前記シーンの第２画像をキャプチャする第２カメラと、前記第１画像の複数の画素のそれぞれについて、前記第１画像の対象画素で中心となる第１パッチを定義し、前記第２画像の複数の画素で中心となる複数の第２画像パッチを定義し、前記複数の第２画像パッチの各第２画像パッチと前記第１画像パッチとの間の類似度を計算し、前記対象画素で中心となる前記第１画像パッチに一致するような最大の類似度を有する第２画像パッチを選択し、および前記一致するとして選択された前記第２画像パッチの前記中心における前記第２画像の前記画素と前記対象画素との間の前記差異を決定することによって、前記第１画像および前記第２画像の画素間の複数の差異を計算し、前記複数の差異から奥行き画像を計算するプロセッサモジュールと、を具備する。

本実施形態では、前記プロセッサは、前記複数の第２画像パッチを、エピポーラ線上の画素で中心となるパッチとして選択することをさらに具備する。

本実施形態では、前記画像システムは、水中映像装置である。

本実施形態では、前記プロセッサは、前記第２画像の第２画像パッチと前記第１画像の第１画像パッチとの間の類似度を計算することにより、前記第１画像と前記第２画像との間の変換を決定することをさらに具備する。

本実施形態では、装置は、異なる画像キャプチャモダリティから前記第２画像および前記第１画像を受信する入力モジュールをさらに具備する。

本実施形態では、コンピュータ読み取り可能な媒体は、プロセッサ上で実行する場合に、前記プロセッサに第１画像パッチと第２画像パッチとの間の類似度を計算する方法を実行させるプロセッサ実行可能な指示を実行する。

本発明の実施形態は、ハードウェアにおいて、または汎用コンピュータにおけるソフトウェア上のどちらかで実装されうる。本発明のさらなる実施形態は、ハードウェアとソフトウェアとの組み合わせにおいて実装されうる。本発明の実施形態も、単一の処理装置または処理装置の分散ネットワークによって、実装されうる。

本発明の実施形態は、ソフトウェアによって実装されうるので、本発明の実施形態は、任意の適切な搬送媒体での汎用コンピュータに提供されるコンピュータコードを包含する。搬送媒体は、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、磁気デバイスもしくはプログラム可能なメモリデバイスのような、任意の記憶媒体、または、任意の信号、例えば、電気的、光学的もしくはマイクロ波信号のような任意の一時的媒体を含むことができる。

図１は、本実施形態に係る画像処理システムを示す。
画像処理システム１００は、メモリ１１０およびプロセッサ１２０を含む。メモリ１１０は、第１画像パッチ１１２および第２画像パッチ１１４を格納する。プロセッサ１２０は、第１画像パッチ１１２と第２画像パッチ１１４との間の類似度を生成するための、画像処理方法を実行するようにプログラムされる。

画像処理システム１００は、画像信号を受信するための入力を有する。画像信号は、画像データを含む。入力は、画像キャプチャデバイスからデータを受信してもよい。本実施形態では、入力は、ネットワーク接続からデータを受信してもよい。本実施形態では、データは、異なる画像キャプチャモダリティからの画像を含んでもよい。

図２は、第１画像パッチ１１２および第２画像パッチ１１４を示す。第１画像パッチは、多くの画素を有する。図２では、第１画像パッチのｉ番目の画素は、Ｘｉと名付けられる。第２画像パッチ１１４もまた、多くの画素を有する。第１画像パッチ１１２および第２画像パッチ１１４はともに、同じ画素数を有する。第１画像パッチ１１２中のそれぞれの画素は、第２画像パッチ１１４の画素に対応する。図２は、第２画像パッチ１１４のｉ番目の画素をＹｉとして示す。第１画像パッチの画素Ｘｉは、第２画像パッチの画素Ｙｉに対応する。明暗値（intensity value）は各画素に関連づけられる。

上述した画像パッチが同じ形およびサイズであれば、画像パッチは、異なるサイズまたは形状の画像から修正または変換されていてもよい。

図３は、本実施形態に係る第１画像パッチと第２画像パッチとの間の類似度を計算する方法を示すフローチャートである。図３に示される方法は、図２に示す第１画像パッチ１１２と第２画像パッチ１１４との間の類似度を計算するために、図１に示されるプロセッサによって実装されてもよい。

ステップＳ３０２では、第２画像パッチは、多くの部分領域に分割される。第２画像パッチは、第１画像パッチの画素の明暗度（intensity）に従って領域を定義することにより分割される。第１画像パッチにおいては、各部分領域が、ある値域内の明暗度を有する画素の集合として定義される。第２画像パッチでの部分領域は、第１画像パッチでのある部分領域内の画素に対応する位置を有する、第２画像パッチの画素の集合として定義される。

ステップＳ３０４では、第２画像パッチでの各領域について、第２画像パッチの画素と第１画像パッチの対応する画素との間の明暗度の差分が計算される。

ステップＳ３０６では、各部分領域上の明暗度の差分の分散が計算される。
ステップＳ３０８では、全ての部分領域上の分散の合計が計算され、第１画像パッチと第２画像パッチとの間の類似度として取られる。

図３に関して上述された方法は、差分の条件付き分散の和（Sum of Conditional Variance of Differences : ＳＣＶＤ）を計算していると考えられる。ＳＣＶＤ手法は、条件付き分散の和（Sum of Conditional Variance : ＳＣＶ）を計算する手法の変形である。

ＳＣＶ方法およびＳＣＶＤ方法について詳細に記述する。１組の画像Ｘおよび画像Ｙを考えると、条件付き分散の和（ＳＣＶ）マッチング指標は、Ｘのある一定の範囲の明暗度を持つ領域Ｘ（ｊ）（上述した第１画像に相当する基準画像と呼ばれる）に対応して、Ｙの画素をｎ_ｂ個のばらばらなビン（disjoint bin）Ｙ（ｊ）（ここで、ｊ＝１，．．．，ｎ_ｂ）に分割して規定する。

マッチング指標の値は、各ビンＹ（ｊ）内の明暗度の分散を合計することで得られる。

ここで、Ｘ_ｉおよびＹ_ｉ、ｉ＝１，．．．，Ｎ_ｐは、ＸおよびＹの画素明暗度をそれぞれ示し、Ｎ_ｐは、画素の総数である。合計に現われる条件は、Ｘの明暗値範囲を一様に分割して得られる。

図４は、画像ＸおよびＹに関するジョイントヒストグラムの一例を示す。ＳＣＶの振る舞いは、ジョイントヒストグラムによって特徴付けられうる。図４に示すように、ジョイントヒストグラムは、第１画像の範囲を第２画像へマッピングする、非単射関係として解釈されうる。

ジョイントヒストグラムＨ_ＸＹは、２つの画像の範囲をマッピングする、非単射関係として解釈されうる。図４ａは、基準画像のコントラストを線形に減少させた後の結果となるジョイントヒストグラムを示す。図４ｂは、非線形明暗度マップに関するジョイントヒストグラムを示す。より熱い（より明るい）色は、より頻繁に生じる値に対応する。

各列（行）のゼロでないエントリに寄与した画素の集合は、ｊ番目の条件によって選択された領域のうちの１つに対応する。離散化レベルｎｂの数は、問題依存であり、バイト精度で量子化された画像に関して、典型的な選択は、通常ｎ_ｂ＝３２または６４である。より大きな間隔は、より広い収束半径を実現する際に手助けとなり、雑音に対するより多くの復元力を提示することができる。画素が現在のビン境界を超えない限り、マッチング指標は変わらない。一方、狭い範囲はマッチング精度を高め、量子化ステップ中に失われる情報を低減するであろう。

ＳＣＶアルゴリズムに従って、基準画像は、Ｓ_ＳＣＶ（Ｘ，Ｙ）に関する上記の式の分散が計算されるべき部分領域を決定するためにもっぱら用いられる。

ここに記述される実施形態では、差分の条件付き分散に基づく類似度が用いられる。それゆえ、両方の画像に存在する情報が用いられ、より識別力のあるマッチング指標をもたらす。

最初に、差分の分散（ＶＤ）は、２つのテンプレート間の明暗差の２次モーメントとして定義される。

差分の分布が一定のとき、差分の分散は最小となる。それは、バイアス不変であり、スケールセンシティブであり、ゼロ平均差分二乗和に比例する。
ゼロ平均二乗和された差分に比例するという事実は、以下によって検証されうる。

ここで、画像の平均は、要素的な平均を示すことが理解される。

２つの画像ＸおよびＹを仮定すると、差分の条件付き分散の和（ＳＣＶＤ）を、それらの差分のパーティション上の分散の合計として定義する。上述のように、部分集合は、ビンＸ（ｊ）の集合を生成するために基準画像の範囲を限定することにより選択される。記号であらわすと、

差分に意味があるものにするには、２つの信号は直接の関係があるべきである。
マッチング指標はスケールおよびバイアス変化に鈍い必要があるので、以下の式に従ってそれらのうちの１つの符号（ｓｉｇｎ）を調整することにより、直接の関係を最大化する。

ここで、Γは、Ｒを｛−１，１｝にマッピングするステップ関数であることを示す。Φは、隣接するヒストグラムビンの中でＥ（Ｙ_ｉ）のペアの間における比較の累積的な結果をエンコードする。その結果、符号は適切に調整される。従って、ＸとＹとからのマッピングに関する要求は、弱順序保存である。すなわち、関数は単調であるが、単射であることは要求されない。オリジナルのＳＣＶ方程式の中にないこの制限は、例えば、異なるモードで同じ対象用にキャプチャされた信号間で、ほとんど有効とし、利用可能な情報のよりよい利用を可能にする。

明暗度分布が一様でない場合、Ｘの明暗度範囲を等しい大きさであるビンＸ（ｊ）に一様に分割することは、標準以下の性能をもたらす可能性がある。不十分にサンプリングされた明暗度範囲は雑音が多く、それらの分散は信頼性が低い。スペクトルのオーバーサンプリングされた領域は、多くの画素を単一のビンに圧縮して、そのプロセスにおける大量の有益な情報を破棄してしまうことを、逆にもたらす。手順もまた、本質的に非対称であり、包含される画像を交換する場合、一般に異なる結果を作り出す。

本実施形態では、方法は、上に議論された問題を対処するために、２つの非相互に排他的やり方で変形することができる。変形例のそれぞれ１つは、記述した基準アプローチに独立した性能向上を提供する。
図５は、量子化と変位との影響を示す。図５ａは、ここでは、並べられた１組の画像に関するヒストグラムＨ_ＸＹを示し、画像とそのグレイスケール反転との間のジョイントヒストグラムが示される。

図５ｂは、画像の１つに５つの画素変位を備えた同じ組の画像に関するヒストグラムＨ_ＸＹを示す。

図５ｃは、画像の明暗度範囲が等しくなった場合の、並べられた画像に関するヒストグラムＨ_ＸＹを示す。

図５ｄは、画像の明暗値範囲が等しくなった場合の、変位された画像に関するヒストグラムＨ_ＸＹを示す。

見て分かるように、図５ａおよび５ｂでは、明暗度スペクトルの低い部分および高い部分に対応するビンは、どんな票（vote）も受け取らず、それゆえ、より少ない領域に画像情報を圧縮する。単一ビン利用を達成するために、ヒストグラム平坦化は、基準画像Ｘで行われる。図５ｃは、入力基準画像Ｘをそのヒストグラム平坦化されたバージョンで置換することで生成されるＨ_ＸＹを示し、全ダイナミックレンジの完全な利用を達成する。

図５から見ることができるように、基準画像を平坦化することは、より大きなエリアに票を広げて、分散計算に作用し、より識別力のある手段に帰着することをもたらす。画像のうちの１つだけが分散を計算するためのパーティションを定義するために用いられるため、ＳＣＶとＳＣＶＤとの両方は、構造的に非対称である。
２つの量は、基準画像に依存する異なる部分領域上で計算されるので、
一般に、

画像マッチングのタスクに関する限り、片方画像に対して別の画像を基準として選ぶ特別の理由は、存在しない。量子化のプロセスはそれゆえ、Ｓ｛ＳＣＶ，ＳＣＶＤ｝を二方向に計算することで対照となる。

ＳＣＶＤ（ＳＣＶ）の特性を仮定すると、一様でない量子化の存在で、一方向は他方より通常はるかに識別力がある。上式は、そのような状況においてうまく曖昧さをなくすことができる。

図６は、上述したＳＣＶアプローチ、ＳＣＶＤアプローチおよび変形例の比較を示す。

画像位置、方向および変位は、すべてランダムに選択され、選択された基準ウィンドウとテンプレートの間の比較基準は、平行移動（translation）を適用した後に計算された。

テンプレートはマルチモード入力をシミュレートするために反転されていることに留意する。領域のサイズは５０×５０画素に固定され、最大距離はそのエッジ長の半分、つまり２５画素に設定される。

図６は、雑音の影響を除去するため、この手続きを２０，０００回繰り返して平均して生成された（１回の試行はそれぞれ大体単調である）。見てわかるように、全てのＳＣＶＤバージョンは、最小を区別するという点で優れている。ヒストグラム平坦化および対称な変形は、ＳＣＶとＳＣＶＤとの両方に関し、より急な勾配を得る。
両方の改良を利用する場合、ＳＣＶＤはほとんど一定の傾斜を示し、これは潜在的な導関数に基づく最適化アルコリズムを用いるために重要な性質である。

図７は、勾配降下探索を用いて、人工的な位置合わせタスクでの異なる類似度の性能を比較する結果を示す。上記のようにランダムな配置と変位とを仮定すると、最も急な勾配の方向に続くコスト関数は最適化される。極小値あるいは許容される繰り返しの最大値に達する場合、手続きを終了する。ここでは、繰り返しの最大値は、５０回にセットされた。図７は、平均４０００の異なる試行で得られた。見てわかるように、各ＳＣＶＤバージョンは、変形の同じ集合を用いる同等なＳＣＶ手段を打ち負かし、無視できないほどの性能向上を提供する。

図８は、映像シーケンスのフレームに関するオブジェクトを追跡する際のＳＣＶＤの利用例を示す。図８ａは、映像シーケンスおよびその基準テンプレートの１つのフレームを示す。続くフレームは、測光および幾何学的な変形を有する。図８ｂは、フレームで四角形を最良にマッチングし、基準をゆがませた領域の両方を示すＳＣＶＤ手法に関する位置合わせ結果を示す。

図９は、本実施形態に係る画像パッチ間の類似度を計算する方法を示す。上に議論された方法では、差分の条件付き分散が計算される。図９に示される方法では、明暗度の比率の条件付き分散が計算される。

図９に示される方法は、図２に示される第１画像パッチ１１２と第２画像パッチ１１４との間の類似度を計算するために、図１に示されるプロセッサ１２０によって実現されてもよい。

ステップＳ９０２では、第２画像パッチは、複数の部分領域に分割される。
第２画像パッチは、第１画像パッチの画素の明暗度に従って領域を定義することを用いることで、分割される。第１画像パッチでは、各部分領域が、値域内の明暗度を有する画素の集合として定義される。第２画像パッチでの部分領域は、第１画像パッチで与えられた部分領域内の画素に対応する位置を有する、第２画像パッチの画素の集合として定義される。

ステップＳ９０４では、第２画像パッチの各領域について、第２画像パッチの画素の明暗度と第１画像パッチの対応する画素の明暗度との比率が計算される。ステップＳ９０６では、各部分領域での明暗度の比率の分散が計算される。ステップＳ９０８では、全ての部分領域での分散の合計が計算され、第１画像パッチと第２画像パッチとの間の類似度として取られる。

図１０は本実施形態に係る画像処理装置を示す。装置１０００は、２つの画像から奥行き画像を決定するための上述される方法を用いる。装置１０００は、左カメラ１０２０および右カメラ１０４０を含む。左カメラ１０２０および右カメラ１０４０は、異なる位置からほぼ同じシーンの画像をキャプチャするために配置される。

画像処理装置１０００は、画像処理システム１０６０を含み、画像処理装置１０６０は、メモリ１０６２およびプロセッサ１０６８を有する。メモリは、左画像１０６４および右画像１０６６を格納する。プロセッサは、左画像１０６４および右画像１０６６から奥行き画像を決定する方法を実行する。

図１１は、左画像１０６４と右画像１０６６との間のシフトまたは相違から、どのように奥行きｚを計算することができるかを示す。

左カメラ１０２０は、画像平面１０２２および中心軸１０２４を有する。右カメラ１０４０には画像平面１０４２および中心軸１０４４を有する。左カメラの中心軸１０２４は、距離ｓだけ右カメラの中心軸１０４４から離れている。左カメラ１０２０および右カメラ１０４０は、ｆの焦点距離をそれぞれ有する。カメラは、電荷結合素子（ＣＣＤ）、または、光子を検知し光子を電気信号に変換する他のデバイスを含んでもよい。

座標（ｘ、ｙ、ｚ）を備える点１０１０は、距離ｘ_ｌ’だけ左カメラの中心軸１０２４から離れる点１０２６での左カメラの像位置１０２２上に投影される。点は、距離ｘ_ｒ’だけ右カメラの中心軸１０４４から離れる点１０４６での右カメラの像位置１０２２上に投影される。

奥行きｚは以下のように計算することができる。

上式は、左カメラから座標（ｘ，ｙ，ｚ）での点までに及ぶ線によって形成された相似三角形の比較に由来する。

右カメラから座標（ｘ，ｙ，ｚ）での点までに及ぶ線を同様に考慮し、以下の方程式を導出することができる。

２つの方程式を組み合わせると、

したがって、奥行きは差分ｘ’_ｌ−ｘ’_ｒから得ることができる。

図１２は、本実施形態に係るステレオ画像ペアからの奥行き画像を生成する方法を示す。

ステップＳ１２０２では、左側画像中の画素に対応する右側画像中の画素の探索が実行される。左側画像中の多くの画素については、探索が、右側画像中で対応する画素のために実行される。この探索は、左側画像中の画素で中心となる第１画像パッチを形成することにより実行される。その後、探索は、最も高い類似度を有する第２画像パッチに関して第２画像で実行される。上に記述されるように、類似度が計算される。いったん最も高い類似度を有する画像パッチが見つかれば、その画像パッチの中心にある画素は、右側画像での点の投影として得られる。

ステップＳ１２０４では、２つの画素間の差異はそれらの間の距離として計算される。

いったん差異が左側画像中の複数の画素のために計算されたならば、奥行き画像はステップＳ１２０６における差異に由来する。

ステップＳ１２０２において実行された探索は、平面にある右画像中の画素を左画像中の画素として制限されてもよい。２台のカメラが整列する場合、これは同じｙ座標での画素を探索することのみを包含してもよい。カメラの中心およびある特徴点を通過する平面は、エピポーラ平面と呼ばれる。画像平面とのエピポーラ平面の交差はエピポーラ線を定義する。２台のカメラのエピポーラ線が整列する場合、１つの画像における全ての特徴は、第２画像における同じ列の上にあるだろう。

２台のカメラが整列しない場合、探索は傾斜したエピポーラ線に沿って実行されてもよい。傾斜したエピポーラ線の位置は、カメラの相対的な位置に関する情報を用いて決定されてもよい。この情報は、キャリブレーションボードを用いて、１台のカメラからの画像が他方に対して回転する範囲を決定することで、決定されてもよい。

代替的に、２台のカメラが整列しない場合、２つのカメラのうちの１つからの画像は、上述したキャリブレーション情報を用いて変換されてもよい。

本実施形態の画像パッチ間の類似度を計算する方法が、画像において雑音に対する高い耐性を持つので、上述した奥行き計算が水中環境のような騒々しい環境に特に適していると予測される。

水中映像環境は、多くの難題を提示する。光子が水または水の分子中の粒子と出合う場合、水中を移動する間、光線は吸収され散乱する。この効果は波長に依存するので、画像センサによって最後に測定された色に影響を及ぼし、低減されたコントラストをもたらす可能性がある。さらに、光が水からガラスそして空気へカメラ筐体に入るときの屈折は、画像のひずみをもたらす。

上述した影響のため、ステレオ画像マッチングを行ない、かつ奥行き画像を生成するために、雑音への高いロバスト性を備える類似度が、ここに記述された実施形態によって提供されるようなものに要求される。

実施形態では、画像パッチのサイズは、明暗度および差異における局所的変化に依存して変化してもよい。画像パッチサイズは、各画素で変化させてもよいし、差異における不確実性を最小限にする画像パッチサイズが選択されてもよい。

図１３は、２つの医用画像キャプチャデバイスを示す。第１画像キャプチャデバイス１３１０は、第１画像キャプチャモダリティを用いて、患者１３５０の第１画像１３２０をキャプチャする。第２画像キャプチャデバイス１３３０は、第２画像キャプチャモダリティを用いて、患者の第２画像１３４０をキャプチャする。

例えば、第１画像キャプチャモダリティは、Ｘ線でもよいし、第２画像キャプチャモダリティは核磁気共鳴映像法でもよい。

図１４は、本実施形態に係る画像処理システムを示す。画像処理装置システム１４００は、異なるセンサモダリティで得られる画像を位置合わせする。例えば、図１３に示されるように、第１および第２画像キャプチャデバイスの両方が、患者の脚の画像をキャプチャする。

画像処理装置１４００は、第１画像１３２０および第２画像１３４０を格納するメモリ１４１０を有する。画像処理装置１４００は、第１画像を第２画像に位置合わせする方法を実行するプロセッサ１４２０を有する。

図１５は、マルチモーダル画像を位置合わせするためのシステム１４００によって実行される方法を示す。

ステップＳ１５０２では、第１画像の領域は第１画像パッチとして選択される。ステップＳ１５０４では、第２画像パッチは第２画像から得られる。第２画像パッチは、第２画像の一部を変形するかまたは歪めることによって得られてもよい。ステップＳ１５０６では、第１画像パッチと第２画像パッチとの間の類似度は、上述された方法のうちの１つを用いて計算される。ステップＳ１５０８では、最大の類似度を有する第２画像パッチが決定されるまで、ステップＳ１５０４およびＳ１５０６が繰り返される。

ステップＳ１５１０では、画像間の位置合わせが決定される。

画像間の位置合わせは、変換行列として決定されてもよい。画像間の位置合わせは、医用におけるデジタル画像と通信（ＤＩＣＯＭ：Digital Imaging and Communications in Medicine）規格のような標準規格に従ってメタデータとして格納されてもよい。

上述した例は、マルチモーダルセンサからの画像の位置合わせに関するが、方法もまた以下のアプリケーションに適合させてもよい。アトラスマッピング；患者の画像は、格納された医学のアトラス、例えば脳の解剖学的特徴の集合にマッピングされてもよい。ある期間中に得られた患者の画像は、互いにマッピングされてもよい。患者の複数の画像は、一緒に閉じられて（stitch）もよい。

上の記述は、２次元画像に関するが、当業者であれば、記述された方法とシステムが、類似度を決定するために、多くのボクセルを含むパッチが比較されるであろう３次元画像に適用できることが理解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (20)

1. 第１画像パッチと第２画像パッチとの間の類似度を計算する方法であって、
   前記第１画像パッチは、前記第１画像パッチの要素とそれぞれ関連する複数の第１明暗値を具備し、第２画像パッチは、前記第２画像パッチの要素とそれぞれ関連する複数の第２明暗値を具備し、
   前記第１画像パッチおよび前記第２画像パッチは、前記第１画像パッチの各要素が前記第２画像パッチの要素に対応するような、対応するサイズおよび形状を有し、前記第２画像パッチのサイズおよび形状は、前記第１明暗値に従い、
   前記方法は、
   前記第２画像パッチでの部分領域の集合を決定し、各部分領域は、該部分領域について定義される第１明暗値範囲内にある第１明暗値を有する前記第１画像パッチの要素に対応する前記第２画像パッチの要素の前記集合として決定され、
   部分領域の前記集合のうちの各部分領域について、部分領域の前記要素の全体で、要素に関連する前記第２明暗値と、前記第１画像パッチの対応する要素に関連する前記第１明暗値との関数の分散を計算し、
   前記計算された分散の全ての部分領域の和として、前記類似度を計算することを具備する方法。
2. 要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との前記関数は、前記要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との差分である請求項１の方法。
3. 要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との前記関数は、前記要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との比である請求項１の方法。
4. 前記第１画像パッチおよび前記第２画像パッチは２次元画像パッチであり、前記第１画像パッチおよび前記第２画像パッチの前記要素は画素である請求項１の方法。
5. 前記第１画像パッチおよび前記第２画像パッチは３次元画像パッチであり、前記第１画像パッチおよび前記第２画像パッチの前記要素はボクセルである請求項１の方法。
6. 第１画像および第２画像から奥行き画像を得る方法であって、前記方法は、
   前記第１画像の複数の画素のそれぞれについて、
   前記第１画像の対象画素で中心となる第１パッチを定義し、
   前記第２画像の画素で中心となる複数の第２画像パッチを定義し、
   請求項１の前記方法を用いて前記複数の第２画像パッチの各第２画像パッチと前記第１画像パッチとの間の類似度を計算し、
   前記対象画素で中心となる前記第１画像パッチに一致するような最大の類似度を有する前記第２画像パッチを選択し、および
   前記一致するとして選択された前記第２画像パッチの前記中心における前記第２画像の前記画素と前記対象画素との間の差異を決定することによって、前記第１画像および前記第２画像の画素間の複数の差異を計算し、
   前記複数の差異から奥行き画像を計算することを具備する方法。
7. 前記複数の第２画像パッチは、エピポーラ線上の画素で中心となるパッチとして選択される請求項６の方法。
8. 請求項１の前記方法に従い前記第２画像の第２画像パッチと前記第１画像の第１画像パッチとの間の類似度を計算することを具備する第１画像と第２画像との間の変換を決定する画像位置合わせ方法。
9. 前記第１画像および前記第２画像は、異なる画像キャプチャモデリティから得られる請求項８の画像位置合わせ方法。
10. 第１画像パッチと第２画像パッチとを示すデータを格納するメモリと、前記第１画像パッチは、前記第１画像パッチの要素とそれぞれ関連する複数の第１明暗値を具備し、第２画像パッチは、前記第２画像パッチの要素とそれぞれ関連する複数の第２明暗値を具備し、前記第１画像パッチおよび前記第２画像パッチは、前記第１画像パッチの各要素が前記第２画像パッチの要素に対応するような、対応するサイズおよび形状を有し、前記第２画像パッチのサイズおよび形状は、前記第１明暗値に従い、
    前記第２画像パッチでの部分領域の集合を決定し、各部分領域は、部分領域について定義される第１明暗値範囲内にある第１明暗値を有する前記第１画像パッチの要素に対応する前記第２画像パッチの要素の前記集合として決定され、
    部分領域の前記集合のうちの各部分領域について、部分領域の前記要素の全体で、要素に関連する前記第２明暗値と、前記第１画像パッチの対応する要素に関連する前記第１明暗値との関数の分散を計算し、
    前記計算された分散の全ての部分領域の和として、前記第１画像パッチと前記第２画像パッチとの間の類似度を計算するプロセッサと、を具備する画像処理装置。
11. 要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との前記関数は、前記要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との差分である請求項１０の装置。
12. 要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との前記関数は、前記要素に関連する前記第２明暗値と前記第１画像パッチの対応する要素に関連する前記第１明暗値との比である請求項１０の装置。
13. 前記第１画像パッチおよび前記第２画像パッチは２次元画像パッチであり、前記第１画像パッチおよび前記第２画像パッチの前記要素は画素である請求項１０の装置。
14. 前記第１画像パッチおよび前記第２画像パッチは３次元画像パッチであり、前記第１画像パッチおよび前記第２画像パッチの前記要素はボクセルである請求項１０の装置。
15. あるシーンの第１画像をキャプチャする第１カメラと、
    前記シーンの第２画像をキャプチャする第２カメラと、
    前記第１画像の複数の画素のそれぞれについて、
    前記第１画像の対象画素で中心となる第１パッチを定義し、
    前記第２画像の複数の画素で中心となる複数の第２画像パッチを定義し、
    請求項１の前記方法を用いて前記複数の第２画像パッチの各第２画像パッチと前記第１画像パッチとの間の類似度を計算し、
    前記対象画素で中心となる前記第１画像パッチに一致するような最大の類似度を有する第２画像パッチを選択し、および
    前記一致するとして選択された前記第２画像パッチの前記中心における前記第２画像の前記画素と前記対象画素との間の差異を決定することによって、前記第１画像および前記第２画像の画素間の複数の差異を計算し、
    前記複数の差異から奥行き画像を計算するプロセッサモジュールと、を具備する画像システム。
16. 前記プロセッサは、前記複数の第２画像パッチを、エピポーラ線上の画素で中心となるパッチとして選択することをさらに具備する請求項１５の画像システム。
17. 請求項１５の前記画像システムを具備する水中映像装置。
18. 前記プロセッサは、前記第２画像の第２画像パッチと前記第１画像の第１画像パッチとの間の類似度を計算することにより、前記第１画像と前記第２画像との間の変換を決定することをさらに具備する請求項１０の装置。
19. 異なる画像キャプチャモダリティから前記第２画像および前記第１画像を受信する入力モジュールをさらに具備する請求項１８の装置。
20. プロセッサ上で実行する場合に、前記プロセッサに請求項１の方法を実行させるプロセッサ実行可能な指示を具備するコンピュータ読み取り可能な媒体。