JP2004536374A - 画像セグメンテーション - Google Patents

Abstract

多次元データセットから、選択領域を切り出すセグメンテーション方法であって、選択領域の全体的な外形を表す形状モデルを設定する段階と、適応メッシュを設定する段階を含む。適応メッシュは、選択領域の近似輪郭を表す。適応メッシュは、形状モデルに基づいて初期化される。更に、適応メッシュは、形状モデル、及び、選択領域の特徴情報に依存して変形される。

Description

【０００１】
画像セグメンテーションは、一般的に、データセットの選択部の選択、及び／又は、分離に関連する。このようなデータセットは、特に、撮像された対象の画像情報を表し、選択部は、画像の特定の部分に関連する。データセットは、一般的に、データ値を、多次元の幾何学空間における位置に割当てる多次元データセットである。特に、このようなデータセットは、２次元又は３次元画像であり、データ値は、２次元平面又は３次元容積における位置に割当てられる、例えば、輝度値、グレイ値、又は、色値といった画素値である。
【０００２】
本発明は、多次元データセットから選択領域を切り出すセグメンテーション方法に係る。本発明の方法は、
−選択領域の全体的な外形を表す形状モデルを設定する段階と、
−選択領域の近似輪郭を表す適応メッシュを設定する段階とを含み、適応メッシュは、形状モデルに基づいて初期化される。
【０００３】
３次元データセットから選択領域を切り出す上述のようなセグメンテーション方法は、Ａ．Ｊ．ブルピット（Ｂｕｌｐｉｔｔ）及びＮ．Ｅ．エッフォード（Ｅｆｆｏｒｄ）による「Ａｎ ｅｆｆｉｃｉｅｎｔ ３Ｄ ｄｅｆｏｒｍａｂｌｅ ｍｏｄｅｌ ｗｉｔｈ ａ ｓｅｌｆ−ｏｐｔｉｍｉｓｉｎｇ ｍｅｓｈ」（イメージ・アンド・ビジョンコンピューティング１４（１９９６）、ｐ．５７３−５８０）なる名称の記事から公知である。
【０００４】
この公知の方法は、３次元画像の形式である多次元データセットに作用する。この公知の方法は、三角メッシュを用いて、選択領域の表面を表す。いわゆる距離変換を使用して、この適応メッシュを初期化し、このメッシュが、その最終ソリューションに近いとき、画像のグレイレベル勾配を使用して、メッシュの変形を行う。
【０００５】
本発明は、データセットから選択領域を切り出すセグメンテーション方法を提供することを目的とする。本発明の方法は、従来の方法より計算速度が速く、ロバストであり、且つ、正確である。
【０００６】
この目的は、データセットから選択領域を切り出すセグメンテーション方法によって達成されるが、本発明では、適応メッシュは、形状モデルと、選択領域の特徴情報に依存して変形する。
【０００７】
選択領域の選択は、セグメンテーションの初期化によって行われ得る。特に、初期化は、形状モデルに基づいて行われる。このような形状モデルは、アプリオリ形状情報のパラメータ化という形で選択領域を表す。このアプリオリ形状情報と、多次元データセットにおける形状モデルの位置付けが、選択される領域を決定する。特に、形状モデルは、アクティブな形状モデルであって、この形状モデルは、その平行移動及び向き（ｏｒｉｅｎｔａｔｉｏｎ）及びポーズの適応を可能にし、さらに、アクティブ形状モデルによって表される領域の形状の細かい詳細を表す形状パラメータの適応も可能にする。適応メッシュは、近似輪郭を表す。近似輪郭は、多次元データセットの残りの部分に対する選択領域の境界の推定を表す。輪郭は、一般的に、表面又は曲線といった、多次元データセットにおける超曲面である。輪郭は、多次元データセットの次元（ｄｉｍｅｎｓｉｏｎａｌｉｔｙ）より小さい次元を有する。適応メッシュが変形されるに従い、近似輪郭は、選択領域の境界に、より正確に近づく。本発明によると、適応メッシュは、特徴情報、及び、形状モデルからの情報に基づいて変形される。特徴情報は、例えば、略等しいデータ値を有するエッジや表面といった画像特徴に関係する。このような特徴情報は、データセットにおける局所勾配、即ち、データ値の局所的な相対変化によって表されることが好適である。強い勾配は、境界の存在を示し、また、勾配の方向は、境界に対し局所的に垂直である。形状モデルは、メッシュ適応の連続段階の際に用いる。例えば、適応メッシュは、内部エネルギーに基づいて変形される。本発明では、内部エネルギーは、形状モデルに依存して決められる。従って、形状モデルにより与えられる情報は、適応メッシュを、選択領域の実際の境界に近づけるよう、より効果的に使用される。特に、適応メッシュを、擬似境界に向かわせる多次元データセットにおける画像特徴、いわゆる擬似誘引子（ｆａｌｓｅ ａｔｔｒａｃｔｏｒ）は、実質的に回避され、一方で、特に精密な初期化は必要としない。
【０００８】
本発明の上述した面、及び、他の面は、好適な実施、及び、従属項に記載されるような好適な実施例を参照しながら詳細に説明する。
【０００９】
形状モデルは、適応メッシュの変形の際に更新されることが好適である。特に、位置、尺度、及び、ポーズといった形状モデルのパラメータは、適応メッシュが境界に近づくに従い適応される。
【００１０】
本発明の更なる好適な実施例では、選択領域の１つ、又は、数個の局所表面パッチが検出される。個々の局所表面パッチは、選択領域の境界に一点で接する小さいエリアである。実際では、局所表面パッチは、現在の適応メッシュの近傍における局所勾配を横断する小さい領域として取られる。メッシュ適応の際、適応メッシュと一致する境界の検出が行われ、境界が、切り出される対象に属するか否かは考慮に入れられない。通常は、メッシュ適応の最初の数回の反復において、一部の境界は、正しく検出され、他の境界は、誤解を招く恐れがある。正しい境界は、誤解を招く境界よりも、形状モデルと一致するので、正しく検出される境界点の割合は、メッシュ適応の間に増加する。
【００１１】
続いて、適応メッシュの個々の頂点が、問題の局所表面パッチに対し横方向に動かされ、メッシュを変形する。このようにして、適応メッシュが「擬似誘引子」の方向に変形することが回避される。
【００１２】
適応メッシュの変形は、適応メッシュに対する局所法線と、表面パッチに対する局所法線との間の角度に依存して、適応メッシュの個々の頂点が表面パッチに向かって動くよう行われることが好適である。個々の頂点は、通常、問題の頂点に最近傍の表面パッチに向けて移動する。このようにして、画像特徴に関する利用可能な情報を適切に考慮に入れながら、適応メッシュは変形される。特に、局所表面パッチの向きにより表される画像特徴は、いわゆる擬似誘引子の影響を回避しながら適応メッシュを変形するのに最も関連がある。特に有利な結果は、頂点が、局所表面パッチに向かって本質的に垂直に動かされるときに得られる。
【００１３】
更に、所定の閾値より小さい大きさを有するデータセットにおける勾配は、表面パッチの形成、及び、適応メッシュの変形には、廃棄されることが有利である。従って、擬似誘引子による適応メッシュ変形の逸脱は、更に回避される。
【００１４】
適応メッシュ変形の好適な実施は、エスピー・タームド（ｓｐ−ｔｅｒｍｅｄ）エネルギー関数に基づいている。ここでいう「エネルギー」という用語は、物理的なエネルギーに関連するのではなく、可変適応メッシュの概念が、バネ（ボンド）によって相互接続される塊（頂点）のストリングが、力場の影響下で動き、最小エネルギーの安定状況に向かうことと強い類似性を示すので用いている。この類似性において、外部エネルギーは、頂点に加えられる外部力場に関し、内部エネルギーは、頂点間の相互作用に関する。特に、内部エネルギーは、適応メッシュの形状に関連する。本発明によると、内部エネルギーに対する外部エネルギーの相対的重さは、ユーザによって調整され得るパラメータによって制御されることが好適である。このことは、力場の相対的な影響、及び、適応メッシュの形状が適応可能である点で、適応メッシュの変形を実施する際に更なる柔軟性を与える。外部エネルギーは、適応メッシュの実際の構成に対する選択領域の特徴情報に依存するようにされることが好適である。従って、外的力が、選択領域の、はっきりとした境界といった画像特徴に適応メッシュを向かわせることが達成される。ある程度まで、選択領域の形状に似せるよう適応メッシュの形状を制御するには、内部エネルギーは、形状モデルに依存することが有利である。従って、外部エネルギーが、適応メッシュを、選択領域の生の形状から著しく逸脱させることが回避される。内部エネルギーと外部エネルギーが協働することにより、適応メッシュが、選択領域の実際の境界に、高速、信頼度が高く、且つ、正確に収束する。形状モデルは、適応メッシュの変形の際に更新されるので、内部エネルギーと外部エネルギーが協働することは、最新の情報が使用され、擬似誘引子による逸脱が効果的に回避される点で、更に向上する。
【００１５】
本発明は更に、多次元データセットから選択領域を切り出すセグメンテーション用のデータプロセッサに係る。本発明のデータプロセッサは、請求項９に記載される。本発明のデータプロセッサは、本発明の方法を実行可能であり、特に、擬似誘引子による逸脱を回避する。
【００１６】
本発明は更に、多次元データセットから選択領域を切り出すセグメンテーション命令を含むコンピュータプログラムに係る。本発明のコンピュータプログラムは、請求項１０に記載される。本発明のコンピュータプログラムは、データプロセッサの作業メモリにロードされることが好適である。従って、データプロセッサは、本発明の方法を実行するよう備わることになる。コンピュータプログラムは、ＣＤ−ＲＯＭのようなデータ担体上に示され得る。コンピュータプログラムは、ワールド・ワイド・ウェブといったネットワークを介して示され、そのようなネットワークからデータプロセッサの作業メモリ内にダウンロードされることも可能である。
【００１７】
本発明の上述した面及び他の面は、添付図面を参照しながら以下に詳細に説明する実施例から明らかにする。
【００１８】
本発明の方法の実際の実施では、三角形の適応メッシュが、可変モデルを表す。適応メッシュは、座標
【００１９】
（外１）

を有するＮ個の頂点を含む。適応メッシュは、反復手順によって適応される。この反復手順における各反復は、以下の２つの段階を含む。
１．選択領域の局所表面パッチを検出するための表面検出。
２．適応メッシュの頂点が局所表面パッチに向かって動かされることによって適応メッシュを更新するための適応メッシュの再構成。
【００２０】
適応メッシュの再構成は、エネルギー
Ｅ＝Ｅ_ｅｘｔ＋αＥ_ｉｎｔ
を最小限にすることにより行われる。
【００２１】
外部エネルギーＥ_ｅｘｔは、適応メッシュを、表面検出段階で得られた表面パッチに向かわせる。内部エネルギーＥ_ｉｎｔは、適応メッシュの柔軟性を制限する。変数αは、両方の項の相対的な影響に重みを付ける。
【００２２】
個々の段階を、以下に、より詳細に説明する。
【００２３】
表面検出は、適応メッシュの三角形中心
【００２４】
（外２）

に対し行われる。表面パッチの検索は、三角形の法線
【００２５】
（外３）

に沿って行われ、それにより、固有値Ｆ（ｘ）と、三角形中心
【００２６】
（外４）

までの距離ｊδとの最適な組合せを有する点ｘｔｉを見つける。
【００２７】
【数１】

ここで、変数Ｄは、距離情報と、固有値Ｆ（ｘ）との組合せを制御し、変数ｌは、表面パッチのために検索されたプロファイルの長さを決め、変数δは、プロファイル上のサンプル点間の距離である。
【００２８】
固有値と距離情報とを組合わせることによって、適応メッシュの隣りの表面点は、優先的に取り扱われ、適応メッシュの変形は、最大固有値の点の検出に比べて、より安定するようになる。従って、擬似誘引子による逸脱は、効果的に回避されるか、又は、減少される。
【００２９】
例えば、
【００３０】
【数２】

という量が、固有値として使用され、符号は、選択領域の、その周囲に対する輝度に依存して選択される。閾値ｇ_ｍａｘより小さい勾配の大きさ
【００３１】
（外５）

を有する表面点に対し、この固有値は、本質的に、適応メッシュに対する局所法線の方向における勾配である。勾配値が、閾値を超えると、固有値は、適応メッシュに対する局所法線と、勾配方向のスカラ積を表す。従って、固有値は、勾配と、適応メッシュに対する局所法線との間の角度を考慮に入れる。
【００３２】
外部エネルギーは、
【００３３】
【数３】

の形式を有することが有利である。ただし、重み付け
【００３４】
【数４】

である。この外部エネルギーは、図１に示すように、適応メッシュの頂点を、局所表面パッチに対し垂直に動かす。
【００３５】
内部エネルギーの好適な選択は以下の通りに決められる。開始点は、三角形のメッシュにより表される形状モデルである。形状モデルのメッシュの頂点座標は、
【００３６】
【数５】

により与えられる。
【００３７】
この式において、ｍ_ｉ ^０，…，ｍ_ｉ ^Ｎは、平均モデルの頂点座標を表し、ｍ_ｉ ^ｋ，…，ｍ_Ｎ ^ｋは、形状モデルの固有モード（ｋ＝１，…，Ｍ）に関連付けられる頂点座標の変動を表し、ｐ_ｉ，…，ｐ_Ｍは、固有モードの重み付けを表す。
【００３８】
内部エネルギーは、頂点の分布を、ある程度維持すると考えられる。従って、擬似誘引子による異常な変形は回避される。内部エネルギーは、
【００３９】
【数６】

として与えられる。ただし、ｓは、形状モデルの尺度（ｓｃａｌｉｎｇ）を表し、Ｒは、形状モデルの向きを表す。
【００４０】
適応メッシュの変形は、２つの段階で行われる。第１の段階では、固有モードの現在の重み付けｐ_ｉを有する形状モデルの尺度ｓ及び向きＲが、現在の適応メッシュの構成に対し決められる。特異値分解に基づいた点ベースのレジストレーション方法が、尺度、及び、回転を決定するのに適切に機能すると分かった。第２の段階では、頂点座標ｘｉ、及び、重み付けｐ_ｉが、第１の段階で決定された尺度ｓ、及び、向きＲを用いて更新される。エネルギー関数Ｅは、これらの変数に対し２次関数である。このエネルギーの最小化は、共益勾配法によって好都合に行われる。共益勾配法は、例えば、Ｐ．Ｅ．ギル（Ｇｉｌｌ）外による「Ｐｒａｃｔｉｃａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ」（アカデミック・プレス、サンディエゴ、１９８１）というハンドブックから公知である。この方法は、最小化に関連するマトリクスは、僅かに占有されるという事実をうまく利用する。
【００４１】
選択領域の境界の正確な近似まで収束する適応メッシュの変形は、短い時間しかかからない。つまり、最大約３０秒しかかからない。このことは、本発明のセグメンテーション方法を、大きいデータセットが関連する場合にもかなり実用的にする。特に、このような大きなデータセットは、高い空間分解能を有する３次元データセットを使用する医療診断適用において用いられる。良好な結果は、特に、人間の背骨の３次元画像からの脊椎の切り出しにおいて得られる。なんらかの対処が施されない限り、この適用は、近傍の脊椎の一部によって形成される擬似誘引子に影響を受け易いからである。
【図面の簡単な説明】
【００４２】
【図１】本発明の方法に使用する適応メッシュの変形を示す図である。

Claims (10)

1. 多次元データセットから、選択領域を切り出すセグメンテーション方法であって、
   上記選択領域の全体的な外形を表す形状モデルを設定する段階と、
   上記選択領域の近似輪郭を表す適応メッシュを設定する段階と、を含み、
   上記適応メッシュは、上記形状モデルに基づいて初期化され、且つ、上記形状モデル、及び、上記選択領域の特徴情報に依存して変形される、方法。
2. 上記形状モデルは、上記適応メッシュの変形時に更新される請求項１記載の選択領域セグメンテーション方法。
3. 上記選択領域の１つ以上の局所表面パッチを検出する段階と、
   上記局所表面パッチに対する上記適応メッシュの局所的な向きに依存して、上記適応メッシュを変形する段階と、を含む請求項１記載の選択領域セグメンテーション方法。
4. 上記適応メッシュは、複数の頂点と、個々の頂点を接続するリンクを含み、
   上記適応メッシュは、個々の頂点が、それぞれの表面パッチに向かって動かされることにより変形される請求項３記載の選択領域セグメンテーション方法。
5. 個々の頂点は、上記適応メッシュに対する局所法線と、上記表面パッチに対する法線との間の角度に依存して、動かされる請求項４記載の選択領域セグメンテーション方法。
6. 個々の頂点は、上記表面パッチに対し垂直な方向に動かされる請求項５記載の選択領域セグメンテーション方法。
7. 上記適応メッシュの適応は、エネルギー関数の値の最適化に基づいて行われ、
   上記エネルギー関数は、上記形状モデルに依存する内部エネルギー寄与と、上記選択領域の特徴情報、及び、上記適応メッシュの実際の構成に依存する外部エネルギー寄与とを有する、請求項１記載の選択領域セグメンテーション方法。
8. 上記エネルギー関数は、調節可能な重み付け係数が関連する、上記内部エネルギー寄与及び上記外部エネルギー寄与の重み付けされた組合せを含む請求項７記載の選択領域セグメンテーション方法。
9. 選択領域の全体的な外形を表す形状モデルを設定し、上記選択領域の近似輪郭を表す適応メッシュを設定するよう構成され、
   上記適応メッシュは、上記形状モデルに基づいて初期化され、且つ、上記形状モデル、及び、上記選択領域の特徴情報に依存して変形される、データプロセッサ。
10. 選択領域の全体的な外形を表す形状モデルを設定する命令と、
    上記選択領域の近似輪郭を表す適応メッシュを設定する命令とを含み、
    上記適応メッシュは、上記形状モデルに基づいて初期化され、且つ、上記形状モデル、及び、上記選択領域の特徴情報に依存して変形される、コンピュータプログラム。