JP2014519362A - 臨床的意義に関する画像の自動検出及び検査用のシステム及び方法 - Google Patents

Abstract

解剖学的状況の画像の臨床的意義の自動検出のためのシステム及び方法を開示する。この方法は、第１の画像と第２の画像とを比較して、第１の画像と第２の画像との間の相違が局所タイプの相違及び大域タイプの相違のうちの少なくとも一方であるかを決定することを含む。局所タイプの相違とは、第１の画像と第２の画像との局所的な相違であり、大域タイプの相違とは、第１の画像と第２の画像との間の大域的な相違である。第１の画像と第２の画像との間の相違が局所タイプの相違を有することが決定された場合、第２の画像は臨床的意義を有するものとして決定される。

Description

本発明は、解剖学的状況の画像の臨床的意義の自動検出のための方法及び装置並びにシステムに関し、特に、信頼性ある画像データをより早く提供することを可能にする方法及び装置並びにシステムに関する。

例えばナビゲーション又はコンピュータ支援手術システムのために、例えばＸ線、ＣＴ、ＭＲＴ／ＭＲＩなどの撮像装置から得られた画像データを用いるとき、その画像データはビデオ信号として提供されることができる。新たな画像が存在するか否かを検出して、ナビゲーションシステム又はコンピュータ支援手術システムが要求に応じて新たな画像の新たなコンテンツを使用することができるようにすることは妥当なことである。

特許文献１に、撮像装置の状態を検出するシステム及び方法が記載されている。特許文献１は、マスクの外側の画像範囲の強度を検出し、それにより、新たにトリガーされたｘ線装置が生体構造を照射して突然の強度上昇をもたらすときに新たな画像の存在が検出されるようにすることを記載している。

米国特許出願公開第２０１１／００５８０２６号明細書

本発明により、信頼できる画像データをより早く提供するシステム及び方法が提供される。

なお、以下に記載される本発明の例示実施形態は、方法、装置、グログラム要素及びコンピュータ読み取り可能媒体にも適用される。

本発明の例示的な一実施形態によれば、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための方法は、解剖学的状況の第１の画像を撮影することと、解剖学的状況の第２の画像を撮影することと、第１の画像と第２の画像とを比較して第１の画像と第２の画像との間の相違を決定することと、第１の画像と第２の画像との間の相違が局所タイプの相違及び大域タイプの相違のうちの少なくとも一方を有するかを決定することであり、局所タイプの相違は第１の画像と第２の画像との局所的な相違であり、大域タイプの相違は第１の画像と第２の画像との大域的な相違である、ことと、第１の画像と第２の画像との間の相違が局所タイプの相違を有することが決定された場合に、第２の画像を臨床的意義を有するものとして決定することとを有する。

手術において、臨床的な意義／意味を有する画像とは、例えば術中の外科医に新たな情報又は追加の情報を提供する画像である。特に、一連の画像（画像シーケンス）を提供するとき、後続の画像は、シーケンス内の介在画像又は直前の画像に対して追加情報又は新情報を有する場合に、臨床的意義を有するものと見なされる。この追加情報は、例えば、それぞれの先行画像に対する、追加された埋設物、埋設物の変更された位置、骨若しくは組織の変更されたコンステレーションとし得る。この方法はまた、局所タイプの相違を検出する前に、大域タイプの相違を検出することを含み得る。具体的には、大域的な相違が所定の閾値を上回る場合に臨床的意義が決定されてもよい。大域的な相違が所定の閾値を超えていない場合に、局所タイプの相違を検出してもよい。局所的な相違が該当する閾値を上回る場合、臨床的意義が決定され得る。換言すれば、例示的な一実施形態によれば、大域的な相違が所定の閾値を上回る場合に臨床的意義が検出され得るが、大域的な相違が所定の閾値を上回らない場合にも、局所的な相違が別の所定の閾値を上回る場合に臨床的意義が検出され得る。

故に、装置は、新たな画像の存在を検査するだけでなく、新たな画像コンテンツが存在するかを検査することをも可能にする。ナビゲーションシステム又はコンピュータ支援手術システムが、例えば埋設物及び該当する生体構造の実際の状態及び位置を再計算するとき、新たな画像の各々は、ナビゲーション状況が更新されるまでに有意な遅延を生じさせる。しかしながら、新たな画像が提供されなければ更新も必要ない。この目的のため、本発明による装置は、画像のコンテンツを比較して相違を決定する。一般に、大域的な相違は、例えば、ノイズが追加あるいは除去される場合や、コントラストが再計算される場合などに発生し得る。このような計算又はノイズ抑制は、Ｘ線Ｃアーム又はＭＲＴのような撮像装置によって実行され得る。大域的な相違は必ずしも、臨床的に意義のある画像コンテンツの変化に起因するものではない。故に、本発明は、或る特定の画像セクション内での変化のような局所的な相違をも考慮する。有意な変化が或る特定の位置でのみ起こり、その他の位置では起こらない場合、これは、画像コンテンツの臨床的意義のある変化の検出をもたらし得る。例えば埋設物が骨に対して移動された場合、埋設物の位置を除く全ての位置は変化しないままである。故に、局所的な相違から、臨床的意義のある変化が検出され得る。

本発明の例示的な一実施形態によれば、第１の画像と第２の画像との相違は、所定の閾値を上回るときの相違として決定される。

故に、僅かなノイズ又は小さい強度変化のような、より小さい相違は、有意な意義を検出することなく排除され得る。閾値未満の相違は無視されることになる。故に、例えば画素の誤差などは局所的な相違又は大域的な相違の検出にはつながらない。

本発明の例示的な一実施形態によれば、第１の画像と第２の画像とを比較して第１の画像と第２の画像との間の相違を決定することは、第１の画像及び第２の画像の各々を、各々が複数の画素を有する対応し合う複数の画像ブロックに分離することと、対応し合う画像ブロックを比較することとを含む。

故に、画像ブロックに基づいて自動検出が実行され得る。これらの画像ブロックは、複数の画素を含み且つ全体画像より小さいとし得る。画像ブロックは、局所タイプの相違と大域タイプの相違とを区別することを可能にする。

本発明の例示的な一実施形態によれば、局所タイプの相違は、第１の画像と第２の画像との相違が所定の第１の閾値を上回る場合に検出され、大域タイプの相違は、第１の画像と第２の画像との相違が所定の第２の閾値を上回る場合に検出され、第２の閾値は第１の閾値より大きい。

故に、或る特定の位置での小規模な相違は、臨床的に意義のある相違の検出をもたらし得るが、画像全体上での強度変化のような大域タイプの相違は臨床的に意義のあるものではなさそうなので、局所タイプの相違の方が検出感度を高くされる。

本発明の例示的な一実施形態によれば、前記閾値及び前記第１の閾値のうちの少なくとも一方は局所的に可変の閾値である。

故に、例えば外縁部で、特に一定の効果は排除され得る。また、より関連する画像内の位置にあり得る意義のある臨床的側面は、コンピュータ支援手術システムによって実行され得るものである画像認識によって特定されることが想定される。画像認識は、第２の画像を検討する前に関連画像部分を特定することができるよう、第１の画像に基づいて実行され得る。そのような画像部分は、ネジの先端やＫワイヤの先端などと認識され得る。

本発明の例示的な一実施形態によれば、前記閾値、前記第１の閾値及び前記第２の閾値のうちの少なくとも１つは動的な閾値である。

故に、動的な変化を考慮に入れて画像を比較することができる。閾値は、特定の領域がアーチファクトを含むことなどが検出される特定の状況の検出を受けて変化され得る。また、閾値は、最大の局所的な相違と大域的な相違との比に基づいて動的に適応され得る。換言すれば、最大の局所的な相違と大域的な相違との比が或る特定の閾値を上回る場合、これは臨床的意義を指し示すものと見なされ得る。

本発明の例示的な一実施形態によれば、この方法は更に、最大の局所的な相違を有する画像ブロックを決定し、最大の局所的な相違を有する画像ブロックを残りの画像ブロックと比較し、且つ、最大の局所的な相違を有する画像ブロックと残りの画像ブロックとの比較に基づいて局所タイプの相違を決定することを有する。

故に、最大の相違が有意差であることを決定あるいは確認することができる。換言すれば、これは、その相違が比較的大きい相違であるか、すなわち、残りのブロックがもっと小さい相違を有するか、それとも、その相違が比較的小さい相違であるか、すなわち、残りのブロックが最大差のブロックと同等の相違を有するか、を決定することを可能にする。

本発明の例示的な一実施形態によれば、この方法は更に、有意に大きい局所的な相違を有する画像ブロックを決定し、有意に大きい局所的な相違を有する画像ブロックを、有意に大きい局所的な相違を有する画像ブロックに隣接あるいは近接する画像ブロックと比較し、且つ、有意に大きい局所的な相違を有する画像ブロックと、有意に大きい局所的な相違を有する画像ブロックに隣接あるいは近接する画像ブロックと、の比較に基づいて局所タイプの相違を決定することを有する。

故に、相違の勾配を決定することができるので、或るブロックと隣接ブロック若しくは近接ブロックとの間で強い勾配の局所的な相違を有するとき、その勾配を臨床的意義の指標として使用することができる。

本発明の例示的な一実施形態によれば、この方法は更に、第１の画像内の関連物を認識し、且つ、認識された関連物を含む第１の画像の画像ブロックと第２の画像の対応する画像ブロックとの相違に基づいて局所タイプの相違を決定することを有する。

故に、画像の関連部分を使用して、局所的な相違の決定、及び臨床的意義が生じたか否かの決定を行うことができる。関連部分は、臨床的意義を有すると決定されたコンピュータ支援手術システムの画像情報に基づいて決定され得る。これは、画像認識又はオブジェクト認識によって実行され得る。

本発明の例示的な一実施形態によれば、第１の画像と第２の画像とを比較して第１の画像と第２の画像との間の相違を決定することは、第１の画像及び第２の画像の対応し合う画像ブロックの少なくとも一部の平均及び分散を決定することと、対応し合う画像ブロックを平均及び／又は分散に関して比較することとを含む。

故に、平均値や分散を決定する形態の非常に単純な計算手順を適用して、その画像ブロック全体又は複数の画像ブロックの統合的な値を取得することができる。また、画像ブロックの形態の複数の画素が一緒になって、平均値及び／又は分散の形態の１つ又は２つの代表値を有するので、計算集約的な画素の一対一割当てを回避することができる。

本発明の例示的な一実施形態によれば、画像の特定された物体の検出サイズに基づいて、全ての画像ブロックに対して固有の１つのサイズが動的に適応される。

故に、複数の画像ブロックがこの典型的な物体サイズに適応され得る。多数の小さい物体は、より小さいサイズを有する多数の画像ブロックをもたらし、少数の大きい物体は、より少ない大きい画像ブロックをもたらし得る。前者は、後者よりも大きい計算能力を必要とする。関連物体のサイズの検出は、臨床的意義があると決定されたコンピュータ支援手術システムの画像情報に基づいて実行され得る。

本発明の例示的な一実施形態によれば、第１の画像と第２の画像とを比較して第１の画像と第２の画像との間の相違を決定することは、複数の画像ブロックを画像ブロッククラスタへと結合することと、対応し合う画像ブロッククラスタを比較することとを含む。

故に、複数の画像ブロックを結合して、分析のために行われる処理の数を削減することができる。複数の画像ブロックの画像ブロッククラスタへの結合は、動的に、且つ／或いは局所的に分散されて行われ得る。

本発明の例示的な一実施形態によれば、局所タイプの相違は、第１の画像の或る画像ブロックと第２の画像の対応する画像ブロックとの間の相違、及び第１の画像の或る画像ブロッククラスタと第２の画像の対応する画像ブロッククラスタとの間の相違、のうちの少なくとも一方が第１の閾値を上回る場合に決定される。

故に、臨床的に意義のある得ベントを検出することができるとともに、閾値より小さい変化をもたらす効果を意義がないものと見なすことができる。これは、画像ブロック及び画像ブロッククラスタに基づいて行われ得る。

本発明の例示的な一実施形態によれば、この方法は更に、撮像された物体を有する関連画像範囲を検出することを有し、第１の画像と第２の画像とを比較して第１の画像と第２の画像との間の相違を決定することは専ら、検出された関連画像範囲に基づいて実行される。

故に、画像に関連しないブラックマスクを無用に計算することなく、計算を関連画像範囲に制限することができる。特に、マスク領域内の付加的な書込情報を無視することができ、関連画像範囲内の変化を検出したときにのみ新たな画像が提供されるようになる。

本発明の例示的な一実施形態によれば、検出された関連画像範囲は後続画像の基礎として使用される。

故に、先行する検出が現在の検出の開始点として機能するので、計算能力を低減することができる。

本発明の例示的な一実施形態によれば、この方法は更に、第１の画像及び第２の画像のうちの少なくとも一方の所定の特性を検出することを有し、該所定の特性は、撮像装置の種類及び撮像装置の製造者のうちの少なくとも一方を指し示す。

故に、製造者のロゴ若しくは印章、又は型番情報が認識され、撮像装置の種類又は製造者を決定するために使用され得る。これは、この方法を装置の種類又は製造者に特有の特性に適応させることを可能にする。認識される所定の特性は、例えば、特徴的なアーチファクト、ロゴ若しくは商標、透かしなどとし得る。

本発明の例示的な一実施形態によれば、第１の画像及び第２の画像は、撮像装置の連続的なビデオ信号出力から生成される。

故に、全ての撮像装置、特に、トリガーによる撮像手順及びトリガーされる画像転送を有する撮像装置、並びにビデオ信号の形態での連続的な画像転送を有する装置で、本発明に係る装置を動作させることができる。

本発明の例示的な一実施形態によれば、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための装置は、画像入力インタフェースと、画像入力インタフェースから取得される解剖学的状況の第１の画像用の第１の記憶ユニットと、画像入力インタフェースから取得される解剖学的状況の第２の画像用の第２の記憶ユニットと、第１の画像と第２の画像とを比較して第１の画像と第２の画像との間の相違を決定する比較部と、第１の画像と第２の画像との相違タイプを評価する相違タイプ評価ユニットであり、該相違タイプ評価ユニットは局所タイプの相違及び大域タイプの相違のうちの少なくとも一方を決定するように適応され、局所タイプの相違は第１の画像と第２の画像との局所的な相違であり、大域タイプの相違は第１の画像と第２の画像との大域的な相違である、相違タイプ評価ユニットと、第１の画像と第２の画像との間の相違が局所タイプの相違を有することが決定された場合に、第２の画像を、臨床的意義を有するものとして選択する画像選択ユニットとを有する。

この装置の効果は、方法の効果と同様である。故に、上述の方法の効果は装置にも当てはまる。

本発明の例示的な一実施形態によれば、この装置は更に、第１の画像及び第２の画像の各々を、各々が複数の画素を有する複数の画像ブロックに分離する分離ユニットを有する。

本発明の例示的な一実施形態によれば、この装置は更に、関連画像範囲を特定する関連画像範囲検出ユニットを有する。

本発明の例示的な一実施形態によれば、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のためのシステムは、連続的なビデオ出力を有する撮像装置と、臨床的意義のある画像を受信する画像インタフェースを有するコンピュータ支援手術システムと、上述の、解剖学的状況の画像の臨床的意義の自動検出のための、本発明に係る装置とを有し、上述の画像入力インタフェースは、撮像装置の連続的なビデオ出力に動作的に接続され、臨床的意義のある画像を受信する上記画像インタフェースは、上述の画像選択ユニットに動作的に接続される。

本発明の例示的な一実施形態によれば、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための上述の装置及びシステムを制御するためのコンピュータプログラムが提供される。このコンピュータプログラムは、処理ユニットによって実行されるときに、撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための方法の上述の方法ステップを実行するように適応される。

本発明の例示的な一実施形態によれば、上述のコンピュータプログラムを格納したコンピュータ読み取り可能媒体が提供される。

なお、以上の特徴は組み合わされ得るものである。以上の特徴の組合せはまた、たとえ明示的に詳述されないとしても、相乗効果をもたらすことがある。

以下に記載の実施形態を参照することで、本発明のこれら及びその他の態様が明らかになる。

以下では、以下の図を参照して、本発明の代表的な実施形態を説明する。
本発明の代表的な一実施形態に係るシステムの概略構成を例示する図である。 本発明の代表的な一実施形態に係る装置の概略構成を例示する図である。 様々な画像細部に関する概略的な定義付けを例示する図である。 局所タイプ検出を例示する詳細図である。 局所タイプ検出を例示する詳細図である。 臨床的意義を有しない２つの画像の一方を例示する図である。 臨床的意義を有しない２つの画像の他方を例示する図である。 臨床的意義を有する２つの画像の一方を例示する図である。 臨床的意義を有する２つの画像の他方を例示する図である。 本発明の代表的な一実施形態に係る方法の代表的なフローチャートを例示する図である。

コンピュータ支援手術システムは、Ｘ線又はそれに類するもののような撮像装置に動作的に接続され得る。このようなコンピュータ支援手術システムは、新たな画像の存在を検出するために、突然の強度上昇の検出のみを使用し得る。このようなシステムは、臨床的に意味があるように画像のコンテンツが変化しなかった場合にも新たな画像を提供することになる。この状況は、外科医が解剖学的状況を変更することなくＸ線装置を再び動作させるときに起こり得る。特に、最近の撮像装置は画像を提供するだけでなく、自動的にコントラストを増大させたり、あるいはテキスト情報を付加したりする。この目的のため、撮像装置は、先ず原画像（未加工画像）を提供し、コントラスト増大化計算を完了した後に改訂画像を提供し、その後、テキスト情報を上に付加された、更に改良された画像を提供する。しかしながら、上述のケースでは、これらの更なる画像は、最初に提供された画像に臨床的に意味ある情報を付加するものではない。これらの更なる画像は、向上された画像品質又は付加的なテキスト情報を追加するのみであり、あるいは、外科医が誤って撮像装置を再び動作させた場合には全く意義のない新たな画像を提供するのみである。上述のケースでは、例えば強度の増大のみをモニタする場合、新たに提供される画像は、臨床的意義を有しないにもかかわらず、時間のかかるナビゲーションの再計算をもたらすことになる。

図１は、本発明の代表的な一実施形態に係るシステムの概略構成を例示している。システム１は、撮像装置１０と、自動検出装置２０と、コンピュータ支援手術システム又はナビゲーションシステム３０とを有している。撮像装置１０はビデオ出力インタフェース１１を有し、自動検出装置２０は画像入力インタフェース２１を有する。ビデオ出力インタフェース１１及び画像入力インタフェース２１は、例えばＸ線装置又はＭＲＴ／ＭＲＩ装置といった撮像装置によって撮影された画像を自動検出装置２０に転送するように接続されており、あるいは接続されることができる。自動検出装置は、後述するように、画像比較を進めることになる。自動検出装置２０は更に画像選択ユニット２６を有しており、画像選択ユニット２６は、ナビゲーションシステム又はコンピュータ支援手術システム３０に、具体的にはナビゲーションシステム又はコンピュータ支援手術システム３０の画像入力インタフェース３１に、選択した画像を提供する。故に、画像は、撮像装置１０によって撮影され、自動検出装置に転送され、そして、検出結果が更に、選択画像として、ナビゲーションシステム又はコンピュータ支援手術システム３０に送られる。自動検出装置２０の構成について図２を参照して更に詳細に説明する。

図２は、本発明の代表的な一実施形態に係る自動検出装置の概略構成を例示している。自動検出装置２０は、例えばＸ線装置、ＭＲＴ／ＭＲＩ装置、又はＣＴ装置などの撮像装置１０から画像を受信するための画像入力インタフェース２１を有する。自動検出装置２０は更に、関連画像範囲を決定するユニット２８を有しており、該関連画像範囲に基づいて自動検出が実行され得る。故に、非関連画像範囲は、恐らくは意味のある画像情報を含んでいないので、自動検出から除外され得る。また、自動検出装置２０は、画像を複数の画像ブロックに分離する分離ユニット２７を有し得る。故に、後述するように、複数の異なる画像ブロックが別々に自動検出されて、２つの画像の大域的（グローバル）な相違と２つの画像の局所的（ローカル）な相違とが区別され得る。自動検出装置２０は更に、第１の画像用の第１ストレージ（記憶装置）２２と、第２の画像用の第２ストレージ２３とを有する。故に、画像入力インタフェース２１で受信された複数の画像は、関連画像範囲検出ユニット２８によって関連画像範囲に関して分析され、そして分離ユニット２７によって複数の異なる画像ブロックに分離された後に、比較部２４によって比較されることができる。比較部の結果は、相違タイプ評価ユニット２５に提供される。相違タイプが評価された後、画像選択ユニット２６が、それぞれの画像を選択して、ナビゲーションシステム又はコンピュータ支援手術システム３０に画像を提供する。なお、新たな画像は、外科的な意義が検出されたときにのみ、コンピュータ支援手術システム又はナビゲーションシステム３０に提示されることになる。外科的意義が検出されない場合には、ナビゲーションシステム又はコンピュータ支援手術システム３０に画像は提供されない。故に、コンピュータ支援手術システム又はナビゲーションシステム３０は、臨床的意義を有する画像を受信した場合にのみ、外科的状況を考慮して画像の処理を行うことになる。臨床的意義は、例えば、埋設物の移動、又は生体構造の位置若しくはコンステレーションの変化とすることができ、それぞれのナビゲーション情報又は支援情報が新たな画像に基づいて更新され得る。しかし、臨床的に意味のある如何なる情報も利用可能でない場合、ナビゲーションシステム及びコンピュータ支援手術システムのナビゲーション情報又は支援情報の更新も必要ない。この手順は計算時間を大いに節減することになり、外科医は、臨床的に意味のある情報を有する新たな画像を受信した場合にナビゲーションシステム又はコンピュータ支援手術システム３０の新たな分析を待つだけでよい。

図３は、様々な撮像及び画像の細部に関する概略的な定義付けを示している。図３は、模式的な概観を用いたスケッチを示しており、解剖学的状況の全体画像１００は関連画像範囲１４０を含んでいる。関連画像範囲１４０は、対象物それ自体の画像及び撮像を含んでおり、解剖学的状況の画像に含まれるが関連画像範囲には含まれない残りの範囲は、画像それ自体を有さずに、要素１６４から見て取れるような、例えば患者データ、日時情報又はカーソル位置などのもののような撮像情報を有し得る。関連画像範囲１４０は、解剖構造１６１を有する解剖学的状況を示しており、解剖構造１６１は、例えば組織又は骨のような第１の解剖サブ構造（部分構造）１６１ａ、第２の解剖サブ構造１６１ｂ、及び／又は第３の解剖サブ構造１６１ｃを含み得る。なお、解剖サブ構造はまた、既に埋設されている更なる埋設部分を含み得る。図３は更に、撮像プロセスが行われる手術中に既に埋設されている埋設物１６３を示している。埋設物１６３は例えば、ガンマネイル又はこれに類するものとし得る。また、図３は、例えばネジ、ドリル、Ｋワイヤ、又はネイル若しくは手術針の先端のような一時的な埋設物とし得る更なる埋設物１６２を示している。図３において、局所的な相違を決定する関連範囲は、例えば、解剖構造内で前後に移動される手術針もしくはＫワイヤの先端の範囲とし得る。この手順については、どちらも図３に１８０で表した範囲を拡大して示すものである図４Ａ及び４Ｂに関連して後述する。ここでの説明のため、手術針の先端又はＫワイヤの先端に近い画像ブロックである画像ブロック１２０を、分析のために検討する。このブロック１２０は複数の画素１１０を含むことができ、故に、２つの画像の比較を、例えば画像ブロック１２０に基づいて行うことができる。図３中の画素１１０は単に模式的なものであり、画素１１０は当然ながら、図３に示した物体１６２より遙かに小さいものである。１つの画像ブロッククラスタ１３０に至るように複数の画像ブロック１２０が結合され得る。図３において、画像ブロッククラスタ１３０は例えば、１行に３つで１列に３つの９個の画像ブロック１２０を含み得る。なお、画像ブロッククラスタは、より多くの、あるいは、より少ない画像ブロックを有していてもよく、また、画像ブロック及び画像ブロッククラスタは何れも、正方形の形態である必要はなく、長方形の形態又はその他／自由な形態であってもよい。さらに、画像ブロッククラスタはまた、特に画像ブロッククラスタの縁部において、画像ブロックの一部を有していてもよい。

図４Ａ及び図４Ｂは、局所タイプ検出を更に詳細に例示している。例示的な一実施形態によれば、図４Ａは例えば、第１、第２及び第３の解剖サブ構造１６１ａ、１６１ｂ及び１６１ｃを示す第１の画像を例示するものとし得る。また、図４Ａは手術針１６２を示している。図４Ａから見て取れるように、手術針は画像ブロック１２０内に横たわっている。更なる画像において、図４Ｂにて典型的に見て取れるように、手術針１６２が移動され、画像ブロック１２０はもはや手術針を含まなくなっている。図４Ａの画像ブロック１２０を図４Ｂの画像ブロック１２０と比較すると、手術針１６２はもはや画像ブロック１２０内にないという結論に至ることができ、故に、手術針が解剖構造に対して移動されているのでこれは臨床的に意味のある状況であると結論付け得る。図４Ａの画像ブロック１２０と図４Ｂの画像ブロック１２０との間でのこの分析は、画像ブロック１２０内の平均グレースケール値又は強度若しくは色の平均値を計算することによって実行されることができる。図４Ａ及び図４Ｂに示した簡略化したケースにおいて、画像ブロック１２０の背景は白色であると見なし、手術針１６２は黒色と見なす。図４Ａの画像ブロック１２０内のグレースケールの平均値は、手術針が画像ブロック１２０のうちの３０％を覆っていると仮定すると、およそ３０％である。一方、図４Ｂの画像ブロック１２０はもはや手術針１６２を含んでおらず、背景が白であると仮定すると、画像ブロック１２０の平均グレースケール値は０％である。実際の状況においては、当然ながら、ノイズを予期しなければならない。平均値を比較するとき、その結果は図４Ａの画像ブロック１２０の平均値と図４Ｂの画像ブロック１２０の平均値との間での有意な差であるが、例えば画像ブロック１２０ａといった残りの画像ブロックにおける差は有意でないままである。該当する閾値を超えるとき、装置は自動的に、これが臨床的に意味のある状況であることを検出する。特に、例えば図４Ａの別の画像ブロック１２０ａが図４Ｂの該当する画像ブロック１２０ａに対して不変のままである場合、これは臨床的に意味のある状況として決定される。故に、図４Ａと図４Ｂとの間の相違は、大域的な相違ではなく、画像ブロック１２０内での局所的な相違であると結論付けることができる。換言すれば、例えば画像ブロック１２０ａ内のグレースケール値が０％のままであり且つ画像ブロック１２０のグレースケール値が３０％から０％に変化することを検出する場合、検出装置は自動的に、ナビゲーションシステム又はコンピュータ支援手術システムによって考慮されるべき臨床的意義のあるイベントを表すものとして、局所タイプの相違を検出し得る。実際の状況においては、当然ながら、ノイズを予期しなければならない。全ての画像ブロック上での差が有意であるが全ての画像ブロックで一定である場合には、臨床的意義は検出されない。しかし、全てのブロック上での差が有意であり、且つ唯一又は限られた数のブロックの差が残りの画像ブロックの有意差を上回る場合、臨床的意義が決定され得る。後者の例は、動的な閾値を適用することが有用であり得ることを示すものである。

以下、撮像装置によって提供されるＸ線画像の臨床的意義の自動的な検出及び検査の手順を詳細に例示説明する。なお、一部のステップが除外されたり、幾つかの更なるステップが追加されたりしてもよい。

例示の手順は、（設定可能な）サンプリング周波数でのアナログビデオ信号の周期的なデジタル化で開始する。デジタル化されたビデオ信号に基づき、例えば楕円形の画像領域（コーンビーム）の検出が実行され得る。Ｓ字歪み又はピンクッション歪みのようなその他の歪みはダウンサンプリングによって除去され得る。楕円領域を使用可能なことは、少し歪んだビデオ画像をも処理することを可能にする。これは、歪み除去を必要とせずに元の投影上で処理全体を行うことを可能にする。故に、例えば、歪んだ元画像が使用され得る。例えば楕円形の画像領域の外側に位置する領域など、画像内の意味のない領域は無視され得る。楕円画像の内側又は外側への設定可能あるいは装置依存の継ぎ目が考慮され得る。そして、画像ノイズの量及び処理時間を低減するよう、ダウンサンプリングされた元画像に基づいて、画像の相違が分析され得る。これは、渡された最後の画像と比較した差分画像ＤＩを計算することによって行われ得る。平均値又は分散を検討することによって評価が実行され得る。この目的のため、差分画像の全画素の強度値にわたっての平均値及び分散が、大域的な画像変化の指標として決定され得る。大きい差を有する、すなわち、大きい閾値を超える画像は、新たな画像として分類されて、更なる処理のために渡されることになる。差分画像は、或る特定サイズの重なり合う画像ブロック又は重なり合わない画像ブロックに分離され得る。なお、ブロックサイズは、例えば画像内の典型的な物体のサイズにブロックサイズを適応させることによって、動的に変化されてもよい。この処理は、画素変化における最大値を示すブロックの特定と併せて、全てのブロックの画素強度値の平均値及び分散の計算とともに行われ得る。最大変化を有するブロックの位置が、以下の画像処理アルゴリズムで使用され得る。なお、２番目や３番目に強い変化を有するブロックなども処理に考慮されることができる。このアルゴリズムは、画像内のエッジの検出と、変化を局所的あるいは大域的であるとして分類するために画像変化の分布を記述する指標の計算とを含み得る。この指標は、大域的変化と局所的変化との間の関係を定量化してもよく、それに従って変化を分類することを可能にする。このアルゴリズムは、アナログノイズ又は画像源装置内での画像処理に由来し得る小さい大域的変化を無視するルーチンを実装してもよい。このアルゴリズムはまた、後の画像に使用されるように更なる画像処理のために渡される画像上の関心ある楕円領域を計算し得る。このため、この手順は、より一層ダウンサンプリングされた元画像に基づいて、内部領域をおおよそカバーする円を推測し得る。この推測は、後続ステップの探索領域を狭くするため、また、画像歪みの影響を抑制するため、円に関するハフ変換を使用し得る。また、この手順は、推測された円に基づいて、放射状の探索線に沿って明から暗への遷移を探索し、それらを楕円画像領域の外縁の候補として使用し得る。更なる境界領域は、図６Bの１６４に見られるような書込情報（このような書込情報又はその他の妨害情報は画像領域内まで延在していることがある）を含み得るので、画像コンテンツの検討から除外され得る。その後、この手順は、例えばＲＡＮＳＡＣアルゴリズムを用いて、楕円に対して十分に適合しない異常（アウトライア）点を排斥することで、反復的に楕円の数学モデルを候補点のサブセット（部分集合）にフィッティングし得る。候補点への最良にフィットする楕円がコーンビーム検出アルゴリズムの結果となる。この手順は、製造者及び／又は撮像装置に特有の画像コンテンツの自動検出を実行し、それに従って画像処理パラメータを調整し得る。自動取得された装置タイプが、後続の画像処理ステップの最適化のための情報として使用され得る。

比較される双方の画像間の時間シフトは、例示的に５００ｍｓとし得る。画像の解像度は、水平方向に５００画素且つ垂直方向に５００画素（又は、水平方向に２５０且つ垂直方向に２５０）の領域とし得る。フォーマットはＰＡＬ若しくはＮＴＳＣ又はこれらに類するものとし得る。画像ブロックは例えば、水平方向に４画素で垂直方向に４画素とし得る。

図５Ａ及び５Ｂは、それらの差分が臨床的意義を有しない２つの画像を例示している。図５Ａと図５Ｂとの間の相違は、例えば、強度における僅かな変化であり得るが、それは複数の画像ブロック又は画像クラスタ（図５Ａ及び５Ｂには詳細に示していない）の各々に対して同じである。第１の画像としての図５Ａと第２の画像としての図５Ｂとの間の相違は、例えば、新たな画像を撮影することなく第１の画像に基づいて画像品質を向上させるためにＸ線装置によって実行され得るコントラスト増大、エッジ明瞭化、若しくはノイズ低減、又はそれらに類するものであり得る。さらに、付加的な画像情報がマスク領域内に付加されることがあり。マスク領域とは、円の外側且つ画像全体１００の内側の非関連画像領域である。これは例えば、画質が向上された画像を計算した後に付加される詳細な書込情報１６４であるが、このような改良画像は、図５Ａの第１の画像に対して臨床的に有意に意味のあるイベントを含むものではない。付加情報１６４は、時間若しくは日付の情報、患者情報、又は外科医へのその他の支援情報であり得る。

図６Ａ及び図６Ｂは、差分が臨床的意義を有する２つの画像を例示している。図３は図６Ａに対応するスケッチである。図３、４Ａ及び４Ｂに関連して詳細に説明したように、第１の画像としての図６Ａと第２の画像としての図６Ｂとの相違は、手術針又はＫワイヤの移動である。例えば強度変化、エッジ明瞭化、関連範囲１４０の外側の付加情報１６４のような大域的相違を検出する場合であっても、装置は更に、図３、４Ａ及び４Ｂに関連して既に説明したように、更なる局所的な相違を検出することになる。故に、自動検出装置は、例えば図６Ｂに示すような新たな画像を臨床的意義のあるものとして特定し、この画像を選択した後に、それをナビゲーションシステム又はコンピュータ支援手術システム３０に提供することになる。

図７は、本発明の代表的な一実施形態に係る方法の代表的なフローチャートを例示している。先ず、ステップＳ１１で第１の画像が提供され、ステップＳ１２で第２の画像が提供される。双方の画像は検出され、例えば、撮像装置のビデオ出力インタフェースにおける連続したビデオストリームから取得される。ステップＳ２０で双方の画像が比較され、比較結果が、ステップＳ３０で、局所タイプの相違及び大域タイプの相違の存在を決定する基礎として機能し得る。局所タイプの相違及び大域タイプの相違を評価得することは、例えば第１及び第２の閾値を考慮するとき、ステップＳ４０で該当する画像の臨床的意義を決定することを可能にする。詳細な比較手順は、意味のある画像範囲のみが比較及び臨床的意義の決定に考慮されることになるように、ステップＳ２１で関連画像範囲を検出することを含み得る。また、それぞれの画像ブロックを比較するために、ステップＳ２２で複数の画像ブロックへの分離が行われ得る。なお、計算のための労力を適応化させるために画像内の典型的な物体サイズを考慮するとき、Ｓ２３で画像ブロックのサイズが動的に適応され得る。例えば、大きい物体のみを画像内に有する場合、非常に高速な手順が行われ得るように、画像ブロックのサイズも増大され得る。場合による画像ブロックのサイズを適応した後、ステップＳ２４で、それぞれの画像ブロックの平均値が決定され、続くステップＳ２５で、それらの平均値が比較され得る。同様に、ステップＳ２６で分散も決定され、ステップＳ２７でそれらの分散が比較され得る。なお、ステップＳ２８で、複数の画像ブロックを結合して画像ブロッククラスタを形成してもよく、続くステップＳ２９で画像ブロッククラスタが比較されてもよい。なお、画像ブロッククラスタを比較することも、ステップＳ２４での平均値の決定と、ステップＳ２５での平均値の比較と、ステップＳ２６での分散の決定と、ステップＳ２７での分散の比較を含み得るので、ステップＳ２９内に、ステップＳ２４乃至Ｓ２７と同様の幾つかのサブステップが含められ得る。なお、例えば、画像ブロックでの、より詳細な、より意味のある範囲と、画像ブロッククラスタでのあまり詳細でない範囲とを並行して計算するように、比較手順は画像ブロックと画像ブロッククラスタとに関して並行して実行され得る。

本発明の代表的な他の一実施形態において、適切なシステム上で上述の実施形態のうちの１つに係る方法の方法ステップ群を実行するように適応されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。

コンピュータプログラム要素は、故に、やはり本発明の一実施形態の一部とし得るコンピューティングユニットに格納され得る。このコンピューティングユニットは、上述の方法のステップ群を実行するように、あるいはそれらの実行を含むように適応され得る。また、それは、上述の装置のコンポーネントを動作させるように適応され得る。コンピューティングユニットは、自動的に動作するように、且つ／或いはユーザの命令を実行するように適応され得る。コンピュータプログラムは、データプロセッサの作業メモリにロードされ得る。データプロセッサは、故に、本発明に係る方法を実行するように装備され得る。

本発明のこの例示実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって既存プログラムを本発明使用プログラムへと変えるコンピュータプログラムとの双方に及ぶものである。さらに、コンピュータプログラム要素は、上述の方法の例示実施形態の手順を果たすのに必要な全てのステップを提供することができ得る。

本発明の代表的な更なる一実施形態によれば、前節に記載したコンピュータプログラム要素を格納した、例えばＣＤ−ＲＯＭなどの、コンピュータ読み取り可能媒体が提供される。

しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワーク上で提供されて、そのようなネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の代表的な更なる一実施形態によれば、上述の本発明の実施形態のうちの１つに係る方法を実行するように構成されたコンピュータプログラム要素をダウンロードに利用可能にする媒体が提供される。

なお、本発明の実施形態は様々な主題を参照して説明されている。具体的には、一部の実施形態は方法タイプのクレームを参照して説明され、他の一部の実施形態は装置タイプのクレームを参照して説明されている。しかしながら、以上の記載及び以降の記載から当業者が推測するように、特に断らない限り、１つのタイプの主題に属する複数の特徴の組合せに加えて、相異なる主題に関する複数の特徴間の組み合わせも、本願で開示されていると見なされるものである。しかしながら、全ての特徴が組み合わされることで、それらの特徴の単純な和を超える相乗効果が提供され得る。

なお、本発明の例示実施形態は、様々な主題を参照して説明されている。具体的には、一部の例示実施形態は装置タイプのクレームを参照して説明され、他の一部の例示実施形態は方法タイプのクレームを参照して説明されている。しかしながら、以上の記載及び以降の記載から当業者が推測するように、特に断らない限り、１つのタイプの主題に属する複数の特徴の組合せに加えて、相異なる主題に関する複数の特徴間の組み合わせ、特に、装置タイプのクレームの特徴と方法タイプのクレームの特徴との間の組合せも、本願で開示されていると見なされるものである。

請求項において、用語“有する”は、その他の要素又はステップを排除するものではなく、不定冠詞“ａ”又は“ａｎ”は複数であることを排除するものではない。単一のプロセッサ又はその他のユニットが、請求項中に列挙される複数のアイテムの機能を果たしてもよい。特定の複数の手段が相互に異なる従属請求項に記載されているという単なる事実は、それら手段の組合せが有利に使用され得ないということを指し示すものではない。コンピュータプログラムは、他のハードウェアの部分とともに供給されるか、あるいはそのような部分として供給されるかである例えば光記憶媒体又は半導体媒体などの好適媒体にて格納且つ／或いは配給され得るが、例えばインターネット又はその他の有線若しくは無線の遠隔通信システムを介してなど、その他の形態で配給されてもよい。

特定の実施形態を参照して本発明を説明したが、理解されるように、これらの実施形態は本発明の原理及び適用を単に例示するものである。故に、理解されるように、添付の請求項によって規定される本発明の精神及び範囲を逸脱することなく、数多くの変更が例示実施形態に対して為され、また、その他の構成が考案され得る。

１ システム
１０ 撮像装置
１１ ビデオ出力
２０ 自動検出装置
２１ 自動検出装置の画像入力インタフェース
２２ 第１の画像用の第１の記憶ユニット
２３ 第２の画像用の第２の記憶ユニット
２４ 比較ユニット
２５ 相違タイプ評価ユニット
２６ 画像選択ユニット
２７ 分離ユニット
２８ 関連画像範囲検出ユニット
３０ コンピュータ支援手術システム
３１ コンピュータ支援手術システムの画像入力インタフェース
１００ 解剖学的状況の画像
１１０ 画素
１２０ 画像ブロック
１３０ 画像ブロッククラスタ
１４０ 関連画像範囲
１５１ 局所タイプの相違
１５２ 大域タイプの相違
１６１ 解剖構造
１６１ａ 第１の解剖サブ構造
１６１ｂ 第２の解剖サブ構造
１６１ｃ 第３の解剖サブ構造
１６２ 手術針又はＫワイヤ
１６３ ネイルなどの埋設物
１６４ 画像に関する付加情報
Ｓ１１ 解剖学的状況の第１の画像を撮影
Ｓ１２ 解剖学的状況の第２の画像を撮影
Ｓ２０ 第１及び第２の画像の比較と相違の決定
Ｓ２１ 関連画像範囲を検出
Ｓ２２ 複数の画像ブロックに分離
Ｓ２３ 画像ブロックのサイズを動的に適応
Ｓ２４ 平均を決定
Ｓ２５ 平均を比較
Ｓ２６ 分散を決定
Ｓ２７ 分散を比較
Ｓ２８ 複数の画像ブロックを画像ブロッククラスタへと結合
Ｓ２９ 画像ブロッククラスタを比較
Ｓ３０ 局所タイプの相違及び大域タイプの相違を決定
Ｓ４０ 臨床的意義を決定

Claims (21)

1. 撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための方法であって：
   前記解剖学的状況の第１の画像を撮影し；
   前記解剖学的状況の第２の画像を撮影し；
   前記第１の画像と前記第２の画像とを比較して前記第１の画像と前記第２の画像との間の相違を決定し；
   前記第１の画像と前記第２の画像との間の前記相違が局所タイプの相違及び大域タイプの相違のうちの少なくとも一方を有するかを決定し、ただし、前記局所タイプの相違は前記第１の画像と前記第２の画像との局所的な相違であり、前記大域タイプの相違は前記第１の画像と前記第２の画像との大域的な相違であり；且つ
   前記第１の画像と前記第２の画像との間の前記相違が局所タイプの相違を有するかを決定することによって、前記第２の画像が臨床的意義を有するかを決定する；
   ことを有する方法。
2. 前記第１の画像と前記第２の画像との前記相違が所定の閾値を上回ることを決定することを更に有する請求項１に記載の方法。
3. 前記第１の画像と前記第２の画像とを比較して前記第１の画像と前記第２の画像との間の相違を決定することは、前記第１の画像及び前記第２の画像の各々を、各々が複数の画素を有する対応し合う複数の画像ブロックに分離することと、前記第１及び第２の画像の前記対応し合う複数の画像ブロックのうちの少なくとも１つを比較することとを含む、請求項１及び２の何れか一項に記載の方法。
4. 前記局所タイプの相違は、前記第１の画像の或る画像ブロックと前記第２の画像の対応する画像ブロックとの相違が所定の第１の閾値を上回る場合に検出され、前記大域タイプの相違は、前記第１の画像と前記第２の画像との前記相違が所定の第２の閾値を上回る場合に検出され、前記第２の閾値は前記第１の閾値より大きい、請求項３に記載の方法。
5. 前記閾値及び前記第１の閾値のうちの少なくとも一方は局所的に可変の閾値である、請求項２乃至４の何れか一項に記載の方法。
6. 前記閾値、前記第１の閾値及び前記第２の閾値のうちの少なくとも１つは動的な閾値である、請求項２乃至５の何れか一項に記載の方法。
7. 最大の局所的な相違を有する画像ブロックを決定し、前記最大の局所的な相違を有する画像ブロックを残りの画像ブロックと比較し、且つ、前記最大の局所的な相違を有する画像ブロックと前記残りの画像ブロックとの前記比較に基づいて局所タイプの相違を決定する、ことを更に有する請求項３乃至６の何れか一項に記載の方法。
8. 有意に大きい局所的な相違を有する画像ブロックを決定し、前記有意に大きい局所的な相違を有する画像ブロックを、前記有意に大きい局所的な相違を有する画像ブロックの近傍にある画像ブロックと比較し、且つ、前記有意に大きい局所的な相違を有する画像ブロックと、前記有意に大きい局所的な相違を有する画像ブロックの近傍にある前記画像ブロックと、の前記比較に基づいて局所タイプの相違を決定する、ことを更に有する請求項３乃至７の何れか一項に記載の方法。
9. 前記第１の画像内の関連物を認識し、且つ、認識された前記関連物を含む前記第１の画像の画像ブロックと前記第２の画像の対応する画像ブロックとの相違に基づいて局所タイプの相違を決定する、ことを更に有する請求項３乃至８の何れか一項に記載の方法。
10. 前記第１の画像と前記第２の画像とを比較して前記第１の画像と前記第２の画像との間の相違を決定することは、前記第１の画像及び前記第２の画像の対応し合う画像ブロックの少なくとも一部の平均及び分散を決定することと、対応し合う画像ブロックを平均及び分散に関して比較することとを含む、請求項３乃至９の何れか一項に記載の方法。
11. 前記画像の特定された物体の検出サイズに基づいて、全ての画像ブロックに対して固有の１つのサイズが動的に適応される、請求項３乃至１０の何れか一項に記載の方法。
12. 前記第１の画像と前記第２の画像とを比較して前記第１の画像と前記第２の画像との間の相違を決定することは、複数の画像ブロックを画像ブロッククラスタへと結合することと、対応し合う画像ブロッククラスタを比較することとを含む、請求項３乃至１１の何れか一項に記載の方法。
13. 局所タイプの相違は、前記第１の画像の或る画像ブロックと前記第２の画像の対応する画像ブロックとの間の相違、及び前記第１の画像の或る画像ブロッククラスタと前記第２の画像の対応する画像ブロッククラスタとの間の相違、のうちの少なくとも一方が前記第１の閾値を上回る場合に決定される、請求項１２に記載の方法。
14. 当該方法は更に、撮像された物体を有する関連画像範囲を検出することを有し、前記第１の画像と前記第２の画像とを比較して前記第１の画像と前記第２の画像との間の相違を決定することは、検出された関連画像範囲のみに基づいて実行される、請求項１乃至１３の何れか一項に記載の方法。
15. 前記検出された関連画像範囲は後続画像の基礎として使用される、請求項１４に記載の方法。
16. 当該方法は更に、前記第１の画像及び前記第２の画像のうちの少なくとも一方の所定の特性を検出することを有し、前記所定の特性は、撮像装置の種類及び撮像装置の製造者のうちの少なくとも一方を指し示す、請求項１乃至１５の何れか一項に記載の方法。
17. 前記第１の画像及び前記第２の画像は、撮像装置の連続的なビデオ信号出力から生成される、請求項１乃至１６の何れか一項に記載の方法。
18. 撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のための装置であって：
    画像入力インタフェース；
    前記画像入力インタフェースから取得される前記解剖学的状況の第１の画像用の第１の記憶ユニット；
    前記画像入力インタフェースから取得される前記解剖学的状況の第２の画像用の第２の記憶ユニット；
    前記第１の画像と前記第２の画像とを比較して前記第１の画像と前記第２の画像との間の相違を決定する比較ユニット；
    前記第１の画像と前記第２の画像との相違タイプを評価する相違タイプ評価ユニットであり、該相違タイプ評価ユニットは局所タイプの相違及び大域タイプの相違のうちの少なくとも一方を決定するように適応され、前記局所タイプの相違は前記第１の画像と前記第２の画像との局所的な相違であり、前記大域タイプの相違は前記第１の画像と前記第２の画像との大域的な相違である、相違タイプ評価ユニット；及び
    前記第１の画像と前記第２の画像との間の前記相違が局所タイプの相違を有することが決定された場合に、前記第２の画像を、臨床的意義を有するものとして選択する画像選択ユニット；
    を有する装置。
19. 前記第１の画像及び前記第２の画像の各々を、各々が複数の画素を有する複数の画像ブロックに分離する分離ユニット、を更に有する請求項１８に記載の装置。
20. 関連画像範囲を特定する関連画像範囲検出ユニット、を更に有する請求項１８及び１９の何れか一項に記載の装置。
21. 撮像装置によって提供される解剖学的状況の画像の臨床的意義の自動検出のためのシステムであって：
    連続的なビデオ出力を有する撮像装置；
    臨床的意義のある画像を受信する画像インタフェースを有するコンピュータ支援手術システム；及び
    請求項１８乃至２０の何れか一項に記載の、解剖学的状況の画像の臨床的意義の自動検出のための装置；
    を有し、
    前記画像入力インタフェースは、前記撮像装置の前記連続的なビデオ出力に動作的に接続され、
    前記臨床的意義のある画像を受信する前記画像インタフェースは、前記画像選択ユニットに動作的に接続される、
    システム。

Images