JP6395995B2 - 医療映像処理方法及び装置 - Google Patents

Description

本発明は、医療映像を処理する方法及び装置に関り、特に映像誘導を利用したロボット手術システムに関する。

ロボット手術は、開腹手術と異なり、医師が患者の体内の手術部位を直接肉眼で見ることができず、モニターに表示された画面のみを通じて手術部位を把握することになる。ロボット手術を執刀する医師は、手術前にコンピュータ断層撮影(Computed Tomography:CT)、磁気共鳴映像(Magnetic Resonance Imaging:MRI)、超音波映像などを通じて手術部位を把握して手術するが、これは、医師の経験に多く依存するという限界がある。また、手術部位映像を獲得するために、腹腔鏡を患者の体内に挿入して、表示された体内の実際の映像を見つつ、ロボット手術を進める方法も試みられた。しかし、手術部位に対して、腹腔鏡のような内視鏡のみで獲得できる映像は、体内の臓器組織の外部表面についての映像だけであるので、手術部位が臓器により隠れて見えない場合や手術部位が臓器の内部である場合には、手術部位についての正確な位置及び形態などを正確に把握し難い。

米国特許第５７０４８９７号明細書

本発明の目的は、医療映像を処理する方法及び装置を提供することである。また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。さらに、処理された医療映像に基づいて、映像誘導を利用したロボット手術システムを提供することである。ただし、本発明の目的は、前記したような目的に限定されるものではない。

本発明の一側面によれば、医療映像処理方法は、相異なる複数の医療映像撮影装置を利用して撮影された所定の臓器についての医療映像を獲得するステップと、前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出するステップと、前記抽出されたそれぞれの表面情報を利用して、前記医療映像をマッピングするステップと、前記マッピング結果に基づいて、前記医療映像が整合された合成映像を生成するステップと、を含む。

他の側面によれば、前記医療映像処理方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

さらに他の側面によれば、医療映像処理装置は、相異なる複数の医療映像撮影装置を利用して撮影された所定の臓器についての医療映像を獲得する映像獲得部と、前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出する表面情報抽出部と、前記抽出されたそれぞれの表面情報を利用して、前記医療映像をマッピングする映像マッピング部と、前記マッピング結果に基づいて、前記医療映像が整合された合成映像を生成する合成映像生成部と、を備える。

さらに他の側面によれば、手術部位についての映像を誘導して、手術用ロボットによるロボット手術を行うロボット手術システムにおいて、被検体内の所定の臓器に対して、医療映像を撮影する内視鏡装置と、前記所定の臓器に対して、医療映像を撮影する、超音波装置、コンピュータ断層撮影（ＣＴ）装置、磁気共鳴映像（ＭＲＩ）装置及び陽電子放射断層撮影(Positron Emission Tomography: PET)装置のうち少なくとも一つを含む非内視鏡装置と、前記複数の医療映像撮影装置を利用して撮影された前記医療映像を獲得し、前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出し、前記抽出されたそれぞれの表面情報を利用して、前記医療映像をマッピングし、前記マッピング結果に基づいて、前記医療映像が整合された合成映像を生成する医療映像処理装置と、前記生成された合成映像を表示する表示装置と、ユーザーの入力によってロボット手術を行う手術用ロボットと、を備える。

本発明によれば、人工的なマーカーを使用せず、医療映像に含まれた情報のみに基づいて、リアルタイムで医療映像を整合することで、映像整合時にマーカーの使用による面倒さ、不便さなどを減らすことができる。特に、ロボット手術において、金属成分のマーカーと手術用ロボットとの干渉による映像整合の正確度の低下を減らすことができる。

そして、リアルタイムで内視鏡映像及び非内視鏡映像が整合された合成映像を生成することで、医師にさらに正確な患者の診断映像が提供され、ロボット手術システムでさらに正確な映像誘導を行ったりすることができる。また、ロボット手術の場合、このように手術部位についての正確な医療映像が提供されることで、手術すべき部位と保存すべき部位とを正確に把握できるので、手術性能が向上する。さらに、今後ロボット手術が自動化される場合、ロボットを正確に制御することができる情報が提供される。

本発明の一実施形態によるロボット手術システムの構成図である。 本発明の一実施形態によるロボット手術システムの構成図である。 本発明の一実施形態による膀胱についての内視鏡装置と超音波装置との相対的な位置を示す図面である。 本発明の一実施形態による医療映像処理装置の構成図である。 本発明の一実施形態による第１抽出部で第１表面モデルが生成された後、第１表面情報が抽出される過程を示す図面である。 本発明の一実施形態による第２抽出部で第２表面モデルが生成された後、第２表面情報が抽出される過程を示す図面である。 本発明の一実施形態による図１Ｂのロボット手術システムにおいて、内視鏡装置と超音波装置との配置のみを別途に示す図面である。 本発明の一実施形態によって、合成映像生成部で合成映像を生成する時に利用される三次元の超音波映像に含まれた情報の例を示す図面である。 本発明の一実施形態による合成映像を示す図面である。 本発明の一実施形態による医療映像を処理する方法のフローチャートである。 図９の医療映像を処理する方法の詳細なフローチャートである。 本発明の一実施形態による第１表面情報を抽出する過程のフローチャートである。 本発明の一実施形態による第２表面情報を抽出する過程のフローチャートである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１Ａは、本発明の一実施形態によるロボット手術システム１の構成図である。図１Ａを参照すれば、ロボット手術システム１は、第１医療映像撮影装置１１、第２医療映像撮影装置２１、医療映像処理装置３０、手術用ロボット４０及び表示装置５０から構成される。図１Ａでは、本実施形態の特徴が不明確になることを防止するために、本実施形態に関連したハードウェア構成要素のみを記述する。ただし、図１Ａに示すハードウェア構成要素以外に、他の汎用的なハードウェア構成要素が含まれることを当業者ならば理解できるであろう。

図１Ａを参照すれば、ロボット手術システム１は、第１及び第２医療映像撮影装置１１，２１のみを備えるものと示されたが、これに限定されず、本実施形態は、その他にも少なくとも一つの更なる医療映像撮影装置を備えてもよい。

医療映像撮影装置の種類には、内視鏡装置、超音波装置、コンピュータ断層撮影(Computed Tomography:CT)装置、磁気共鳴映像(Magnetic Resonance Imaging:MRI)装置、陽電子放射断層撮影(Positron Emission Tomography:PET)装置など多様な種類がある。以下、内視鏡映像を撮影する医療映像撮影装置以外の医療映像撮影装置は、非内視鏡装置という。すなわち、超音波装置、コンピュータ断層撮影装置、磁気共鳴映像装置及び陽電子放射断層撮影装置は、非内視鏡装置である。

以下、説明の便宜のために、本実施形態によるロボット手術システム１の第１医療映像撮影装置１１は、腹腔鏡装置のような内視鏡装置に該当し、第２医療映像撮影装置２１は、経直腸的超音波(Trans-Rectal Ultrasound:TRUS)装置のような超音波装置に該当するものと説明するが、本実施形態は、これに限定されない。すなわち、第１及び第２医療映像撮影装置１１，２１それぞれは、前記内視鏡装置、超音波装置、コンピュータ断層撮影装置、磁気共鳴映像装置、陽電子放射断層撮影装置のような医療映像撮影装置のうちいずれか一つであってもよい。

図１Ｂは、本発明の一実施形態によるロボット手術システム１００の構成図である。図１Ｂを参照すれば、ロボット手術システム１００は、前述したように、内視鏡装置１０、超音波装置２０、医療映像処理装置３０、手術用ロボット４０及び表示装置５０から構成される。

図１Ｂでも、図１Ａと同様に、本実施形態の特徴が不明確になることを防止するために、本実施形態に関連したハードウェア構成要素のみを記述する。

ロボット手術システム１００は、患者の体にあけられた小さい穴に手術用ロボット４０のアームを挿入し、患者の体外で医師が手術用ロボット４０の動きを制御して、患者を手術するシステムである。

最近、米国のインテュイティヴ・サージカル社製のｄａ Ｖｉｎｃｉ（登録商標）が、かかる手術用ロボット４０として一般的に多く使われている。より詳細に説明すれば、ｄａ Ｖｉｎｃｉ（登録商標）は、患者の体内に直接挿入されるロボットであって、医師の手のように動くことができるので、あたかも医師が直接手術部位に手術するように手術するロボットである。本実施形態では、単に説明の便宜のために、手術用ロボット４０としてｄａ Ｖｉｎｃｉ（登録商標）を例として挙げただけであり、手術用ロボット４０は、患者の体内でロボットの動きを通じて手術する他の装置でもよい。

ロボット手術システム１００で医師が手術用ロボット４０を利用して手術しようとする時、医師は、表示装置５０に表示された患者の体内の医療映像を参考にして手術を進める。すなわち、ロボット手術システム１００において、医師は、患者の体内に特殊レンズを挿入して、肉眼で見られない神経、血管、臓器についての映像を通じて視野を確保した後で手術を進める。

ロボット手術システム１００では、開腹手術と異なり、医師が患者の体内の手術部位を直接肉眼で見ることができず、表示装置５０に表示された画面のみを通じて手術部位を把握できるため、手術部位についての正確な映像が要求される。

特に、ロボット手術は、手術中に周辺神経及び血管に損傷を与えた時、激しい副作用と合併症とが生じる前立腺癌、直腸癌、食道癌、膀胱癌の手術などに一般的に多く使われるので、手術部位についての精巧かつ細密な映像が表示装置５０に表示されることが重要である。

従来は、手術前にＣＴ、ＭＲＩ、超音波、ＰＥＴ映像などを医師に見せることで、診断映像を記憶する医師の頭脳から現在手術すべき部位を思い起こして手術する方法を使用した。しかし、これは、医師の経験に多く依存するので、正確な手術が困難であった。

また、従来のロボット手術の場合、腹腔鏡を患者の体内に挿入して、表示された体内の実際の映像を見つつ、ロボット手術を進めた。しかし、手術部位に対して、腹腔鏡のみで獲得できる映像は、体内の臓器組織の外部表面についての映像だけである。したがって、手術部位が臓器に隠れて見えない場合や手術部位が臓器の内部である場合には、腹腔鏡で手術部位についての実際の映像を獲得しがたかった。特に、前立腺手術の場合がそうであった。

前立腺手術を説明すれば、前立腺は、手術部位が狭く、尿道と連結されている。そして、前立腺が除去される時、前立腺近辺の神経血管束は保存されねばならない。なぜならば、この神経血管束は、尿機能、性機能などに重要な役割を行うためである。しかし、腹腔鏡は、外部表面の組織についての映像のみを提供するので、腹腔鏡のみでは前立腺の位置及び形態などを精巧かつ細密に把握するのに多少困難さがある。

かかる既存の方法を改善するために、従来には、経直腸的超音波（ＴＲＵＳ）装置を利用したが、手術部位の実際の映像ではない超音波映像という限界があった。

また、従来には、光学方式あるいは磁場方式のマーカーを利用して、経直腸的超音波装置の位置と方向をリアルタイムで検出することで、三次元超音波映像を獲得し、それを手術に使用した。しかし、磁場方式を利用する場合、手術ロボットのような金属性物質と磁場との干渉により、マーカーの位置測定が不正確になった。そして、光学方式を利用する場合には、位置測定時に手術用ロボットの活動範囲と重なって、手術用ロボットの動きに制約を与えた。

さらに、従来には、手術ロボット以外のタンデムロボットを利用して、経直腸的超音波装置を回転させ、それから三次元前立腺映像を獲得する方法も使われた。しかし、この方法は、更なるロボットを使用せねばならないので、タンデムロボットによる干渉のために、手術ロボットの移動が制限された。そして、手術ロボットとタンデムロボットとの位置を補正せねばならないので、実際の手術時に超音波映像を全く利用できなかった。

すなわち、前記したように、ロボット手術を行う時、特に前立腺に対するロボット手術のように、周辺神経及び血管に損傷を与えてはならないロボット手術を行う時、従来は、手術部位についての正確な映像を得がたく、患者の安全に問題があるという限界があった。

しかし、本実施形態によるロボット手術システム１００では、相異なる複数の医療映像撮影装置で撮影された相異なる医療映像がリアルタイムで整合された合成映像を利用することで、臓器に隠された手術部位または臓器の内部に位置した手術部位に対しても、正確な映像が提供される。したがって、本実施形態によれば、ロボット手術の性能や患者の安全を保証することができる。

ただし、本実施形態では、ロボット手術システム１００下でロボット手術を行う医師のための医療映像を提供すること、すなわち医療映像誘導について説明するが、本実施形態の医療映像処理装置３０で生成された合成映像は、必ずしもロボット手術システム１００のみで提供されるものに限定されない。すなわち、本実施形態で提供される医療映像は、ロボット手術ではない患者を単純に診察または診断するための他のシステムでも同様に提供される。

以下では、本実施形態によるロボット手術システム１００において、医療映像を処理する過程について詳細に説明する。

ここで、本実施形態による手術部位は、説明の便宜のために、前立腺である場合を例として挙げる。そして、前述したように、手術部位が前立腺である場合、本実施形態による医療映像処理過程は、前立腺の周辺に位置している特定の臓器である膀胱を利用するものと説明する。すなわち、かかる特定の臓器は、手術用ロボット４０により治療される手術部位の臓器または手術部位の周辺の他の臓器であってもよい。

さらに、当業者ならば、本実施形態は、手術部位が患者の他の部位であるか、または他の臓器を利用して医療映像処理が行われることを理解できるであろう。

再び図１Ｂを参照すれば、ロボット手術システム１００下で、内視鏡装置１０は、患者の臓器、例えば、膀胱についての内視鏡映像を獲得する。したがって、内視鏡映像には、膀胱及びその周辺についての映像が含まれる。本実施形態において、内視鏡装置１０は、腹腔鏡装置に該当するが、これに限定されない。

そして、超音波装置２０は、患者の膀胱及びその周辺についての超音波映像を獲得する。したがって、超音波映像には、膀胱及びその内外部の周辺についての映像が含まれる。すなわち、超音波映像には、内視鏡映像と異なり、膀胱の内部の組織についての情報も含まれる。本実施形態において、超音波装置２０は、経直腸的超音波装置に該当するが、これに限定されない。

図１Ｂにおいて、内視鏡装置１０と超音波装置２０とは、相異なる位置で医療映像を撮影する。すなわち、ロボット手術システム１００では、内視鏡装置１０と超音波装置２０の動き及び位置がそれぞれ制御されることで、医療映像が撮影される。この時、ロボット手術システム１００は、制御中である内視鏡装置１０と超音波装置２０それぞれの撮影位置、例えば、ロボット手術テーブル上での仮想的座標などをロボット手術システム１００上の保存部（図示せず）に保存し続ける。

図２は、本発明の一実施形態による膀胱についての内視鏡装置１０と超音波装置２０との相対的な位置を示す図面である。図２を参照すれば、内視鏡装置１０が腹腔鏡装置である場合、膀胱を基準として相対的に膀胱の上方から内視鏡映像を獲得する。そして、超音波装置２０が経直腸的超音波装置である場合、膀胱を基準として相対的に膀胱の下方から超音波映像を獲得する。しかし、かかる内視鏡装置１０及び超音波装置２０それぞれの位置は、例示的なものであって、ロボット手術環境によって変更してもよい。

再び図１Ｂを参照すれば、医療映像処理装置３０は、内視鏡装置１０及び超音波装置２０から獲得された内視鏡映像及び超音波映像を整合することで、合成映像を生成する。本実施形態による医療映像処理装置３０の動作及び機能についてさらに詳細に説明すれば、次の通りである。

図３は、本発明の一実施形態による医療映像処理装置３０の構成図である。図３を参照すれば、医療映像処理装置３０は、検出部３１、映像獲得部３２、表面情報抽出部３３、映像マッピング部３４及び合成映像生成部３５を備える。そして、映像獲得部３２は、内視鏡映像獲得部３２１及び非内視鏡映像獲得部３２２を備え、表面情報抽出部３３は、第１抽出部３３１及び第２抽出部３３２を備え、映像マッピング部３４は、比較部３４１及び位置マッチング部３４２を備える。

かかる医療映像処理装置３０は、プロセッサに該当する。このプロセッサは、多数の論理ゲートのアレイにより具現されてもよく、汎用的なマイクロプロセッサと、このマイクロプロセッサで実行されるプログラムが保存されたメモリとの組み合わせにより具現されてもよい。また、他の形態のハードウェアにより具現されてもよいことを当業者ならば理解できるであろう。

検出部３１は、合成映像を生成しようとする時、前述したロボット手術システム１００上の保存部（図示せず）に保存された医療映像撮影装置それぞれの現在の位置を検出する。

映像獲得部３２は、相異なる複数の医療映像撮影装置を利用して撮影された臓器についての医療映像、すなわち、内視鏡映像及び非内視鏡映像を獲得する。表面情報抽出部３３は、獲得された医療映像それぞれから獲得された医療映像それぞれに含まれた臓器の表面情報をそれぞれ抽出する。特に、表面情報抽出部３３は、獲得された医療映像それぞれから、所定の臓器の表面の位置及び形態のうち少なくとも一つを表す情報を表面情報として抽出する。

映像マッピング部３４は、抽出されたそれぞれの表面情報を利用して、医療映像をマッピングする。特に、表面情報抽出部３３は、抽出されたそれぞれの表面情報を利用して、医療映像撮影装置それぞれの位置をマッチングさせることで、医療映像をマッピングする。

以下、まず、内視鏡映像を処理する過程についてさらに詳細に説明し、次に、超音波映像、ＣＴ映像、ＭＲ(Magnetic Resonance)映像のような非内視鏡映像を処理する過程についてさらに詳細に説明する。

内視鏡映像獲得部３２１は、内視鏡装置１０（図１Ｂ）を利用して撮影された内視鏡映像を獲得する。

第１抽出部３３１は、内視鏡装置１０（図１Ｂ）により撮影された内視鏡映像から、臓器の表面の位置及び形態のうち少なくとも一つを表す第１表面情報を抽出する。すなわち、本実施形態において、第１抽出部３３１は、内視鏡映像に表れた膀胱についての第１表面情報を抽出する。

その方法として、第１抽出部３３１は、膀胱及び周辺の外部組織と内視鏡装置１０（図１Ｂ）との距離情報を獲得することで、視差空間映像を生成する。一実施形態によれば、第１抽出部３３１は、二つのステレオカメラが備えられた内視鏡装置１０（図１Ｂ）を利用して、視差空間映像を獲得する。この時、他の実施形態によれば、第１抽出部３３１は、構造光及びパターン光のうち少なくとも一つを照射するプロジェクタをさらに備えた内視鏡装置１０（図１Ｂ）を利用することで、視差空間映像を生成する。この場合、内視鏡映像獲得部３２１は、膀胱及び周辺の外部組織から反射された構造光またはパターン光についての情報も共に獲得する。すなわち、第１抽出部３３１は、獲得された構造光またはパターン光についての情報を利用して、内視鏡装置１０（図１Ｂ）から膀胱及び周辺の外部組織までの距離を計算する。この時、第１抽出部３３１は、計算された距離に基づいて、視差空間映像のような距離映像を生成する。

次いで、第１抽出部３３１は、獲得された距離情報、すなわち、計算された距離または生成された距離映像を利用することで、内視鏡映像に対応する三次元の第１表面モデルを生成する。

最後に、第１抽出部３３１は、このように生成された第１表面モデルから、膀胱の表面の位置及び形態のうち少なくとも一つを表す第１表面情報を抽出する。

図４は、本発明の一実施形態による第１抽出部３３１（図３）で第１表面モデルが生成された後、第１表面情報が抽出される過程を示す図面である。図４の映像４０１は、内視鏡装置１０（図１Ｂ）で獲得された内視鏡映像であって、実際の膀胱及びその周辺に構造光またはパターン光を照射した映像である。

図４の映像４０２は、視差空間映像であって、構造光及びパターン光のうち少なくとも一つを利用して生成された一種の距離映像に該当する。しかし、前述したように、第１抽出部３３１（図３）は、構造光及びパターン光を利用せずに視差空間映像を生成することも可能である。

図４の映像４０３は、前記のような過程を通じて、第１抽出部３３１（図３）で生成された第１表面モデルである。第１抽出部３３１（図３）は、映像４０３の第１表面モデルから、膀胱の表面の形態及び位置についての第１表面情報４０４を抽出する。

再び図３を参照すれば、非内視鏡映像獲得部３２２は、超音波装置２０（図１Ｂ）のような非内視鏡装置を利用して撮影された非内視鏡映像を獲得する。第２抽出部３３２は、非内視鏡装置により撮影された映像から、臓器の表面の位置及び形態のうち少なくとも一つを表す第２表面情報を抽出する。すなわち、本実施形態において、第２抽出部３３２は、非内視鏡映像に表れた膀胱についての第２表面情報を抽出する。

その方法として、まず、第２抽出部３３２は、非内視鏡装置により撮影された非内視鏡映像から、膀胱の表面を表す境界線についての情報を獲得する。この時、境界線についての情報は、非内視鏡映像に対して、ライン検出及びエッジ検出のうち少なくとも一つを適用することによって獲得する。

非内視鏡映像が超音波映像である場合、超音波の特性上、超音波が臓器の表面組織に対して高いエコー輝度(high echogenicity)を有する性質を利用する。すなわち、第２抽出部３３２は、臓器の表面組織が超音波映像で相対的に明るい線で表れる性質を利用することで、境界線についての情報を獲得する。

非内視鏡映像がＭＲ映像である場合、第２抽出部３３２は、組織の分子構成比の差によるＭＲ映像での映像明度差が発生する点に基づいて、ライン検出またはエッジ検出を利用することで、境界線についての情報を獲得する。

同様に、非内視鏡映像がＣＴ映像である場合、第２抽出部３３２は、組織の密度差によるＣＴ映像での映像明度差が発生する点に基づいて、ライン検出またはエッジ検出を利用することで、境界線についての情報を獲得する。

次いで、第２抽出部３３２は、獲得された境界線情報を利用して、臓器（膀胱）の表面に対応する三次元の第２表面モデルを生成する。この時、第２抽出部３３２は、獲得された境界線情報に基づいて、境界線を三次元的にレンダリングすることで、三次元の第２表面モデルを生成する。

最後に、第２抽出部３３２は、このように生成された第２表面モデルから、膀胱の表面の位置及び形態のうち少なくとも一つを表す第２表面情報を抽出する。

図５は、本発明の一実施形態による第２抽出部３３２（図３）で第２表面モデルが生成された後、第２表面情報が抽出される過程を示す図面である。図５を参照すれば、超音波映像５０１から第２表面情報５０５が抽出される過程、ＭＲ映像５０２から第２表面情報５０５が抽出される過程、及びＣＴ映像５０３から第２表面情報５０５が抽出される過程が示されている。ロボット手術システム１００（図１Ｂ）の環境で、いかなる医療映像撮影装置を利用したかによって、第２抽出部３３２（図３）は、それぞれの過程のうちそれに対応する過程によって、第２表面情報５０５を抽出する。

超音波映像５０１である場合、第２抽出部３３２（図３）は、前述した超音波映像の特性を利用して、膀胱の表面に該当する境界線をそれぞれの映像から抽出する。そして、それぞれの境界線を三次元的にレンダリングすることで、第２表面モデル５０４を生成する。

ＭＲ映像５０２である場合、第２抽出部３３２（図３）は、前述したＭＲ映像の特性を利用して、直腸の表面に該当する境界線をそれぞれの映像から抽出する。そして、それぞれの境界線を三次元的にレンダリングすることで、第２表面モデル５０４を生成する。

ＣＴ映像５０３である場合、第２抽出部３３２（図３）は、前述したＣＴ映像の特性を利用して、直腸の表面に該当する境界線をそれぞれの映像から抽出する。そして、それぞれの境界線を三次元的にレンダリングすることで、第２表面モデル５０４を生成する。

第２抽出部３３２（図３）は、第２表面モデル５０４に表れた境界線情報に基づいて、臓器の表面の形態及び位置のうち少なくとも一つを表す第２表面情報５０５を抽出する。

すなわち、ロボット手術システム１００（図１Ｂ）の環境で、いかなる医療映像撮影装置を利用したかによって、第２抽出部３３２（図３）は、超音波映像５０１、ＭＲ映像５０２及びＣＴ映像５０３についてのそれぞれの過程のうち該当する過程によって、第２表面情報５０５を抽出する。

再び図３を参照すれば、映像マッピング部３４は、抽出されたそれぞれの表面情報を利用して、医療映像をマッピングする。映像マッピング部３４は、抽出された第１表面情報及び第２表面情報を利用して、医療映像撮影装置それぞれの位置をマッチングさせることで、医療映像をマッピングする。前述した図１Ｂのように、内視鏡装置１０（図１Ｂ）及び超音波装置２０（図１Ｂ）を利用する場合、表面情報を利用して、内視鏡装置１０（図１Ｂ）の位置及び超音波装置２０（図１Ｂ）の位置をマッチングさせることで、内視鏡映像及び超音波映像をマッピングする。

マッピング過程についてさらに詳細に説明すれば、映像マッピング部３４は、前述したように、比較部３４１及び位置マッチング部３４２を備える。

比較部３４１は、抽出されたそれぞれの表面情報を比較する。すなわち、比較部３４１は、第１表面情報と第２表面情報とを比較する。その理由は、抽出された第１表面情報及び第２表面情報は、臓器（膀胱）の同じ部位の表面についての情報であるためである。したがって、比較部３４１は、抽出された第１表面情報及び第２表面情報が臓器の同じ部位の表面に対してどのように対応するかを比較する。この時、比較部３４１は、公知のアルゴリズムであるＩＣＰ(Iterative Closest Point)アルゴリズムなどを利用して比較する。

位置マッチング部３４２は、比較結果に基づいて、前記検出部３１で検出された医療映像装置の位置をマッチングさせる。

結局、映像マッピング部３４は、かかる過程によるマッチング結果に基づいて、医療映像をマッピングする。

図６は、本発明の一実施形態による図１Ｂのロボット手術システム１００において、内視鏡装置１０と超音波装置２０との配置のみを別途に示す図面である。図６を参照すれば、内視鏡装置１０は、腹腔鏡装置に該当し、超音波装置２０は、経直腸的超音波装置に該当する。

ロボット手術システム１００（図１Ｂ）上で、内視鏡装置１０の仮想的位置は、Ｘ_{ｃａｍｅｒａ}座標系による。そして、超音波装置２０の仮想的位置は、Ｘ_ＵＳ座標系による。すなわち、内視鏡装置１０の位置と超音波装置２０の位置とは、相異なる座標系を利用しているので、相互の位置は独立している。

しかし、内視鏡装置１０の位置と超音波装置２０の位置とは、同じ基準によりマッチングされる。このために、本実施形態によれば、映像マッピング部３４は、基準として、抽出された第１表面情報及び第２表面情報を利用する。さらに詳細に説明すれば、第１表面情報及び第２表面情報は、臓器（膀胱）の同じ部位の表面についての情報である。したがって、内視鏡映像から抽出された第１表面情報と、超音波映像から抽出された第２表面情報とを基準として、Ｘ_{ｃａｍｅｒａ}座標系とＸ_ＵＳ座標系とをマッチングさせる。その結果、内視鏡装置１０の位置と超音波装置２０の位置もマッチングされる。

再び図３を参照すれば、合成映像生成部３５は、マッピング結果に基づいて、医療映像が整合された合成映像を生成する。生成された合成映像は、臓器及びその周辺についての三次元医療映像であってもよい。さらに詳しくは、生成された合成映像は、内視鏡装置１０（図１Ｂ）により撮影された映像に含まれた臓器及び周辺についての外部組織の映像と、非内視鏡装置２０（図１Ｂ）により撮影された映像に含まれた臓器及び周辺についての内外部組織の映像とが三次元的に同時に表現された映像である。合成映像は、一種の増強映像に該当する。

合成映像生成部３５で生成された合成映像は、結局、内視鏡映像及び非内視鏡映像それぞれで表れた臓器の位置が同一であるように合成されて生成されるものである。

内視鏡映像は、それ自体で臓器及びその周辺の実際の三次元映像に該当する。しかし、内視鏡映像は、臓器の内外部の組織の形態及び位置などの情報を知りがたい。

一般的に、かかる非内視鏡映像は、臓器を断面で撮影した映像の集合に該当する。しかし、超音波映像、ＣＴ映像及びＭＲ映像のような非内視鏡映像は、臓器及び周辺の内外部の組織の形態及び位置などについての一種の透視情報を含んでいる。したがって、獲得された非内視鏡映像には、臓器の外部組織だけでなく、内部組織の形態及び位置などについての情報も共に含まれている。したがって、内視鏡映像と非内視鏡映像とが合成される場合、実際の臓器及び周辺の内外部にある組織についての情報を正確に知ることができ、それが医師に提供されることで、医師はさらに精巧かつ細密な手術を進めることができる。

ここで、超音波映像、ＣＴ映像及びＭＲ映像のような非内視鏡映像は、その映像を撮影する医療映像撮影装置１１，２１（図１Ａ）の種類によって、二次元映像であってもよく、三次元映像であってもよい。獲得された非内視鏡映像が、図５のように複数の二次元的な非内視鏡映像である場合、合成映像生成部３５は、ボリュームレンダリングなどの既知の方法を通じて、二次元の非内視鏡映像を三次元の非内視鏡映像に生成した後で合成に利用する。

図７は、本発明の一実施形態によって、合成映像生成部３５で合成映像を生成する時に利用される三次元の超音波映像に含まれた情報の例を示す図面である。図７は、経直腸的超音波装置を使用した場合の例示についての図面である。図７を参照すれば、超音波映像は、前述したように、膀胱のような臓器の内外部の組織の形態及び位置などについての一種の透視情報を含んでいる。したがって、三次元の超音波映像には、膀胱の外部表面７０１の形態及び位置、膀胱の内部の前立腺７０２の位置、膀胱の周辺の神経束７０３の位置が三次元的に表現されている。ここで、膀胱の外部表面７０１の形態及び位置は、第２表面情報に含まれた情報である。たとえ図７が三次元の超音波映像ではないとしても、当業者ならば、三次元の超音波映像を通じて、かかる情報（７０１，７０２，７０３の情報）が含まれているということが分かるであろう。

再び図３を参照すれば、合成映像生成部３５は、かかる内視鏡映像及び非内視鏡映像を整合することで、合成映像を生成する。

再び図１Ａ及び図１Ｂを参照すれば、表示装置５０は、合成映像生成部３５で生成された合成映像を表示する。ロボット手術システム１，１００は、表示装置５０を通じてロボット手術を進める医師に、かかる合成映像を提供することで、映像誘導(image guidance)を行う。表示装置５０は、ユーザーに情報を報告するために、視覚情報を表示するための装置、例えば、一般的なモニタ、ＬＣＤ(Liquid Crystal Display)画面、ＬＥＤ(Light Emitting Diode)画面、目盛り表示装置などを含む。

一方、再び図３を参照すれば、位置マッチング部３４２で第１表面情報及び第２表面情報を利用して、内視鏡装置１０（図１Ｂ）の位置と超音波装置２０（図１Ｂ）の位置とがリアルタイムでマッチングされ続ける限り、相異なる位置の相異なる装置で獲得された、同じ臓器についての相異なる映像はマッピングされ続ける。したがって、合成映像生成部３５は、内視鏡映像と超音波映像とを整合し続けて、合成映像を連続的に生成することで、表示装置５０は、内視鏡装置１０（図１Ｂ）及び超音波装置２０（図１Ｂ）の移動に関係なく、リアルタイムで合成映像を表示できる。

一実施形態によれば、表示装置５０は、生成された合成映像そのまま表示できるが、ロボット手術システム１，１００の使用環境によって、合成映像に含まれた映像情報のうち一部の関心領域のみが表示されるように制御される。すなわち、内視鏡映像と非内視鏡映像とが合成された場合、表示装置５０には、非内視鏡映像に含まれた一部の関心領域である前立腺８０１の位置、及び神経束８０２の位置のみが表示されるように制御される。さらに、前立腺８０１及び神経束８０２の位置についての情報が前処理された場合、表示装置５０は、ロボット手術システム１，１００の使用環境によって、合成映像に特定の部位が前立腺８０１及び神経束８０２に該当するという情報を共に表示できる。

図８は、本発明の一実施形態による合成映像を示す図面である。図８を参照すれば、合成映像は、膀胱及び周辺の内視鏡映像に、前立腺及び神経束のような膀胱の内外部の組織位置についての情報を有する超音波映像が合成されたことを示す図面である。

図９は、本発明の一実施形態による医療映像を処理する方法のフローチャートである。図９を参照すれば、本実施形態による医療映像処理方法は、図１Ａ、図１Ｂ及び図３に示すロボット手術システム１，１００の医療映像処理装置３０で時系列的に処理されるステップで構成される。したがって、以下省略された内容であるとしても、前記図面に関して記述された内容は、本実施形態による医療映像処理方法にも適用される。

ステップ９０１で、映像獲得部３２は、相異なる複数の医療映像撮影装置を利用して撮影された臓器についての医療映像を獲得する。ステップ９０２で、表面情報抽出部３３は、獲得された医療映像それぞれから、獲得された医療映像それぞれに含まれた臓器の表面情報をそれぞれ抽出する。

ステップ９０３で、映像マッピング部３４は、抽出されたそれぞれの表面情報を利用して、医療映像をマッピングする。ステップ９０４で、合成映像生成部３５は、マッピング結果に基づいて、医療映像が整合された合成映像を生成する。

図１０は、図９の医療映像を処理する方法の詳細なフローチャートである。同様に、以下省略された内容であるとしても、図１Ａ、図１Ｂ及び図３に関して記述された内容は、本実施形態による医療映像処理方法にも適用される。

ステップ１００１で、内視鏡映像獲得部３２１は、内視鏡装置１０（図１Ｂ）を利用して撮影された内視鏡映像を獲得する。ステップ１００２で、第１抽出部３３１は、内視鏡装置１０（図１Ｂ）により撮影された内視鏡映像から、臓器の表面の位置及び形態のうち少なくとも一つを表す第１表面情報を抽出する。

ステップ１００３で、非内視鏡映像獲得部３２２は、超音波装置２０（図１Ｂ）のような非内視鏡装置を利用して撮影された非内視鏡映像を獲得する。ステップ１００４で、第２抽出部３３２は、非内視鏡装置により撮影された映像から、臓器の表面の位置及び形態のうち少なくとも一つを表す第２表面情報を抽出する。

ここで、ステップ１００１及びステップ１００３の開始は、同時に並列的に進められてもよく、いずれか一つのステップが先に開始されて進められてもよい。すなわち、ステップ１００１及びステップ１００２の進行と、ステップ１００３及びステップ１００４の進行とは、互いに影響なしに独立して進められる。

ステップ１００５で、映像マッピング部３４は、抽出されたそれぞれの表面情報を利用して、医療映像をマッピングする。ステップ１００６で、合成映像生成部３５は、マッピング結果に基づいて、医療映像が整合された合成映像を生成する。

図１１は、本発明の一実施形態による第１表面情報を抽出する過程のフローチャートである。ステップ１１０１で、第１抽出部３３１は、臓器及び周辺についての外部組織と内視鏡装置１０（図１Ｂ）との距離情報を獲得する。

ステップ１１０２で、第１抽出部３３１は、獲得された距離情報を利用して、内視鏡映像に対応する三次元の第１表面モデルを生成する。ステップ１１０３で、第１抽出部３３１は、生成された第１表面モデルから第１表面情報を抽出する。

図１２は、本発明の一実施形態による第２表面情報を抽出する過程のフローチャートである。ステップ１２０１で、第２抽出部３３２は、非内視鏡装置２０（図１Ｂ）により撮影された映像から、臓器の表面を表す境界線についての情報を獲得する。

ステップ１２０２で、第２抽出部３３２は、獲得された境界線情報を利用して、臓器の表面に対応する三次元の第２表面モデルを生成する。ステップ１２０３で、第２抽出部３３２は、生成された第２表面モデルから第２表面情報を抽出する。

一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用のデジタルコンピュータで具現される。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に複数の手段を通じて記録される。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ(Read Only Memory)、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的な読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。

本発明は、医療機器関連の技術分野に適用可能である。

１ ロボット手術システム
１０ 内視鏡装置
１１ 第１医療映像撮影装置
２０ 超音波装置
２１ 第２医療映像撮影装置
３０ 医療映像処理装置
３１ 検出部
３２ 映像獲得部
３３ 表面情報抽出部
３４ 映像マッピング部
３５ 合成映像生成部
４０ 手術用ロボット
５０ 表示装置
３２１ 内視鏡映像獲得部
３２２ 非内視鏡映像獲得部
３３１ 第１抽出部
３３２ 第２抽出部
３４１ 比較部
３４２ 位置マッチング部

Claims (18)

1. 医療映像処理装置が実行する医療映像処理方法であって、
   相異なる複数の医療映像撮影装置を利用して撮影された所定の臓器についての医療映像を獲得するステップであって、前記複数の医療映像撮影装置は、内視鏡装置と非内視鏡装置とを少なくとも含む、ステップと、
   前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出するステップであって、（１）前記内視鏡装置により撮影された内視鏡映像から、前記所定の臓器及び周辺の外部組織と前記内視鏡装置との間の距離情報を求めることにより、前記所定の臓器の表面の位置及び形態を表す第１表面情報を抽出すること、及び（２）前記非内視鏡装置により撮影された映像から、前記所定の臓器の表面の位置及び形態を表す第２表面情報を抽出することを含む、ステップと、
   前記抽出された第１及び第２表面情報が前記所定の臓器の同じ部位の表面に対してどのように対応するかを比較し、前記内視鏡装置の位置を定める第１座標系と前記第１座標系とは独立した第２座標系であって前記非内視鏡装置の位置を定める第２座標系とをマッチングさせ、前記内視鏡装置の位置と前記非内視鏡装置の位置とをマッチングさせることにより、前記医療映像をマッピングするステップと、
   前記マッピングの結果に基づいて、前記医療映像が整合された合成映像を生成するステップと、
   を含むことを特徴とする医療映像処理方法。
2. 前記抽出するステップは、前記獲得された医療映像それぞれから、前記所定の臓器の表面の位置及び形態を表す情報を前記表面情報として抽出することを特徴とする請求項１に記載の医療映像処理方法。
3. 前記マッピングするステップは、前記抽出されたそれぞれの表面情報を利用して、前記医療映像撮影装置それぞれの位置をマッチングさせることで、前記医療映像をマッピングすることを特徴とする請求項１に記載の医療映像処理方法。
4. 前記非内視鏡装置は、超音波装置、コンピュータ断層撮影（ＣＴ）装置、磁気共鳴映像（ＭＲＩ）装置及び陽電子放射断層撮影（ＰＥＴ）装置のうち少なくとも一つを含むことを特徴とする請求項１に記載の医療映像処理方法。
5. 前記生成された合成映像は、前記内視鏡装置により撮影された映像に含まれた前記所定の臓器及び周辺の外部組織の映像と、前記非内視鏡装置により撮影された映像に含まれた前記所定の臓器及び前記周辺の内外部組織の映像とが三次元的に同時に表現された映像であることを特徴とする請求項４に記載の医療映像処理方法。
6. 前記内視鏡装置は、腹腔鏡装置であり、前記非内視鏡装置が超音波装置を含む場合、前記超音波装置は、経直腸的超音波（ＴＲＵＳ）装置であることを特徴とする請求項１に記載の医療映像処理方法。
7. 前記第１表面情報を抽出するステップは、
   前記所定の臓器及び周辺の外部組織と前記内視鏡装置との距離情報を獲得するステップと、
   前記獲得された距離情報を利用して、前記内視鏡映像に対応する三次元の第１表面モデルを生成するステップと、を含み、
   前記生成された第１表面モデルから前記第１表面情報を抽出することを特徴とする請求項６に記載の医療映像処理方法。
8. 前記第２表面情報を抽出するステップは、
   前記非内視鏡装置により撮影された映像から、前記所定の臓器の表面を表す境界線についての情報を獲得するステップと、
   前記獲得された境界線情報を利用して、前記所定の臓器の表面に対応する三次元の第２表面モデルを生成するステップと、を含み、
   前記生成された第２表面モデルから前記第２表面情報を抽出することを特徴とする請求項６に記載の医療映像処理方法。
9. 前記境界線情報を獲得するステップは、
   前記非内視鏡装置により撮影された映像に対して、ライン検出及びエッジ検出のうち少なくとも一つを適用することで、前記境界線を獲得することを特徴とする請求項８に記載の医療映像処理方法。
10. 前記所定の臓器は、手術用ロボットにより治療される手術部位または前記手術部位の周辺の臓器であることを特徴とする請求項１に記載の医療映像処理方法。
11. 請求項１ないし１０のうちいずれか一項に記載の医療映像処理方法を前記医療映像処理装置のコンピュータに実行させるコンピュータプログラム。
12. 相異なる複数の医療映像撮影装置を利用して撮影された所定の臓器についての医療映像を獲得する映像獲得部であって、前記複数の医療映像撮影装置は、内視鏡装置と非内視鏡装置とを少なくとも含む、映像獲得部と、
    前記獲得された医療映像それぞれから、前記獲得された医療映像それぞれに含まれた前記所定の臓器の表面情報をそれぞれ抽出する表面情報抽出部であって、（１）前記内視鏡装置により撮影された内視鏡映像から、前記所定の臓器及び周辺の外部組織と前記内視鏡装置との間の距離情報を求めることにより、前記所定の臓器の表面の位置及び形態を表す第１表面情報を抽出すること、及び（２）前記非内視鏡装置により撮影された映像から、前記所定の臓器の表面の位置及び形態を表す第２表面情報を抽出することを行うように構成された表面情報抽出部と、
    前記抽出された第１及び第２表面情報が前記所定の臓器の同じ部位の表面に対してどのように対応するかを比較し、前記内視鏡装置の位置を定める第１座標系と前記第１座標系とは独立した第２座標系であって前記非内視鏡装置の位置を定める第２座標系とをマッチングさせ、前記内視鏡装置の位置と前記非内視鏡装置の位置とをマッチングさせることにより、前記医療映像をマッピングする映像マッピング部と、
    前記マッピングの結果に基づいて、前記医療映像が整合された合成映像を生成する合成映像生成部と、
    を備えることを特徴とする医療映像処理装置。
13. 前記表面情報抽出部は、前記獲得された医療映像それぞれから、前記所定の臓器の表面の位置及び形態を表す情報を前記表面情報として抽出することを特徴とする請求項１２に記載の医療映像処理装置。
14. 前記映像マッピング部は、前記抽出されたそれぞれの表面情報を利用して、前記医療映像撮影装置それぞれの位置をマッチングさせることで、前記医療映像をマッピングすることを特徴とする請求項１２に記載の医療映像処理装置。
15. 前記複数の医療映像撮影装置は、内視鏡装置と、超音波装置、コンピュータ断層撮影（ＣＴ）装置、磁気共鳴映像（ＭＲＩ）装置及び陽電子放射断層撮影（ＰＥＴ）装置のうち少なくとも一つを含む非内視鏡装置と、を含むことを特徴とする請求項１２に記載の医療映像処理装置。
16. 前記生成された合成映像は、前記内視鏡装置により撮影された映像に含まれた前記所定の臓器及び周辺の外部組織の映像と、前記非内視鏡装置により撮影された映像に含まれた前記所定の臓器及び前記周辺の内外部組織の映像とが三次元的に同時に表現された映像であることを特徴とする請求項１２に記載の医療映像処理装置。
17. 前記内視鏡装置は、腹腔鏡装置であり、前記非内視鏡装置が前記超音波装置を含む場合、前記超音波装置は、経直腸的超音波（ＴＲＵＳ）装置であることを特徴とする請求項１５に記載の医療映像処理装置。
18. 前記所定の臓器は、手術用ロボットにより治療される手術部位または前記手術部位の周辺の臓器であることを特徴とする請求項１２に記載の医療映像処理装置。