JP6233913B2

JP6233913B2 - 内視鏡向けナビゲーション装置

Info

Publication number: JP6233913B2
Application number: JP2013000661A
Authority: JP
Inventors: 晃竹林
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-01-07
Filing date: 2013-01-07
Publication date: 2017-11-22
Anticipated expiration: 2033-01-07
Also published as: JP2014131551A

Description

本発明は、手術、処置、検査等に使用する内視鏡をナビゲーションする内視鏡向けナビゲーション装置に関する。

内視鏡（腹腔鏡、神経内視鏡を含む）を使用する手術、処置、検査等（以下、適宜単に「手術等」という。）において、術前に撮影した患者のＣＴ（コンピュータ断層撮影装置）画像データ（ＤＩＣＯＭデータ）を医用画像処理ソフトウェアに読み込んで患者の立体的ＣＴ画像を作製し、この中から罹患部位の位置を特定し、これを仮想内視鏡などのソフトウェアの画面上に表示して、この画像を参考にしながら手術等を行っている。

しかし、内視鏡を使用する手術等においては、複雑に分岐する血管や気管、消化器管の内面からの画像に基づいて目的部位に素早く到達するには、術者に充分な経験とスキルが要求される。そのため、さまざまな支援装置が開発されている。

その代表的なものは、内視鏡先端の現在位置を外部から表示するＸ線透視装置（Ｘ線ＴＶ）である（例えば、特許文献１〜３参照）。このＸ線透視装置で内視鏡先端の現在位置を確認しながら目的部位の手術等を行うものである。

特開２０１０−１７２３５０号公報特開２００８−０２９６９２号公報特開平１０−２７２０９３号公報

しかし、上述のＸ線透視装置には、以下のような問題がある。

（１）Ｘ線被曝量が大きいため、手術等の時間的制約がある。

（２）術前のＣＴ画像で特定した目的部位の位置が必ずしも容易には見つからない。

そこで、本発明の目的は、Ｘ線被曝することなく内視鏡の先端位置を外部から表示することが可能で、術前のＣＴ画像で特定した目的部位へ内視鏡が容易に到達することを可能にする内視鏡向けナビゲーション装置を提供することにある。

請求項１に係る発明は、内視鏡向けナビゲーション装置において、患者の管状の臓器の内側に挿入されて前記臓器の内側を撮影する内視鏡と、前記内視鏡が撮影中の映像を表示する表示装置と、前もって撮影済みのＣＴ画像に基づいて前記臓器の内側の特定部位をＡＲ認識用マーカとして予め登録し、前記内視鏡が撮影中の映像内の特定部位を予め登録された前記ＡＲ認識用マーカとして認識するとともに、認識した前記ＡＲ認識用マーカの位置及び姿勢に基づいて前記ＡＲ認識用マーカとの３次元的位置関係を保持しつつ、前記内視鏡のナビゲーション情報を、前記内視鏡が撮影中の前記臓器の内側の映像に重畳して前記表示装置に表示するＡＲ画像処理装置と、を備え、前記ナビゲーション情報は、前記特定部位が前記ＡＲ認識用マーカが登録された分岐点であり、前記内視鏡が誤った経路に分岐した場合、前記誤った経路の前記分岐点よりも下流側に、別なＡＲ認識用マーカを登録しておき、前記内視鏡が前記別なＡＲ認識用マーカを撮影して前記ＡＲ画像処理装置がこれを認識した際に、誤った経路であることを示すナビゲーション情報である、ことを特徴とする。

ここで、ＡＲとはＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ（拡張現実）の略称で、実写映像という現実情報に位置情報などの仮想情報を付加して情報の質や量を拡張することを意味する。

請求項２に係る発明は、請求項１に係る内視鏡向けナビゲーション装置において、前記内視鏡の先端部の移動経路に沿って複数の前記特定部位が、それぞれ前記ＡＲ認識用マーカとして予め登録されている、ことを特徴とする。

請求項３に係る発明は、請求項１又は２に係る内視鏡向けナビゲーション装置において、前記表示装置として、ヘッドマウント型のディスプレイを使用する、ことを特徴とする。

請求項４に係る発明は、請求項１ないし３のいずれか１項に係る内視鏡向けナビゲーション装置において、前記ＡＲ画像処理装置として３次元の空間構造を認識して記憶する機能を有するものを使用する、ことを特徴とする。

請求項１の発明によれば、内視鏡のナビゲーション情報、例えば、内視鏡先端の現在位置や目的部位への道標、目的部位における罹患組織の形などの必要な情報が、患者の管状の臓器（例えば、血管、気管、消化器管など）の内側（内面）の映像に重畳して表示装置に表示されるので、術者は表示されたナビゲーション情報に従って（ガイドされて）容易に内視鏡の先端部を目的部位へ到達させることができるとともに目的部位の手術、処置、検査等を比較的容易に行うことが可能となる。また、上述したＸ線透視装置とは異なり、Ｘ線は使用しないので、Ｘ線被曝が発生することはなく、手術時間等についての制約がない。

また、例えば、分岐点において誤った経路に分岐してしまった場合、誤った経路における、比較的分岐点に近い部位に、予め別なＡＲ用認識用マーカを登録しておき、内視鏡がこのＡＲ認識用マーカを撮影して、ＡＲ画像処理装置がこれを認識した際に、ＡＲ画像処理装置により、内視鏡が撮影中の映像に、誤った経路である旨を術者に伝えるナビゲーション情報を表示することができる。これにより、術者は速やかに現在の経路が誤った経路であることが分かり、速やかに正しい経路に戻ることができる。
請求項２の発明によれば、内視鏡の先端部を目的部位に、より確実に到達させることができる。

請求項３の発明によれば、内視鏡のナビゲーション情報がヘッドマウント型のディスプ
レイ上に表示されるので、術者は視点を移動させる必要がなく手術、処置、検査等に集中
することができる。

請求項４の発明によれば、内視鏡の映像から３次元の空間構造を認識して記憶する機能
（３Ｄマッピング機能）を有するため、内視鏡の先端部の現在位置や経路を確認すること
ができる。

内視鏡向けナビゲーション装置１０の概要構成を説明する図である。（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（目的部位）Ｇに至るまでの経路Ｐを説明する図であり、（Ｂ）は特定部位（分岐点）ＣｎにおけるＡＲ認識用マーカＭｎを示す図であり、（Ｃ）は特定部位（目的部位）ＧにおけるＡＲ認識用マーカＭｇを示す図である。（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（分岐点）Ｃｎに到達したようすを説明する図であり、（Ｂ）は特定部位（分岐点）Ｃｎにおける映像Ｌｎとナビゲーション情報（立体画像）Ｓｎとが重畳されたようすを説明する図であり、（Ｃ）は内視鏡の先端部１５が特定部位（目的部位）Ｇに到達したようすを説明する図であり、（Ｄ）は特定部位（目的部位）Ｇにおける映像Ｌｇとナビゲーション情報（立体画像）Ｓｇとが重畳されたようすを説明する図である。（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（目的部位）Ｇに至るまでの経路Ｐを説明する図であり、（Ｂ）は特定部位（複雑な部位）ＣｎにおけるＡＲ認識用マーカＭｎを示す図であり、（Ｃ）は特定部位（目的部位）ＧにおけるＡＲ認識用マーカＭｇを示す図である。（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（複雑な部位）Ｃｎに到達したようすを説明する図であり、（Ｂ）は特定部位（複雑な部位）Ｃｎにおける映像Ｌｎとナビゲーション情報（立体画像）Ｓｎとが重畳されたようすを説明する図であり、（Ｃ）内視鏡の先端部１５が特定部位（目的部位）Ｇに到達したようすを説明する図であり、（Ｄ）は特定部位（目的部位）Ｇにおける映像Ｌｇとナビゲーション情報（立体画像）Ｓｇとが重畳されたようすを説明する図である。

以下、本発明を適用した実施形態を、図面に基づいて詳述する。なお、各図面において、同じ符号を付した部材等は、同一又は類似の構成のものであり、これらについての重複説明は適宜省略するものとする。また、各図面においては、説明に不要な部材等は適宜、図示を省略している。
＜実施形態１＞

図１〜図３を参照して本発明を適用した実施形態１に係る内視鏡向けナビゲーション装置１０について説明する。

図１は、内視鏡向けナビゲーション装置１０の概要構成を説明する図である。
内視鏡向けナビゲーション装置１０は、図１に示すように、内視鏡１１と、ヘッドマウント型のディスプレイ１２と、ＡＲ画像処理装置１７と、を備えて構成されている。

内視鏡１１としては、例えば、光ファイバーを使用したフレキシブルタイプの電子式内視鏡を使用することができる。内視鏡の先端部１５にはレンズが取り付けられており、また、基端部１６には、レンズ及び光ファイバーを介して導いた光を受光する受光部、及び内視鏡１１を操作するための操作部が設けられている。

なお、内視鏡１１として、先端部１５に小型のＣＣＤカメラを取り付けたものを使用するようにしてもよい。

ＡＲ画像処理装置１７は、内視鏡１１及びヘッドマウント型のディスプレイ１２と接続されており、画像認識ソフトウェア１３及びＡＲソフトウェア１４がインストールされたコンピュータのハードウェアとして構成されている。また、ＡＲ画像処理装置１７は３次元の空間構造を認識して記憶する機能（３Ｄマッピング機能）を有するものである。

ここで、ＡＲソフトウェア１４とは、３Ｄオブジェクトとして取り込んだ立体画像を、内視鏡１１が撮影中の映像内のＡＲ認識用マーカの位置及び姿勢に基づいて座標変換して、このＡＲ認識用マーカとの３次元的位置関係を保ちながら、内視鏡１１が撮影中の映像にリアルタイムでナビゲーション情報Ｓｎとして重畳してディスプレイ１２に表示するソフトウェアである。

次に、上述構成の内視鏡向けナビゲーション装置１０の作用（操作手順）について説明する。

ここでは、臓器Ｚの内側（内壁）Ｚａの内視鏡の先端部１５の経路（移動経路）Ｐに沿って設けられた複数の特定部位Ｃ１，Ｃ２，Ｃ３，…，Ｃｎ（ｎは自然数）が、「分岐点」である場合について説明する。

図２（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（目的部位）Ｇに至るまでの経路Ｐを説明する図であり、（Ｂ）は特定部位（分岐点）ＣｎにおけるＡＲ認識用マーカＭｎを示す図であり、（Ｃ）は特定部位（目的部位）ＧにおけるＡＲ認識用マーカＭｇを示す図である。

図３（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（分岐点）Ｃｎに到達したようすを説明する図であり、（Ｂ）は特定部位（分岐点）Ｃｎにおける映像Ｌｎとナビゲーション情報（立体画像）Ｓｎとが重畳されたようすを説明する図であり、（Ｃ）は内視鏡の先端部１５が特定部位（目的部位）Ｇに到達したようすを説明する図であり、（Ｄ）は特定部位（目的部位）Ｇにおける映像Ｌｇとナビゲーション情報（立体画像）Ｓｇとが重畳されたようすを説明する図である。

（１）患者の、手術対象となる管状の臓器ＺのＣＴ撮影を行う。

（２）得られたＣＴ画像データ(ＤＩＣＯＭデータ)を医用画像処理ソフトウェアに読み込んで、このソフトウェアでボリュームレンダリングされた臓器Ｚの立体的ＣＴ画像Ａを得る。

（３）立体的ＣＴ画像Ａを使用して手術等の対象となる特定部位（目的部位）Ｇの位置や形を特定するとともに、医用画像処理ソフトウェアの１つである仮想内視鏡を使用して臓器Ｚの内側Ｚａに特定部位（目的部位）Ｇにいたる最良の経路（移動経路）Ｐを求める。

（４）図２に示すように、経路Ｐの途中における分岐点などの特定部位Ｃ１，Ｃ２，Ｃ３，…，Ｃｎ，Ｇを決め、医用画像処理ソフトウェアの仮想内視鏡の画像により求めた特定部位Ｃ１，Ｃ２，Ｃ３，…，Ｃｎ，Ｇの画像をＡＲ画像処理装置１７によりＡＲ認識用マーカＭ１，Ｍ２，Ｍ３，…，Ｍｎ，Ｍｇとして登録する。

（５）ＡＲ認識用マーカＭ１，Ｍ２，Ｍ３，…，Ｍｎ，Ｍｇのそれぞれに対応した道標や内視鏡の先端部１５の現在位置、特定部位（目的部位）Ｇにおける罹患組織の形などのナビゲーション情報Ｓ１，Ｓ２，Ｓ３，…，Ｓｎ，Ｓｇを３ＤオブジェクトとしてＡＲ画像処理装置１７に取り込む。

上述の特定部位（分岐点）Ｃｎにおける道標としては、例えば、図３（Ｂ）に示すように進行方向を示す矢印を採用することができる。なお、矢印に加え、さらに、注意事項等を表示するようにしてもよい。また、特定部位（目的部位）Ｇの道標としては、図３（Ｄ）に示すように罹患組織の形や部位を明確にする着色等を採用することができる。

以上で術前の準備は完了する。

（６）患者の臓器Ｚの内側Ｚａに内視鏡１１を挿入し、図３に示すように、内視鏡の先端部１５が経路Ｐに沿った特定部位（分岐点）Ｃ１，Ｃ２，Ｃ３，…，Ｃｎに順次に到達すると、内視鏡１１によって映し出された映像Ｌ１，Ｌ２，Ｌ３，…，ＬｎからＡＲ画像処理装置１７がＡＲ認識用マーカＭ１，Ｍ２，Ｍ３，…，Ｍｎとしてこれらを順次認識し、ＡＲ画像処理装置１７によりそれぞれに対応したナビゲーション情報Ｓ１，Ｓ２，Ｓ３，…，Ｓｎが、臓器Ｚの内側Ｚａの映像Ｌ１，Ｌ２，Ｌ３，…，Ｌｎに重畳されてヘッドマウント型のディスプレイ１２上に表示される。

（７）術者はこれらのナビゲーション情報Ｓ１，Ｓ２，Ｓ３，…，Ｓｎをガイドとして内視鏡の先端部１５を進行させて行く。この間、ＡＲ画像処理装置１７の３次元の空間構造を認識する機能（３Ｄマッピング機能）により、ヘッドマウント型のディスプレイ１２上の片隅に表示されたマップＭＰ（図３（Ａ）参照）により内視鏡１１の先端部１５の現在位置や経路Ｐを確認することができる。なお、図３（Ｃ）、図５（Ａ），（Ｃ）では、マップＭＰの図示は省略している。

（８）内視鏡の先端部１５が特定部位（目的部位）Ｇに達するとＡＲ画像処理装置１７がＡＲ認識用マーカＭｇとしてこれを認識し、ＡＲ画像処理装置１７によりナビゲーション情報Ｓｇが、臓器Ｚの内側Ｚａの映像Ｌｇに重畳されてヘッドマウント型のディスプレイ１２上に表示される。

（９）術者は、ナビゲーション情報Ｓｇを参考として特定部位（目的部位）Ｇの手術等を行う。

次に、図４（Ａ）〜（Ｃ）、図５（Ａ）〜（Ｄ）を参照して、臓器Ｚの内側Ｚａの特定部位Ｃ１，Ｃ２，Ｃ３，…，Ｃｎが複雑に入り組んだ部位（例えば、腸の内壁）、また、特定部位Ｇが目的部位である場合について説明する。

ここで、図４（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（目的部位）Ｇに至るまでの経路Ｐを説明する図であり、（Ｂ）は特定部位（複雑な部位）ＣｎにおけるＡＲ認識用マーカＭｎを示す図であり、（Ｃ）は特定部位（目的部位）ＧにおけるＡＲ認識用マーカＭｇを示す図である。

図５（Ａ）は仮想内視鏡において、内視鏡の先端部１５が特定部位（複雑な部位）Ｃｎに到達したようすを説明する図であり、（Ｂ）は特定部位（複雑な部位）Ｃｎにおける映像Ｌｎとナビゲーション情報（立体画像）Ｓｎとが重畳されたようすを説明する図であり、（Ｃ）は内視鏡の先端部１５が特定部位（目的部位）Ｇに到達したようすを説明する図であり、（Ｄ）は特定部位（目的部位）Ｇにおける映像Ｌｇとナビゲーション情報（立体画像）Ｓｇとが重畳されたようすを説明する図である。

なお、上述の図２，図３を参照して説明した内容と同じ内容については、同じ符号を付して説明は省略するものとする。

内視鏡１１が挿入される患者の臓器Ｚが、例えば腸である場合、その内側Ｚａが複雑な形状で入り組んでいて、例えば、図４（Ｂ）の特定部位ＣｎのＡＲ認識用マーカＭｎ、図５（Ｂ）の内視鏡の先端部１５が撮影中に映像Ｌｎからも明らかなように、内視鏡の先端部１５のその後の進行方向が不明りょうである。

そこで、図５（Ｂ）に示すように、内視鏡の先端部１５のその後の進行方向についてのナビゲーション情報Ｓｎを、内視鏡１１が撮影中の映像Ｌｎに、ディスプレイ１２（図１参照）上で重畳させて表示することにより、内視鏡の先端部１５の進行方向を誤らないように、明確に指示することができる。

また、同様に、図４（Ｃ），図５（Ｄ）に示すように、臓器Ｚの内側Ｚａにできた腫瘍等の特定部位（目的部位）Ｇも複雑な形状の内側Ｚａに阻まれて確認が困難であるが、内視鏡１１が撮影中の特定部位（目的部位）Ｇの映像Ｌｇに、特定部位（目的部位）Ｇのナビゲーション情報Ｓｇとして、例えば着色された映像を重畳するようにすれば、特定部位（目的部位）Ｇを間違うことなく、確定することができる。

以上説明した内視鏡向けナビゲーション装置１０によると、以下のような効果を奏する。

（１）内視鏡の先端部１５の現在位置や特定部位（目的部位）Ｇへの道標、特定部位（目的部位）Ｇにおける罹患組織の形などの必要なナビゲーション情報が、患者の管状の臓器Ｚ（血管、気管、消化器管など）の内側Ｚａの映像に重畳してヘッドマウント型のディスプレイ１２に表示されるので、術者は容易に内視鏡の先端部１５を特定部位（目的部位）Ｇへ到達させることができるとともに特定部位Ｇの手術等（手術、処置、検査など）を比較的容易に行うことが可能となる。

（２）従来のＸ線透視装置を利用する場合と異なり、Ｘ線の被曝がまったくない。

以上説明した、特定部位Ｃｎが分岐点である場合、次のようなナビゲーション情報Ｓｎを、内視鏡１１が撮影中の映像に重畳表示するようにしてもよい。

例えば、特定部位Ｃｎとしての分岐点の形状が複雑で、誤った経路に分岐してしまうおそれがある場合、誤った経路における、比較的分岐点に近い部位に、予め別なＡＲ認識用マーカＭｘ（不図示）を登録しておき、内視鏡１１がこのＡＲ認識用マーカＭｘを撮影して、ＡＲ画像処理装置１７がこれを認識した際に、ＡＲ画像処理装置１７により、内視鏡１１が撮影中の映像に、誤った経路である旨を術者に伝えるナビゲーション情報Ｓｘ（不図示）を表示する。

これにより、術者は、速やかに現在の経路が誤った経路であることが分かり、速やかに
正しい経路Ｐに戻ることができる。

（３）ＡＲ画像処理装置１７は内視鏡１１の映像から３次元の空間構造を認識して記憶する機能（３Ｄマッピング機能）を有するので、内視鏡の先端部１５の現在位置や経路を示すマップＭＰをヘッドマウント型のディスプレイ１２の片隅に表示して確認することができる。

１０内視鏡向けナビゲーション装置
１１内視鏡
１２ディスプレイ（表示装置）
１３画像認識ソフトウェア
１４ＡＲソフトウェア
１５内視鏡の先端部
１７ＡＲ画像処理装置
Ｃ１，Ｃ２，Ｃ３，…，Ｃｎ
分岐点（特定部位）
Ｇ目的部位（特定部位）
Ｌ１，Ｌ２，Ｌ３，…，Ｌｎ，Ｌｇ
内視鏡１１の映像
Ｍ１，Ｍ２，Ｍ３，…，Ｍｎ，Ｍｇ
ＡＲ認識用マーカ
Ｓ１，Ｓ２，Ｓ３，…，Ｓｎ，Ｓｇ
ナビゲーション情報
Ｚ臓器
Ｚａ臓器の内側

Claims

患者の管状の臓器の内側に挿入されて前記臓器の内側を撮影する内視鏡と、
前記内視鏡が撮影中の映像を表示する表示装置と、
前もって撮影済みのＣＴ画像に基づいて前記臓器の内側の特定部位をＡＲ認識用マーカとして予め登録し、前記内視鏡が撮影中の映像内の特定部位を予め登録された前記ＡＲ認識用マーカとして認識するとともに、認識した前記ＡＲ認識用マーカの位置及び姿勢に基づいて前記ＡＲ認識用マーカとの３次元的位置関係を保持しつつ、前記内視鏡のナビゲーション情報を、前記内視鏡が撮影中の前記臓器の内側の映像に重畳して前記表示装置に表示するＡＲ画像処理装置と、を備え、
前記ナビゲーション情報は、前記特定部位が前記ＡＲ認識用マーカが登録された分岐点であり、前記内視鏡が誤った経路に分岐した場合、前記誤った経路の前記分岐点よりも下流側に、別なＡＲ認識用マーカを登録しておき、前記内視鏡が前記別なＡＲ認識用マーカを撮影して前記ＡＲ画像処理装置がこれを認識した際に、誤った経路であることを示すナビゲーション情報である、
ことを特徴とする内視鏡向けナビゲーション装置。
前記内視鏡の先端部の移動経路に沿って複数の前記特定部位が、それぞれ前記ＡＲ認識用マーカとして予め登録されている、
ことを特徴とする請求項１に記載の内視鏡向けナビゲーション装置。
前記表示装置として、ヘッドマウント型のディスプレイを使用する、
ことを特徴とする請求項１又は２に記載の内視鏡向けナビゲーション装置。
前記ＡＲ画像処理装置として３次元の空間構造を認識して記憶する機能を有するものを使用する、
ことを特徴とする請求項１ないし３のいずれか１項に記載の内視鏡向けナビゲーション装置。