JP5028191B2 - 内視鏡装置 - Google Patents

Description

本発明は、被検体内の体腔路に内視鏡を挿入する内視鏡装置に関し、特に被検体の３次元領域の画像データに基づく体腔路の仮想画像を用い、挿入ナビゲーションを行う内視鏡装置に関する。

近年、３次元画像を用いた診断が広く行われるようになっている。例えば、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置により被検体の断層像を撮像することにより被検体内の３次元画像データを得て、この３次元画像データを用いて目的部位の診断が行われるようになっている。

ＣＴ装置では、Ｘ線照射位置および検出位置を連続的に回転させつつ、被検体を連続的に移動することにより、被検体を螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）する。そして、連続した被検体の多数の断層２次元画像から、３次元画像を形成される。

診断が広く行われている３次元画像の１つに、肺の気管支の３次元画像がある。気管支の３次元画像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプルを採取することが行われる。

気管支のように、多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いときには、内視鏡の先端を短時間で正しく目的部位に到達させることが難しい。このため、例えば、特開２００４−１８０９４０号公報または特開２００５−１３１０４２号公報には、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を形成し、３次元像上で管路に沿って目的点までの経路を求め、経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて形成することが開示されている。そして、図３２に示すように、仮想的な内視像画像６ｄと内視鏡画像６ｆとを左右に並べて表示することで、気管支内視鏡を目的部位にナビゲーションする内視鏡装置が提案されている。また、前記内視鏡装置においては、図３２に示すように、進む経路穴にマーカ６Ｇを表示するとともに、仮想的な内視像画像と内視鏡画像とを画像処理を用いて類似度を比較し所定値以上の類似度の場合には、仮想的な内視像画像を回転し内視鏡画像と同じ方向に表示することが開示されている。
特開２００４−１８０９４０号公報 特開２００５−１３１０４２号公報

しかしながら、特開２００４−１８０９４０号公報または特開２００５−１３１０４２号公報に開示された内視鏡装置を用いていても、仮想的な内視像画像と内視鏡画像とを画像処理を用いて類似度を比較した際に、類似度が所定値以下の場合には、分岐部を誤認した挿入と判断される。このため、術者は左右に表示されている仮想的な内視像画像６ｄと内視鏡画像６ｆとを比較しながら、仮想的な内視像画像６ｆと類似した内視鏡画像６ｄが得られるように内視鏡を操作していた。しかし、術者にとって、左右に表示されている２つの画像の比較は、容易でないこともあった。また、術者には、仮想的な内視像画像６ｄと内視鏡画像６ｆとを、どの程度まで位置合わせをすれば、画像処理により正しく認識されるか明らかではなかった。

本発明は、内視鏡を目的部位に確実かつ迅速に挿入することができる内視鏡装置を提供することを目的とする。

上記目的を達成すべく、本発明の一態様の内視鏡装置は、被検体の３次元領域の画像データに基づいて前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、前記仮想画像に基づき、前記体腔路の分岐部のガイド画像を生成するガイド画像生成手段と、前記体腔路の内視鏡画像と、前記体腔路で前記内視鏡画像の撮像位置より末梢側の次の分岐部の前記ガイド画像とを重畳し表示する画像合成手段とを備え、前記ガイド画像は、仮想内視鏡画像、仮想内視鏡模式図画像、移動方向表示画像であって、表示された前記内視鏡画像における前記分岐部と前記仮想内視鏡画像における前記分岐部とを一致させるために、当該内視鏡画像を取得する内視鏡の移動方向を示す画像である移動方向表示画像およびテンプレート画像から選ばれる一以上の画像である。
本発明の他の態様の内視鏡装置は、被検体の３次元領域の画像データに基づいて前記被検体内の体腔路における仮想的な内視鏡画像を生成する仮想内視鏡画像生成手段と、前記体腔路における内視鏡画像に対して当該体腔路における次の分岐部の仮想内視鏡画像に基づいた仮想内視鏡模式図画像、移動方向表示画像であって、表示された前記内視鏡画像における前記分岐部と前記仮想内視鏡画像における前記分岐部とを一致させるために、当該内視鏡画像を取得する内視鏡の移動方向を示す画像である移動方向表示画像およびテンプレート画像から選ばれる一以上の画像を生成するガイド画像生成手段と、前記内視鏡画像と前記ガイド画像とを重畳し表示する画像合成手段と、画像処理手段を備え、前記画像処理手段は、前記分岐部における前記内視鏡画像と、前記仮想内視鏡画像との比較に基づいて前記仮想内視鏡画像を回転させる画像処理手段を備える。

本発明は、内視鏡を目的部位に確実かつ迅速に挿入することができる内視鏡装置を提供するものである。

以下、図面を参照して本発明の実施の形態について説明する。

＜第１の実施の形態＞
＜装置構成の説明＞
図１は、本発明の第１の実施の形態の内視鏡装置１の構成を示す構成図である。図１に示すように、本実施の形態の内視鏡装置１は、被検体の患者の体腔路である気管支に挿入し気管支内を撮像し気管支末端の関心部位組織を生検する内視鏡２Ａを有する気管支鏡装置２と、ＣＴ画像データに基づき気管支内部の仮想気管支内視鏡画像（ Ｖｉｒｔｕａｌ Ｂｒｏｎｃｈｕｓ Ｓｃｏｐｅ ：以下、仮想内視鏡画像またはＶＢＳ画像と記す）を生成すると共に撮像部２ａからの撮像信号に基づき、気管支鏡装置２により得られるリアルタイムの内視鏡画像６ｆ（以下、内視鏡画像またはライブ画像と記す）と、内視鏡２Ａの挿入ガイドとなる図４等に示すガイド画像６Ｚとを重畳合成してモニタ６に重畳して表示し内視鏡２Ａの気管支への挿入ナビゲーションを行う挿入支援装置５と、挿入支援装置５に術者の指示を入力する第１の入力部８と、挿入支援装置５の経路設定指示を入力する第２の入力部１９とを備えて構成される。

気管支鏡装置２は、被検体の体腔路に挿入される内視鏡２Ａと、内視鏡２Ａを制御する内視鏡制御部２Ｂとからなる。内視鏡２Ａの先端部２ｂには、ＣＣＤ等の撮像手段２ａ（以下「カメラ」という）等が配設されている。

挿入支援装置５は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｋ）装置またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置等の可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ（ ＭｕｌｔｉＰｌａｎａｒ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像から内視鏡２Ａの気管支関心部位への挿入経路（以下、挿入経路またはルートという）を設定する経路設定手段および再経路設定手段を有するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成する仮想内視鏡画像生成手段を有するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、後述する表示画面を生成する画像合成手段、ガイド画像生成手段およびマッチング処理手段を有する画像処理手段である画像処理部１７と、ルート設定部１４が生成した挿入経路および画像処理部１７が生成したナビゲーション画面等をモニタ６に表示させる画像表示制御部１８とから構成される。

ここで、画像マッチングについて説明する。画像マッチングは、画像処理部１７のマッチング処理手段が行う画像処理であり、ＶＢＳ画像と内視鏡画像６ｆとの類似度を比較し、所定値以上の類似度の場合には、両画像が同一の分岐部を示した画像であると判断する処理である。マッチングは、公知の画像処理により行われ、画素データレベルのマッチングと画像から抽出した特徴のレベルにおけるマッチングのいずれを用いてもよい。またマッチング可能あるいはマッチング成功、とは、画像処理部１７がマッチング処理を行った２枚の画像が同一の分岐部を示した画像であると判断することをいう。

マッチングの際に、ＶＢＳ画像と内視鏡画像６ｆとが、同一の分岐部を示す画像であるにも関わらず画像処理部１７が誤認識してしまうことがある。この画像処理部１７の誤認識は、より高度なマッチング処理により、ある程度は解決するが処理速度の低下等の問題もある。このため、本実施の形態の内視鏡装置１の挿入支援装置５は、正しい挿入経路へのナビゲーションに加えて、マッチングに適した内視鏡画像６ｆを撮像するためのナビゲーションも行う。

ライブ画像と仮想内視鏡画像６ｄのマッチングにおいては、ライブ画像のフレーム単位で行われるため、実際のマッチング処理は静止内視鏡画像と仮想内視鏡画６ｄのマッチングとなる。ライブ画像の全フレームについてマッチング処理を行う必要はなく適当な間隔で行う。

マッチング処理は、仮想内視鏡画像６ｄを含むガイド画像と内視鏡画像６ｆの表示方向を一致するために、画像補正手段が仮想内視鏡画像６ｄを回転する回転処理を行う際にも使用される。この場合には、画像処理部１７が、マッチング処理により仮想内視鏡画像６ｄと内視鏡画像６ｆとが、類似画像と判断すると、自動的に、あるいは手動で回転処理を行うことができる。

なお、ＣＴ画像データ格納部１２およびＶＢＳ画像格納部１６は、１つのハードディスク装置によって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５および画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。

次に、被検体の３次元領域の画像データに基づいて、体腔外から被検体内の関心部位まで内視鏡２Ａの先端部２ｂを挿入するための、体腔路の挿入経路を設定する経路設定手段を有するルート設定部１４および仮想内視鏡画像生成手段を有するＶＢＳ画像生成部１５について説明する。

内視鏡２Ａの挿入に先立ち、挿入支援装置５は、ＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者の３次元画像データを取り込み、取り込んだ３次元画像データをＣＴ画像データ格納部１２に格納する。そして、患者の例えば３つの異なる断面像からなるＭＰＲ画像がＭＰＲ画像生成部により生成され、ルート設定部１４は、このＭＰＲ画像の、図２に示す体腔外に近い体腔内の挿入始点Ａ１と、被検体内の関心部位１００Ｂ近傍の挿入終点Ｅ１とが、第２の入力部１９により指定されると、挿入始点Ａ１と挿入終点Ｅ１を結ぶ体腔路を設定するルート設定処理を行い、内視鏡２Ａの挿入経路Ｒ１を設定する。挿入経路Ｒ１が設定されると、ＶＢＳ画像生成部１５は、設定した経路の連続した２次元の仮想内視鏡画像６ｄをフレーム単位で生成し、生成した仮想内視鏡画像６ｄをＶＢＳ画像格納部１６に格納する。

なお、仮想内視鏡画像６ｄはＶＢＳ画像生成部１５で生成されるが、分岐部の仮想内視鏡画像６ｄは分岐部のガイド画像として画像処理部１７のガイド画像生成手段においても、後述するするように仮想内視鏡Ｖ２Ａの撮像条件を変えながら生成される。また、画像処理部１７のガイド画像生成手段は、分岐部のガイド画像として仮想内視鏡画像６ｄだけでなく、図４に示す仮想内視鏡模式図画像６Ｊ、移動方向表示画像６Ｈも生成する。また、後述する分岐部のガイド画像であるテンプレート画像６Ｔも画像処理部１７のガイド画像生成手段により生成される。また、仮想内視鏡画像を含むガイド画像の回転処理を行う画像補正手段、および内視鏡画像とガイド画像とを重畳し表示する画像合成手段も画像処理部１７に含まれている。

挿入支援装置５は、挿入経路を設定し、ＶＢＳ画像を生成し格納すると、挿入経路等をモニタ６に表示する。図３は挿入経路等を表示した表示画面６ａの例を示す図である。図３に示すように表示画面６ａには、患者情報や分岐部の情報等６Ａと、内視鏡２Ａの挿入経路Ｒ１を表示する画像６Ｂと、および詳細は図示しないＶＢＳ画像６Ｃ等とが表示される。画像６Ｂには、３次元画像から生成された患者の気管支画像１００Ａに重畳して、体腔内の内視鏡２Ａの挿入始点Ａ１から、被検体内の関心部位１００Ｂ近傍の内視鏡２Ａの挿入終点Ｅ１と、ルート設定部１４が設定した内視鏡２Ａの挿入経路Ｒ１が表示されている。

＜表示画面の説明＞
次に、図４は、モニタ６の表示画面６ａの挿入ナビゲーション時の表示形態を示す図である。なお、図１においてはモニタ６は１台のみ図示したが、複数のモニタを用いて異なる表示形態の表示画面を同時に表示することも可能である。

図４に示すように表示画面６ａの左側には、挿入経路Ｒ１にある気管支の分岐部Ｊのライブ画像表示エリア６Ｆにライブ画像６ｆと、ガイド画像が重畳表示されている。ここで、表示画面６ａは４番目の分岐部における表示画面であるため、ガイド画像は、仮想内視鏡模式図画像６Ｊ４および移動方向表示画像である矢印画像６Ｈの２つである。重畳表示するガイド画像は、現在のカメラ位置よりも末梢側の次の分岐部のガイド画像、すなわち、内視鏡の挿入操作において次に到達する分岐部、言い換えれば、体腔路における内視鏡画像に対して当該体腔路における次の分岐部、さらに言い換えれば次にマッチング処理を行う分岐部のガイド画像である。

また、重畳表示とは同一の表示エリアに重ねて表示することであり、一般的には異なるレイヤの画像を同時に表示することで重畳表示することができる。なお、これらの画像は画像処理部１７の画像合成手段にて処理され重畳表示されている。また、同一の表示画面６ａの複数の画像表示エリアのそれぞれに表示することは重畳表示には該当しない。

表示画面６ａは４番目の分岐部における表示画面であるため、右側のＶＢＳ画像表示エリア６Ｄには、体腔路内で内視鏡２Ａのカメラ２ａの位置より末梢側の次の分岐部である分岐部Ｊ４のＶＢＳ画像６ｄ４と、分岐部Ｊ４の仮想内視鏡模式図画像（以下、ＶＢＳ模式図画像という）６Ｊ４と、挿入経路Ｒ１に沿って進むための経路穴にマーカ６Ｇを重畳して表示している。ＶＢＳ画像表示エリア６Ｄに表示されているＶＢＳ模式図画像６Ｊ４のＶＢＳ画像表示エリア６Ｄ内での位置および大きさと、ライブ画像表示エリア６Ｆに表示されている仮想内視鏡模式図画像６Ｊ４のライブ画像表示エリア６Ｆ内での位置および大きさとは、同じである。すなわち、ＶＢＳ画像表示エリア６Ｄの仮想内視鏡模式図画像６Ｊ４のみをライブ画像表示エリア６Ｆに複写し重畳表示している。そして、ライブ画像表示エリア６Ｆに表示されているガイド画像とライブ画像表示エリア６Ｆに表示されているガイド画像とは連動して移動する。このため、術者はライブ画像表示エリア６Ｆのみに注目していてもＶＢＳ画像６ｄとライブ画像６ｆのずれを確認できる。

表示画面６ａの下側のＶＢＳ画像表示エリア６Ｅに表示されている分岐サムネイルＶＢＳ画像の中で、ＶＢＳ画像６ｄ４に対応する６Ｅ４の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア６Ｄに表示されるＶＢＳ画像がどの分岐部の画像かを容易に認識できるようになっている。

次に、表示画面６ａに表示される各画像について説明する。ＶＢＳ画像は前述のように、気管支１００Ａの３次元気管支画像データから形成された２次元画像である。言い換えれば、ＶＢＳ画像は仮想の気管支１００Ａの管腔を仮想の内視鏡で撮像した仮想の画像である。ＶＢＳ画像は気管支１００Ａの全ての管腔箇所について形成可能であるが、挿入支援装置５が画像マッチング処理の際に、表示画面６ａに表示するのは、分岐部ＪのＶＢＳ画像である。

次に、分岐サムネイルＶＢＳ画像とは、ＶＢＳ画像を縮小し簡略化した画像である。なお、分岐サムネイルＶＢＳ画像表示エリア６ＥはＶＢＳ画像選択アイコンの機能も有しており、所望の分岐サムネイルＶＢＳ画像を選択することで、ＶＢＳ画像表示エリアに表示するＶＢＳ画像を変更することもできる。

ＶＢＳ模式図画像６Ｊは、ＶＢＳ画像６ｄまたは分岐サムネイルＶＢＳ画像または３次元気管支画像データを基に形成された各分岐部の末梢側の複数の穴のそれぞれの内壁の輪郭線を示す図形、すなわち、複数の輪郭線図形から構成されている画像である。また、図４には表示されていない内視鏡模式図画像は、内視鏡画像を基に形成された各分岐部の末梢側の複数の穴のそれぞれの内壁の輪郭線を示す図形、すなわち、複数の輪郭線図形から構成されている画像である。

移動方向表示画像である矢印画像６Ｈは、内視鏡画像６ｆの分岐部の中心位置をＶＢＳ画像６ｄの分岐部の中心位置と一致するために、内視鏡２Ａを操作すべき移動方向を術者に示す矢印である。本実施の形態において、矢印画像６Ｈは内視鏡画像６ｆの分岐部の中心位置からＶＢＳ画像６ｄの分岐部の中心位置を結んでいるために、矢印画像６Ｈは、内視鏡２Ａを操作すべき移動方向だけでなく移動距離も示している。

なお、本実施の形態の表示画面６ａの変形例として、図５に、内視鏡画像６ｆと、仮想内視鏡画像６ｄ、仮想内視鏡模式図画像６Ｊおよび矢印画像６Ｈをひとつの画面に重畳表示した状態を示す。図５では表示を解りやすくするため仮想内視鏡画像６ｄは表示していない。仮想内視鏡画像６ｄは内視鏡画像６ｆの視認性を妨げることがないように、内視鏡画像６ｆより薄く目立たないように表示することが好ましい。

次に、図６は、画像処理部１７の構成を説明するための構成図である。画像処理部１７は内視鏡画像６ｆおよびＶＢＳ画像等から分岐部の輪郭線図形を抽出し、類似度比較等を行う分岐抽出部１７ａと、輪郭線図形から模式図画像等のガイド画像等を生成する画像生成部１７ｂと、画像を格納しておく画像格納部１７ｄと、内視鏡画像６ｆとガイド画像等を重畳表示するための画像合成手段である画像重畳部１７ｃと、ナビゲーションのための各表示画面を生成するナビ画面生成部１７ｅを有する。

次に、画像処理部１７による各画像の生成方法について説明する。ＶＢＳ模式図画像６Ｊは、ＶＢＳ画像６ｄまたは分岐サムネイルＶＢＳ画像６Ｅまたは３次元気管支画像データを基に形成される。形成方法は、ＶＢＳ画像６ｄまたは分岐サムネイルＶＢＳ画像６Ｅを用い２値化処理による方法と、３次元気管支画像データを用い仮想断面画像から形成する方法がある。

＜２値化処理によるＶＢＳ画像からＶＢＳ模式図画像を形成する方法＞
まず、図７および図８を用い２値化処理によるＶＢＳ模式図画像６Ｊの形成方法を説明する。図７は２値化処理の過程を説明するための図であり、図８は、分岐サムネイルＶＢＳ画像６Ｅを基にした２値化処理によるＶＢＳ模式図画像６Ｊの形成処理の流れを説明するためのフローチャートである。２値化処理はグレイスケール画像を白黒画像に変換し、白黒画像の境界から輪郭線を抽出する方法である。図８は、入経路にある複数の分岐部のＶＢＳ模式図画像６Ｊを形成するための画像処理部１７の動作を示すフローチャートである。

画像処理部１７は、輪郭線の抽出、すなわちグレイスケールの分岐サムネイルＶＢＳ画像６Ｅから、それぞれの穴の輪郭線を抽出し、複数の輪郭線図形からなるＶＢＳ模式図画像６Ｊの形成を開始する。

＜ステップＳ１１＞
画像処理部１７は、挿入経路にある全ての分岐部ＪのＶＢＳ模式図画像６Ｊを形成するために、選択する分岐サムネイルＶＢＳ画像６Ｅの番号ｎの初期値として１を入力する。

＜ステップＳ１２＞
画像処理部１７は、図７（Ａ）に示すように、ｎ番目の分岐サムネイルＶＢＳ画像データを読み込む。

＜ステップＳ１３＞
画像処理部１７は、図７（Ｂ）に示すように、分岐サムネイルＶＢＳ画像データの画素データの中で、あらかじめ定めた閾値よりも暗い画素のみを抽出し、当該画素を黒とし、それ以外の画素を白とする２値化処理を行う。挿入する分岐部の奥の領域、すなわち遠い領域は比較的暗い画像として捉えられるため、挿入方向の先にある分岐部の末梢側の管腔断面の輪郭像を得ることができる。

＜ステップＳ１４＞
画像処理部１７は、図７（Ｃ）に示すように、２値となった分岐サムネイルＶＢＳ画像データが示す分岐部の各穴の一番外側の輪郭線を抽出する。図７（Ｃ）では閉じた輪郭線からなる２つの輪郭線図形が抽出されている。この輪郭線図形からなる模式図がＶＢＳ模式図画像６Ｊである。

＜ステップＳ１５、Ｓ１６＞
画像処理部１７は、番号ｎを１ずつ増加し、上記と同様の処理を行い、それぞれの分岐部のＶＢＳ模式図画像６Ｊを形成し、挿入経路にある全ての分岐部ＪのＶＢＳ模式図画像６Ｊを形成したら処理を完了する。

＜仮想断面画像からＶＢＳ模式図画像を形成する方法１＞
次に、３次元気管支画像データを用い仮想断面画像からＶＢＳ模式図画像６Ｊを形成する２つの方法について、図９および図１０を用いて順に説明する。図９および図１０は分岐部Ｊ付近の３次元気管支画像データに基づき仮想３次元画像１００Ｖを管腔方向に垂直な視点から観察した図を示している。この仮想画像は、気管支の内壁１００ＶＩの情報と、気管支の中心を示す芯線１００Ｖ１の情報から構成されている。ＶＹ１は、芯線上の分岐点を示している。そして、仮想内視鏡先端部Ｖ２ｂの仮想のカメラＶ２ａは、分岐点ＶＹ１から予め定めた距離Ｌ２の位置の芯線上にある。

図９に示す第１の仮想断面画像からＶＢＳ模式図画像６Ｊを形成する方法では、仮想のカメラＶ２ａの位置と分岐点ＶＹ１とを結ぶ芯線１００Ｖ１を延長した線上の、分岐点ＶＹ１からの予め定めた距離Ｌ１の位置にある点ＶＬを含む前記延長線に対して垂直な平面が、体腔路芯線と交わる点ｃ１およびｃ２を含む体腔路の断面画像を用いる。すなわち、図９（Ａ）において、ＣＩ−ＣＩ線で表示されている点ｃ１を含む管腔内壁の仮想断面画像と、ＣＩＩ−ＣＩＩ線で表示されている点ｃ２点を含む管腔内壁の仮想断面画像を、仮想カメラＶ２ａにより撮像した仮想画像が、図９（Ｂ）に示す輪郭線図形６ＪＩと輪郭線図形６ＪＩＩからなるＶＢＳ模式図画像６Ｊである。なお、距離Ｌ１および距離Ｌ２はマッチングが確実に行える距離として求め、予め設定しておく。

＜仮想断面画像からＶＢＳ模式図画像を形成する方法２＞
図１０に示す第２の仮想断面画像からＶＢＳ模式図画像６Ｊを形成する方法では、予め定めた分岐点ＶＹ１からの芯線距離がＬ３の位置にある点ｃ３およびｃ４を含む体腔路に対して垂直方向の断面画像を用いる。すなわち、図１０（Ａ）において、ＣＩＩＩ−ＣＩＩＩ線で表示されている点ｃ３を含む管腔内壁の仮想断面画像と、ＣＩＶ−ＣＩＶ線で表示されているｃ４を含む管腔内壁の仮想断面画像を、仮想カメラのＶ２ａにより撮像した画像が、図１０（Ｂ）に示す輪郭線図形６ＪＩＩＩと輪郭線図形６ＪＶＩからなるＶＢＳ模式図画像６Ｊである。なお、距離Ｌ１および距離Ｌ３はマッチングが確実に行える距離として求め、予め設定しておく。

なお、輪郭線図形として、上記処理で得られた図形６ＪＩ等を、さらに楕円近似して、より簡単な図形としてもよい。

＜第１の移動方向表示画像＞
次に、図１１から図２０を用いて、移動表示画像の形成について説明する。図１１から図１３は、各模式図画像の各輪郭線図形の外接円を用いた移動方向表示画像を形成する方法を説明するための図であり、図１４および図１５は移動方向表示画像を形成するための画像処理部１７の動作の流れを説明するためのフローチャートであり、図１６から図２０は移動表示画像を表示した表示画面６ａの例を示す図である。

図１１（Ａ）は、第１の移動方向表示画像を説明するための図であり、ライブ画像表示エリア６Ｆを示しており、ライブ画像表示エリア６Ｆには、ライブ画像６ｆに、内視鏡模式図画像６Ｋと、内視鏡模式図画像６Ｋを構成する輪郭線図形の外接円６ＫＣが重畳して表示されている。

一方、図１１（Ｂ）は、ＶＢＳ画像表示エリア６Ｄを示しており、この場合にＶＢＳ画像表示エリア６Ｄには、ＶＢＳ画像６ｄに、仮想内視鏡模式図画像６Ｊと、仮想内視鏡模式図画像６Ｊを構成する輪郭線図形の外接円６ＪＣが重畳して表示されている。すなわち、図１２に示す表示レイヤＰ４に該当する。図１２のレイヤＰ４とレイヤＰ２とは連動しているため、いずれかのレイヤを回転すると他のレイヤも同じ回転を行う。

図１１（Ｃ）は、ライブ画像表示エリア６Ｆを示しており、ライブ画像表示エリア６Ｆには、ライブ画像６ｆに、内視鏡模式図画像６Ｋと、外接円６ＫＣと、仮想内視鏡模式図画像６Ｊと、外接円６ＪＣとが重畳表示されているが、説明のためライブ画像６ｆは表示していない。すなわち、図１２に示すように、外接円６ＫＣを表示する表示レイヤＰ１と、外接円６Ｊを表示する表示レイヤＰ２と、ライブ画像６ｆと内視鏡模式図画像６Ｋを表示する表示レイヤＰ３とが重畳して表示されている画像である。矢印画像６ｈは、外接円６ＫＣの中心から外接円６ＪＣの中心への方向および距離を示している。

図１６は、ライブ画像６ｆに移動方向表示画像である２つの円６ＫＣと６ＪＣが重畳して表示されている表示画面６ａを示している。図１６に示すように、ＶＢＳ画像表示エリア６Ｄには、ＶＢＳ画像６ｄに挿入経路に沿って進むための経路穴を示すマーカ６Ｇ等が重畳して表示されている。マーカ６Ｇは、進むための経路穴を明示できるものであれば、穴の輪郭を強調したり、特定の術者の注意を引きやすい色で表示する等、種々のマーカ表示を使用することができる。

次に図１４のフローチャートを用いて、画像処理部１７の動作の流れを説明する。

ライブ画像６ｆの表示が開始すると画像処理部１７の動作が開始する。

＜ステップＳ３１＞
画像処理部１７は、分岐サムネイルＶＢＳ画像表示エリア６Ｅのアイコン等で選択されたＶＢＳ画像を２値化処理して、輪郭線図形を抽出し、仮想内視鏡模式図画像６Ｊを形成する。

＜ステップＳ３２＞
画像処理部１７は、抽出された輪郭線図形の外接円６ＪＣを求める。ここで、外接円とは、全ての輪郭線図形を包含する最小径の円をいう。

＜ステップＳ３３＞
画像処理部１７は、外接円６ＪＣをレイヤＰ２に複写し、ライブ画像表示レイヤＰ３と重畳する。

＜ステップＳ３４＞
画像処理部１７は、内視鏡画像を２値化処理して、輪郭線図形を抽出し、内視鏡模式図画像６Ｋを形成する。ここで内視鏡画像とは静止内視鏡画像である。

＜ステップＳ３５＞
画像処理部１７は、抽出された輪郭線図形の外接円６ＫＣを求める。

＜ステップＳ３６＞
画像処理部１７は、外接円６ＫＣをレイヤＰ１に複写し、ライブ画像表示レイヤＰ３と重畳する。

＜ステップＳ３７＞
画像処理部１７は、別のＶＢＳ画像が選択されるまで、ライブ画像から静止内視鏡画像を生成し、再び処理を行い、常に新規な状態の外接円６ＫＣの位置をライブ画像表示レイヤＰ３と重畳する。

＜ステップＳ３８＞
画像処理部１７は、別の分岐部に到達し、異なるＶＢＳ画像が選択された場合には、その分岐部の仮想内視鏡画像を基に処理を継続する。画像処理部１７は、終了信号があるまで動作を継続する。

術者は、図１６に示すように、内視鏡画像の分岐部の外接円６ＫＣの中心が、仮想内視鏡画像の分岐部の外接円６ＪＣの中心と一致するように、内視鏡２Ａを操作する。すると、術者は、図１７に示すように、容易にライブ画像６ｆと仮想内視鏡画像６ｄの分岐点の中心位置を一致することができる。すなわち、この２つの円６ＫＣおよび６ＪＣが、第１の移動方向表示画像である。２つの円の中心位置が一致すると、画像処理部１７は誤動作なくマッチング処理を行い、仮想内視鏡画像６ｄを回転する回転処理を行う。回転処理後は、図１８に示したように、仮想内視鏡画像６ｄとライブ画像６ｆの表示方向が一致しているため、術者は挿入経路に沿って進むための経路穴を示すマーカ６Ｇとライブ画像６ｆとの対応を容易に認識することができる。

＜第２の移動方向表示画像＞
次に、図１１、図１３、図１５および図１９を用いて、第２の移動方向表示画像である２つの外接円の中心点を結ぶ矢印画像について説明する。

図１１（Ｄ）は、ライブ画像表示エリア６Ｆを示しており、ライブ画像表示エリア６Ｆには、ライブ画像６ｆに、矢印画像６Ｈとが重畳表示されているが、説明のためライブ画像６ｆは表示していない。図１１（Ｄ）の画像は、図１３に示すように、３つの表示レイヤＰ１、Ｐ２およびＰ３が重畳表示されている。図１９は、表示画面６ａを示し、ライブ画像６ｆの重畳表示されている矢印画像６Ｈは、外接円６ＫＣの中心点６Ｋｃと外接円６ＪＣの中心点６Ｊｃを結ぶ矢印である。一方、ＶＢＳ画像表示エリア６Ｄには、ＶＢＳ画像６ｄに挿入経路に沿って進むための経路穴を示すマーカ６Ｇ等が重畳して表示されている。

次に図１５のフローチャートを用いて、画像処理部１７の動作の流れを説明する。ステップ５１からステップ５５までは、図１４のフローチャートのステップ３１からステップ３５までと同じであるため説明を省略する。

＜ステップ５６＞
円６ＫＣの中心点６Ｋｃから、円６ＪＣの中心点６Ｊｃに至る矢印画像６Ｈを生成する。

＜ステップ５７＞
矢印画像６ＨをレイヤＰ２に表示し、ライブ画像表示レイヤＰ３と重畳して表示する。

なお、図１３および図１５では、円６ＫＣおよび円６ＪＣも、矢印画像６Ｈとともにライブ画像表示レイヤＰ３と重畳して表示しているが、図１９等に示すように矢印画像６Ｈのみをライブ画像表示レイヤＰ３と重畳して表示してもよい。あるいは、図４に示したように、矢印画像６Ｈと仮想内視鏡模式図画像６Ｊを重畳してライブ画像表示レイヤＰ３と重畳して表示してもよいし、内視鏡模式図画像６Ｋをライブ画像表示レイヤＰ３と重畳して表示してもよい
なお、円６ＫＣは、内視鏡画像６ｆから生成された図形であり、仮想内視鏡画像６ｄから生成されていない。しかし、仮想内視鏡画像６ｄから生成された円６ＪＣと組み合わさることにより１つのガイド画像を形成するものである。

＜第３の移動方向表示画像＞
次に、第３の移動表示画像として、分岐部の重心点を用いた移動表示画像の形成方法について説明する
図２０は、分岐部の重心点を用いて移動表示画像を形成する方法を説明するための図である。図２０（Ａ）は、ライブ画像表示エリア６Ｆを示しており、この場合にライブ画像表示エリア６Ｆには、ライブ画像６ｆに、内視鏡模式図画像６Ｋと内視鏡模式図画像６Ｋの分岐部の重心位置を示すマーク６Ｍとが重畳して表示されている。ここで、内視鏡模式図画像６Ｋは、前述の種々の仮想画像からＶＢＳ模式図画像６Ｊを形成する方法と同様の方法により形成する。

一方、図２０（Ｂ）は、ＶＢＳ画像表示エリア６Ｄを示しており、この場合にＶＢＳ画像表示エリア６Ｄには、ＶＢＳ画像６ｄに、仮想内視鏡模式図画像６Ｊと、仮想内視鏡模式図画像６Ｊの分岐部の重心位置を示すマーク６Ｎとが重畳して表示されている。ここで、重心位置とは、ライブ画像またはＶＢＳ画像の濃淡パターンを基に決定される位置であり、グレイスケール画像を白黒画像に変換する２値化処理を行い、画像全体に占める黒画素の合計数が一定比率以下になった時の、各黒画素の座標の平均値から求めることができる。

以下、図２１を用いて、画像処理部１７による分岐部の重心位置の決定方法の動作について詳細に説明する。
＜ステップ６１＞
画像処理部１７が、ライブ画像またはＶＢＳ画像を白黒画像に変換する２値処理を行う際の閾値として、予め決められた初期値ｔ_０を設定する。

＜ステップ６２＞
画像処理部１７は、閾値を初期値ｔ_０として、２値処理を行い、黒画素の合計数ｎを算出する。

＜ステップ６３、ステップ６４＞
画像処理部１７は、ステップ６２で算出した黒画素の合計数ｎが、画面全体の画素数に対して予め定めた比率Ｋ（例えば２０％）より大きいか小さいかを判定し、大きい場合は、閾値を微少値Δｔだけ減少させてから、再度ステップ６２に戻り、黒画素の合計数ｎを算出する。

すなわち、ステップ６３を通過する状態では、閾値は、黒画素の合計数ｎが、画面全体の画素数に対して予め定めた比率（例えば２０％）より小さくなるように設定される。なお、予め定めた比率Ｋは通常のライブ画像またはＶＢＳ画像を２値化処理した際に、気管支分岐の形状が部分的に抽出されているような値が選択される。

＜ステップ６５、ステップ６６＞
画像処理部１７は、ステップ６３の段階で、黒画素の合計数ｎが、画面全体の画素数に対して予め定めた比率Ｋ（例えば２０％）より大きいか小さいかを判定し、小さい場合には、閾値を微少値Δｔだけ増加させてから、黒画素の合計数ｎを算出する。

＜ステップ６７、ステップ６８＞
画像処理部１７は、黒画素の合計数ｎが、画面全体の画素数に対して予め定めた比率Ｋ（例えば２０％）より大きいか小さいかを判定し、黒画素の比率がＫを越えるまで繰り返す。

＜ステップ６９＞
画像処理部１７は、各黒画素ａ１、ａ２〜ａｎのそれぞれの画面上の座標値ａ１（ｘ１、ｙ１）、ａ２（ｘ２、ｙ２）〜ａｎ（ｘｎ、ｙｎ）を求め、それらの座標値の平均値Ａ（（ｘ１＋ｘ２＋、、＋ｘｎ）／ｎ、（ｙ１＋ｙ２＋、、＋ｙｎ）／ｎ）を算出し、分岐部の重心位置ＮまたはＭとする。

なお、 図２０（Ｃ）は、ライブ画像表示エリア６Ｆを示しており、ライブ画像表示エリア６Ｆには、ライブ画像６ｆに、矢印画像６Ｈとが重畳表示されているが、説明のためライブ画像６ｆは表示していない。

術者は、前記の外接円から形成された移動方向表示画像と同様に、内視鏡２Ａを操作して、内視鏡先端部２ｂを矢印画像６Ｈに示されている移動方向に、矢印画像６Ｈに示されている移動量だけ移動すると、容易にライブ画像６ｆと仮想内視鏡画像６ｄの分岐点の中心位置を一致することが可能となる。

なお、矢印画像等による移動方向表示画像の表示とともに、実際に必要な内視鏡先端部の移動量の情報を表示してもよい。例えば、Ｘ方向、Ｙ方向にそれぞれ、何ｍｍ移動すればライブ画像６ｆと仮想内視鏡画像６ｄとの中心位置が一致するという情報である。

＜テンプレート画像６Ｔによるナビゲーション＞
前述のように、移動方向表示画像等のガイド画像のナビゲーションに従った術者の内視鏡操作により、内視鏡画像６ｆの分岐部の中心位置が、仮想内視鏡画像６ｆの分岐部の中心位置と一致すると、両画像は、画像処理部１７がマッチングしやすい状態となる。このため画像処理部１７は、誤動作することなくマッチングし、その結果、仮想内視鏡画像６ｄを自動的に回転することができる。しかし、上記操作後であってもマッチングできないことがある。

一方、回転処理を行わなくとも、最初から、ある程度、内視鏡画像６ｆと仮想内視鏡画像６ｄとの方向が一致している場合においても、画像処理部１７がマッチングに失敗することがある。

これは、画像処理部１７によるマッチング処理には、マッチング処理速度や挿入支援装置装置のコスト等の観点から制約があるためである。具体的には、内視鏡２Ａのカメラ２ａの気管支内の位置が、仮想内視鏡画像を撮像した仮想のカメラＶ２ａの仮想気管支位置に対して、上下左右方向（ＸＹ方向）にずれていてもマッチング可能な範囲に制約がある。また、内視鏡２Ａのカメラ２ａの気管支内の位置が、仮想内視鏡画像６ｄを撮像した仮想のカメラＶ２ａの仮想気管支位置に対して、気管支管腔の奥行き方向（Ｚ方向）のずれに対しても、マッチング可能な範囲に制約がある。さらには、前述したように内視鏡２Ａのカメラ２ａが、空間のどの方向を上にしているかという撮像条件についても、マッチング可能な範囲に制約がある。

図２２は、内視鏡２Ａのカメラ２ａの気管支内の位置と内視鏡画像６ｆの関係等を説明するための図である。図２２（Ａ）は、（ａ）に気管支１００Ａ内の内視鏡２Ａの位置を示し、（ｂ）に仮想内視鏡画像６ｄを示し、（ｃ）に内視鏡画像６ｆを示している。内視鏡２Ａのカメラ２ａは、仮想内視鏡Ｖ２Ａの仮想カメラＶ２ａが仮想内視鏡画像６ｄを撮像した箇所に相当する位置１００Ｉにある。図２２（Ａ）の状態の内視鏡２Ａであれば、仮想内視鏡画像６ｄを回転するだけで仮想内視鏡画像６ｄと内視鏡画像６ｆはマッチングが可能である。

これに対して、図２２（Ｂ）に示した状態の内視鏡２Ａでは、奥行き方向および上下方向でずれている。このため、内視鏡画像中の分岐部の穴を示す６Ｋは、仮想内視鏡画像中の分岐部の穴を示す６Ｌに比べて小さく、さらに少し分岐部の中心がずれている。また、図２２（Ｃ）に示した状態の内視鏡２Ａでは、中心軸がずれている。このため、内視鏡画像中の分岐部の穴を示す６Ｋは、分岐部の中心がずれている。また、図２２（Ｄ）に示した状態の内視鏡２Ａでは、内視鏡２Ａの方向がずれている。このため、内視鏡画像中の分岐部の穴を示す６Ｋは、分岐部の中心がずれている。

術者は、内視鏡２Ａの位置が、仮想内視鏡Ｖ２Ａの仮想内視鏡画像撮像位置からずれている場合には、内視鏡２Ａを図２２（Ｅ）の２Ａ１の状態から２Ａ３の状態になるように操作する必要があった。しかし、術者は、どこまで操作すればマッチングが可能であるのかが不明であったため試行錯誤する必要があった。

本実施の形態の内視鏡装置１におけるテンプレート画像６Ｔは、前記の制約が具体的に、どれ程の範囲であるか、言い換えれば、その範囲内であればマッチング可能である範囲を、術者に示すガイド画像である。

以下、図２３から図２５を用い、テンプレート図形について説明する。図２３はテンプレート図形を生成するための画像処理部１７の動作の流れを示すフローチャートであり、図２４および図２５はテンプレート画像６Ｔの生成方法を説明するための図である。

最初に、図２３のフローチャートにより画像処理部１７の画像処理手段によるテンプレート生成動作の流れを説明する。

＜ステップＳ７１＞
画像処理部１７は、仮想内視鏡の仮想カメラＶ２ａの位置、方向を設定した範囲で変動し、複数の仮想内視鏡画像を生成する。例えば、画像処理部１７は、図２４に示すように、中心条件の画像６ｄＳに対して、カメラ方向を上下方向および左右方向に変化し、８枚の仮想内視鏡画像６ｄ１０〜６ｄ１７を生成する。画像処理部１７は、さらに、それらの８枚の仮想内視鏡画像６ｄ１０〜６ｄ１７を中心条件の画像６ｄＳとマッチング処理を行う。マッチングできた時には、さらに大きくカメラ方向を変化し、マッチングできない時は、カメラ方向の変化を小さくする。この処理を繰り返すことで、マッチング可能なカメラ方向の最大の上下方向および左右方向のずれが生じている時の仮想内視鏡画像が得られる。

＜ステップＳ７２＞
画像処理部１７は、各仮想内視鏡画像６ｄから、それぞれの仮想内視鏡模式図画像６Ｊを生成する。

＜ステップＳ７３＞
画像処理部１７は、全ての仮想内視鏡模式図画像６Ｊを重ねて、全ての輪郭線図形を包含する領域を設定する。

＜ステップＳ７４＞
画像処理部１７は、全ての輪郭線図形を包含する領域の外縁をテンプレート画像６ＴＡとして記録する。図２４に示すように、テンプレート画像６ＴＡは多角形で構成され、仮想内視鏡模式図の全ての輪郭線図形を包含し、マッチング可能範囲の外縁を示すテンプレート画像である。

上記説明では、カメラ方向を変化したが、同様にカメラ位置及び回転方向についても同様の処理を行うことで、マッチング可能な範囲を示すテンプレート画像６Ｔを生成することができる。すなわち、本実施の形態のテンプレート画像６Ｔは、仮想画像に基づいて異なる仮想撮像手段の位置および／または方向の仮想内視鏡画像から生成された複数の仮想内視鏡模式図であって、仮想撮像手段の位置および方向が標準条件で撮像された仮想内視鏡画像から生成された標準仮想内視鏡模式図と、同一の分岐部の仮想内視鏡模式図であると画像処理手段が認識できる、すなわちマッチングできる複数の仮想内視鏡模式図を構成する輪郭線図形を包含する画像である。ここで、仮想撮像手段の位置および方向が標準条件とは、管腔の芯線上であって分岐部の形状が認識しやすい位置であって、芯線に平行な方向である。

術者は、ライブ画像６ｆに重畳して表示されたテンプレート画像６Ｔの中に、分岐部の穴が含まれるように、内視鏡２Ａを操作することで、迅速にマッチング処理を行うことができる。

＜テンプレート画像６Ｔの第１の変形例＞
次に図２５を用いて、テンプレート画像６Ｔの第１の変形例について説明する。図２５は、カメラ位置がずれている場合のテンプレート画像６Ｔの生成方法を説明するための図である。

画像処理部１７は、図２５に示すように、中心条件の画像６ｄＳに対して、カメラ位置、すなわち管腔路の奥行き方向位置を変化し、分岐部に近い場合の仮想内視鏡画像６ｄ１８および、分岐部に遠い場合の仮想内視鏡画像６ｄ１９を生成する。画像処理部１７は、さらに、仮想内視鏡画像６ｄ１８または仮想内視鏡画像６ｄ１９を中心条件の画像６ｄＳと、マッチングさせ、マッチングできた時には、さらに大きくカメラ位置を変化し、マッチングできない時は、カメラ位置の変化を小さくする。この処理を繰り返すことで、マッチング可能なカメラ位置の最近接位置と最遠位置における仮想内視鏡画像６ｄが得られる。

最近接位置における仮想内視鏡画像６ｄの外縁６Ｔｂ１と、最遠位置における仮想内視鏡画像６ｄの外縁６ＴＢ２に囲まれた範囲が、マッチング可能な範囲を示すテンプレート図形６ＴＢである。テンプレート図形６ＴＢは、マッチング可能な範囲の外縁および内縁を示すテンプレート画像６Ｔの構成要素であり、仮想内視鏡模式図の全ての輪郭線図形を包含する四角形で構成されている。

＜テンプレート画像６Ｔの第２の変形例＞
次に、図２６を用いて、テンプレート画像６Ｔの第２の変形例について説明する。術者は内視鏡挿入の際に何回か内視鏡２Ａの抜き刺しを繰り返すことがある。すなわち、同じ分岐部への内視鏡挿入が複数回行われる。図２６（Ａ）の３画像は、画像処理部１７が過去に内視鏡画像６ｆと、マッチングが可能であった３つの仮想内視鏡模式図画像６Ｊ２０、６Ｊ２１および６Ｊ２２を示している。図２６（Ｂ）は、前記の３つの仮想内視鏡模式図画像中の、２つの穴を示す個々の輪郭線図形をそれぞれ重ね合わせた状態を示す。図２６（Ｃ）は、前記２つの穴を示す個々の輪郭線図形のそれぞれを包含する範囲の外縁を曲線で近似する状態を示し、図２６（Ｄ）は、前記曲線から構成されている２つの輪郭線図形により、マッチングが可能であった範囲を示すテンプレート画像６Ｔを示している。本変形例においては、図２６（Ｄ）に示す画像を、ライブ画像６ｆと重畳するテンプレート画像６Ｔとして使用する。

すなわち、図２６（Ｄ）は、同一の分岐部において、画像処理部１７がマッチング可能であった複数の仮想内視鏡模式図画像６Ｊの個々の輪郭線図形を包含する曲線で構成されているテンプレート画像６Ｔである。

本変形例のテンプレート画像６Ｔは、実際にマッチングした実績のある仮想内視鏡模式図画像６Ｊを基に生成されているために、そのマッチング可能範囲の精度が高い。このため、内視鏡２Ａの挿入操作が迅速となる。

なお、図２６（Ｂ）に示す画像をテンプレート画像として用いることも可能である。

すなわち、過去にマッチングに成功した３つの仮想内視鏡模式図画像中の、２つの穴を示す個々の輪郭線図形をそれぞれ重ね合わせた画像である
また、異なる患者であっても、気管支の分岐部の形状は、それ程大きくは変わらない。このため、過去に行った複数の被検者のマッチングデータから同様の方法で各分岐部のテンプレート画像を生成することも可能である。

＜テンプレート画像６Ｔの第３の変形例＞
次に、図２７を用いて、テンプレート画像６Ｔの第３の変形例について説明する。上記変形例で説明したように、術者は内視鏡挿入の際に何回か内視鏡２Ａの抜き刺しを繰り返すことがある。図２７（Ａ）の３枚の画像は、画像処理部１７が過去に内視鏡画像６ｆと、マッチングが可能であった３つの仮想内視鏡模式図画像６Ｊ３０、６Ｊ３１および６Ｊ３２を示し、その３枚の画像の中で仮想内視鏡模式図画像６Ｊ３２が直前のマッチング処理の際の画像である。本変形例において、この前回に画像処理部１７がマッチングしたテンプレート画像６Ｔである仮想内視鏡模式図画像６Ｊ３２を、ライブ画像６ｆと重畳するテンプレート画像６Ｔとして使用する。

なお、本変形例のテンプレート画像６Ｔは、マッチング可能範囲を示していないため厳密にはテンプレート画像でないが、テンプレート画像と同様の作用効果を奏するガイド画像であるため、ここではテンプレート画像とよぶ。本変形例のテンプレート画像６Ｔは、実際にマッチングした直前の仮想内視鏡模式図画像であるために、その近傍ではマッチングできる可能性が非常に高い。このため、本テンプレート画像をガイド画像として用いることにより、内視鏡２Ａの挿入操作が迅速となる。

＜ガイド画像の使い分け＞
術者は挿入状態に応じて複数のガイド画像を使い分けることもできる。例えば、分岐部に到達した際に内視鏡画像６ｆと仮想内視鏡画像６ｄの関係が全く認識できないほどにずれていた場合には、最初に術者は、ガイド画像として移動方向表示画像を選択するとよい。そして、術者が、移動方向表示画像のナビゲーションに従い内視鏡２Ａを操作し、分岐部の中心位置があうと、ライブ画像６ｆと仮想内視鏡画像６ｄ、正確にはライブ画像のフレーム画像および仮想内視鏡画像のそれぞれの模式図画像、が穴形状によりマッチング処理されマッチングに成功すると両画像中の複数の穴の並んでいる方向が一致するように画像補正手段が仮想内視鏡画像６ｄを回転処理する。

回転処理後であっても、分岐部までの距離が長い等の理由で同一の分岐部かどうかのマッチングができない場合には、術者は、ガイド画像としてテンプレート画像を選択するとよい。なお、この段階では少なくとも両画像の分岐部の中心位置は一致しているので、ガイド画像として移動方向表示画像は不要であり選択されることはない。そして、術者が、テンプレート画像のナビゲーションに従い内視鏡２Ａを操作し、テンプレート図形が示すマッチング可能範囲内に内視鏡画像中の分岐部を導入するとマッチング処理されマッチングに成功すると正しい挿入経路に従い挿入が行われていることが確認される。

上記の場合の２回のマッチング処理は、マッチング精度の異なるマッチング処理であり、最初の回転処理のためのマッチング処理は簡単なマッチング処理であり、後の同一の分岐部か否かのマッチングは複雑なマッチング処理となる。簡単なマッチング処理ではライブ画像から自動的にフレーム単位で画像をサンプリングし静止内視鏡画像としてマッチング処理に用いることができるが、複雑なマッチング処理では術者が内視鏡を静止させて自らボタンを操作し静止画像を撮像することが好ましい。

＜固定手段＞
次に、本発明の実施の形態の内視鏡装置１において、内視鏡２Ａの先端部２ｂに先端部２ｂと体腔路とを固定可能な固定手段を有する内視鏡装置１について説明する。図２８は、気管支１００の管腔内に挿入されている内視鏡２Ａの先端部２ｂを説明するための図であり、図２９は固定手段の構成等を示すブロック図であり、図３０は、固定装置２ｃの動作の流れを説明するためのフローチャートである。

図２８に示すように、気管支の分岐部１００Ｄまで挿入された内視鏡２Ａの先端部２ｂは、気管支体腔路とを固定可能な固定手段であるバルーン２Ｃに流体が供給されており、膨張したバルーン２Ｃにより、内視鏡先端部２ｂは気管支の管壁と固定されている。バルーン２Ｃは、伸縮性に富んだ材料であるシリコーンゴムなどで生成されており、流体としては、二酸化炭素や空気を用いることができる。

また、図２９に示すように、本発明の実施の形態の内視鏡装置１の固定装置２ｃは、固定具であるバルーン２Ｃと、バルーン２Ｃに流体を供給する流体供給部２Ｄと、固定装置の制御部２Ｅと、術者が制御部２Ｅに操作を指示するための３つの操作ボタン（開始ボタン２Ｆ１、停止ボタン２Ｆ２、解除ボタン２Ｆ３）とを有する。固定装置の制御部２Ｅは、挿入支援装置５の制御部５Ｂおよび気管支内視鏡２の制御部２Ｌと信号ケーブルで結ばれている。

次に、図３０を用いて、固定手段の動作の流れを説明する。

内視鏡先端部２ｂが分岐部１００Ｄの所定位置まで挿入されると固定手段は動作を開始する。

＜ステップＳ８２＞
固定装置２ｃは、開始ボタン２Ｆ１からの信号入力があるまで待機している。

＜ステップＳ８３＞
流体制御部２Ｄは、開始ボタン２Ｆ１からの信号入力があると、バルーン２Ｃに流体を注入開始する。

＜ステップＳ８４、Ｓ８５、Ｓ８６＞
流体制御部２Ｄは、停止ボタン２Ｆ２からの信号があるか（Ｓ８４）、あるいは、流体圧力が予め定めた既定値以上となったら（Ｓ８５）、バルーン２Ｃへの流体注入を中止する（Ｓ８６）。

＜ステップＳ８７＞
固定装置２ｃは、バルーン２Ｃが膨張し、内視鏡先端部２ｂが気管支内壁に固定されている状態であるため、固定完了信号を、挿入支援装置５の制御部５Ｂおよび気管支内視鏡装置制御部２Ｌに伝送する。この固定完了信号を受けて、気管支内視鏡装置制御部２Ｌはカメラ２ａにより内視鏡画像６ｆを撮像し、挿入支援装置５に送信する。挿入支援装置５は、内視鏡画像６ｆと仮想内視鏡画像等とを比較しマッチング処理を行う。

＜ステップＳ８８＞
挿入支援装置５は、マッチング処理が終了すると、マッチング終了信号を固定装置２ｃに送信する。

＜ステップＳ８９＞
固定装置２ｃは、マッチング終了信号を受信すると、流体を大気開放する。すると、バルーン２Ｃは収縮し、内視鏡先端部２ｂの気管支内壁への固定は解除される。解除ボタン２Ｆ３からの信号入力によっても内視鏡先端部２ｂの固定は解除される。

内視鏡先端部２ｂは自由に動く状態となり、内視鏡の挿入を継続する。次の分岐部の所定位置まで内視鏡先端部２ｂが挿入されると、ステップＳ８１からの動作が再び行われる。

本発明の実施の形態の内視鏡装置１においては、内視鏡２Ａのカメラ２ａにより分岐部１００Ｄの画像を撮像する際に、カメラがぶれることがなく鮮明な画像を撮像することができる。また、術者がカメラの撮像スイッチを操作してから実際の撮像が行われるまでの時間すなわちタイムラグによる撮影対象のズレ等が発生しない。このため、画像処理の際の精度が向上し、内視鏡を目的部位に、より確実にナビゲーションすることができる。

また、前記の挿入支援装置５による画像処理等が行われている間、あるいは術者が挿入を中断している間に、患者の咳等により、術者が意図していない内視鏡先端部２ｂの位置が移動してしまうことがない。このため、内視鏡を目的部位に、より迅速にナビゲーションすることができる。

なお、バルーン２Ｃ２ｂは内視鏡先端部に配設するかわりに、オーバーチューブのような内視鏡付属品に組み込んで、内視鏡２Ａと組み合わせて使用してもよい。

＜距離計測手段＞
次に、本発明の実施の形態の内視鏡装置１においては、気管支の分岐部の内視鏡画像６ｆを撮像するカメラ２ａを、分岐部１００Ｄの分岐点から所定の距離に誘導する距離計測手段２Ｇ、２Ｈ、２Ｉ、２Ｊを備えていてもよい。図３１（Ａ）は距離計測手段２Ｇを備えた内視鏡２Ａを分岐部１００Ｄに挿入している状態を説明するための図であり、図３１（Ｂ）は、異なる形状の距離計測手段２Ｇ、２Ｈ、２Ｉの例を示す図であり、図３１（Ｃ）は非接触の距離計測手段２Ｊを備えた内視鏡２Ａを分岐部１００Ｄに挿入している状態を説明するための図であり、図３１（Ｄ）は非接触の距離計測手段２Ｊにより分岐部までの距離を計測している際の内視鏡画像６ｆの例を示す図である。

既に説明してきたように、仮想内視鏡画像６ｄと内視鏡画像６ｆを効率的にマッチングするためには、内視鏡画像６ｄを撮像するカメラ２ａの位置が分岐点から所定の距離にあることが重要である。カメラ２ａの位置が分岐点から所定の距離より近いと分岐部の穴形状が大きすぎ、カメラ２ａの位置が分岐点から所定の距離より遠いと分岐部の穴形状が小さすぎて、いずれの場合も、挿入支援装置５はマッチングがうまくできない場合がある。

図３１（Ａ）に示すように、内視鏡装置１は、気管支の分岐部１００Ｄの内視鏡画像６ｆを撮像するカメラ２ａから、分岐部１００Ｄの分岐点の内壁までの距離を計測できる距離計測手段２Ｇを有している。距離計測器具２Ｇは図３１（Ｂ）に示すように先端部２Ｇ２が丸く加工された細長い器具であり内視鏡２Ａの鉗子チャンネルを通して内視鏡先端から出力できる。距離計測器具２Ｇは、位置決め用留め具２Ｇ１により所定の長さだけ、内視鏡先端から出力することができ、また、出力している長さを計測することもできる。このため、本実施の形態の内視鏡装置１においては、内視鏡先端部２ｂを正確に分岐点から所定の距離に誘導できる。このため、仮想内視鏡画像６ｄとマッチングしやすい内視鏡画像６ｆを撮像することが容易に、そして迅速に行うことができる。

距離計測手段としては、図３１（Ｂ）に示すアタッチメントタイプ距離計測器具２Ｈや、組み込みタイプの距離計測器具２Ｉも用いることができる。あるいは、現行の他の用途がある公知の処置具に目盛りを付ける等の方法により距離計測器具として使用することも可能である。

なお、距離計測手段としては、内視鏡２Ａのカメラ２ａの視野を妨げない手段が好ましく、非接触の距離計測手段２Ｊが特に好ましい。図３１（Ｃ）に非接触の距離計測手段２Ｊを有する内視鏡２Ａを示す。非接触の距離計測手段２Ｊは赤外線等を発信し、その反射波を計測することで距離を計測する手段である。非接触の距離計測２Ｊでは赤外線や超音波等の可視光領域外の波動を使用するため、実際にどの箇所までの距離を計測しているのか判別が容易でない場合がある。このため、図３１（Ｄ）に示すように、可視光線で測定箇所を表示することが好ましい。図３１（Ｄ）は、内視鏡画像６ｆの例であり、管路６Ｊ１と管路６Ｊ２とに２分岐している分岐部１００Ｄの分岐点内壁に可視光で距離測定箇所を表示する測定点マーク２Ｋが表示されている。

また、挿入支援装置５は、距離計測器具による計測結果からカメラ２ａと分岐点が適切な距離の場合にのみ、静止内視鏡画像の撮像が可能となるように制御したり、あるいは、適切距離範囲に入ったことを表示画面６ａに表示することも可能である。逆に、挿入支援装置５は、適切距離範囲外の場合には警告を出して術者に知らせることもできる。

＜付記事項＞
内視鏡挿入支援方法であって、被検体の３次元領域の画像データに基づいて前記被検体内の体腔路の仮想画像を生成する仮想画像生成工程と、前記仮想画像に基づき、前記体腔路の分岐部のガイド画像を生成するガイド画像生成工程と、前記体腔路の内視鏡画像と、前記体腔路で前記内視鏡画像の撮像位置より末梢側の次の分岐部の前記ガイド画像とを重畳し表示する画像合成工程と、画像処理工程を備え、前記ガイド画像は、前記仮想内視鏡画像、仮想内視鏡模式図画像、移動方向表示画像およびテンプレート画像から選ばれる一以上の画像であり、前記画像処理工程は、前記分岐部の前記内視鏡画像の表示方向と前記仮想内視鏡画像と前記ガイド画像との表示方向とを一致させる画像補正工程を備え、前記画像補正工程は少なくとも前記仮想内視鏡画像を含む一以上のガイド画像とを回転する内視鏡挿入支援方法。

本発明は、上述した実施の形態および変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の第１の実施の形態の内視鏡装置の構成を示す構成図である。 挿入経路等を表示した表示画面の例を示す図である。 挿入経路等を表示した表示画面の例を示す図である。 モニタの表示画面の挿入ナビゲーション時の表示形態を示す図である。 モニタの表示画面の挿入ナビゲーション時の表示形態の変形例を示す図である。 画像処理部の構成を説明するための構成図である。 ２値化処理の過程を説明するための図である。 分岐サムネイルＶＢＳ画像を基にした２値化処理によるＶＢＳ模式図画像の形成処理の流れを説明するためのフローチャートである。 分岐部付近の３次元気管支画像データに基づき仮想３次元画像を管腔方向に垂直な視点から観察した図を示している。 分岐部付近の３次元気管支画像データに基づき仮想３次元画像を管腔方向に垂直な視点から観察した図を示している。 模式図画像の輪郭線図形の外接円を用いた移動方向表示画像を形成する方法を説明するための図である。 模式図画像の輪郭線図形の外接円を用いた移動方向表示画像を形成する方法を説明するための図である。 模式図画像の輪郭線図形の外接円を用いた移動方向表示画像を形成する方法を説明するための図である。 移動方向表示画像を形成するための画像処理部の動作の流れを説明するためのフローチャートである。 移動方向表示画像を形成するための画像処理部の動作の流れを説明するためのフローチャートである。 移動表示画像を表示した表示画面の例を示す図である。 移動表示画像を表示した表示画面の例を示す図である。 移動表示画像を表示した表示画面の例を示す図である。 移動表示画像を表示した表示画面の例を示す図である。 移動表示画像を表示した表示画面の例を示す図である。 重心位置決定ための画像処理部の動作の流れを示すフローチャートである。 内視鏡のカメラの気管支内の位置と内視鏡画像の関係等を説明するための図である。 テンプレート図形を生成するための画像処理部の動作の流れを示すフローチャートである。 テンプレート画像６Ｔの生成方法を説明するための図である。 テンプレート画像６Ｔの生成方法を説明するための図である。 テンプレート画像６Ｔの生成方法を説明するための図である。 テンプレート画像６Ｔの生成方法を説明するための図である。 気管支の管腔内に挿入されている内視鏡の先端部を説明するための図である。 固定手段の構成等を示すブロック図である。 固定装置の動作の流れを説明するためのフローチャートである。 距離計測手段を説明するための図である。 従来の内視鏡装置の表示画面を示す図である。

符号の説明

１…内視鏡装置、２…気管支鏡装置、２Ａ…内視鏡、２Ｃ…バルーン、２ｂ…内視鏡先端部、５…挿入支援装置、６…モニタ、６Ｆ…ライブ画像表示エリア、６Ｇ…マーカ、６Ｈ…矢印画像、６Ｊ…仮想内視鏡模式図画像、６ＪＣ、６ＫＣ…外接円、６Ｊｃ、６Ｋｃ…中心点、６ａ…表示画面、６ｄ…仮想内視像画像、６ｆ…内視鏡画像、１００…気管支、Ｐ１、Ｐ２、Ｐ３、Ｐ４…レイヤ、Ｒ…挿入経路、Ｖ２ａ…仮想カメラ、Ｖ２ｂ…仮想内視鏡先端部、ＶＢＳ画像…仮想内視鏡画像

Claims (25)

1. 被検体の３次元領域の画像データに基づいて前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、
   前記仮想画像に基づき、前記体腔路の分岐部のガイド画像を生成するガイド画像生成手段と、
   前記体腔路の内視鏡画像と、前記体腔路で前記内視鏡画像の撮像位置より末梢側の次の分岐部の前記ガイド画像とを重畳し表示する画像合成手段とを備え、
   前記ガイド画像は、仮想内視鏡画像、仮想内視鏡模式図画像、移動方向表示画像であって、表示された前記内視鏡画像における前記分岐部と前記仮想内視鏡画像における前記分岐部とを一致させるために、当該内視鏡画像を取得する内視鏡の移動方向を示す画像である移動方向表示画像およびテンプレート画像から選ばれる一以上の画像であることを特徴とする内視鏡装置。
2. 画像処理手段を備え、
   前記画像処理手段は、前記分岐部の前記内視鏡画像の表示方向と前記仮想内視鏡画像と前記ガイド画像との表示方向とを一致させる画像補正手段を備え、
   前記画像補正手段は、少なくとも前記仮想内視鏡画像を含む一以上のガイド画像を回転することを特徴とする請求項１に記載の内視鏡装置。
3. 前記画像合成手段は、前記内視鏡画像と内視鏡模式図画像とを重畳し表示することを特徴とする請求項１または請求項２に記載の内視鏡装置。
4. 被検体の３次元領域の画像データに基づいて前記被検体内の体腔路における仮想的な内視鏡画像を生成する仮想内視鏡画像生成手段と、
   前記体腔路における内視鏡画像に対して当該体腔路における次の分岐部の仮想内視鏡画像に基づいた仮想内視鏡模式図画像、移動方向表示画像であって、表示された前記内視鏡画像における前記分岐部と前記仮想内視鏡画像における前記分岐部とを一致させるために、当該内視鏡画像を取得する内視鏡の移動方向を示す画像である移動方向表示画像およびテンプレート画像から選ばれる一以上の画像を生成するガイド画像生成手段と、
   前記内視鏡画像と前記ガイド画像とを重畳し表示する画像合成手段と、
   画像処理手段を備え、
   前記画像処理手段は、前記分岐部における前記内視鏡画像と、前記仮想内視鏡画像との比較に基づいて前記仮想内視鏡画像を回転させる画像処理手段を備えることを特徴とする内視鏡装置。
5. 前記内視鏡模式図画像が、前記内視鏡画像の２値化処理により抽出された輪郭線を示す輪郭線図形により構成されていることを特徴とする請求項３に記載の内視鏡装置。
6. 前記仮想内視鏡模式図画像が、前記分岐部より体腔外側に位置する体腔路芯線上の仮想撮像手段の位置より、前記分岐部より末梢側の複数の穴の仮想断面画像を撮像した輪郭線を示す輪郭線図形で構成されていることを特徴とする請求項５に記載の内視鏡装置。
7. 前記仮想内視鏡模式図画像が、前記分岐部より体腔外側に位置する体腔路芯線上の仮想撮像手段の位置より、前記分岐部より末梢側の複数の穴の仮想断面画像を撮像した輪郭線を示す輪郭線図形で構成されていることを特徴とする請求項１から請求項４のいずれか１項に記載の内視鏡装置。
8. 前記仮想断面画像が、前記撮像手段位置と前記分岐部の分岐点を結ぶ直線の延長上で、前記直線に対して垂直な平面が前記体腔路芯線と交わる点を含む断面の輪郭線を示す輪郭線図形で構成されていることを特徴とする請求項７に記載の内視鏡装置。
9. 前記仮想断面画像が、前記分岐点から同じ芯線距離の点を含む断面の輪郭線を示す輪郭線図形で構成されていることを特徴とする請求項７に記載の内視鏡装置。
10. 前記仮想内視鏡模式図画像が、前記仮想内視鏡画像を基に２値処理により抽出された輪郭線を示す輪郭線図形により構成されていることを特徴とする請求項５に記載の内視鏡装置。
11. 前記仮想内視鏡模式図画像が、前記仮想内視鏡画像を基に２値処理により抽出された輪郭線を示す輪郭線図形により構成されていることを特徴とする請求項１から請求項４のいずれか１項に記載の内視鏡装置。
12. 前記移動方向表示画像は、表示された前記内視鏡画像における前記分岐部の中心位置と前記仮想内視鏡画像における前記分岐部の中心位置とを一致させるために、当該内視鏡画像を取得する内視鏡の移動方向を示す画像であることを特徴とする請求項１から請求項１１のいずれか１項に記載の内視鏡装置。
13. 前記移動方向表示画像は、前記内視鏡の移動方向を矢印で示すことを特徴とする請求項１２に記載の内視鏡装置。
14. 前記内視鏡画像および前記仮想内視鏡画像のそれぞれの前記中心位置が、それぞれの前記分岐部の重心位置であることを特徴とする請求項１３に記載の内視鏡装置。
15. 前記内視鏡画像および前記仮想内視鏡画像のそれぞれの前記中心位置が、それぞれの前記輪郭線図形を包含する外接円の中心点であることを特徴とする請求項１３に記載の内視鏡装置。
16. 前記移動方向表示画像は、前記内視鏡模式図画像および前記仮想内視鏡模式図画像のそれぞれの前記輪郭線図形を包含する外接円であることを特徴とする請求項６から請求項１０のいずれか１項に記載の内視鏡装置。
17. 前記テンプレート画像は、前記仮想画像に基づく、異なる仮想撮像手段の位置および／または前記仮想撮像手段の方向の前記仮想内視鏡画像であって、前記画像処理手段がマッチング可能な複数の仮想内視鏡模式図の個々の輪郭線図形を包含する画像であることを特徴とする請求項１から請求項１６のいずれか１項に記載の内視鏡装置。
18. 前記テンプレート画像は、同一の分岐部において、前記画像処理手段がマッチング可能であった複数の前記仮想内視鏡模式図画像の個々の輪郭線図形を包含する画像であることを特徴とする請求項２から請求項１６のいずれか１項に記載の内視鏡装置。
19. 前記テンプレート画像は、前記仮想内視鏡模式図の全ての輪郭線図形を包含する画像であることを特徴とする請求項１８に記載の内視鏡装置。
20. 前記テンプレート画像は、前記マッチング可能な範囲の外縁を示すことを特徴とする請求項１７から請求項１９のいずれか１項に記載の内視鏡装置。
21. 前記テンプレート画像は、前記マッチング可能な範囲の外縁および内縁を示すことを特徴とする請求項１７から請求項１９のいずれか１項に記載の内視鏡装置。
22. 前記テンプレート画像は、同一の分岐部において、前回に前記画像処理手段がマッチングした画像であることを特徴とする請求項２から請求項２１のいずれか１項に記載の内視鏡装置。
23. 前記体腔路を撮像する撮像手段を備え、
    前記内視鏡が先端部に前記先端部と前記体腔路とを固定可能な固定手段を有することを特徴とする請求項１から請求項２２に記載のいずれか１項に記載の内視鏡装置
24. 前記撮像手段が内視鏡画像を撮像する際に、前記固定手段により、前記先端部が前記体腔路に固定されていることを特徴とする請求項２３に記載の内視鏡装置。
25. 最初に選択される前記ガイド画像が、前記移動方向表示画像を含む一以上の画像であり前記画像補正手段による前記ガイド画像の回転処理後に、選択される前記ガイド画像が、前記テンプレート画像を含み、前記移動方向表示画像を含まない一以上の画像であることを特徴とする請求項２から請求項２４に記載の内視鏡装置。