JP6828465B2 - 内視鏡操作支援システム - Google Patents

Description

本発明は、内視鏡の操作を支援するシステムに関する。

特許文献１には、使用者が視線を移動させることなく、視界方向の物体の実像と、物体の外観に表れない情報とを同時に視認可能な頭部装着型表示装置が開示されている。

特開２０１３−１４４５３９号公報

ここで、内視鏡を用いて、例えば、被検者の食道や胃、腸等の管状の臓器を検査する場合において、臓器の内側の内視鏡で撮影されている部分の画像はモニターによって確認することができる。このため、内視鏡の操作者は、従来、モニターに表示されている画像から、撮影されている現在位置を推定している。しかしながら、操作者は、被検者の内部にある臓器の内側の実際に撮影されている現在位置を被検者の外観からは知ることはできない。そこで、内視鏡の操作中に、撮影されている部分の画像を確認可能とするのに加えて、被検者の外観を見て現在位置を確認可能とし、被検者の様子を確認しつつ内視鏡の操作を可能とすることにより、内視鏡の操作の確実性と安全性を向上させることが望まれている。なお、このような課題は、生体の臓器等の内部の検査に用いられる内視鏡に限らず、建築物等の内部の水道管やガス管、電気配管等の種々の人工物の内部の検査に用いられる内視鏡にも共通する課題であった。

なお、特許文献１に記載の頭部装着型表示装置では、外景に含まれる手（物体）に対して、手の外観に表れない情報である、レントゲン画像（不可視情報を重畳させるための重畳情報）に基づく虚像を重畳して視認させることは可能である。しかしながら、内視鏡によって検査されている対象物の内側において、撮影されている部分の現在位置を検出して、撮影している部分の現在位置を確認可能とする技術に関しては何ら開示されていない。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の一形態の内視鏡操作支援システムは、使用者の頭部に装着された状態において、外景を透過させて前記使用者に前記外景を視認させるとともに、前記外景に虚像画像を重畳させて表示して前記使用者に視認させる画像表示部と、前記画像表示部を制御する制御部と、物体の外観に表さない部分である撮像対象部の内部に挿入される先端部に前記撮像対象部の内部を撮像する撮像部を有する内視鏡部と、前記撮像対象部の内部に挿入された前記先端部の位置を検出する位置検出部と、前記位置検出部が検出した前記先端部の位置および前記先端部の位置で撮像された撮像画像を用いて、前記撮像対象部の構造を示す撮像対象部データを作成する撮像対象部データ作成部と、を備え、前記制御部は、前記画像表示部において、前記外景に含まれる前記物体に重畳させて、前記位置検出部により検出された前記先端部の位置を示すポインター画像と、前記撮像対象部データを用いて作成される撮像対象部画像であって、前記先端部の位置を含むあらかじめ定めた条件を満たす範囲の前記撮像対象部を示す撮像対象部画像と、を含む位置表示画像を前記虚像画像として表示させる。
この形態の内視鏡操作支援システムによれば、位置検出部によって、物体の撮像対象部の内部に挿入された内視鏡部の先端部の位置を検出することができる。そして、画像表示部において、使用者に視認される外景に含まれる物体に重畳させて、位置検出部により検出された先端部の位置を示すポインター画像を含む位置表示画像を虚像画像として表示させることができる。これにより、内視鏡部を有する内視鏡装置の使用者は、撮像部が撮像している位置が物体の外観においていずれの位置にあるかを確認しつつ、内視鏡装置の操作を行なうことができ、内視鏡装置の操作の確実性と安全性を向上させることが可能である。また、撮像画像を用いて、撮像対象部の構造を示す撮像対象部データを作成することができる。そして、作成した撮像対象部データの表す撮像対象部画像を位置表示画像として表示させることにより、撮像対象部に対する先端部の位置を感覚的に確認することができるので、内視鏡の操作の確実性と安全性をさらに向上させることが可能である。
その他、本発明は、以下の形態としても実現することが可能である。

（１）本発明の一形態によれば、内視鏡操作支援システムが提供される。この内視鏡操作支援システムは、使用者の頭部に装着された状態において、外景を透過させて前記使用者に前記外景を視認させるとともに、前記外景に虚像画像を重畳させて表示して前記使用者に視認させる画像表示部と；前記画像表示部を制御する制御部と；物体の撮像対象部の内部に挿入される先端部に前記撮像対象部の内部を撮像する撮像部を有する内視鏡部と；前記撮像対象部の内部に挿入された前記先端部の位置を検出する位置検出部と；を備える。前記制御部は、前記画像表示部において、前記外景に含まれる前記物体に重畳させて、前記位置検出部により検出された前記先端部の位置を示すポインター画像を含む位置表示画像を前記虚像画像として表示させる。
この形態の内視鏡操作支援システムによれば、位置検出部によって、物体の撮像対象部の内部に挿入された内視鏡部の先端部の位置を検出することができる。そして、画像表示部において、使用者に視認される外景に含まれる物体に重畳させて、位置検出部により検出された先端部の位置を示すポインター画像を含む位置表示画像を虚像画像として表示させることができる。これにより、内視鏡部を有する内視鏡装置の使用者は、撮像部が撮像している位置が物体の外観においていずれの位置にあるかを確認しつつ、内視鏡装置の操作を行なうことができ、内視鏡装置の操作の確実性と安全性を向上させることが可能である。

（２）上記（１）の形態の内視鏡操作支援システムにおいて、前記先端部は前記先端部の動きを検出するためのモーションセンサーを有し、前記位置検出部は、前記モーションセンサーのセンサー値から求められる前記先端部の移動量及び移動方向を用いて前記先端部の位置を求め、前記制御部は、前記位置検出部で求められた前記先端部の位置に対応する前記物体の位置で前記位置表示画像を前記物体に重畳させて表示させる、としてもよい。
この形態の内視鏡操作支援システムによれば、先端部の動きを検出するモーションセンサーのセンサー値から先端部の位置を検出することができ、検出された先端部の位置に対応する物体の位置で位置表示画像を物体に重畳させて表示させることができる。

（３）上記（１）の形態の内視鏡操作支援システムにおいて、前記位置検出部は、前記撮像部によって撮像される撮像画像に含まれる特徴点の位置の変化量から前記先端部の位置を求め、前記制御部は、前記位置検出部で求められた前記先端部の位置に対応する前記物体の位置で前記位置表示画像を前記物体に重畳させて表示させる、としてもよい。
この形態の内視鏡操作支援しステムによっても、撮像画像に含まれる特徴点の位置の変化量から先端部の位置を検出することができ、検出された先端部の位置に対応する物体の位置で位置表示画像を物体に重畳させて表示させることができる。

（４）上記（１）の形態の内視鏡操作支援システムにおいて、前記先端部の前記撮像対象物の内部への挿入量を検出する挿入量検出部を有し、前記位置検出部は、前記挿入量から前記先端部の位置を求め、前記制御部は、前記位置検出部で求められた前記先端部の位置に対応する前記物体の位置で前記位置表示画像を前記物体に重畳させて表示させる、としてもよい。
この形態の内視鏡操作支援システムによっても、先端部の撮像対象部の内部への挿入量から先端部の位置を検出することができ、検出された先端部の位置に対応する物体の位置で位置表示画像を物体に重畳させて表示させることができる。

（５）上記（３）または（４）の形態の内視鏡操作支援システムにおいて、前記位置検出部は、前記撮像部によって撮像された撮像画像の中心位置と、前記撮像画像に含まれる進行可能な部位を示す進行部位画像と、の位置関係から前記先端部の先端面の向きを検出する、としてもよい。
この形態の内視鏡操作支援システムによれば、先端部の先端面の向きに対応する撮像部の撮像方向を容易に検出することができる。

（６）上記形態の内視鏡操作支援システムにおいて、前記制御部は、前記使用者の視界に含まれる前記物体の位置に対応する前記撮像対象部の位置および前記検出された先端部の位置から、前記画像表示部における前記位置表示画像の表示位置を決定する、としてもよい。
この形態の内視鏡操作支援システムによれば、使用者の視界に含まれる物体の位置に対応する撮像対象部の位置及び検出された先端部の位置から、画像表示部における位置表示画像の表示位置を決定して、先端部の位置に対応する物体の位置で表示位置画像を物体に重畳させて表示させることができる。

（７）上記形態の内視鏡操作支援システムにおいて、前記位置検出部が検出した前記先端部の位置および前記先端部の位置で撮像された撮像画像を用いて、前記撮像対象部の構造を示す撮像対象部データを作成する撮像対象部データ作成部を有する、としてもよい。
この形態の内視鏡操作支援システムによれば、撮像画像を用いて、撮像対象部の構造を示す撮像対象部データを作成することができる。そして、作成した撮像対象部データを画像解析等の種々の処理に利用することができる。

（８）上記形態の内視鏡操作支援システムにおいて、前記撮像対象部は前記物体の外観に表れない部分であり、前記位置表示画像は、前記ポインター画像と、前記先端部の位置を含むあらかじめ定めた条件を満たす範囲の前記撮像対象部を示す撮像対象部画像と、前記撮像部の撮像方向を示す方向画像と、を含む、としてもよい。
この形態の内視鏡操作支援システムによれば、ポインター画像に加えて、撮像対象部画像及び方向画像を位置表示画像として表示させることにより、撮像対象部に対する先端部の位置や撮像方向を感覚的に確認することができるので、内視鏡の操作の確実性と安全性をさらに向上させることが可能である。

（９）上記（８）の形態の内視鏡操作支援システムにおいて、前記撮像対象部画像は、予め用意された前記撮像対象部の標準の構造を示す標準撮像対象部データを用いて作成される、としてもよい。
この形態の内視鏡操作視線システムによれば、標準撮像対象部データを用いて容易に撮像対象部画像を作成し、位置表示画像の一部として表示させることができる。

（１０）上記（７）の形態に従属する上記（８）の形態の内視鏡操作支援システムにおいて、前記撮像対象部画像は、前記撮像対象部データが作成される前には、予め用意された前記撮像対象部の標準の構造を示す標準撮像対象部データを用いて作成され、前記撮像対象部データが作成される場合には、作成される撮像対象部データが更新される毎に、更新された撮像対象部データを用いて作成される、としてもよい。
この形態の内視鏡操作支援システムによれば、実際の撮像対象部の構造に対応する撮像対象部データを用いて作成された撮像部画像を位置表示画像の一部として表示させることができるので、内視鏡部を有する内視鏡装置の操作の現実感を高めることができる。

（１１）上記形態の内視鏡操作支援システムにおいて、前記制御部は、前記位置表示画像に加えて、前記先端部の位置で前記撮像部によって撮像された撮像画像を前記虚像画像として前記画像表示部に表示させる、としてもよい。
この形態の内視鏡操作支援システムによれば、使用者は、先端部の位置を位置表示画像によって物体の外観から確認するとともに、その位置で撮像されている撮像画像を視認しつつ、内視鏡部を有する内視鏡装置を操作することができる。これにより、内視鏡装置のより内視鏡装置の操作の確実性と安全性を向上させることが可能である。

（１２）上記（１１）の形態の内視鏡操作支援システムにおいて、前記制御部は、前記位置表示画像に重ならない位置で前記撮像画像を前記画像表示部に表示させる、としてもよい。
この形態の内視鏡操作支援システムによれば、使用者による位置表示画像の視認性を損なわせずに、撮像画像を視認させることができる。

（１３）上記（１１）または（１２）の形態の内視鏡操作支援システムにおいて、前記制御部は、前記頭部が予め定めた時間静止を維持する静止状態となった場合に、前記位置表示画像及び前記撮像画像を前記虚像画像として前記外景に重畳して表示するシースルーモードから、前記撮像画像を全面表示するフルスクリーンモードに切り替え、前記静止状態ではなくなった場合に、前記シースルーモードに切り替える、としてもよい。
使用者の頭部が静止状態となって場合、使用者は撮像対象部の先端部の位置を注視していることが想定されるので、この場合には、自動的に撮像画像を全面表示するフルスクリーンモードとすることにより、使用者は全面表示された撮像画像の細部を注視することができる。

（１４）上記（１１）から（１３）までのいずれか一つの形態の内視鏡操作支援システムにおいて、前記制御部は、モード切替指示に応じて、前記位置表示画像及び前記撮像画像を前記虚像画像として前記外景に重畳して表示するシースルーモードと、前記撮像画像を全面表示するフルスクリーンモードとを切り替える、としてもよい。
この形態の内視鏡操作支援システムにおいては、使用者が撮像対象部の先端部の位置を注視する場合に、撮像画像を全面表示するフルスクリーンモードとすることにより、使用者は全面表示された撮像画像の細部を注視することができる。

本発明は、内視鏡操作支援システム以外の種々の形態で実現することも可能である。例えば、内視鏡操作支援方法、頭部装着型表示装置、内視鏡装置、頭部装着型表示装置の制御方法、内視鏡装置の制御方法、頭部装着型表示装置に備える構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、内視鏡装置に備える構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等で実現できる。

第１実施形態における内視鏡操作支援システムの概略構成を示す説明図。 画像表示部が備える光学系の構成を示す要部平面図。 使用者から見た画像表示部の要部構成を示す図。 カメラの画角を説明するための図。 ＨＭＤの構成を機能的に示すブロック図。 制御装置の構成を機能的に示すブロック図。 内視鏡制御装置の構成を機能的に示すブロック図。 内視鏡制御装置において実行される撮像／位置検出処理を示すフローチャート。 内視鏡制御装置において実行される撮像対象部データ作成処理を示すフローチャート。 ＨＭＤにおいて実行される内視鏡操作支援処理を示すフローチャート。 画像表示部に表示される位置表示画像の例を示す説明図。 撮像画像を画像表示部に全面表示したフルスクリーンモードの状態を示す説明図。 第２実施形態における内視鏡制御装置の構成を機能的に示すブロック図。 内視鏡制御装置において実行される撮像／位置検出処理を示すフローチャート。 先端部の位置の検出方法について示す説明図である。 撮像部の向きに応じた撮像画像中の進行部位画像の様子を示す説明図。 撮像対象部内における先端部の先端面の向きの一例を示す説明図。 第２実施形態における内視鏡制御装置の構成を機能的に示すブロック図。 内視鏡制御装置において実行される撮像／位置検出処理を示すフローチャート。 変形例の画像表示部が備える光学系の構成を示す要部平面図。

Ａ．第１実施形態：
Ａ１．内視鏡操作支援システムの構成：
図１は、本発明の第１実施形態における内視鏡操作支援システムの概略構成を示す説明図である。内視鏡操作支援システム１０００は、頭部装着型表示装置１００と、内視鏡装置３００と、を備えている。頭部装着型表示装置１００は、後述するように、内視鏡装置３００の操作を支援するための情報を画像として頭部装着型表示装置１００の使用者に提供する。

頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。ここで、使用者は、内視鏡装置３００を操作する操作者である。

ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。内視鏡装置３００は、内視鏡部３１０と、内視鏡制御装置４００とを備えている。ＨＭＤ１００の制御装置１０と内視鏡装置３００の内視鏡制御装置４００とは無線通信経路または有線通信経路を介して互いに接続されている。本例では、後述するように無線通信経路を介して接続されている。

内視鏡装置３００の内視鏡部３１０は、操作部３２０と挿入部３３０と接続部３５０とを有している。ケーブル状の挿入部３３０の先端部３４０には、撮像部３４２や不図示の照明レンズ、鉗子口、ノズル等が設けられている。また、本実施形態では、被検者ＴＳの口腔から肛門に至る管腔臓器（図１は、口腔から胃までを破線で示している）が撮像対象部ＩＴである。撮像部３４２は、撮像対象部（管腔臓器）ＩＴの内部に挿入された先端部３４０の位置における撮像対象部ＩＴの内部の画像を撮像する。操作部３２０には、先端部３４０の向きを操作するアングルノブや各種操作ボタン（不図示）が設けられている。使用者はこれらを操作することにより、撮像部３４２による撮像や、空気や水の送出／吸引、鉗子操作等を行なう。接続部３５０は、操作部３２０と内視鏡制御装置４００との間を接続している。接続部３５０を介して、撮像部３４２における撮像データ等の内視鏡制御装置４００への送信や、内視鏡制御装置４００からの照明光の供給や、先端部３４０のノズルへの空気や水の供給、鉗子口からの空気や水の吸引等が行われる。内視鏡制御装置４００については、後述する。

ＨＭＤ１００の画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とから構成される本体を備える。本体には、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した構成を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって画像（拡張現実感（Augmented Reality、ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界の、少なくとも一部の外景（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、後述する制御機能部１５０（図６）の制御に従って撮像を実行し、得られた外景撮像データを制御機能部１５０へ出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、制御機能部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。

左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、後述する温度センサー２３９（図５）が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる虚像（虚像画像、ＡＲ画像）が視認される。

なお、ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェース１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

制御装置１０は、ＨＭＤ１００を制御するための装置である。制御装置１０は、点灯部１２と、タッチパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light EmＴＳting Diode）を用いることができる。

タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をθで示す。なお、カメラ６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。なお、この実視野が「視界」に相当する。

本実施形態のカメラ６１の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェース、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、タッチパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Global Positioning System）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳレシーバー１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

インターフェースには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェース１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェース１９６とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。

音声コーデック１８０は、音声インターフェース１８２に接続され、音声インターフェース１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェース１８２は、音声信号を入出力するインターフェースである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース１８２を介して出力する。また、音声コーデック１８０は、音声インターフェース１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線ＬＡＮインターフェース、Ｂｌｕｅｔｏｏｔｈインターフェース等の無線接続に対応したインターフェースを採用できる。

外部メモリーインターフェース１８６は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェース回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。バイブレーター１９は、制御装置１０に設ける構成に換えて、画像表示部２０側、例えば、画像表示部の右保持部２１（テンプルの右側部分）に設ける構成としてもよい。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェース（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェース１９６を介した伝送を実行する。インターフェース１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェース１９６に接続される。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable ReadーOnly Memory）２１５とが実装されている。受信部２１３は、インターフェース２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。

カメラ６１は、インターフェース２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェース２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵセンサーを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向きが特定され、使用者の視界が特定される。カメラ６１による撮像結果から、特定された使用者の視界において視認される外景の領域が特定される。

温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。なお、制御機能部１５０は発明の「制御部」に相当する。

記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４と、撮像対象部データ１２５と、位置データ１２６と、撮像データ１２７と、ＨＭＤ状態データ１２８と、が記憶されている。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。

コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。例えば、後述する内視鏡操作支援のために表示されるポインター画像データや方向画像データが含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。

撮像対象部データ１２５には、検査される対象部（以下、「撮像対象部」とも呼ぶ）を２次元（two dimensions、２Ｄ）または３次元（three dimensions、３Ｄ）の構造で表したデータ、及び、撮像対象部を含む物体の外観（全部または特徴点）のデータが含まれる。本実施形態では、被検者ＴＳの口腔から肛門に至る管腔臓器（図１は、口腔から胃までを破線で示している）を撮像対象部ＩＴとする。位置データ１２６には、内視鏡装置３００の内視鏡部３１０で撮像が行われている位置として先端部３４０の位置を示すデータが含まれる。撮像データ１２７には、現在位置で撮像された画像データ（「内視鏡撮像画像データ」とも呼ぶ）が含まれる。撮像対象部データ１２５、位置データ１２６、及び、撮像データ（内視鏡撮像画像データ）１２７は、後述するように、内視鏡制御装置４００から無線通信によって送信されて記憶機能部１２２に記憶される。なお、撮像データ１２７および位置データ１２６は、撮像部３４２で一定のフレーム周期で撮像された内視鏡撮像画像データおよび撮像時における先端部３４０の位置を示すデータが順次受信される。ＨＭＤ状態データ１２８には、後述する視界検出部１５５によって使用者の視界が特定され、特定された視界のデータが記憶される。

制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、通信制御部１５３、視界検出部１５５、内視鏡操作支援部１５７としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。

画像処理部１４５は、画像表示部２０で表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０（図５）がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０（図１）を介して画像表示部２０へと送信する。

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

撮像制御部１４９は、カメラ６１（図５）を制御して撮像を実行させ、外景撮像データ（外景撮像画像データ）を生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が外景撮像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、外景撮像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。

入出力制御部１５１は、タッチパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。通信制御部１５３は、無線通信部１１７を制御して内視鏡制御装置４００との間で無線通信を行う。

視界検出部１５５は、６軸センサー２３５と磁気センサー２３７によって随時検出される頭部の動きから特定される画像表示部２０の向き、及び、カメラ６１によって撮像された画像データから、使用者の視界を特定し、特定した視界のデータをＨＭＤ状態データ１２８に含めて記憶する。

内視鏡操作支援部１５７は、後述するように、内視鏡制御装置４００（図１）から、撮像対象部データ、位置データ、及び、撮像データを取得し、内視鏡部３１０（図１）の操作を支援する画像として、内視鏡部３１０で撮像が行われている現在位置を示す位置表示画像や現在位置における撮像画像を画像表示部２０で表示させる。

図７は、内視鏡制御装置４００の構成を機能的に示すブロック図である。内視鏡制御装置４００は、内視鏡制御部４１０と、記憶部４２０と、表示部４５０と、無線通信部４７０と、不図示の光源発生部と、を備える。内視鏡制御装置４００は内視鏡制御部４１０には、これらの記憶部４２０、表示部４５０、無線通信部４７０、光源発生部がそれぞれ接続されるとともに、接続部３５０（図１）を介して、内視鏡部３１０（図１）の操作部３２０、挿入部３３０の先端部３４０に設けられた撮像部３４２、モーションセンサー３４４が接続されるとともに、光源発生部に接続部３５０内の光ファイバーを介して照明レンズが接続されている。モーションセンサー３４４としては、３軸方向の加速度センサーや３軸方向の角速度センサー等が用いられる。本実施形態では、３軸方向の加速度センサー及び３軸方向の角速度センサーが組み合わされた、移動方向、向き、回転、移動距離、及び移動速度を算出可能な６軸センサーが用いられるものとする。

内視鏡制御部４１０は、コンピューターであり、不図示のメモリーに格納されているコンピュータープログラムを実行することにより、各種制御部として機能する。図７には、操作制御部４１２、撮像制御部４１３、位置検出部４１４、撮像対象部データ作成部４１５、表示制御部４１６、通信制御部４１７が示されている。

操作制御部４１２は、操作部３２０から供給される使用者の操作に応じた内視鏡部３１０の基本的な動作を制御する機能制御部である。撮像制御部４１３は、光源発生部の照明動作及び撮像部３４２の撮像動作を制御する機能制御部である。撮像部３４２は、撮像制御部４１３の制御に従って一定のフレーム周期で撮像動作を実行する。撮像部３４２で撮像された画像データは、撮像データ４３２として記憶部４２０に順次記憶される。位置検出部４１４は、後述するように、モーションセンサー３４４によって検出された先端部３４０の動きから先端部３４０の現在位置を検出する機能制御部である。検出された先端部３４０の動きおよび現在位置の情報は、位置データ４３３として記憶部４２０に記憶される。なお、記憶部４２０に順次記憶された撮像データ４３２及び位置データ４３３は、操作制御部４１２によって通信制御部４１７及び無線通信部４７０を介して制御装置１０へ順次送信される。

撮像対象部データ作成部４１５は、後述するように、フレーム周期で得られる撮像データ４３２を記憶部４２０に撮像データ群４３４として蓄積し、撮像データ群４３４を用いて撮像対象部の構造を示す構造データを作成する機能制御部である。作成された撮像対象部の構造データは、撮像対象部データ４３５として記憶部４２０に記憶される。

表示制御部４１６は、不図示の表示装置を含む表示部４５０において、撮像部３４２で撮像された撮像画像や操作メニュー画面等の表示動作を制御する機能制御部である。通信制御部４１７は、ＨＭＤ１００の制御装置１０との間で無線通信部４７０を介して無線通信を行なう。無線通信部４７０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。

記憶部４２０には、上述した撮像データ４３２、位置データ４３３、撮像データ群４３４、撮像対象部データ４３５、及び、撮像対象部ＩＴ（図１）の標準の構造を示す標準撮像対象部データ４３６が記憶されるとともに、各部４１２〜４１７の動作のための基本的な設定データ４３１が記憶されている。

Ａ２．内視鏡操作支援処理：
以下では、まず、内視鏡制御装置４００において実行される撮像／位置検出処理及び撮像対象部データ作成処理について説明し、その後、ＨＭＤ１００における内視鏡操作支援処理について説明する。

図８は、内視鏡制御装置４００において実行される撮像／位置検出処理を示すフローチャートである。この処理は、内視鏡装置３００の起動後、処理の終了が指示されるまで、操作制御部４１２が撮像制御部４１３及び位置検出部４１４と協調することによって、一定のフレーム周期で繰り返し実行される。まず、ステップＳ５０２では、撮像制御部４１３によって撮像部３４２による撮像が行われ、撮像された画像を表す撮像データが取得され、撮像データ４３２として記憶部４２０に記憶される。また、ステップＳ５０４では、位置検出部４１４によって、ステップＳ５０２における撮像が行われた位置でモーションセンサー３４４から出力されるセンサー値が取得される。ステップＳ５０６では、位置検出部４１４によって、撮像が行われた現在の先端部３４０の位置（先端位置）、先端部３４０の向き（撮像部３４２に対向する先端面の向き）及び先端部３４０の移動方向が検出され、位置データ４３３として記憶部４２０に記憶される。具体的には、センサー値が取得される前の先端部３４０の位置（前の先端位置）のデータと、取得されたセンサー値とから先端部３４０の移動量及び移動方向が求められ、前の先端位置と求められた移動量及び移動方向から現在の先端部３４０の位置（現在の先端位置）と、先端部３４０の向きと、先端部３４０の移動方向と、が検出される。そして、ステップＳ５０８では、操作制御部４１２によって、撮像データ４３２及び位置データ４３３が、通信制御部４１７及び無線通信部４７０を介して制御装置１０へ送信される。

次に、ステップＳ５１０では、位置検出部４１４によって、検出された先端位置が基準位置であるか否か判断される。これは、例えば、撮像データ４３２の表す撮像画像が撮像対象部ＩＴ（図１）の内部の予め定めた特徴部（例えば、咽頭や喉頭等）に対応する特徴画像と一致するか否かで判断することができる。この特徴画像の画像データは、標準撮像対象部データ４３６に含まれている。なお、特徴画像との一致は、完全な一致ではなく、撮像データ４３２の表す撮像画像から抽出される特徴部候補画像が標準撮像対象部データ４３６の表す画像中の特徴画像との一致度が予め定めた確度以上である場合を含む。

検出された先端位置が基準位置でないと判断された場合には、ステップＳ５０２〜ステップＳ５０８の処理が繰り返される。一方検出された先端位置が基準位置であると判断された場合には、位置データ４３３中の先端位置の位置データが予め定められた基準位置の位置データに設定され(ステップＳ５１２）、この位置を基準として以降の処理が実行される。

ステップＳ５１４では、ステップＳ５０２と同様に、撮像制御部４１３によって撮像データが取得され、撮像データ４３２として記憶部４２０に記憶される。また、ステップＳ５１６では、ステップＳ５０４と同様に、位置検出部４１４によってセンサー値が取得される。そして、ステップＳ５１８では、ステップＳ５０６と同様に、位置検出部４１４によって、先端部３４０の位置（先端位置）、撮像部３４２に対向する先端部３４０の先端面の向き（先端部の向き）及び先端部３４０の移動方向が検出され、位置データ４３３として記憶部４２０に記憶される。そして、ステップＳ５２０では、ステップＳ５０８と同様に、操作制御部４１２によって、記憶部４２０に記憶された撮像データ４３２及び位置データ４３３が通信制御部４１７及び無線通信部４７０を介して制御装置１０へ送信される。そして、終了シーケンスによって処理の終了が指示されるまで、ステップＳ５１４〜ステップＳ５２０における撮像／位置検出の処理が繰り返し実行される。

以上のように、内視鏡制御装置４００においては、内視鏡装置３００の起動後、処理の終了が指示されるまで、操作制御部４１２が撮像制御部４１３及び位置検出部４１４と協調することによって撮像／位置検出処理が実行される。なお、この処理は、例えば、内視鏡装置３００の起動後に自動的に開始される場合だけでなく、内視鏡装置３００の起動後に開始ボタンや音声等の指示によって開始されるようにしてもよく、種々の開始トリガーを発生させることによって開始されるようにすれば良い。処理の終了も同様である。

図９は、内視鏡制御装置４００において実行される撮像対象部データ作成処理を示すフローチャートである。この処理も、撮像／位置検出処理（図８）と同様に、内視鏡装置３００の起動後、処理の終了が指示されるまで、操作制御部４１２が撮像対象部データ作成部４１５と協調することによって実行される。処理が開始されると、ステップＳ５３０では、操作制御部４１２によって、記憶部４２０に記憶された撮像対象部ＩＴの標準的な構造を表す標準撮像対象部データ４３６が通信制御部４１７及び無線通信部４７０を介して制御装置１０へ送信される。そして、ステップＳ５３２では、撮像対象部データの作成／更新が可能な撮像データのデータ量が得られるまで、新たな撮像データ及び位置データが撮像データ４３２及び位置データ４３３として記憶部４２０に記憶される毎に、撮像対象部データ作成部４１５によって、その撮像データ及び位置データが撮像データ群４３４に蓄積される。そして、作成／更新が可能な撮像対象部データのデータ量が撮像データ群４３４として得られた場合には、ステップＳ５３６では、撮像対象部データ作成部４１５によって、撮像対象部の構造を表す撮像対象部データが作成され、撮像対象部データ４３５として記憶部４２０に記憶される。そして、ステップＳ５３８では、操作制御部４１２によって、記憶部４２０に記憶された撮像対象部データ４３５が通信制御部４１７及び無線通信部４７０を介して制御装置１０へ送信される。そして、終了シーケンスによって処理の終了が指示されるまで、ステップＳ５３２〜ステップＳ５３８における撮像対象部データの作成／更新の処理が繰り返し実行される。

以上のように、内視鏡制御装置４００においては、内視鏡装置３００の起動後、処理の終了が指示されるまで、操作制御部４１２が撮像対象部データ作成部４１５と協調することによって撮像対象部データ作成／更新処理が実行される。

図１０は、ＨＭＤ１００において実行される内視鏡操作支援処理を示すフローチャートである。ＨＭＤ１００において実行される内視鏡操作支援処理は、制御機能部１５０（図６）の内視鏡操作支援部１５７に対応している。上述したように、内視鏡操作支援部１５７は、不揮発性記憶部１２１（図５）に格納されている内視鏡操作支援用のコンピュータープログラム（アプリケーションプログラム）がＨＭＤ１００のメインプロセッサー１４０によって実行されることによって機能する制御部である。例えば、画像表示部２０で外景に重ねて表示されるメニュー画面（不図示）の中から「内視鏡操作支援」のアイコンの選択が方向キー１６（図１）と決定キー１７（図１）によって行われたことを受けて、実行開始される。これにより、ＨＭＤ１００と、内視鏡制御装置４００との間の無線通信が開始され、内視鏡操作支援部１５７による内視鏡操作支援処理は、終了シーケンスによって終了が指示されるまで、繰り返し実行される。

内視鏡操作支援処理が開始されると、内視鏡操作支援部１５７は、まず、ステップＳ５５２において、予め用意されている標準撮像対象部データを、内視鏡制御装置４００から受信し、記憶機能部１２２に撮像対象部データ１２５として記憶する。そして、内視鏡操作支援部１５７は、ステップＳ５５４において内視鏡制御装置４００から順次送信される撮像データ及び位置データを受信し、記憶機能部１２２に撮像データ１２７及び位置データ１２６として記憶する。また、内視鏡操作支援部１５７は、ステップＳ５５６において、内視鏡制御装置４００から撮像対象部データが送信される場合には、撮像対象部データを受信し、記憶機能部１２２に記憶されている撮像対象部データ１２５を更新する。そして、内視鏡操作支援部１５７は、ステップＳ５５８において、位置表示画像の表示位置を計算する。但し、ステップＳ５５６における処理は省略してもよい。

図１１は、画像表示部２０に表示される位置表示画像ＰＤＩの例を示す説明図である。位置表示画像ＰＤＩには、先端部３４０の位置を示すポインター画像ＰＰと、先端部３４０の向き、すなわち、撮像部３４２の撮像方向を示す方向画像ＤＰと、撮像対象部ＩＴを示す撮像対象部画像ＩＴＰと、が含まれている。

撮像対象部画像ＩＴＰの表示位置は、例えば、以下のように計算される。内視鏡操作支援部１５７において、カメラ６１（図５）で撮像した外景画像を画像認識することで使用者の視界中の外景に含まれる被検者（物体）ＴＳの外観（輪郭）が抽出される。そして、抽出された外観に、撮像対象部データ１２５に含まれる外観が合うように、撮像対象部画像ＩＴＰに対して、拡大、縮小、トリミング、変形、等の加工を行なうことによって、撮像対象部画像ＩＴＰの表示位置が計算される。ポインター画像ＰＰの表示位置は、上述した撮像対象部画像ＩＴＰの表示位置における、先端部３４０の基準位置と現在の先端部３４０の位置との関係から計算される。方向画像ＤＰの表示位置は、ポインター画像ＰＰの表示位置と先端部３４０の移動方向から計算される。

図１０のステップＳ５６０では、撮像部３４２により撮像された撮像画像ＩＰＰの予定されている表示位置が、上記の位置表示画像ＰＤＩの表示位置と重なるか否か判断し、重なる場合には、ステップＳ５６２で撮像画像ＩＰＰの表示位置を変更し、重ならない場合には、表示位置の変更は行わない。そして、ステップＳ５６４では、図１１に示すように、撮像画像ＩＰＰ及び位置表示画像ＰＤＩが虚像画像（ＡＲ画像）として、視界にある外景ＳＣに含まれる被検者ＴＳに重畳して画像表示部２０に表示される。そして、終了シーケンスに従って処理の終了が指示されるまで、ステップＳ５５４〜Ｓ５６４による撮像画像ＩＰＰ及び位置表示画像ＰＤＩの表示が繰り返し実行される。なお、使用者ＵＳの視界が被検者ＴＳの方向を向いておらず、撮像対象部ＩＴが視界に無い場合、例えば、周囲を見渡しているような場合には、撮像画像ＩＰＰ及び位置表示画像ＰＤＩの表示を行なわないようにすることが好ましい。このようにすれば、ＡＲ画像を表示させるための処理が行われないので、処理負荷を低減させることができる。

なお、表示される撮像対象部画像ＩＴＰは、撮像対象部データ１２５に含まれている全ての撮像対象部のうち、現在の先端部３４０の位置を含む予め定めた条件を満たす範囲の画像が対象とされる。予め定めた条件としては、例えば、画像表示部２０で視認される外景ＳＣに含まれる被検者ＴＳの撮像対象部ＩＴのうち、現在の先端部３４０の位置（現在位置）までの全画像及び現在位置から予め定めた長さの範囲や、現在位置の前後の予め定めた長さの範囲、現在位置までの全画像及び検査予定の器官の範囲等、種々の条件が設定可能である。図１１の例では、先端部３４０が食道の途中にあり、外景ＳＣに含まれる撮像対象部ＩＴのうち、現在の先端部３４０の位置（ポインター画像ＰＰの位置）を含む食道画像ｅｓ、胃画像ｓｔ、及び、十二指腸画像ｄｕが表示された状態を示している。

以上のように、内視鏡操作支援処理が実行されることによって、内視鏡装置３００を操作する使用者ＵＳは、以下のような効果を得ることができる。図１１に示すように、使用者ＵＳは、被検者ＴＳの内部の撮像対象部ＩＴに挿入されている先端部３４０の撮像部３４２が撮像している位置を位置表示画像ＰＤＩによって確認するとともに、その位置で撮像されている撮像画像ＩＰＰを視認しつつ、内視鏡部３１０を操作することができる。これにより、使用者ＵＳによる内視鏡装置３００の操作の確実性と安全性を向上させることが可能である。

なお、ＡＲ画像としての位置表示画像ＰＤＩに含まれる撮像対象部画像ＩＴＰやポインター画像ＰＰ、方向画像ＤＰは、透過度調整や視差角調整が施された３Ｄ画像とされることが好ましい。特に、ポインター画像ＰＰ及び方向画像ＤＰは、先端部３４０の状態（位置、速度、移動方向等）の変化に応じて３Ｄの形状を変化させるようにしてもよい。また、頭の動きや姿勢により発生する運動視差に応じて３Ｄの形状を変化させるようにしてもよい。３Ｄ画像とすれば、現実感や臨場感を高めることができ、操作性の向上を図ることが可能である。また、ポインター画像ＰＰ及び方向画像ＤＰは、図１１に示した形状に限定されるものではない。ポインター画像ＰＰとしては、使用者ＵＳによる先端部３４０の位置の視認が可能であれば、どのような形状、色等を有する画像であってもよい。また、方向画像ＤＰとしては、使用者ＵＳによる先端部３４０の向き、移動方向の視認が可能であれば、そのような形状、色等を有する画像であってもよい。但し、位置表示画像ＰＤＩは、それぞれ、２Ｄ画像としてもよく、ポインター画像ＰＰ、方向画像ＤＰ、撮像対象部画像ＩＴＰごとに２Ｄと３Ｄとを切り替え可能としてもよい。

図１２は、撮像画像ＩＰＰを画像表示部２０に全面表示したフルスクリーンモードの状態を示す説明図である。このフルスクリーンモードでの撮像画像ＩＰＰの表示は、例えば、図１１に示した外景ＳＣに撮像画像ＩＰＰ及び位置表示画像ＰＤＩを重畳して表示したシースルーモードの状態で、内視鏡操作支援部１５７において、使用者ＵＳの頭部が予め定めた時間静止を維持する静止状態であることが検知された場合に、実行されるようにすればよい。なお、この静止状態は、上述したように、画像表示部２０に設けられた６軸センサー２３５及び磁気センサー２３７（図５）によって検出される頭部の動きの状態から検知することができる。但し、使用者ＵＳは静止していると思っていた場合においても、頭部の微小な動きがセンサーによって検知されて非静止状態と検知されてしまう場合がある。そこで、予め定めた範囲内の動きは静止状態と検知されることが好ましい。また、先端部３４０の位置が静止状態である場合に、実行されるようにしてもよい。先端部３４０の位置の静止状態は、位置データ１２６に含まれる先端部３４０の位置の変化を検知することによって判断することができる。先端部３４０の位置の静止状態も使用者ＵＳの頭部と同様であり、予め定めた範囲内の位置の変動は静止状態と検知されることが好ましい。フルスクリーンモードに切り替えて撮像画像を表示するようにすれば、撮像画像を拡大して視認することができるので、撮像画像の細部を詳細に確認することができる。なお、静止状態から頭部の動きが検知された場合には、フルスクリーンモードからシースルーモードに切り替えられる。

また、シースルーモードとフルスクリーンモードは、タッチパッド１４や方向キー１６、決定キー１７を用いて行われるモード切替指示に応じて切り替えられるようにしてもよい。但し、これに限定されるものではなく、他の種々の入力装置を用いて切り替えが行われるようにしてもよい。例えば、手や足に装着され、手や足の動きに応じた指示が可能なウェアラブル装置を用いて切り替えが行われるようにしてもよい。

また、一定のフレーム周期で撮像された撮像データが蓄積されている撮像データ群４３４（「撮影データ」とも呼ぶ）や、撮像対象部データ作成部４１５によって作成された撮像対象部の構造を示す撮像対象部データ４３５は、不図示の記録装置に不図示の入出力インターフェースを介して出力され、被検者ＴＳの個人情報と関係付けられて記録されることが好ましい。このようにすれば、撮影データの表す撮影画像や撮像対象部の構造を示す撮像対象部画像を種々の解析（本例では、診断）に利用することができる。

なお、第１実施形態における上述の種々の変形例は、後述する他の実施形態においても同様に適用可能である。

Ｂ．第２実施形態：
図１３は、第２実施形態における内視鏡制御装置４００Ｂの構成を機能的に示すブロック図である。内視鏡制御装置４００Ｂは、第１実施形態の内視鏡制御装置４００と同様に、内視鏡制御部４１０Ｂと、記憶部４２０と、表示部４５０と、無線通信部４７０と、不図示の光源発生部と、を備える。内視鏡制御部４１０Ｂは、第１実施形態の内視鏡制御装置４００の内視鏡制御部４１０の位置検出部４１４（図７）が位置検出部４１４Ｂに置き換えられている。第２実施形態の内視鏡制御装置４００Ｂのその他の構成は、第１実施形態の内視鏡制御装置４００と同じである。位置検出部４１４Ｂは、第１実施形態の内視鏡部３１０のように、その先端部３４０にモーションセンサー３４４が設けられることによって先端部３４０の動きが検出されるものではなく、モーションセンサー３４４が設けられていない構成において、後述するように、先端部３４０の位置を検出する機能ブロックである。

図１４は、内視鏡制御装置４００Ｂにおいて実行される撮像／位置検出処理を示すフローチャートである。この処理は、図８に示した第１実施形態の撮像／位置検出処理のステップＳ５０４、Ｓ５１６が省略されるとともに、ステップＳ５０６に代えてステップＳ５０６Ｂが設けられ、ステップＳ５１８に代えてステップＳ５１８Ｂａ、Ｓ５１８Ｂｂが設けられている。ステップＳ５０６Ｂ、Ｓ５１８Ｂａ、Ｓ５１８Ｂｂ以外の各処理は、第１実施形態で説明した通りであるので、以下では、ステップＳ５０６Ｂ、Ｓ５１８Ｂａ、Ｓ５１８Ｂｂについて説明する。

ステップＳ５０６Ｂ、Ｓ５１８Ｂａでは、特徴点の移動量（特徴点の位置の変化量）から現在の先端部３４０の位置が検出される。

図１５は、先端部３４０の位置の検出方法について示す説明図である。撮像データの表す撮像画像ＩＰＰに含まれる特徴点ＦＰが、図１５の上段に示すように、一つ前の（ｎ−１）フレーム（ｎは０以上の整数）における撮像画像ＩＰＰ（ｎ−１）中の特徴点ＦＰ（ｎ−１）から、図１５の下段に示すように、次のｎフレームで取得された撮像データの表す撮像画像ＩＰＰ（ｎ）中の特徴点ＦＰ（ｎ）となったとする。この場合には、（ｎ−１）フレームの特徴点ＦＰ（ｎ−１）の位置からｎフレームの特徴点ＦＰ（ｎ）の位置までの変化は、先端部３４０の位置の移動に応じて変化したものと考えられる。そこで、この特徴点の変化量を、既知の撮像画像のサイズに基づいて算出することにより、先端部３４０の移動量を求めることができる。そして、（ｎ−１）フレームにおける先端部３４０の位置及び求めた移動量からｎフレームにおける先端部３４０の位置、すなわち、現在の先端部３４０の位置を検出することができる。

ステップＳ５１８Ｂｂでは、撮像画像の中心位置と撮像画像に含まれる進行可能な部位を示す進行部位画像との位置関係から先端部３４０の先端面の向き、すなわち、撮像部３４２で撮像される撮像方向（以下、「撮像部３４２の向き」とも呼ぶ）が検出される。この検出は、具体的には、例えば、以下のようにして実行することができる。

図１６は、撮像部３４２の向きに応じた撮像画像ＩＰＰ中の進行部位画像ＲＩの様子を示す説明図である。図１７は、撮像対象部ＩＴ内における先端部３４０の先端面３４６の向きの一例を示す説明図である。図１６に示すように、撮像画像ＩＰＰに含まれる撮像対象部ＩＴの進行可能な部位（本例では、管腔臓器の管腔）を示す進行部位画像ＲＩ（ハッチングを付した円形で示す）の位置は、先端面３４６の向きに応じて、撮像画像ＩＰＰの中心位置ＣＰに対して、位置ＰＡ〜ＰＩに示すように変化する。例えば、図１７の左側に示すように、撮像対象部ＩＴの経路に対して先端面３４６の向きが正対している場合には、進行部位画像ＲＩの位置は図１６の位置ＰＡとなる。そして、図１７の右側に示すように、先端面３４６の向きが正対した状態から斜め下向きとなった場合には、進行部位画像ＲＩの位置は図１６の位置ＰＡから位置ＰＢへと変化する。従って、例えば、進行部位画像ＲＩの位置ＰＡ〜ＰＩに応じて、以下に示すように、先端面３４６の向きが検出可能となる。
・位置ＰＡ：撮像対象部ＩＴの経路に対して先端面３４６の向きが正対する向き
・位置ＰＢ：撮像対象部ＩＴの経路に対して先端面３４６の向きが斜め下向き
・位置ＰＣ：撮像対象部ＩＴの経路に対して先端面３４６の向きが右斜め下向き
・位置ＰＤ：撮像対象部ＩＴの経路に対して先端面３４６の向きが斜め右向き
・位置ＰＥ：撮像対象部ＩＴの経路に対して先端面３４６の向きが右斜め上向き
・位置ＰＦ：撮像対象部ＩＴの経路に対して先端面３４６の向きが斜め上向き
・位置ＰＧ：撮像対象部ＩＴの経路に対して先端面３４６の向きが左斜め上向き
・位置ＰＨ：撮像対象部ＩＴの経路に対して先端面３４６の向きが斜め左向き
・位置ＰＩ：撮像対象部ＩＴの経路に対して先端面３４６の向きが左斜め下向き
なお、進行部位画像ＲＩの位置が中心位置ＣＰから遠ざかるほど先端面３４６の向きの傾斜は大きくなる。

以上の説明からわかるように、先端面３４６の向きは、撮像画像ＩＰＰの中心位置ＣＰと撮像画像ＩＰＰに含まれる進行可能な部位を示す進行部位画像ＲＩとの位置関係から求めることができる。但し、簡易的には、撮像画像ＩＰＰをｍ×ｎ（ｍ，ｎは奇数）、例えば、３×３や５×５の領域に区分し、どの領域に進行部位画像ＲＩが位置するかを判定することにより、先端面３４６の向きを求めることが可能である。なお、ステップＳ５１８Ｂａにより検出される先端位置の変化とステップＳ５１８Ｂｂによる先端面３４６の向きから移動方向を求めるこができる。

第２実施形態においても、第１実施形態と同様に、内視鏡装置を操作する使用者ＵＳは、被検者ＴＳ中の撮像対象部ＩＴに挿入されている先端部３４０の撮像部３４２が撮像している位置を確認するとともに、その位置で撮像されている撮像画像を視認しつつ、内視鏡部３１０を操作することができる。これにより、内視鏡装置の操作の確実性と安全性を向上させることが可能である。

Ｃ．第３実施形態：
図１８は、第２実施形態における内視鏡制御装置４００Ｃの構成を機能的に示すブロック図である。内視鏡制御装置４００Ｃは、第１実施形態の内視鏡制御装置４００と同様に、内視鏡制御部４１０Ｃと、記憶部４２０と、表示部４５０と、無線通信部４７０と、不図示の光源発生部と、を備える。内視鏡制御部４１０Ｃは、第１実施形態の内視鏡制御装置４００の内視鏡制御部４１０の位置検出部４１４（図７）が位置検出部４１４Ｃに置き換えられている。第３実施形態の内視鏡制御装置４００Ｃのその他の構成は、第１実施形態の内視鏡制御装置４００と同じである。位置検出部４１４Ｃは、モーションセンサー３４４（図７）に代えて挿入量検出部３６０を有しており、挿入量検出部３６０によって挿入部３３０（図１）の挿入量を検出すことにより、先端部３４０、すなわち、撮像部３４２の挿入量を検出し、検出した挿入量から先端部３４０の位置を検出する機能ブロックである。挿入量検出部３６０は、例えば、挿入部３３０の挿入のために被検者ＴＳの口や鼻に装着する装着具に設けられており、挿入部３３０に設けられているスケールを読み取ることによって、挿入部３３０の挿入量を検出することができる。検出した挿入量は、例えば、挿入量検出部３６０から無線通信部４７０及び通信制御部４１７を介して位置検出部４１４Ｃに送信され、先端部３４０（撮像部３４２）の位置の検出に用いられる。

図１９は、内視鏡制御装置４００Ｃにおいて実行される撮像／位置検出処理を示すフローチャートである。この処理は、図８に示した第１実施形態の撮像／位置検出処理のステップＳ５０４、Ｓ５０６、Ｓ５１６に代えてステップＳ５０４Ｃ、Ｓ５０６Ｃ、Ｓ５１６Ｃが設けられ、ステップＳ５１８に代えてステップＳ５１８Ｃａ、Ｓ５１８Ｃｂが設けられている。ステップＳ５０４Ｃ、Ｓ５０６Ｃ、Ｓ５１６Ｃ、Ｓ５１８Ｃａ、Ｓ５１８Ｃｂ以外の各処理は、第１実施形態で説明した通りであるので、以下では、ステップＳ５０４Ｃ、Ｓ５０６Ｃ、Ｓ５１６Ｃ、Ｓ５１８Ｃａ、Ｓ５１８Ｃｂについて説明する。

ステップＳ５０４Ｃ、Ｓ５１６Ｃでは、位置検出部４１４Ｃにおいて、挿入量検出部３６０が検出する挿入部３３０の挿入量が取得され、ステップＳ５０６Ｃ、Ｓ５１８Ｃａでは、基準位置及び取得した挿入量から、現在の先端部３４０の位置が検出される。

ステップＳ５１８Ｃｂでは、図１４のステップＳ５１８Ｂｂと同様に、撮像画像中における撮像対象部の中心位置から先端部３４０の先端面の向き、すなわち、撮像部３４２で撮像される撮像方向（撮像部３４２の向き）が検出される。

なお、ステップＳ５１８Ｃａにより検出される先端位置の変化とステップＳ５１８Ｂｂによる先端面３４６の向きから移動方向を検出することができる。

第３実施形態においても、第１、第２実施形態と同様に、内視鏡装置３００を操作する使用者ＵＳは、被検者ＴＳ中の撮像対象部ＩＴに挿入されている先端部３４０の撮像部３４２が撮像している現在位置を確認するとともに、その位置で撮像されている撮像画像を視認しつつ、内視鏡部３１０を操作することができる。これにより、内視鏡装置の操作の確実性と安全性を向上させることが可能である。

Ｄ．変形例：
なお、この発明は第１、第２実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｄ１．変形例１：
上記実施形態では、位置表示画像ＰＤＩとして、ポインター画像ＰＰ、方向画像ＤＰ、及び、撮像対象部画像ＩＴＰが表示される場合を例に説明したが、これに限定されるものではなく、ポインター画像ＰＰのみを位置表示画像ＰＤＩとして表示するようにしてもよい。また、ポインター画像ＰＰに方向画像ＤＰを含めて一つのポインター画像として表示するようにしてもよい。

Ｄ２．変形例２
上記実施形態では、フレーム周期で取得される撮像データ４３２及び位置データ４３３が内視鏡制御装置４００から制御装置１０へ順次送信されるものとして説明したが、これに限定されるものではない。例えば、前回の送信時の先端部３４０の位置からの移動量が予め定めた量以上に変化した場合に、撮像データ４３２及び位置データ４３３が内視鏡制御装置４００から制御装置１０へ送信されるようにしてもよい。そして、制御装置１０では、これらのデータが送信されてきた場合に位置表示画像ＰＤＩを表示させるようにしてもよい。このようにした場合、データ転送量を減らすことができるので、それぞれの装置における処理負荷を低減することが可能である。

Ｄ３．変形例３：
上記実施形態では、撮像対象部データを作成／更新が可能な撮像データのデータ量が得られた場合において、内視鏡制御装置４００の撮像対象部データ作成部４１５によって、撮像対象部の構造を表す撮像対象部データが作成／更新され、制御装置１０へ送信されるものとして説明した。しかしながら、撮像対象部の予定されている範囲の撮像データの取得が全て行われた後に、撮像対象部データの作成を行なうようにしてもよい。

Ｄ４.変形例４：
上記実施形態では、撮像データの表す撮像画像中の特徴部候補画像が、撮像データ撮像対象部ＩＴの標準の構造を示す標準撮像対象部データの表す画像中の特徴部の特徴画像と一致するか否かに基づいて基準位置の判定を行うものとして説明した。しかしながら、これに限定されるものではない。一度ある被検者ＴＳに対して内視鏡操作支援システムを使用して撮像対象部データが作成された場合には、同じ被検者ＴＳに対して再度内視鏡操作支援システムを使用する場合には、既に作成されている撮像対象部データを用いて基準位置を判定するようにしてもよい。なお、作成済みの撮像対象部データが不図示の外部の記録装置に記録されている場合には、これを読み出して記憶部４２０に記憶して利用するようにすればよい。

Ｄ５．変形例５：
上記実施形態では、透過して視認される外景に位置表示画像を重畳表示させる場合について説明した。しかしながら、外景を非透過として、ＨＭＤのカメラで撮像した外景画像と位置表示画像とを重畳表示させるようにしてもよい。

Ｄ６．変形例６：
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。

Ｄ７．変形例７：
上記実施形態では、内視鏡部３１０の挿入部３３０が挿入される物体として被検者ＴＳ（人体）を例とし、撮像対象部として管腔臓器を例に説明したが、これに限定されるものではなく、人体の内部の診断や腹腔鏡手術等で内視鏡装置が用いられる場合に適用可能である。また、人体に限らず他の生体に対しても適用可能である。さらにまた、生体に限らず、建築物等の内部の水道管やガス管、電気配管等の種々の物体としての人工物の内部の撮像対象部の検査等に内視鏡装置が用いられる場合にも適用可能である。

Ｄ８．変形例８：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、制御装置１０および画像表示部２０の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置１０に記憶機能部１２２および制御機能部１５０を搭載し、画像表示部２０には表示機能のみを搭載する態様。制御装置１０と画像表示部２０との両方に、記憶機能部１２２および制御機能部１５０を搭載する態様。制御装置１０と画像表示部２０とを一体化した態様。この場合、例えば、画像表示部２０に制御装置１０の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置１０の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置１０と画像表示部２０とを無線通信により接続し、接続ケーブル４０を配した態様。この場合、例えば、制御装置１０や画像表示部２０に対する給電についても無線で実施してよい。

Ｄ９．変形例９：
制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、制御機能部１５０は、メインプロセッサー１４０が記憶機能部１２２内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部１５０は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部１２２に代えて、または記憶機能部１２２と共に、不揮発性記憶部１２１、ＥＥＰＲＯＭ２１５、メモリー１１８、他の外部記憶装置（各種インターフェースに挿入されているＵＳＢメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む）に格納されていてもよい。また、制御機能部１５０の各機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されてもよい。

Ｄ１０．変形例１０：
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

図２０は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼ＲＥに対応したＯＬＥＤユニット２２１ａと、左眼ＬＥに対応したＯＬＥＤユニット２４１ａと、が設けられている。右眼ＲＥに対応したＯＬＥＤユニット２２１ａは、白色で発色するＯＬＥＤパネル２２３ａと、ＯＬＥＤパネル２２３ａを駆動して発光させるＯＬＥＤ駆動回路２２５とを備えている。ＯＬＥＤパネル２２３ａと右光学系２５１との間には、変調素子２２７（変調装置）が配置されている。変調素子２２７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２２３ａが発する光を変調して画像光Ｌを生成する。変調素子２２７を透過して変調された画像光Ｌは、右導光板２６によって右眼ＲＥに導かれる。

左眼ＬＥに対応したＯＬＥＤユニット２４１ａは、白色で発光するＯＬＥＤパネル２４３ａと、ＯＬＥＤパネル２４３ａを駆動して発光させるＯＬＥＤ駆動回路２４５とを備えている。ＯＬＥＤパネル２４３ａと左光学系２５２との間には、変調素子２４７（変調装置）が配置されている。変調素子２４７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２４３ａが発する光を変調して画像光Ｌを生成する。変調素子２４７を透過して変調された画像光Ｌは、左導光板２８によって左眼ＬＥに導かれる。変調素子２２７、２４７は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路（変調装置駆動部）は、例えば変調素子２２７、２４７の近傍に配置される基板に実装される。

変形例の画像表示部によれば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネル２２３ａ、２４３ａと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子２２７、２４７と、を備える映像素子として構成される。なお、ＯＬＥＤパネル２２３ａ、２４３ａが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のＨＭＤ１００としてもよい。

上記実施形態では、眼鏡型の画像表示部２０について説明したが、画像表示部２０の態様は任意に変更することができる。例えば、画像表示部２０を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部２０を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるＨＵＤ（Head Up Display）として構成してもよい。

上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板２６および左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板２６および左導光板２８の全面（または大部分）を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６および左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品（例えば、回折格子、プリズム、ホログラフィー等）を用いる限り任意の態様を採用できる。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０、１０Ａ…制御装置、１２…点灯部、１４…タッチパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００、１００Ａ…頭部装着型表示装置（ＨＭＤ）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１２５…撮像対象部データ、１２６…位置データ、１２７…撮像データ、１２８…ＨＭＤ状態データ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４３…ＯＳ、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…通信制御部、１５５…視界検出部、１５７…内視鏡操作支援部、１８０…音声コーデック、１８２…音声インターフェース、１８４…外部コネクター、１８６…外部メモリーインターフェース、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェース、２１０…表示ユニット基板、２１１…インターフェース、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２２１ａ…ＯＬＥＤユニット、２２３、２２３ａ…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…変調素子、２３０…表示ユニット基板、２３１…インターフェース、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１、２４１ａ…ＯＬＥＤユニット、２４３、２４３ａ…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…変調素子、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、３００…内視鏡装置、３１０…内視鏡部、３２０…操作部、３３０…挿入部、３４０…先端部、３４２…撮像部、３４４…モーションセンサー、３４６…先端面、３５０…接続部、３６０…挿入量検出部、４００、４００Ｂ、４００Ｃ…内視鏡制御装置、４１０、４１０Ｂ、４１０Ｃ…内視鏡制御部、４１２…操作制御部、４１３…撮像制御部、４１４、４１４Ｂ、４１４Ｃ…位置検出部、４１５…撮像対象部データ作成部、４１６…表示制御部、４１７…通信制御部、４２０…記憶部、４３１…設定データ、４３２…撮像データ、４３３…位置データ、４３４…撮像データ群、４３５…撮像対象部データ、４３６…標準撮像対象部データ、４５０…表示部、４７０…無線通信部、１０００…内視鏡操作支援システム、ＣＰ…中心位置、ＤＰ…方向画像、ＥＬ、ＥＲ…端部、ＦＰ…特徴点、ＩＰＰ…撮像画像、ＩＴ…撮像対象部、ＩＴＰ…撮像対象部画像、Ｌ…画像光、ＬＥ…左眼、ＲＥ…右眼、ＲＤ…視線、ＯＬ…外光、ＯＢ…対象物、ＰＡ、ＰＢ、ＰＣ、ＰＤ、ＰＥ、ＰＦ、ＰＧ、ＰＨ、ＰＩ…位置、ＰＤＩ…位置表示画像、ＰＰ…ポインター画像、ＲＩ…進行部位画像、ＳＣ…外景、ＴＳ…被検者、ＩＴＰ…撮像対象部画像、ＵＳ…使用者、ｅｓ…食道画像、ｓｔ…胃画像、ｄｕ…十二指腸画像

Claims (12)

1. 内視鏡操作支援システムであって、
   使用者の頭部に装着された状態において、外景を透過させて前記使用者に前記外景を視認させるとともに、前記外景に虚像画像を重畳させて表示して前記使用者に視認させる画像表示部と、
   前記画像表示部を制御する制御部と、
   物体の外観に表さない部分である撮像対象部の内部に挿入される先端部に前記撮像対象部の内部を撮像する撮像部を有する内視鏡部と、
   前記撮像対象部の内部に挿入された前記先端部の位置を検出する位置検出部と、
   前記位置検出部が検出した前記先端部の位置および前記先端部の位置で撮像された撮像画像を用いて、前記撮像対象部の構造を示す撮像対象部データを作成する撮像対象部データ作成部と、
   を備え、
   前記制御部は、前記画像表示部において、前記外景に含まれる前記物体に重畳させて、前記位置検出部により検出された前記先端部の位置を示すポインター画像と、前記撮像対象部データを用いて作成される撮像対象部画像であって、前記先端部の位置を含むあらかじめ定めた条件を満たす範囲の前記撮像対象部を示す撮像対象部画像と、を含む位置表示画像を前記虚像画像として表示させる、内視鏡操作支援システム。
2. 請求項１に記載の内視鏡操作支援システムであって、
   前記先端部は前記先端部の動きを検出するためのモーションセンサーを有し、
   前記位置検出部は、前記モーションセンサーのセンサー値から求められる前記先端部の移動量及び移動方向を用いて前記先端部の位置を求め、
   前記制御部は、前記位置検出部で求められた前記先端部の位置に対応する前記物体の位置で前記位置表示画像を前記物体に重畳させて表示させる、内視鏡操作支援システム。
3. 請求項１に記載の内視鏡操作支援システムであって、
   前記位置検出部は、前記撮像部によって撮像される撮像画像に含まれる特徴点の位置の変化量から前記先端部の位置を求め、
   前記制御部は、前記位置検出部で求められた前記先端部の位置に対応する前記物体の位置で前記位置表示画像を前記物体に重畳させて表示させる、内視鏡操作支援システム。
4. 請求項１に記載の内視鏡操作支援システムであって、
   前記先端部の前記撮像対象部の内部への挿入量を検出する挿入量検出部を有し、
   前記位置検出部は、前記挿入量から前記先端部の位置を求め、
   前記制御部は、前記位置検出部で求められた前記先端部の位置に対応する前記物体の位置で前記位置表示画像を前記物体に重畳させて表示させる、内視鏡操作支援システム。
5. 請求項３または請求項４に記載の内視鏡操作支援システムであって、
   前記位置検出部は、前記撮像部によって撮像された撮像画像の中心位置と、前記撮像画像に含まれる進行可能な部位を示す進行部位画像と、の位置関係から前記先端部の先端面の向きを検出する、内視鏡操作支援システム。
6. 請求項１から請求項５までのいずれか一項に記載の内視鏡操作支援システムであって、
   前記制御部は、前記使用者の視界に含まれる前記物体の位置に対応する前記撮像対象部の位置および前記検出された先端部の位置から、前記画像表示部における前記位置表示画像の表示位置を決定する、内視鏡操作支援システム。
7. 請求項１から請求項６までのいずれか一項に記載の内視鏡操作支援システムであって、
   前記位置表示画像は、前記ポインター画像と、前記撮像対象部画像と、前記撮像部の撮像方向を示す方向画像と、を含む、内視鏡操作支援システム。
8. 請求項１から請求項７までのいずれか一項に記載の内視鏡操作支援システムであって、
   前記撮像対象部画像は、前記撮像対象部データが作成される前には、予め用意された前記撮像対象部の標準の構造を示す標準撮像対象部データを用いて作成され、前記撮像対象部データが作成される場合には、作成される撮像対象部データが更新される毎に、更新された撮像対象部データを用いて作成される、内視鏡操作支援システム。
9. 請求項１から請求項８までのいずれか一項に記載の内視鏡操作支援システムであって、
   前記制御部は、前記位置表示画像に加えて、前記先端部の位置で前記撮像部によって撮像された撮像画像を前記虚像画像として前記画像表示部に表示させる、内視鏡操作支援システム。
10. 請求項９に記載の内視鏡操作支援システムであって、
    前記制御部は、前記位置表示画像に重ならない位置で前記撮像画像を前記画像表示部に表示させる、内視鏡操作支援システム。
11. 請求項９または請求項１０に記載の内視鏡操作支援システムであって、
    前記制御部は、前記頭部が予め定めた時間静止を維持する静止状態となった場合に、前記位置表示画像及び前記撮像画像を前記虚像画像として前記外景に重畳して表示するシースルーモードから、前記撮像画像を全面表示するフルスクリーンモードに切り替え、前記静止状態ではなくなった場合に、前記シースルーモードに切り替える、内視鏡操作支援システム。
12. 請求項９から請求項１１までのいずれか一項に記載の内視鏡操作支援システムであって、
    前記制御部は、モード切替指示に応じて、前記位置表示画像及び前記撮像画像を前記虚像画像として前記外景に重畳して表示するシースルーモードと、前記撮像画像を全面表示するフルスクリーンモードとを切り替える、内視鏡操作支援システム。

Images