JP7558057B2 - 医療用画像処理装置、医療用観察システム、医療用画像処理装置の作動方法およびプログラム - Google Patents

Description

本開示は、被検体の患部を撮像したライブビュー画像および被検体の観察を仮想的に表したシミュレーション画像の少なくとも一方を表示する医療用画像処理装置、トロッカー、医療用観察システム、画像処理方法およびプログラムに関する。

従来、外科手術システムにおいて、患者の患部にモーションキャプチャー装置で計測された患者の患部に、ＣＴおよびＭＲＩ等により得られた画像を重畳表示する技術が知られている（例えば特許文献１参照）。この技術では、患者に対して所定の間隔で配置した複数のマーカからの反射光を複数のモーションキャプチャー装置の各々で受光することによって、複数のマーカ群の座標位置および複数のマーカ群の回転量に応じて、患者の患部に重畳表示する画像を変化させる。

特開２０１６－１５８９１１号公報

ところで、術者は、術中に手術部位にアプローチする場合、メルクマークとなる重要な血管および神経を確認しながら切除を行う。しかしながら、術者は、アプローチが難しい手技の場合、術前に確認したＣＴ（Computed Tomography）画像（コンピュータ断層撮影による画像）またはＭＲＩ（Magnetic Resonance Imaging）画像（核磁気共鳴画像法による画像）において、読影できなかった箇所、患者の開腹後における部位形状および部位の位置がＣＴ画像またはＭＲＩ画像とずれてしまうことで、術者がメルクマークを瞬時に発見することが難しかった。

さらに、上述した特許文献１では、単にＣＴ画像またはＭＲＩ画像を重畳しているにすぎないため、実際の患者の状態から乖離しているうえ、重畳画像が邪魔になるという問題点があった。

本開示は、上記に鑑みてなされたものであって、術中における術者の邪魔をすることなく、術中の術者を補助することができる医療用画像処理装置、トロッカー、医療用観察システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象に関する第２の画像の少なくとも一方を表示装置に表示させる制御部を備える。

また、本開示に係るトロッカーは、筒状をなし、外部から医療器具が挿入可能な穴部を有する本体部と、前記穴部の挿入方向に沿って設けられ、前記穴部に挿入された前記医療器具の位置を第１の状態として検出する第１の検出部と、前記穴部の挿入方向に沿って前記第１の検出部より挿入距離が長い位置に設けられ、前記穴部に挿入された前記医療器具の位置を第２の状態として検出する第２の検出部と、を備える。

また、本開示に係る医療用観察システムは、被検体の観察対象を撮像することによって第１の画像を生成する撮像部と、予め取得された前記被検体の観察対象の３次元画像データまたは２次元画像データに基づく第２の画像を記録する記録部と、前記第１の画像および前記第２の画像を表示可能な表示装置と、術者によって把持された医療器具が挿入され、かつ、該医療器具の前記被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーと、前記トロッカーの検出結果に基づいて、前記第１の画像および前記第２の画像像の少なくとも一方を前記表示装置に表示させる制御部と、を備える。

また、本開示に係る画像処理方法は、術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる。

また、本開示に係るプログラムは、医療用画像処理装置に実行させるプログラムであって、術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる。

本開示によれば、術中における術者の邪魔をすることなく、術中の術者を補助することができるという効果を奏する。

図１は、実施の形態１に係る医療用観察システムの概略構成を示す図である。 図２は、実施の形態１に係る医療用観察システムの要部の機能構成を示すブロック図である。 図３は、実施の形態１に係るトロッカーの断面を示す模式図である。 図４Ａは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。 図４Ｂは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。 図４Ｃは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。 図４Ｄは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。 図４Ｅは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。 図５は、実施の形態１に係る医療用観察システムが実行する処理の概要を示すフローチャートである。 図６は、実施の形態１に係る表示装置が表示するライブビュー画像の一例を示す図である。 図７は、実施の形態１に係る表示装置が表示するライブビュー画像の別の一例を示す図である。 図８は、図５のシミュレーションモード処理の概要を示すフローチャートである。 図９は、実施の形態１に係る表示装置が表示するシミュレーション画像の一例を示す図である。 図１０は、実施の形態１に係る表示装置が表示する医学情報の一例を示す図である。 図１１は、実施の形態１に係る表示装置が表示するシミュレーション画像の別の一例を示す図である。 図１２は、実施の形態１に係る表示装置が表示するシミュレーション画像の一例を示す図である。 図１３は、実施の形態２に係る医療用観察システムが実行する処理の概要を示すフローチャートである。

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において、参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る医療用観察システムの一例として、腹腔鏡による内視鏡システムについて説明する。

（実施の形態１）
〔医療用観察システムの概略構成〕
図１は、実施の形態１に係る医療用観察システムの概略構成を示す図である。図１に示す医療用観察システム１は、医療分野に用いられ、人や動物の被検体Ｏ_１の腹部にトロッカーを用いて複数の穴を形成し、炭酸ガス等によって被検体Ｏ_１の腹部を膨らませた状態で、医療用撮像装置（硬性鏡等のビデオスコープ）と、鉗子および電気メス等のエネルギーデバイスの医療器具と、を被検体Ｏ_１内に挿入しながら観察および処置を行う腹腔鏡手術に用いられるシステムである。なお、図１では、被検体Ｏ_１に対して穴を３カ所形成しているが、術式や手技に応じて適宜変更することができる。

図１に示す医療用観察システム１は、トロッカー１０と、複数のトロッカー２０と、医療用撮像装置３０と、医療器具４０と、医療器具５０と、光源装置６０と、表示装置７０と、制御装置８０と、画像サーバ９０と、を備える。

トロッカー１０は、筒状をなし、被検体Ｏ_１に挿入される。トロッカー１０は、後述する医療用撮像装置３０が挿入される。トロッカー１０は、被検体Ｏ_１の臍に挿入される。なお、実施の形態１では、トロッカー１０は、図示しない被検体Ｏ_１内の腹部を膨らませる炭酸ガス等が供給される供給口を有し、この供給口を経由して外部から供給された炭酸ガスを被検体Ｏ_１内の腹部に供給する。

トロッカー２０は、筒状をなし、被検体Ｏ_１に対して複数挿入される。トロッカー２０は、後述する医療器具４０および医療器具５０のいずれか一方が挿入される。以下においては、医療器具４０が挿入されるトロッカー２０をトロッカー２０Ｌと表現し、医療器具５０が挿入されるトロッカー２０をトロッカー２０Ｒと表現する。また、トロッカー２０Ｌおよびトロッカー２０Ｒのどちらか一方を指す場合、単にトロッカー２０と表現する。

医療用撮像装置３０は、トロッカー１０を経由して被検体Ｏ_１内に挿入され、被検体Ｏ_１内における観察対象を撮像することによって画像データを生成し、この画像データを制御装置８０へ出力する。

医療器具４０は、トロッカー２０Ｌを経由して被検体Ｏ_１内に挿入される。医療器具４０は、医者等の術者の操作に応じて観察対象に対して処置を行う。医療器具４０は、例えば注射、鉗子、ナイフ、高周波スネア、処置具および高周波メスや電気メス等のエネルギーデバイスである。

医療器具５０は、トロッカー２０Ｒを経由して被検体Ｏ_１に挿入される。医療器具５０は、術者の操作に応じて観察対象に対して処置を行う。医療器具５０は、例えば注射、鉗子、ナイフ、高周波スネア、処置具および高周波メスや電気メス等のエネルギーデバイスである。

光源装置６０は、制御装置８０の制御のもと、医療用撮像装置３０を経由して被検体Ｏ１の観察対象に向けて照明光を照射する。光源装置６０は、例えばライトガイドを経由して照明光として白色光、特殊光およびマルチスペクトル光のいずれか一つを医療用撮像装置３０へ供給する。ここで、特殊光とは、所定の波長帯域を有する励起光や狭帯域光である。例えば、励起光は、波長帯域が４００ｎｍ～４３０ｎｍ（中心波長が４１５ｎｍ）である。また、狭帯域光は、波長帯域が４００ｎｍ～４３０ｎｍ（中心波長が４１５ｎｍ）と、波長帯域５３０ｎｍ～５５０ｎｍ（中心波長が５４０ｎｍ）と、を含む光である。また、マルチスペクトル光は、少なくとも反射周波数毎に生体組織、例えば臓器を判別可能な光の波長帯域を含む。例えば、膵臓の場合、反射周波数は、１６７１２ｎｍである。光源装置６０は、白色ＬＥＤ（Light Emitting Diode）、赤色ＬＥＤ、青色ＬＥＤ、緑色ＬＥＤ、紫色ＬＥＤ、橙色ＬＥＤ等の光源、半導体レーザ、所定の波長帯域を透過する透過フィルタを有する回転フィルタおよび集光レンズ等を用いて実現される。

表示装置７０は、制御装置８０の制御のもと、制御装置８０から入力された画像を表示する。表示装置７０は、例えば液晶ディスプレイや有機ＥＬディスプレイ（Organic Electroluminescent Display）等および音声スピーカ等を用いて実現される。

制御装置８０は、医療用観察システム１の各部を制御する。制御装置８０は、医療用撮像装置３０から入力された画像データに対して各種の画像処理を行って表示装置７０へ出力することによって表示装置７０に表示させる。また、制御装置８０は、ネットワーク１００を経由して画像サーバ９０から患者である被検体Ｏ_１に対して予め取得された３次元画像データ、ＭＲＩ画像データおよびＣＴ画像データを用いて構成されたシミュレーション画像データを取得し、取得したシミュレーション画像に対して各種の画像処理を行って表示装置７０に出力することによって表示装置７０に表示させる。制御装置８０は、メモリと、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）およびＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアと、を備えるプロセッサを用いて実現される。なお、実施の形態１では、制御装置８０が医療用画像処理装置として機能する。

画像サーバ９０は、ネットワーク１００を経由して制御装置８０から要求されたシミュレーション画像データを送信する。画像サーバ９０は、複数の患者の各々をＣＴまたはＭＲＩ等によって取得した２次元画像データまたは３次元画像データ、および２次元画像データまたは３次元画像データに基づくシミュレーション画像データ等を記録する。画像サーバ９０は、メモリと、ＣＰＵ、ＧＰＵやＦＰＧＡ等のハードウェアを備えるプロセッサと、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）等の記録媒体と、を用いて実現される。

〔医療用観察システムの要部の機能構成〕
次に、上述した医療用観察システム１の要部の機能構成について説明する。図２は、医療用観察システム１の要部の機能構成を示すブロック図である。

〔トロッカーの構成〕
まず、トロッカー２０の構成について説明する。図３は、トロッカー２０の断面を示す模式図である。図２および図３に示すトロッカー２０は、第１の検出部２１と、第２の検出部２２と、取得部２３と、通信部２４と、第３の検出部２５と、第４の検出部２６と、本体部２７と、を備える。

第１の検出部２１は、本体部２７に設けられた挿入部２７１（孔）の挿入方向に沿って設けられ、挿入部２７１に挿入された医療器具４０の位置を第１の状態として検出する。具体的には、第１の検出部２１は、医療器具４０がトロッカー２０内に位置することを第１の状態として検出する。第１の検出部２１は、圧力センサ２１１と、付勢部材２１２と、嵌合部材２１３と、を有する。圧力センサ２１１は、付勢部材２１２の付勢状態を検出する。付勢部材２１２は、嵌合部材２１３を挿入部２７１に向けて付勢する。嵌合部材２１３は、挿入部２７１に突出可能に設けられ、後述する医療器具４０に設けられた凹部４３に嵌合する。

第２の検出部２２は、本体部２７に設けられた挿入部２７１の挿入方向に沿って第１の検出部２１より挿入距離が長い位置に設けられ、挿入部２７１に挿入された医療器具４０の位置を第２の状態として検出する。具体的には、第２の検出部２２は、少なくとも医療器具４０の一部がトロッカー２０を経由して被検体Ｏ_１内に挿入されて露出した状態を第２の状態として検出する。第２の検出部２２は、圧力センサ２２１と、付勢部材２２２と、嵌合部材２２３と、を有する。圧力センサ２２１は、付勢部材２２２の付勢状態を検出する。付勢部材２２２は、嵌合部材２２３を挿入部２７１に向けて付勢する。嵌合部材２２３は、挿入部２７１に突出可能に設けられ、後述する医療器具４０に設けられた凹部４２に嵌合する。

取得部２３は、本体部２７の挿入部２７１に挿入された医療器具４０に関する医療器具情報を取得する。具体的には、取得部２３は、後述する医療器具４０内に設けられたＩＣチップ４１であって、医療器具４０に関する医療器具情報を記録したＩＣチップ４１から無線通信によって、ＩＣチップ４１から医療器具情報を取得する。例えば、取得部２３は、医療器具４０内に設けられたＲＦＩＤ（Radio Frequency Identifier）から医療器具情報を取得する。取得部２３は、ＩＣチップリーダまたはＲＦＩＤリーダ等を用いて実現される。ここで、医療器具情報には、医療器具４０の種別（例えば鉗子や電気メス）、医療器具４０の型番、医療器具４０が使用される手技、医療器具４０の形状および医療器具４０の製造年月日の少なくとも１つ以上が含まれる。なお、図２および図３では、取得部２３がトロッカー２０の本体部２７に設けられているが、医療器具４０のＩＣチップ４１から医療器具情報を取得することができればよく、例えば本体部２７に着脱自在なものであってもよい。例えば、取得部２３は、医療器具４０に印字された２次元コード等を読み取り可能なリーダ等であってもよい。

通信部２４は、第１の検出部２１の検出結果、第２の検出部２２の検出結果、取得部２３の取得結果、第３の検出部２５の検出結果および第４の検出部２６の検出結果の各々を、伝送ケーブルを経由して医療用撮像装置３０へ送信する。通信部２４は、所定の通信フォーマットに従って送信する。通信部２４は、通信モジュール等を用いて実現される。なお、通信部２４は、図１～図３において、有線によって医療用撮像装置３０へ各種の検出結果および取得結果を送信しているが、例えば無線通信によって医療用撮像装置３０または制御装置８０へ送信してもよい。無線通信としては、Ｗｉ－Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）が用いられる。

第３の検出部２５は、本体部２７の挿入部２７１に挿入される医療器具４０の挿入量を検出する。具体的には、第３の検出部２５は、医療器具４０の先端からトロッカー２０の先端から突出した医療器具４０の長さを挿入量として検出する。第３の検出部２５は、例えば変位センサ、エンコーダまたは光電センサ等を用いて実現される。

第４の検出部２６は、所定の時間毎に、本体部２７の挿入部２７１を軸に回転する医療器具４０の回転量を検出する。第４の検出部２６は、例えば変位センサ、エンコーダまたは光電センサ等を用いて実現される。

本体部２７は、筒状をなし、外部から医療器具４０が挿入可能な挿入部２７１と、被検体Ｏ_１内に挿入される突部２７２と、被検体Ｏ_１から露出する露出部２７３と、を有する。本体部２７は、被検体Ｏ_１に形成された穴（図示せず）を経由して被検体Ｏ_１内に突部２７２が挿入される。

〔医療用撮像装置の構成〕
次に、医療用撮像装置３０の構成について説明する。医療用撮像装置３０は、撮像部３１と、通信部３２と、撮像制御部３３と、を備える。

撮像部３１は、撮像制御部３３の制御のもと、被検体Ｏ１内における観察対象を撮像することによって画像データを生成し、この画像データを通信部３２へ出力する。撮像部３１は、光学系３１１と、撮像素子３１２と、を有する。光学系３１１は、１または複数のレンズを用いて構成される。光学系３１１は、観察対象からの反射光および戻り光を集光して被写体像を撮像素子３１２の受光面に結像する。撮像素子３１２は、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサを用いて実現される。撮像素子３１２は、撮像制御部３３の制御のもと、光学系３１１が受光面に結像した被写体像に対して光電変換を行うことによって画像データを生成し、この画像データを通信部３２へ送信する。

通信部３２は、撮像制御部３３の制御のもと、撮像部３１から入力された画像データ、トロッカー２０から入力された検出結果および取得結果を制御装置８０へ送信する。通信部３２は、画像データに対してＰ／Ｓ変換処理等を行って制御装置８０へ送信する。通信部３２は、Ｐ／Ｓ変換回路および通信モジュール等を用いて実現される。なお、通信部３２は、無線通信または光通信によって画像データ等を制御装置８０へ送信してもよい。

撮像制御部３３は、医療用撮像装置３０を構成する各部を制御する。撮像制御部３３は、メモリと、ＣＰＵまたはＦＰＧＡ等のハードウェアを有するプロセッサと、を用いて実現される。

〔制御装置の構成〕
次に、制御装置８０の構成について説明する。制御装置８０は、第１の通信部８１と、画像処理部８２と、入力部８３と、推論部８４と、記録部８５と、第２の通信部８６と、制御部８７と、を備える。

第１の通信部８１は、制御部８７の制御のもと、医療用撮像装置３０に各種の制御データを送信し、かつ、医療用撮像装置３０から送信された各種のデータを画像処理部８２または制御部８７へ出力する。第１の通信部８１は、例えばＳ／Ｐ変換回路および通信モジュール等を用いて実現される。また、第１の通信部８１は、医療用撮像装置３０に対して無線通信または光通信によって各種データを送信してもよい。

画像処理部８２は、制御部８７の制御のもと、第１の通信部８１を経由して医療用撮像装置３０から入力された画像データに対して各種の画像処理を行って表示装置７０へ出力することによって画像データに基づくライブビュー画像を表示装置７０に表示させる。また、画像処理部８２は、制御部８７の制御のもと、後述する画像サーバ９０から取得されたシミュレーション画像データ（ポリンゴン画像データ）と、後述する推論部８４の推論結果と、に基づいて、被検体Ｏ_１内の観察対象のシミュレーション画像（ポリゴンデータにグラフィック化を施したシミュレーション画像）を生成し、このシミュレーション画像を表示装置７０へ出力することによってシミュレーション画像を表示させる。画像処理部８２は、メモリと、ＧＰＵ（Graphics Processing Unit）およびＦＰＧＡ等のハードウェアを有するプロセッサを用いて実現される。

入力部８３は、ユーザからの操作の入力を受け付け、受け付けた操作内容に応じて信号を制御部８７へ出力する。入力部８３は、マウス、キーボード、タッチパネル、スイッチおよびボタン等を用いて実現される。

推論部８４は、制御部８７の制御のもと、画像データに基づくライブビュー画像と、第２の通信部８６を経由して画像サーバ９０から取得されたシミュレーション画像データと、に基づいて、ライブビュー画像に写る被検体Ｏ_１の観察対処の臓器および位置を推定し、この推定結果を画像処理部８２および制御部８７へ出力する。推論部８４は、学習パラメータとして、ライブビュー画像、このライブビュー画像に写る臓器および位置、医療用撮像装置３０の先端から臓器までの距離を示す距離情報およびライブビュー画像の特徴量、複数のシミュレーション画像データ（例えばＣＴ画像データおよびＭＲＩ画像データの少なくとも一方に基づくポリゴンデータ）等を学習パラメータ（教師データ）として、この学習パラメータをディープラーニング（Deep Learning）等によって機械学習され、出力パラメータとしてライブビュー画像に写る被検体Ｏ_１の観察対処の臓器および位置を推定した推定結果を出力する学習済みモデルを用いて実現される。ここで、機械学習としては、ＤＮＮ（Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）およびＲＮＮ（Recurrent Neural Network）等が用いられる。また、推論部８４は、医療用撮像装置３０によって生成された画像データに基づくライブビュー画像が光源装置６０によってマルチスペクトル光が照射されたマルチスペクトル画像データである場合、マルチスペクトル画像データに含まれる反射光周波数（各スペクトル毎）の違いを用いてマルチスペクトル画像データに写る被検体Ｏ_１の観察対象の各部の生体組織種別（例えば胆嚢や膵臓等の臓器、血管、神経、リンパ、尿管および脂肪等）と、それらの位置（領域）と、を推定し、この推定結果を画像処理部８２および制御部８７へ出力する。また、推論部８４は、メモリと、ＧＰＵ等のハードウェアを有するプロセッサを用いて実現される。

記録部８５は、医療用観察システム１に関する各種のデータを記録する。記録部８５は、医療用観察システム１が実行する各種のプログラムを記録するプログラム記録部８５１を有する。記録部８５は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）等を用いて実現される。

第２の通信部８６は、制御部８７の制御のもと、ネットワーク１００を経由して画像サーバ９０から被検体Ｏ_１に対応する患者シミュレーションデータを取得し、取得した患者シミュレーション画像データを制御部８７および画像処理部８２へ出力する。第２の通信部８６は、通信モジュール等を用いて実現される。

制御部８７は、制御装置８０を構成する各部を制御する。制御部８７は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて実現される。制御部８７は、術者によって把持された医療器具４０，５０が挿入され、かつ、医療器具４０，５０の被検体Ｏ_１内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカー２０の検出結果に基づいて、被検体Ｏ_１内の観察対象を撮像することによって生成された第１の画像および予め取得された被検体Ｏ_１内の観察対象の第２の画像の少なくとも一方を表示装置７０に表示させる。第１の画像とは、ライブビュー画像である。また、第２の画像とは、シミュレーション画像である。具体的には、制御部８７は、医療器具４０，５０が第２の状態である場合、ライブビュー画像を表示装置７０に表示させる。また、制御部８７は、医療器具４０，５０が第１の状態である場合、ライブビュー画像およびシミュレーション画像の少なくとも一方を表示装置７０に表示させる。さらに、制御部８７は、トロッカー２０によって検出された医療器具４０，５０に関する医療器具情報に基づいて、シミュレーション画像上に医療器具に対応する医療器具画像を重畳して表示装置７０に表示させる。

さらにまた、制御部８７は、医療器具４０，５０に対する術者の操作内容に基づいて、医療器具画像およびシミュレーション画像の表示態様を制御する。具体的には、制御部８７は、トロッカー２０が検出したトロッカー２０の挿入部２７１への医療器具４０，５０の挿入量およびトロッカー２０の挿入部２７１を軸に回転する医療器具４０，５０の回転量に基づいて、シミュレーション画像に写る観察対象を水平方向および水平方向の少なくとも一方に回転させる表示装置７０に表示させる。また、制御部８７は、ライブビュー画像からシミュレーション画像に切り替える場合、推論部８４の推定結果に基づいて、ライブビュー画像に写る臓器の位置とシミュレーション画像に含まれる臓器の位置との位置合わせを行ってシミュレーション画像を表示装置７０に表示させる。また、制御部８７は、医療器具４０，５０が第１の状態である場合、ライブビュー画像とシミュレーション画像とを並列させて表示装置７０に表示させる、またはシミュレーション画像上にライブビュー画像を縮小して重畳した状態で表示装置７０に表示させる。さらに、制御部８７は、ライブビュー画像からシミュレーション画像を切り替える場合、表示装置７０に警告を出力させる。

〔画像サーバの構成〕
次に、画像サーバ９０の構成について説明する。画像サーバ９０は、通信部９１、患者シミュレーション画像データ記録部９２と、患者２次元画像データ記録部９３と、患者データ記録部９４と、医療器具データ記録部９５と、生成部９６と、サーバ制御部９７と、を備える。

通信部９１は、サーバ制御部９７の制御のもと、ネットワーク１００を経由して制御装置８０から要求があった被検体Ｏ_１に対する患者のシミュレーション画像データを制御装置８０へ送信する。通信部９１は、通信モジュール等を用いて実現される。

患者シミュレーション画像データ記録部９２は、ＨＤＤおよびＳＳＤ等を用いて実現される。患者シミュレーション画像データ記録部９２は、複数の患者の各々を識別する患者ＩＤと、シミュレーション画像データと、を対応付けて記録する。ここで、シミュレーション画像データとは、後述する生成部９６が患者（被検体Ｏ_１）に対してＣＴ検査またはＭＲＩ検査等によって取得した２次元画像データに基づいて生成した３次元のポリゴンデータで構成された３次元の画像データである。なお、シミュレーション画像データとは、臓器を用いた３次元空間における手術シミュレーションを行うためのデータであって、臓器または医療器具に関するデータを含む。臓器および医療器具毎のシミュレーション画像データは、以下のパラメータを含み、三次元空間上のポリゴンデータ等で規定する。（１）位置（臓器の位置（座標情報））、（２）形状（臓器の形状、医療器具毎の形状）。さらに、臓器および医療器具毎のシミュレーション画像データは、以下のパラメータ（３）～（７）を含んでいてもよい。（３）質量密度、（４）剛性、（５）摩擦、（６）粘性、（７）触覚。また、シミュレーション画像データは、医療器具または臓器の経時的な動きや変形に関する時系列変化の情報をさらに含むことができる。

患者２次元画像データ記録部９３は、複数の患者の各々を識別する患者ＩＤと、ＣＴ検査またはＭＲＩ検査等によって取得した２次元画像データと、を対応付けて記録する。患者２次元画像データ記録部９３は、ＨＤＤおよびＳＳＤ等を用いて実現される。

患者データ記録部９４は、複数の患者の各々を識別する患者ＩＤと、複数の患者の各々のカルテデータ（診察結果または症状）と、を対応付けて記録する。患者データ記録部９４は、ＨＤＤおよびＳＳＤ等を用いて実現される。

医療器具データ記録部９５は、複数の医療器具の各々の医療器具情報と、複数の医療器具の各々の医療器具画像（アニメーション画像データ）と、を対応付けて記録する。医療器具データ記録部９５は、ＨＤＤおよびＳＳＤ等を用いて実現される。

生成部９６は、サーバ制御部９７の制御のもと、患者２次元画像データ記録部９３が記録する２次元画像データに基づいて、患者のシミュレーション画像データを生成する。例えば、生成部９６は、患者２次元画像データ記録部９３が記録する２次元画像データに基づいて、３次元のシミュレーション画像データを生成し、このシミュレーション画像データを患者シミュレーション画像データ記録部９２に記録する。

サーバ制御部９７は、通信部９１から入力された制御装置８０から要求があった被検体Ｏ_１に対応するシミュレーション画像データを、患者シミュレーション画像データ記録部９２から取得し、取得した患者シミュレーション画像データを通信部９１に送信させる。サーバ制御部９７は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて実現される。

〔トロッカーによる医療器具の検出状況〕
次に、トロッカー２０による医療器具４０，５０を挿入した際の検出状況について説明する。図４Ａ～図４Ｅは、トロッカー２０に医療器具４０を挿入した際の検出状況を模式的に示す断面図である。なお、図４Ａ～図４Ｅでは、説明を簡略化するため、被検体Ｏ_１を省略している。さらに、図４Ａ～図４Ｅでは、医療器具４０として鉗子を挿入する場合について説明する。

図４Ａに示すように、まず、術者は、被検体Ｏ_１内に挿入された状態のトロッカー２０の挿入部２７１に対して、医療器具４０を挿入する。この場合において、図４Ｂに示すように、術者は、医療器具４０を挿入するに従って、医療器具４０の先端が第１の検出部２１の嵌合部材２１３に当接する。このとき、図４Ｃに示すように、術者は、医療器具４０をトロッカー２０の挿入方向にさらに押し込むことによって、付勢部材２１２の付勢力より術者による医療器具４０の押圧力を強くなることで、嵌合部材２１３が挿入部２７１の外縁側（矢印Ａを参照）に退避する。これにより、術者は、医療器具４０を挿入方向にそって挿入することができる。この場合、第１の検出部２１は、医療器具４０が第１の状態となったことを示す検出結果を、医療用撮像装置３０を経由して制御装置８０へ出力する。また、図４Ｃに示すように、取得部２３は、医療器具４０に設けられたＩＣチップ４１から医療器具情報を取得し、この医療器具情報を、医療用撮像装置３０を経由して制御装置８０へ出力する。この医療器具４０が第１の状態において、制御部８７は、予め取得された被検体Ｏ_１内の観察対象の第２の画像を表示装置７０に表示させる（シミュレーションモード）。さらに、図４Ｃに示すように、第３の検出部２５は、検出した術者によるトロッカー２０の挿入部２５１への医療器具４０の挿入量を、医療用撮像装置３０を経由して制御装置８０へ出力する。さらにまた、図４Ｃに示すように、第４の検出部２６は、検出した術者によるトロッカー２０の挿入部２５１内での医療器具４０の回転量を、医療用撮像装置３０を経由して制御装置８０へ出力する。

続いて、図４Ｄに示すように、術者は、第１の検出部２１が第１の状態を検出した状態から、医療器具４０をさらに挿入方向に沿って挿入し、医療器具４０の先端が第１の検出部２１の嵌合部材２１３に当接する。この場合、図４Ｅに示すように、術者は、第１の検出部２１の場合と同様に、医療器具４０をトロッカー２０の挿入方向にさらに押し込むことによって、付勢部材２２２の付勢力より術者による医療器具４０の押圧力を強くなることで、嵌合部材２２３が挿入部２７１の外縁側（矢印Ｂを参照）に退避する。これにより、術者は、医療器具４０を被検体Ｏ_１内に挿入することができる。この場合において、第１の検出部２１は、医療器具４０が第２の状態となったことを示す検出結果を、医療用撮像装置３０を経由して制御装置８０へ出力する。

その後、図４Ｅに示すように、第１の検出部２１の嵌合部材２１３および第２の検出部２２の嵌合部材２２３の各々は、医療器具４０に設けられた円環状をなす凹部４２および円環状をなす凹部４３に嵌合する。この場合において、制御部８７は、医療器具４０の先端が第２の検出部２２の嵌合部材２２３を通過したとき、予め取得された被検体Ｏ_１内の観察対象のシミュレーション画像から被検体Ｏ_１内の観察対象を撮像することによって生成されたライブビュー画像を表示装置７０に表示させる（シミュレーションモードからライブビューモードに切り替える）。これにより、医療器具４０が術者の意に反してトロッカー２０から抜け落ちることを防止することができる。さらに、術者は、滞りなく、シミュレーション画像からライブビュー画像に切り替えることができる。さらにまた、術者は、第１の検出部２１の嵌合部材２１３および第２の検出部２２の嵌合部材２２３の各々が嵌合した状態であっても、凹部４２および凹部４３の各々が円環状をなすため、医療器具４０を回転させながら使用することができる。この場合、制御部８７は、第３の検出部２５が検出した医療器具４０の挿入量および第４の検出部２６が検出した医療器具４０の回転量に基づいて、シミュレーション画像に写る観察対象を水平方向および水平方向の少なくとも一方に回転させる表示装置７０に表示させる。これにより、術者は、医療器具４０を操作することによって、シミュレーション画像に写る観察対象を別視点で仮想的に確認することができる。

続いて、術者は、被検体Ｏ_１の観察対象に対して表示装置７０によって表示されるライブビュー画像を見ながら処置を行う。この場合において、術者は、表示装置７０が表示するライブビュー画像に写る観察対象（処置対象）に対して、メルクマークを見つかられないとき、または術前に確認したＣＴ画像またはＭＲＩ画像において予測した状況と異なっているとき、医療器具４０が被検体Ｏ_１内に露出していない第１の状態までに引き抜く操作を行う。これにより、医療用観察システム１は、ライブビュー画像を表示するライブビューモードから被検体Ｏ_１のシミュレーション画像を表示させて観察対象に対して仮想的に処置可能なシミュレーションモードへ切り替える。この結果、術者は、医療器具４０を把持しながらライブビューモードとシミュレーションモードとを瞬時に切り替えることができる。さらに、第２の検出部２２は、医療用観察システム１がシミュレーションモードに切り替わった場合、嵌合部材２２３が挿入部２７１の挿入方向と直交する方向に飛び出しているため、術者の意図に反して医療器具４０が被検体Ｏ_１内に挿入されることを防止することができる。このとき、制御部８７は、第３の検出部２５が検出した医療器具４０の挿入量および第４の検出部２６が検出した医療器具４０の回転量に基づいて、シミュレーション画像に写る観察対象を水平方向および水平方向の少なくとも一方に回転させる表示装置７０に表示させる。これにより、術者は、術前に確認したＣＴ画像またはＭＲＩ画像において予測した状況と異なっている場合であっても、医療器具４０を操作することによって、シミュレーション画像に写る観察対象を別視点で仮想的に確認することができる。

〔医療用観察システムの処理〕
次に、医療用観察システム１が実行する処理について説明する。図５は、医療用観察システム１が実行する処理の概要を示すフローチャートである。

図５に示すように、まず、制御部８７は、トロッカー２０の第１の検出部２１によって検出された検出結果に基づいて、医療器具４０が第１の状態であるか否かを判断する（ステップＳ１０１）。具体的には、制御部８７は、トロッカー２０の第１の検出部２１から医療器具４０の挿入を検出した検出結果が入力されたか否かを判断する。制御部８７によって医療器具４０が第１の状態であると判断された場合（ステップＳ１０１：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ１０２へ移行する。これに対して、制御部８７によって医療器具４０が第１の状態でないと判断された場合（ステップＳ１０１：Ｎｏ）、医療用観察システム１は、後述するステップＳ１０８へ移行する。

ステップＳ１０２において、制御部８７は、取得部２３によって取得された医療器具４０に関する医療器具情報を取得する。具体的には、取得部２３は、医療器具４０のＩＣチップ４１から医療器具情報を取得し、この取得した医療器具情報を、医療用撮像装置３０を経由して制御部８７へ出力する。

続いて、制御部８７は、トロッカー２０の第２の検出部２２によって検出された検出結果に基づいて、医療器具４０が第２の状態であるか否かを判断する（ステップＳ１０３）。具体的には、制御部８７は、トロッカー２０の第２の検出部２２から医療器具４０の挿入を検出した検出結果（ライブビューモード）が入力されたか否かを判断する。制御部８７によって医療器具４０が第２の状態であると判断された場合（ステップＳ１０３：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ１０４へ移行する（ライブビューモードへ遷移する）。これに対して、制御部８７によって医療器具４０が第２の状態でないと判断された場合（ステップＳ１０３：Ｎｏ）、医療用観察システム１は、後述するステップＳ１０９へ移行する（シミュレーションモードへ遷移する）。

ステップＳ１０４において、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する。この場合、制御部８７は、第１の通信部８１に画像データを画像処理部８２に出力させる。

続いて、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて出力させることによって表示装置７０にライブビュー画像を表示させる（ステップＳ１０５）。具体的には、図６に示すように、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて出力させることによって表示装置７０に画像データに基づくライブビュー画像Ｐ_Ｌｉｖｅを表示させる。これにより、術者は、表示装置７０が表示するライブビュー画像Ｐ_Ｌｉｖｅを見ながら被検体Ｏ_１の観察対象に対して処置を行うことができる。

その後、制御部８７は、入力部８３から蛍光観察を行う特殊光モードを指示する指示信号が入力されたか否かを判断する（ステップＳ１０６）。制御部８７によって入力部８３から蛍光観察を行う特殊光モードを指示する指示信号が入力されたと判定された場合（ステップＳ１０６：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ１０７へ移行する。これに対して、制御部８７によって入力部８３から蛍光観察を行う特殊光モードを指示する指示信号が入力されていないと判定された場合（ステップＳ１０６：Ｎｏ）、医療用観察システム１は、後述するステップＳ１０８へ移行する。

ステップＳ１０７において、制御部８７は、被検体Ｏ_１の観察対象を撮像する医療用撮像装置３０の先端と、被検体Ｏ_１の観察対象と、の距離に基づいて、被検体Ｏ_１の観察対象の蛍光を観察する際の観察対象から医療用撮像装置３０の先端までの最適な距離を含む距離情報を、表示装置７０が表示するライブビュー画像上に重畳表示させる。具体的には、図７に示すように、制御部８７は、ライブビュー画像Ｐ_Ｌｉｖｅに距離情報Ｂ_１を重畳表示して表示装置７０に表示させる。距離情報Ｂ_１には、現在の被検体Ｏ_１の観察対象の蛍光を観察する際の観察対象から医療用撮像装置３０の先端までの現在距離Ｋ_１と、最適な距離範囲Ｈ_１と、が含まれる。ここで、最適な距離範囲Ｈ１は、医療用撮像装置３０の先端を観察対象に接触させる位置からトロッカー２０側に４ｃｍ～５ｃｍほど手前側（術者側）に引き抜いた距離である。これにより、術者は、距離情報Ｂ_１に含まれる現在距離Ｋ_１と、観察対象からの蛍光の発光量と、を観察することによって、観察対象から医療用撮像装置３０の先端までの距離によって見え方が異なる発光量であっても、偽陽性または偽陰性を確実に防止することができる。

その後、制御部８７は、入力部８３から被検体Ｏ_１の処置を終了する指示信号が入力されたか否かを判断する（ステップＳ１０８）。制御部８７によって入力部８３から被検体Ｏ_１の処置を終了する指示信号が入力されたと判断された場合（ステップＳ１０８：Ｙｅｓ）、医療用観察システム１は、本処理を終了する。これに対して、制御部８７によって入力部８３から被検体Ｏ_１の処置を終了する指示信号が入力されていないと判断した場合（ステップＳ１０８：Ｎｏ）、医療用観察システム１は、上述したステップＳ１０１へ戻る。

ステップＳ１０９において、医療用観察システム１は、被検体Ｏ_１に対応するシミュレーション画像を表示するシミュレーションモード処理を実行する。

〔シミュレーションモード処理〕
図８は、ステップＳ１０９におけるシミュレーションモード処理の概要を示すフローチャートである。

図８に示すように、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する（ステップＳ２０１）。この場合、制御部８７は、第１の通信部８１に画像データを画像処理部８２および推論部８４に出力させる。

続いて、制御部８７は、第２の通信部８６およびネットワーク１００を経由して被検体Ｏ_１に対応するシミュレーション画像データを画像サーバ９０から取得する（ステップＳ２０２）。具体的には、制御部８７は、予め術者や看護師等のユーザによって設定された被検体Ｏ_１に関する患者ＩＤに基づいて、被検体Ｏ_１の患者ＩＤに対応するシミュレーション画像データであって、ＣＴ検査またはＭＲＩ検査等によって予め被検体Ｏ１に対して撮像された２次元画像データを用いて生成されたシミュレーション画像データを画像サーバ９０から取得する。この場合、制御部８７は、第２の通信部８６にシミュレーション画像データを画像処理部８２および推論部８４の各々へ出力させる。

その後、推論部８４は、第１の通信部８１から入力された医療用撮像装置３０によって生成された画像データと、第２の通信部８６から入力されたシミュレーション画像データと、に基づいて、画像データに基づくライブビュー画像Ｐ_Ｌｉｖｅに写る臓器、血管および位置を推論する（ステップＳ２０３）。なお、推論部８４は、画像データに、距離情報が含まれている場合、この距離情報をさらに推論に用いてもよい。この場合、推論部８４は、距離情報を用いて、医療用撮像装置３０の光学系３１１の光軸（トロッカー１０の挿入方向）に対する基準としたときのライブビュー画像Ｐ_Ｌｉｖｅに写る臓器、血管および神経等の向き（方向）およびつぶれ具合等を推定してもよい。推論部８４は、推論結果を制御部８７および画像処理部８２へ出力する。また、推論部８４は、医療用撮像装置３０によって生成された画像データが光源装置６０によってマルチスペクトル光が照射されたマルチスペクトル画像データである場合、推論部８４がマルチスペクトル画像データに含まれる反射光周波数（各スペクトル毎）の違いを用いて推論した各部の生体組織種別（例えば胆嚢や膵臓等の臓器、血管、神経、リンパ、尿管および脂肪等）と、それらの位置（領域）と、をライブビュー画像上の位置に重畳させても表示装置７０に表示させてもよい。

続いて、制御部８７は、画像処理部８２に推論部８４の推論結果に基づくライブビュー画像Ｐ_Ｌｉｖｅとシミュレーション画像データに基づくシミュレーション画像との位置合わせを行わせたシミュレーション画像を生成させる（ステップＳ２０４）。具体的には、まず、制御部８７は、画像処理部８２に、推論部８４の推論結果に基づいて、ライブビュー画像Ｐ_Ｌｉｖｅとシミュレーション画像（ポリゴンデータ）との位置合わせを行わせる。そして、制御部８７は、シミュレーション画像（ポリゴンデータ）にグラフィック化を行ってシミュレーション画像を生成する。さらに、制御部８７は、取得部２３によって取得された医療器具情報に応じた医療器具４０を仮想的に表した医療器具画像をシミュレーション画像内に重畳する。さらにまた、制御部８７は、画像処理部８２にシミュレーション画像にライブビュー画像を重畳させる。なお、画像処理部８２は、推論部８４の推論結果に臓器の向きおよびつぶれ具合等を含めてシミュレーション画像を生成してもよい。

図９は、表示装置７０が表示するシミュレーション画像の一例を示す図である。図９に示すように、制御部８７は、画像処理部８２にシミュレーション画像Ｐ_ｓｉｍ１上にライブビュー画像Ｐ_Ｌｉｖｅを重畳するとともに、取得部２３によって取得された医療器具情報に応じた医療器具４０を仮想的に表した医療器具画像Ｗ４０，Ｗ５０をシミュレーション画像Ｐ_ｓｉｍ１上に重畳して表示装置７０に表示させる。なお、図９では、制御部８７は、画像処理部８２にシミュレーション画像Ｐ_ｓｉｍ１上にライブビュー画像Ｐ_Ｌｉｖｅを重畳させていたが、これに限定されることなく、シミュレーション画像Ｐ_ｓｉｍ１とライブビュー画像Ｐ_Ｌｉｖｅとを並列させてもよいし、シミュレーション画像Ｐ_ｓｉｍ１およびライブビュー画像Ｐ_Ｌｉｖｅのどちらか一方の表示領域を小さくして並列させてもよい。さらにまた、制御部８７は、シミュレーション画像Ｐ_ｓｉｍ１上に指導医等がキーボード等を用いて入力したテキストデータに基づくテキスト、腫瘍位置およびメルクマーク等の位置を重畳して表示させてもよい。

図１０は、表示装置７０が表示する医学情報の一例を示す図である。図１０に示すように、制御部８７は、第２の画像としてライブビュー画像Ｐ_Ｌｉｖｅに医学情報を重畳して表示装置７０に表示させてもよい。具体的には、図１０に示すように、制御部８７は、画像処理部８２にライブビュー画像Ｐ_Ｌｉｖｅに写る胆嚢の付近に医学情報としての胆嚢であることを示すテキストデータＡ１０および胆嚢の位置を指す矢印Ｙ１０をライブビュー画像Ｐ_Ｌｉｖｅに重畳させて表示装置７０に表示させる。ここで、医学情報とは、血管名、神経名および臓器名等である。もちろん、制御部８７は、ライブビュー画像Ｐ_Ｌｉｖｅに写る胆嚢の付近に医学情報を重畳していたが、適宜変更することができる。さらに、制御部８７は、画像処理部８２にシミュレーション画像Ｐ_ｓｉｍ１上にライブビュー画像Ｐ_Ｌｉｖｅを重畳させるとともに、シミュレーション画像Ｐ_ｓｉｍ１およびライブビュー画像Ｐ_Ｌｉｖｅの少なくとも一方に重畳させて表示装置７０に表示させてもよい。さらにまた、制御部８７は、ライブビュー画像が光源装置６０のマルチスペクトル光源によってマルチスペクトル光が照射されることによって医療用撮像装置３０が生成した画像データがマルチスペクトル画像データである場合、推論部８４がマルチスペクトル画像データに含まれる反射光周波数（各スペクトル毎）の違いを用いて推論した各部の生体組織種別（例えば胆嚢や膵臓等の臓器、血管、神経、リンパ、尿管および脂肪等）、それらの位置（領域）をライブビュー画像上の位置に重畳させて表示装置７０に表示させてもよい。

その後、制御部８７は、画像処理部８２が生成したシミュレーション画像データを表示装置７０に出力させることによって表示装置７０にシミュレーション画像を表示させる（ステップＳ２０５）。これにより、術者は、医療器具４０から手を離すことなく、自由にシミュレーション画像Ｐ_ｓｉｍ１とライブビュー画像Ｐ_Ｌｉｖｅとを切り替えることができる。さらに、術者は、実視野と同じ視野のライブビュー画像Ｐ_Ｌｉｖｅから同じ視野のシミュレーション画像Ｐ_ｓｉｍ１に切り替えので、違和感なく観察することができる。なお、制御部８７は、シミュレーション画像Ｐ_ｓｉｍ１を表示装置７０に表示させる場合、表示装置７０が表示する画像がシミュレーション画像Ｐ_ｓｉｍ１であることを音声または文字等によって警告させてもよいし、画像枠等をハイライト表示（例えば点滅等に表示）させることによって警告させてもよい。

続いて、制御部８７は、画像処理部８２に医療器具４０に対する操作内容に基づいて、シミュレーション画像の表示態様を制御する（ステップＳ２０６）。具体的には、制御部８７は、第３の検出部２５の検出結果に基づいて、医療器具４０に対する操作内容がシミュレーション画像Ｐ_ｓｉｍ１上に写る臓器Ｏ_２の奥行き方向へ進行する内容である場合、例えば医療器具４０をトロッカー２０に対して挿入方向に押し込む操作の場合、現在のシミュレーション画像Ｐ_ｓｉｍ１上に写る臓器Ｏ_２の次の層（例えば臓器を輪切りした層）または図１１に示すような臓器Ｏ_２の裏側から見た状態の臓器に加工したシミュレーション画像Ｐ_ｓｉｍ２を画像処理部８２に生成させて表示装置７０に出力させる。この場合、制御部８７は、第３の検出部２５の検出結果に基づいて、術者が医療器具４０をトロッカー２０に対して挿入方向に押し込む挿入量（操作量）に応じて臓器Ｏ_２を水平方向に回転したシミュレーション画像Ｐ_ｓｉｍ２を画像処理部８２に生成させて表示装置７０に出力させる。例えば、制御部８７は、第３の検出部２５の検出結果に基づいて、術者が医療器具４０をトロッカー２０に対して挿入方向に押し込んでいると判断し、現在のシミュレーション画像Ｐ_ｓｉｍ１上に写る臓器Ｏ_２の次の層や裏側から見た状態に加工したシミュレーション画像Ｐ_ｓｉｍ２を画像処理部８２に生成させて表示装置７０に出力させる。図１１に示す場合、シミュレーション画像Ｐ_ｓｉｍ２の臓器Ｏ_２には、裏側から見た際の血管Ｏ_３が含まれている。これにより、術者は、直感的な操作で所望の視点で仮想的に臓器を観察することができる。

また、制御部８７は、術者の操作量に応じて、現在のシミュレーション画像Ｐ_ｓｉｍ１上に写る臓器Ｏ２の次の層（例えば臓器を輪切りした層）や裏側から見た状態に加工したシミュレーション画像を画像処理部８２に生成させて表示装置７０に出力させる。なお、制御部８７は、第１の検出部２１の嵌合部材２１３が医療器具４０における凹部４２と凹部４３部との間に所定の間隔で外周側に突起させて設けられた複数の突起部４４の各々に接触して、その都度、乗り越えることによって、圧力センサ２１１が検出する圧力値の変化率が所定値以上であるか否かを判定することによって挿入量を検出するようにしてもよい。この場合、制御部８７は、第１の検出部２１の嵌合部材２１３が医療器具４０の突起部４４を乗り越えることによって変化する圧力センサ２１１の圧力値の変化率が所定値以上の数に応じて、術者が医療器具４０をトロッカー２０に対して挿入方向に押し込む挿入量（操作量）や引き抜く挿入量（操作量）を判断する。なお、制御部８７は、圧力値の変化率が所定値以上であるか否かを判断しているが、変化率に限定されることなく、圧力値の最大値および最小値であってもよい。もちろん、医療器具４０における複数の突起部４４の形状を適宜変更してもよいし、予測される圧力値に応じて複数の突起部４４の形状を変更してもよい。

また、制御部８７は、第４の検出部２６の検出結果に基づいて、術者が医療器具４０をトロッカー２０に対して回転させた回転量に応じて臓器Ｏ_２を垂直方向に回転したシミュレーション画像を画像処理部８２に生成させて表示装置７０に出力させてもよい。もちろん、制御部８７は、第３の検出部２５の検出結果および第４の検出部２６の検出結果に基づいて、臓器Ｏ_２を水平方向および垂直方向に回転したシミュレーション画像を画像処理部８２に生成させて表示装置７０に出力させてもよい。

また、制御部８７は、医療器具４０に対する操作内容がシミュレーション画像Ｐ_ｓｉｍ２上に写る臓器Ｏ_２と脂肪とを医療器具４０によって切除する内容である場合、図１２に示すように、医療器具４０によって臓器Ｏ_２から脂肪を切り離すシミュレーション画像Ｐ_ｓｉｍ２上を画像処理部８２に生成させて表示装置７０に出力させる。これにより、術者は、シミュレーション画像Ｐ_ｓｉｍ２上において仮想的にシミュレーションを行うことができる。さらに、術者は、使い慣れた医療器具４０でシミュレーションを行うことができる。ステップＳ２０６の後、図５のメインルーチンへ戻り、ステップＳ１１０へ移行する。

図５に戻り、ステップＳ１１０以降の説明を続ける。
ステップＳ１１０において、制御部８７は、トロッカー２０の第２の検出部２２によって検出された検出結果に基づいて、医療器具４０が第２の状態であるか否かを判断する。具体的には、制御部８７は、トロッカー２０の第２の検出部２２から医療器具４０の挿入を検出した検出結果（ライブビューモード）が入力されたか否かを判断する。制御部８７によって医療器具４０が第２の状態であると判断した場合（ステップＳ１１０：Ｙｅｓ）、医療用観察システム１は、ステップＳ１０４へ移行する（ライブビューモードへ遷移する）。これにより、術者は、医療器具４０から手を離すことなく、そのまま自由にシミュレーション画像Ｐ_ｓｉｍ１から現在の視野のライブビュー画像Ｐ_Ｌｉｖｅに違和感なく切り替えることができ、処置を行うことができる。さらに、術者は、トロッカー２０を経由して医療器具４０に対する簡易な操作でシミュレーション画像Ｐ_ｓｉｍ１（シミュレーションモード）とライブビュー画像Ｐ_Ｌｉｖｅ（ライブビューモード）と切り替えることができ、安全に手技を行うことができる。さらに、術者は、トロッカー２０を経由して医療器具４０に対する簡易な操作でシミュレーション画像Ｐ_ｓｉｍ１（シミュレーションモード）とライブビュー画像Ｐ_Ｌｉｖｅ（ライブビューモード）と切り替えることができるため、術前に、チーム全員で確認および評価を行うことができるので、より一層手技の効率化を図ることができる。さらに、術者は、医療器具４０をトロッカー２０に対して強く挿入しなければ第２の状態にすることができないので、安全性を高めることができる。これに対して、制御部８７によって医療器具４０が第２の状態でないと判断した場合（Ｓ１１０：Ｎｏ）、医療用観察システム１は、ステップＳ１０９へ移行する（シミュレーションモードを継続する）。これにより、医療器具４０がトロッカー２０内に位置する第１の状態である場合のみ、シミュレーション画像Ｐ_ｓｉｍ１を表示するため、被検体Ｏ_１の術部に触れることを防止することができる。

以上説明した実施の形態１によれば、制御部８７が術者によって把持された医療器具４０が挿入され、かつ、医療器具４０の被検体Ｏ_１内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカー２０の検出結果に基づいて、被検体Ｏ_１内の観察対象を撮像することによって生成されたライブビュー画像および予め取得された被検体Ｏ_１内の観察対象のシミュレーション画像の少なくとも一方を表示装置７０に表示させるため、術中における術者の邪魔をすることなく、術中の術者を補助することができるうえ、術者の経験値に関係なく、手術を行うことができる。

また、実施の形態１によれば、制御部８７がトロッカー２０によって医療器具４０が第２の状態であると検出された場合、ライブビュー画像Ｐ_Ｌｉｖｅを表示装置７０に表示させるため、術者がライブビュー画像Ｐ_Ｌｉｖｅを見つつ、把持した医療器具４０，５０によって処置を行うことができる。

また、実施の形態１によれば、制御部８７がトロッカー２０によって医療器具４０が第１の状態であると検出された場合、ライブビュー画像Ｐ_Ｌｉｖｅおよびシミュレーション画像Ｐ_ｓｉｍ１の少なくとも一方を表示装置７０に表示させるため、術者が医療器具４０を把持しながらライブビュー画像Ｐ_Ｌｉｖｅとシミュレーション画像Ｐ_ｓｉｍ１とをスムーズに切り替えることができるうえ、他のスイッチや医療器具に持ち替えることなく行うことができる。

また、実施の形態１によれば、制御部８７がトロッカー２０によって検出された医療器具４０に関する医療器具情報に基づいて、シミュレーション画像Ｐ_ｓｉｍ１上に医療器具に対応する医療器具画像を重畳して表示装置７０に表示させるため、処置を行う対象物と医療器具４０との位置関係を直感的に把握することができる。

また、実施の形態１によれば、制御部８７が医療器具４０に対する術者の操作内容に基づいて、医療器具画像およびシミュレーション画像Ｐ_ｓｉｍ１の表示態様を制御するため、実際の感覚に似た操作でシミュレーションを行うことができる。

また、実施の形態１によれば、制御部８７がライブビュー画像Ｐ_Ｌｉｖｅからシミュレーション画像Ｐ_ｓｉｍ１に切り替える場合、推論部８４の推定結果に基づいて、ライブビュー画像Ｐ_Ｌｉｖｅに写る臓器の位置とシミュレーション画像Ｐ_ｓｉｍ１に含まれる臓器の位置との位置合わせを行ってシミュレーション画像Ｐ_ｓｉｍ１を表示装置７０に表示させるため、ライブビュー画像Ｐ_Ｌｉｖｅから違和感なくシミュレーション画像Ｐ_ｓｉｍ１に切り替えることができるうえ、現在の観察視野に写る臓器を見失うことを防止することができる。

また、実施の形態１によれば、医療器具４０が第１の状態である場合、制御部８７がシミュレーション画像Ｐ_ｓｉｍ１上にライブビュー画像Ｐ_Ｌｉｖｅを縮小して重畳した状態で表示装置７０に表示させるため、シミュレーション画像Ｐ_ｓｉｍ１とライブビュー画像Ｐ_Ｌｉｖｅとを比較しながらシミュレーションを行うことができる。

また、実施の形態１によれば、制御部８７がライブビュー画像Ｐ_Ｌｉｖｅからシミュレーション画像Ｐ_ｓｉｍ１にきりかえ場合、表示装置７０に警告を出力させるため、術者がライブビュー画像Ｐ_Ｌｉｖｅからシミュレーション画像Ｐ_ｓｉｍ１に切り替わったことを直感的に把握することができる。

また、実施の形態１によれば、トロッカー２０が検出したトロッカー２０の挿入部２７１への医療器具４０，５０の挿入量およびトロッカー２０の挿入部２７１を軸に回転する医療器具４０，５０の回転量に基づいて、制御部８７がシミュレーション画像Ｐ_ｓｉｍ２に写る観察対象を水平方向および水平方向の少なくとも一方に回転させる表示装置７０に表示させる。これにより、術者は、医療器具４０，５０を操作するだけで、シミュレーション画像を所望の視点に遷移させることができる。

また、実施の形態１によれば、制御部８７が被検体Ｏ_１の観察対象を撮像する医療用撮像装置３０の先端と、被検体Ｏ_１の観察対象と、の距離に基づいて、被検体Ｏ_１の観察対象の蛍光を観察する際の観察対象から医療用撮像装置３０の先端までの最適な距離を含む距離情報Ｂ_１を、表示装置７０が表示するライブビュー画像Ｐ_Ｌｉｖｅ上に重畳表示させる。これにより、術者は、距離情報Ｂ_１に含まれる現在距離Ｋ_１と、観察対象からの蛍光の発光量と、を観察することによって、観察対象から医療用撮像装置３０の先端までの距離によって見え方が異なる発光量であっても、偽陽性または偽陰性を確実に防止することができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、上述した実施の形態１に係る医療用観察システム１と同一の構成を有し、実行する処理が異なる。具体的には、上述した実施の形態１では、１つのトロッカー２０による検出結果に基づいて、ライブビュー画像およびシミュレーション画像の少なくとも一方を表示装置７０に表示させていたが、実施の形態２では、２つのトロッカーの各々の検出結果に基づいて、ライブビュー画像およびシミュレーション画像の少なくとも一方を表示装置７０に表示させる。以下においては、実施の形態２に係る医療用観察システムが実行する処理について説明する。なお、上述した実施の形態１に係る医療用観察システム１と同一の構成には同一の符号を付して詳細な説明を省略する。

〔医療用観察システムの処理〕
図１３は、実施の形態２に係る医療用観察システム１が実行する処理の概要を示すフローチャートである。

図１３に示すように、まず、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第１の検出部２１の各々によって検出された検出結果に基づいて、２つの医療器具４０，５０が第１の状態になったか否かを判断する。具体的には、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第１の検出部２１の各々から医療器具４０または医療器具５０の挿入を検出した検出結果が入力されたか否かを判断する。制御部８７によって２つの医療器具４０，５０が第１の状態であると判断された場合（ステップＳ３０１：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ３０２へ移行する。これに対して、制御部８７によって２つの医療器具４０，５０が第１の状態でないと判断された場合（ステップＳ３０１：Ｎｏ）、医療用観察システム１は、後述するステップＳ３１３へ移行する。

ステップＳ３０２において、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの取得部２３によって取得された医療器具４０，５０の各々の種別情報を取得する。

続いて、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第２の検出部２２の各々によって検出された検出結果に基づいて、２つの医療器具４０，５０が第２の状態になったか否かを判断する（ステップＳ３０３）。具体的には、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第２の検出部２２の各々から医療器具４０または医療器具５０の挿入を検出した検出結果が入力されたか否かを判断する。制御部８７によって２つの医療器具４０，５０が第２の状態であると判断された場合（ステップＳ３０３：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ３０６へ移行する。これに対して、制御部８７によって２つの医療器具４０，５０が第２の状態でないと判断された場合（ステップＳ３０３：Ｎｏ）、医療用観察システム１は、後述するステップＳ３０４へ移行する。

ステップＳ３０４において、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する。この場合、制御部８７は、第１の通信部８１に画像データを画像処理部８２に出力させる。

その後、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて表示装置７０に出力させることによって表示装置７０に画像データに基づくライブビュー画像（例えば図６のライブビュー画像Ｐ_Ｌｉｖｅを参照）を表示させる（ステップＳ３０５）。ステップＳ３０５の後、医療用観察システム１は、上述したステップＳ３０３へ戻る。

ステップＳ３０６において、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する。

続いて、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて出力させることによって表示装置７０にライブビュー画像を表示させる（ステップＳ３０７）。

その後、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第２の検出部２２の各々によって検出された検出結果に基づいて、２つの医療器具４０，５０が第２の状態になったか否かを判断する（ステップＳ３０８）。制御部８７によって２つの医療器具４０，５０が第２の状態になったと判断された場合（ステップＳ３０８：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ３０９へ移行する。これに対して、制御部８７によって２つの医療器具４０，５０が第２の状態になっていないと判断された場合（ステップＳ３０８：Ｎｏ）、医療用観察システム１は、後述するステップＳ３１４へ移行する。

ステップＳ３０９において、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する。

続いて、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて出力させることによって表示装置７０にライブビュー画像を表示させる（ステップＳ３１０）。これにより、術者は、２つの医療器具４０，５０を被検体Ｏ_１内に挿入した状態でライブビュー画像を見ながら処置を行う。

ステップＳ３１１～ステップＳ３１５は、上述した図５のステップＳ１０６～ステップＳ１１０それぞれに対応する。

ステップＳ３１６において、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第２の検出部２２の各々によって検出された検出結果に基づいて、２つの医療器具４０，５０のうち１つが第２の状態になったか否かを判断する。制御部８７によって２つの医療器具４０，５０のうち１つが第２の状態であると判断された場合（ステップＳ３１６：Ｙｅｓ）、医療用観察システム１は、ステップＳ３０９へ移行する。これにより、術者は、２つの医療器具４０，５０のうち１つが第１の状態となった場合であっても、制御部８７がライブビュー画像を表示装置７０に表示させるため（ライブビューモードへ遷移）、実際の視野において被検体Ｏ_１の処置を行うことができる。この場合、制御部８７は、表示装置７０にシミュレーション画像でないことを音声およびテキスト等によって警告させてもよい。これに対して、制御部８７によって２つの医療器具４０，５０のうち１つが第２の状態でないと判断された場合（ステップＳ３１６：Ｎｏ）、医療用観察システム１は、ステップＳ３０３へ移行する。

以上説明した実施の形態２によれば、制御部８７が術者によって把持された２つの医療器具４０，５０が挿入され、かつ、医療器具４０の被検体Ｏ_１内への挿入状態を示す第１の状態と第２の状態を検出可能な２つのトロッカー２０の検出結果に基づいて、被検体Ｏ_１内の観察対象を撮像することによって生成されたライブビュー画像および予め取得された被検体Ｏ_１内の観察対象のシミュレーション画像の少なくとも一方を表示装置７０に表示させるため、術中における術者の邪魔をすることなく、術中の術者を補助することができる。

また、実施の形態１によれば、制御部８７が２つのトロッカー２０によって２つの医療器具４０，５０が第２の状態であると検出された場合、ライブビュー画像Ｐ_Ｌｉｖｅを表示装置７０に表示させるため、術者がライブビュー画像Ｐ_Ｌｉｖｅを見つつ、把持した医療器具４０，５０によって処置を行うことができる。

また、実施の形態１によれば、制御部８７が２２つのトロッカー２０によって２つの医療器具４０，５０が第１の状態であると検出された場合、少なくともシミュレーション画像Ｐ_ｓｉｍ１の少なくとも一方を表示装置７０に表示させるため、術者が医療器具４０を把持しながらライブビュー画像Ｐ_Ｌｉｖｅとシミュレーション画像Ｐ_ｓｉｍ１とをスムーズに切り替えることができるうえ、他のスイッチや他の医療器具に持ち替えることなく行うことができる。

また、実施の形態１では、制御部８７が２２つのトロッカー２０によって２つの医療器具４０，５０が第１の状態であると検出された場合のみ、少なくともシミュレーション画像Ｐ_ｓｉｍ１を表示装置７０に表示させるため、術者が医療器具４０を把持しながらライブビュー画像Ｐ_Ｌｉｖｅとシミュレーション画像Ｐ_ｓｉｍ１とをスムーズに切り替えることができる。

（その他の実施の形態）
上述した本開示の実施の形態１，２に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１，２に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。

また、本開示の実施の形態１，２に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

また、本開示の実施の形態１，２に係る医療用観察システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本開示の実施の形態１，２に係る医療用観察システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。

なお、本技術は以下のような構成も取ることができる。
（付記１）
術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象に関する第２の画像の少なくとも一方を表示装置に表示させる制御部を備える、
医療用画像処理装置。
（付記２）
（付記１）に記載の医療用画像処理装置であって、
前記第１の状態は、前記医療器具が前記トロッカー内に位置する状態であり、
前記第２の状態は、少なくとも前記医療器具の一部が前記トロッカーを経由して前記被検体内に挿入されて露出した状態である、
医療用画像処理装置。
（付記３）
（付記１）または（付記２）に記載の医療用画像処理装置であって、
前記制御部は、
前記医療器具が前記第２の状態である場合、前記第１の画像を前記表示装置に表示させる一方、
前記医療器具が前記第１の状態である場合、少なくとも前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。
（付記４）
（付記１）～（付記３）のいずれか１つに記載の医療用画像処理装置であって、
前記制御部は、
前記トロッカーによって検出された前記医療器具に関する医療器具情報に基づいて、前記第２の画像上に前記医療器具に対応する医療器具画像を重畳して前記表示装置に表示させる、
医療用画像処理装置。
（付記５）
（付記４）に記載の医療用画像処理装置であって、
前記制御部は、
前記医療器具に対する術者の操作内容に基づいて、前記医療器具画像および前記第２の画像の表示態様を制御する、
医療用画像処理装置。
（付記６）
（付記５）に記載の医療用画像処理装置であって、
前記第１の画像に写る臓器の位置と前記第２の画像に含まれる臓器の位置との位置を推定する推論部をさらに備え、
前記制御部は、
前記第１の画像から前記第２の画像に切り替える場合、前記推論部の推定結果に基づいて、前記第１の画像に写る臓器の位置と前記第２の画像に含まれる臓器の位置との位置合わせを行った前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。
（付記７）
（付記１）～（付記６）のいずれか１つに記載の医療用画像処理装置であって、
前記制御部は、
前記第１の画像と前記第２の画像とを並列させて前記表示装置に表示させる、または前記第２の画像上に前記第１の画像を縮小して重畳した状態で前記表示装置に表示させる、
医療用画像処理装置。
（付記８）
（付記１）～（付記７）のいずれか１つに記載の医療用画像処理装置であって、
前記制御部は、
前記第１の画像から前記第２の画像を切り替える場合、前記表示装置に警告を出力させる、
医療用画像処理装置。
（付記９）
（付記１）～（付記８）のいずれか１つに記載の医療用画像処理装置であって、
前記トロッカーは、２つであり、
２つの前記トロッカーの各々が前記第２の状態を検出した場合、前記第１の画像を前記表示装置に表示させる一方、
２つの前記トロッカーの各々が前記第１の状態を検出した場合、少なくとも前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。
（付記１０）
（付記１）～（付記９）のいずれか１つに記載の医療用画像処理装置であって、
前記第１の画像は、
前記被検体内の観察対象を連続的に撮像することによって生成されたライブビュー画像であり、
前記第２の画像は、
前記被検体内の観察対象のシミュレーション画像である、
医療用画像処理装置。
（付記１１）
（付記１）～（付記９）のいずれか１つに記載の医療用画像処理装置であって、
前記第１の画像は、
前記被検体内の観察対象を連続的に撮像することによって生成されたライブビュー画像であり、
前記第２の画像は、
前記被検体内の観察対象に関する医学情報である、
医療用画像処理装置。
（付記１２）
（付記５）に記載の医療用画像処理装置であって、
前記制御部は、
前記トロッカーが検出した前記トロッカーの挿入部を軸に回転する前記医療器具の回転量および前記トロッカーの挿入部への前記医療器具の挿入量の少なくとも一方に基づいて、前記第２の画像に写る前記観察対象を水平方向および垂直方向の少なくとも一方に回転させて前記表示装置に表示させる、
医療用画像処理装置。
（付記１３）
（付記１）に記載の医療用画像処理装置であって、
前記制御部は、
前記観察対象を撮像する医療用撮像装置の先端と、前記観察対象と、の距離に基づいて、前記観察対象の蛍光を観察する際の前記観察対象から前記先端までの最適な距離を含む距離情報を前記表示装置に表示させる、
医療用画像処理装置。
（付記１４）
筒状をなし、外部から医療器具が挿入可能な穴部を有する本体部と、
前記穴部の挿入方向に沿って設けられ、前記穴部に挿入された前記医療器具の位置を第１の状態として検出する第１の検出部と、
前記穴部の挿入方向に沿って前記第１の検出部より挿入距離が長い位置に設けられ、前記穴部に挿入された前記医療器具の位置を第２の状態として検出する第２の検出部と、
を備える、
トロッカー。
（付記１５）
付記１４に記載のトロッカーであって、
前記穴部に挿入される前記医療器具に設けられた前記医療器具に関する医療器具情報を取得する取得部をさらに備える、
トロッカー。
（付記１６）
（付記１４）または（付記１５）に記載のトロッカーであって、
前記第１の検出部および前記第２の検出部の各々は、
前記穴部に突出可能に設けられ、前記医療器具に嵌合する嵌合部材と
前記嵌合部材を前記穴部の外縁から中心に向けて付勢する付勢部材と、
前記付勢部材の付勢状態を検出し、この検出結果を外部へ出力する圧力センサと、
を有する、
トロッカー。
（付記１７）
（付記１４）または（付記１５）に記載のトロッカーであって、
前記第１の状態は、前記医療器具が当該トロッカー内に位置する状態であり、
前記第２の状態は、少なくとも前記医療器具の一部が当該トロッカーを経由して被検体内に挿入されて露出した状態である、
トロッカー。
（付記１８）
被検体の観察対象を撮像することによって第１の画像を生成する撮像部と、
予め取得された前記被検体の観察対象の３次元画像データまたは２次元画像データに基づく第２の画像を記録する記録部と、
前記第１の画像および前記第２の画像を表示可能な表示装置と、
術者によって把持された医療器具が挿入され、かつ、該医療器具の前記被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーと、
前記トロッカーの検出結果に基づいて、前記第１の画像および前記第２の画像像の少なくとも一方を前記表示装置に表示させる制御部と、
を備える、
医療用観察システム。
（付記１９）
術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる、
画像処理方法。
（付記２０）
医療用画像処理装置に実行させるプログラムであって、
術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる、
プログラム。

１ 医療用観察システム
１０，２０，２０Ｌ，２０Ｒ トロッカー
２１ 第１の検出部
２２ 第２の検出部
２３ 取得部
２４，３２，９１ 通信部
２５ 第３の検出部
２６ 第４の検出部
２７ 本体部
３０ 医療用撮像装置
３１ 撮像部
３３ 撮像制御部
４０，５０ 医療器具
４１ ＩＣチップ
４２，４３ 凹部
６０ 光源装置
７０ 表示装置
８０ 制御装置
８１ 第１の通信部
８２ 画像処理部
８３ 入力部
８４ 推論部
８５ 記録部
８６ 第２の通信部
８７ 制御部
９０ 画像サーバ
９２ 患者シミュレーション画像データ記録部
９３ 患者２次元画像データ記録部
９４ 患者データ記録部
９５ 医療器具データ記録部
９６ 生成部
９７ サーバ制御部
１００ ネットワーク
２１１，２２１ 圧力センサ
２１２，２２２ 付勢部材
２１３，２２３ 嵌合部材
２７１ 挿入部
２７２ 突部
２７３ 露出部
３１１ 光学系
３１２ 撮像素子
８５１ プログラム記録部
Ａ１０ 医学情報
Ｏ_１ 被検体
Ｏ_２ 臓器
Ｏ_３ 血管
Ｐ_Ｌｉｖｅ ライブビュー画像
Ｐ_ｓｉｍ１，Ｐ_ｓｉｍ２ シミュレーション画像
Ｙ１０ 矢印

Claims (17)

1. 術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象に関する第２の画像の少なくとも一方を表示装置に表示させる制御部を備え、
   前記第１の状態は、前記医療器具が前記トロッカー内に位置する状態であり、
   前記第２の状態は、少なくとも前記医療器具の一部が前記トロッカーを経由して前記被検体内に挿入されて露出した状態である、
   医療用画像処理装置。
2. 術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象に関する第２の画像の少なくとも一方を表示装置に表示させる制御部を備え、
   前記制御部は、
   前記医療器具が前記第２の状態である場合、前記第１の画像を前記表示装置に表示させる一方、
   前記医療器具が前記第１の状態である場合、少なくとも前記第２の画像を前記表示装置に表示させる、
   医療用画像処理装置。
3. 請求項１に記載の医療用画像処理装置であって、
   前記制御部は、
   前記トロッカーによって検出された前記医療器具に関する医療器具情報に基づいて、前記第２の画像上に前記医療器具に対応する医療器具画像を重畳して前記表示装置に表示させる、
   医療用画像処理装置。
4. 請求項３に記載の医療用画像処理装置であって、
   前記制御部は、
   前記医療器具に対する術者の操作内容に基づいて、前記医療器具画像および前記第２の画像の表示態様を制御する、
   医療用画像処理装置。
5. 請求項４に記載の医療用画像処理装置であって、
   前記第１の画像に写る臓器の位置と前記第２の画像に含まれる臓器の位置との位置を推定する推論部をさらに備え、
   前記制御部は、
   前記第１の画像から前記第２の画像に切り替える場合、前記推論部の推定結果に基づいて、前記第１の画像に写る臓器の位置と前記第２の画像に含まれる臓器の位置との位置合わせを行った前記第２の画像を前記表示装置に表示させる、
   医療用画像処理装置。
6. 請求項１に記載の医療用画像処理装置であって、
   前記制御部は、
   前記第１の画像と前記第２の画像とを並列させて前記表示装置に表示させる、または前記第２の画像上に前記第１の画像を縮小して重畳した状態で前記表示装置に表示させる、
   医療用画像処理装置。
7. 請求項１に記載の医療用画像処理装置であって、
   前記制御部は、
   前記第１の画像から前記第２の画像を切り替える場合、前記表示装置に警告を出力させる、
   医療用画像処理装置。
8. 術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象に関する第２の画像の少なくとも一方を表示装置に表示させる制御部を備え、
   前記トロッカーは、２つであり、
   ２つの前記トロッカーの各々が前記第２の状態を検出した場合、前記第１の画像を前記表示装置に表示させる一方、
   ２つの前記トロッカーの各々が前記第１の状態を検出した場合、少なくとも前記第２の画像を前記表示装置に表示させる、
   医療用画像処理装置。
9. 請求項１に記載の医療用画像処理装置であって、
   前記第１の画像は、
   前記被検体内の観察対象を連続的に撮像することによって生成されたライブビュー画像であり、
   前記第２の画像は、
   前記被検体内の観察対象のシミュレーション画像である、
   医療用画像処理装置。
10. 請求項１に記載の医療用画像処理装置であって、
    前記第１の画像は、
    前記被検体内の観察対象を連続的に撮像することによって生成されたライブビュー画像であり、
    前記第２の画像は、
    前記被検体内の観察対象に関する医学情報である、
    医療用画像処理装置。
11. 請求項４に記載の医療用画像処理装置であって、
    前記制御部は、
    前記トロッカーが検出した前記トロッカーの挿入部を軸に回転する前記医療器具の回転量および前記トロッカーの挿入部への前記医療器具の挿入量の少なくとも一方に基づいて、前記第２の画像に写る前記観察対象を水平方向および垂直方向の少なくとも一方に回転させて前記表示装置に表示させる、
    医療用画像処理装置。
12. 請求項１に記載の医療用画像処理装置であって、
    前記制御部は、
    前記観察対象を撮像する医療用撮像装置の先端と、前記観察対象と、の距離に基づいて、前記観察対象の蛍光を観察する際の前記観察対象から前記先端までの最適な距離を含む距離情報を前記表示装置に表示させる、
    医療用画像処理装置。
13. 被検体の観察対象を撮像することによって第１の画像を生成する撮像部と、
    予め取得された前記被検体の観察対象の３次元画像データまたは２次元画像データに基づく第２の画像を記録する記録部と、
    前記第１の画像および前記第２の画像を表示可能な表示装置と、
    術者によって把持された医療器具が挿入され、かつ、該医療器具の前記被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーと、
    前記トロッカーの検出結果に基づいて、前記第１の画像および前記第２の画像の少なくとも一方を前記表示装置に表示させる制御部と、
    を備え、
    前記第１の状態は、前記医療器具が前記トロッカー内に位置する状態であり、
    前記第２の状態は、少なくとも前記医療器具の一部が前記トロッカーを経由して前記被検体内に挿入されて露出した状態である、
    医療用観察システム。
14. 被検体の観察対象を撮像することによって第１の画像を生成する撮像部と、
    予め取得された前記被検体の観察対象の３次元画像データまたは２次元画像データに基づく第２の画像を記録する記録部と、
    前記第１の画像および前記第２の画像を表示可能な表示装置と、
    術者によって把持された医療器具が挿入され、かつ、該医療器具の前記被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーと、
    前記トロッカーの検出結果に基づいて、前記第１の画像および前記第２の画像の少なくとも一方を前記表示装置に表示させる制御部と、
    を備え、
    前記制御部は、
    前記医療器具が前記第２の状態である場合、前記第１の画像を前記表示装置に表示させる一方、
    前記医療器具が前記第１の状態である場合、少なくとも前記第２の画像を前記表示装置に表示させる、
    医療用観察システム。
15. 被検体の観察対象を撮像することによって第１の画像を生成する撮像部と、
    予め取得された前記被検体の観察対象の３次元画像データまたは２次元画像データに基づく第２の画像を記録する記録部と、
    前記第１の画像および前記第２の画像を表示可能な表示装置と、
    術者によって把持された医療器具が挿入され、かつ、該医療器具の前記被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーと、
    前記トロッカーの検出結果に基づいて、前記第１の画像および前記第２の画像の少なくとも一方を前記表示装置に表示させる制御部と、
    を備え、
    前記トロッカーは、２つであり、
    ２つの前記トロッカーの各々が前記第２の状態を検出した場合、前記第１の画像を前記表示装置に表示させる一方、
    ２つの前記トロッカーの各々が前記第１の状態を検出した場合、少なくとも前記第２の画像を前記表示装置に表示させる、
    医療用観察システム。
16. 医療用画像処理装置の作動方法であって、
    制御部が、術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させ、
    前記第１の状態は、前記医療器具が前記トロッカー内に位置する状態であり、
    前記第２の状態は、少なくとも前記医療器具の一部が前記トロッカーを経由して前記被検体内に挿入されて露出した状態である、
    医療用画像処理装置の作動方法。
17. 医療用画像処理装置に実行させるプログラムであって、
    術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させ、
    前記第１の状態は、前記医療器具が前記トロッカー内に位置する状態であり、
    前記第２の状態は、少なくとも前記医療器具の一部が前記トロッカーを経由して前記被検体内に挿入されて露出した状態である、
    プログラム。

Images