JP2023103499A - 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法 - Google Patents

Abstract

【課題】医用画像内において３Ｄモデル画像の位置が容易に把握可能な医用画像処理システムを提供する。
【解決手段】医用画像処理システムは、術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得部３０２と、３Ｄモデル画像に設定された情報に基づいて３Ｄ手術画像を立体視したときの所定の空間位置に３Ｄモデル画像の重畳を開始するときに、３Ｄ手術画像または前記３Ｄモデル画像に対して３Ｄモデル画像が所定の空間位置に位置することを強調する強調処理を行う重畳部３０４と、を備える。
【選択図】図４

Description

本開示は、医用画像処理システム、手術画像制御装置、及び、手術画像制御方法に関する。

内視鏡や手術用顕微鏡により術場を撮像した手術画像を見ながら手術を行う手術スタイルが提案されている。このとき、血管の位置などをより正確に術者が把握するため、手術画像は３Ｄ交差画像や右目用画像と左目用画像などを術者に表示することにより、術者が術場を３Ｄで把握できる画像（以下、３Ｄ手術画像）となっていることが求められている。

特開２０２０－２２５６３号公報 特開２０１９－１６２３３９号公報

しかしながら、３Ｄ手術画像にナビゲーションなどを示す３Ｄモデル画像を重畳した場合、リアル画像と３Ｄモデル画像のテクスチャーの不一致や明るさの不一致などにより、術者の視覚時に違和感が生じる。これにより、術者の脳内において、３Ｄ手術画像が示す空間における３Ｄモデル画像の位置が把握しづらくなる。すなわち、３Ｄ手術画像において３Ｄモデル画像の空間的な重畳位置が術者の脳内における３Ｄモデル画像の空間的な重畳位置が異なったり、３Ｄモデル画像が３Ｄとして把握されなかったりする可能性がある。そこで、本開示の一態様は、３Ｄ手術画像内において３Ｄモデル画像の位置が容易に把握可能な医用画像処理システムを提供する。

上記の課題を解決するために、本開示では、術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得部と、
前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳部と、
を備える、医用画像処理システムが提供される。

前記重畳部が重畳した前記３Ｄ手術画像と前記３Ｄモデル画像とを表示する表示装置を、
更に備えてもよい。

前記重畳部は、前記所定の空間位置を基準とした奥行方向に前後移動する前記３Ｄモデル画像を生成してもよい。

前記重畳部は、前記所定の空間位置を基準とした奥行方向の前後移動の移動量が徐々に小さくなる前記３Ｄモデル画像を生成してもよい。

前記重畳部は、前記所定の空間位置を基準とした奥行方向の前後移動の移動量を前記３Ｄモデル画像の大きさにより変えてもよい。

前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像を回転させてもよい。

前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像の色を変更させてもよい。

前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像の色を徐々に変化させてもよい。

前記重畳部は、前記強調処理を行う場合に、３Ｄ手術画像の色、空間周波数の少なくとも一方を変更してもよい。

前記３Ｄ手術画像を生成するために用いる原画像を撮影する内視鏡、及び手術用顕微鏡の少なくとも一方を、更に備えてもよい。

上記の課題を解決するために、本開示では、術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得部と、
前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳部と、
を備える、手術画像制御装置が提供される。

上記の課題を解決するために、本開示では、術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得工程と、
前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳工程と、
を備える、手術画像制御方法が提供される。

本実施形態に係る医用画像処理システム１のブロック図。 本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図。 図２に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図。 医用画像処理装置、及び手術画像制御装置０の構成例を示すブロック図。 ３Ｄデータ生成部の構成例を示すブロック図。 指医用画像記憶部に記憶される血管の３Ｄモデル画像の一部を表示装置に表示させる例を示す図。 位置合わせ処理部２０６による指示座標ｃの一例を示す図。 重畳部の構成例を示すブロック図。 ３Ｄモデル画像を３Ｄ手術画像内の指示座標に配置した図。 奥行き処理部が生成したＣＧ画像を３Ｄ手術画像に重畳した例を模式的に示す図。 アジャスト処理部が生成したＣＧ画像を模式的に示す図。 回転処理部が生成したＣＧ画像を模式的に示す図。 色処理部が生成したＣＧ画像を模式的に示す図。 ３Ｄ手術画像に色を付け透過させ生成した３Ｄ手術画像像を模式的に示す図。 医用画像処理システムの処理例を示すフローチャート。 本開示に係る技術が適用され得る顕微鏡手術システムの概略的な構成の一例を示す図。 図１６に示す顕微鏡手術システムを用いた手術の様子を示す図。

以下、図面を参照して、医用画像処理システム、手術画像制御装置、及び手術画像制御方法の実施形態について説明する。以下では、医用画像処理システム、手術画像制御装置、及び手術画像制御方法の主要な構成部分を中心に説明するが、医用画像処理システム、手術画像制御装置、及び手術画像制御方法には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

図１は、本実施形態に係る医用画像処理システム１のブロック図である。図１に示すように、医用画像処理システム１は、術者に手術画像を３Ｄ交差画像や右目用画像と左目用画像などとして表示可能なシステムである。この医用画像処理システム１は、医用画像撮影装置１００と、医用画像処理装置２００と、手術画像制御装置３００と、表示装置４００ と、操作入力部５００とを、備える。

医用画像撮影装置１００は、人体を撮影可能な撮影装置である。医用画像撮影装置１００は、例えば内視鏡、及び手術用顕微鏡などであり、特に手術中の画像をリアルタイムに撮影可能である。医用画像撮影装置１００の詳細は、後述する。

医用画像処理装置２００は、医用画像撮影装置１００が撮像した原画像を用いて、術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像を生成する。また、医用画像処理装置２００は、３Ｄ手術画像にナビゲーションなどを示す３Ｄモデル画像を生成する。３Ｄモデル画像は、例えば移植する血管、臓器などの３Ｄモデルである。医用画像処理装置２００の詳細も後述する。

手術画像制御装置３００は、医用画像処理装置２００で生成された３Ｄ手術画像と、３Ｄモデル画像とを重畳し、表示装置４００に表示させる制御を行う。手術画像制御装置３００の詳細も後述する。

表示装置４００は、３Ｄ表示が可能な装置であり、各種の情報を表示する。例えば、表示装置４００は、手術画像制御装置３００によって生成された３Ｄ手術画像と、３Ｄモデル画像とを重畳し医用画像や、操作者からの各種操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を出力する。

操作入力部５００は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して医用画像処理装置２００に出力する。例えば、操作入力部５００は、３Ｄモデル画像の配置位置、３Ｄモデル画像の表示条件や、３Ｄ手術画像を構成する際の構成条件、３Ｄ手術画像と、３Ｄモデル画像とを重畳する際の画像処理条件等を操作者から受け付ける。例えば、操作入力部５００は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック等により実現される。

ここで、図２、及び３を用いて、医用画像処理システム１を含む内視鏡手術システム５０００の一構成例を説明する。なお、本実施形態に係る内視鏡手術システム５０００の内視鏡５００１が医用画像撮影装置１００に対応し、ＣＣＵ５０３９が医用画像処理装置２００、及び手術画像制御装置３００に対応し、表示装置５０４１が表示装置４００に対応する。このＣＣＵ５０３９の一般的な機能をまず詳細に説明し、特徴的な機能は図４乃至図１４を用いてより詳細に説明する。

図２は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図２では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図２では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図３を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図３は、図２に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図３を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医用スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

ここで、図４に基づき、医用画像処理装置２００及び手術画像制御装置３００の詳細を説明する。図４は、医用画像処理装置２００、及び手術画像制御装置３００の構成例を示すブロック図である。
図４に示すように、医用画像処理装置２００は、３Ｄデータ生成部２０２と、医用画像記憶部２０４と、位置合わせ処理部２０６と有する。手術画像制御装置３００は、取得部３０２と、重畳部３０４とを有する。

３Ｄデータ生成部２０２は、医用画像撮影装置１００から供給された原画像データに基づき、術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像を生成する。
図５は、３Ｄデータ生成部２０２の構成例を示すブロック図である。図５に示すように、３Ｄデータ生成部２０２は、現像処理部２０２ａと、３Ｄ表面復元部２０２ｂと、カメラ位置・姿勢推定部２０２ｃとを有する。

現像処理部２０２ａは、内視鏡５００１における複数の撮像素子それぞれからの画像信号に対して現像処理を行うことで画像データを生成する。また、この現像処理部２０２ａは、複数の撮像素子それぞれからの画像信号を用いた視差による三角測量により、撮像範囲の深度データを生成し、３Ｄ表面復元部２０２ｂとカメラ位置・姿勢推定部２０２ｃとに供給する。

３Ｄ表面復元部２０２ｂは、現像処理部２０２ａからの深度データから被写体の３次元情報を取得する。これにより、３Ｄ表面復元部２０２ｂは、３次元表面マップデータを３Ｄ手術画像として生成する。また、３Ｄ表面復元部２０２ｂは、３次元表面マップデータを生成したり、３次元空間内での位置合わせを行うことで、３次元表面マップデータを更新し、３次元情報として医用画像記憶部２０４に記憶する。

カメラ位置・姿勢推定部２０２ｃは、現像処理部２０２ａから得られる深度データと３Ｄ表面復元部２０２ｂにより生成・復元されている３次元表面マップデータと比較することで、カメラ位置・姿勢の推定を行う（内視鏡５００１の動きを推定する）（特許文献２を参照）。

医用画像記憶部２０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。医用画像記憶部２０４は、例えば、血管、臓器などの３Ｄモデル画像を記憶する。すなわち、過去の移植に使用された臓器、及び血管の症例データや、人工血管などの症例データに基づく血管、臓器などの３Ｄモデル画像が医用画像記憶部２０４に記憶される。３Ｄモデル画像は、立体視可能なＣＧ画像である。３Ｄモデル画像には、３次元座標ごとの色情報が設定される。また、３Ｄモデル画像には、例えば臓器の外形寸法、血管の外径、内径などの臓器情報も設定される。

位置合わせ処理部２０６は、医用画像記憶部２０４が記憶する３Ｄモデル画像の中から表示に使用する３Ｄモデル画像を選択し、配置位置を指示する。
図６は、位置合わせ処理部２０６が医用画像記憶部２０４に記憶される血管の３Ｄモデル画像の一部を表示装置４００に表示させる例を示す図である。画像２０４ａは、位置合わせ処理部２０６が血管の３Ｄモデル画像の一部を表示装置４００に表示させている画像例である。画像２０４ｂは、位置合わせ処理部２０６が操作入力部５００を介して操作可能な選択部を表示装置４００に表示している画像例である。位置合わせ処理部２０６は、画像２０４ｂ内の矢印が操作入力部５００を介して指示されると、矢印の向きに画像２０４a内の３Ｄモデル画像をスクロールする。

例えば、図６に示すように、術者、補助者などの操作者は、表示装置４００に表示される画像２０４ｂとして表示される選択部を、操作入力部５００を介して操作する。これにより、操作者は、医用画像記憶部２０４に記憶される血管、臓器などの３Ｄモデル画像を表示装置４００に順に表示し、閲覧することが可能となる。そして、操作者は、表示装置４００に表示された三次元画像データの中から表示に用いる３Ｄモデル画像を、操作入力部５００を介して指示する。位置合わせ処理部２０６は、操作入力部５００を介して指示された位置情報に基づき、３Ｄモデル画像を選択する。図６では、二重枠で囲まれた血管モデルが選択された３Ｄモデル画像２０６ｄを示している。

また、位置合わせ処理部２０６は、３Ｄモデル画像と３Ｄ手術画像との位置合わせ位置を指示する処理を行う。
図７は、位置合わせ処理部２０６による指示座標２０６ｂ、２０６ｃの一例を示す図である。図７に示すように、操作者は、３Ｄ手術画像２０６ａ内の指示座標２０６ｂ、２０６ｃを、操作入力部５００を介して指示する。位置合わせ処理部２０６は、例えば、この指示座標２０６ｂ、２０６ｃを３Ｄモデル画像２０６ｄに関連づけて医用画像記憶部２０４に記憶する。

指示位置算出部２０８は、ユーザの操作を表す操作情報として、指示座標２０６ｂ、２０６ｃの情報を取得すると、３Ｄデータ生成部２０２からの位置・姿勢情報と、医用画像記憶部２０４に記憶される３次元表面マップデータに基づいて、指示座標２０６ｂ、２０６ｃを順次に算出する。より、具体的には、指示位置算出部２０８は、位置・姿勢情報で表される現在の内視鏡５００１の位置および姿勢に基づいて、指示座標２０６ｂ、２０６ｃが指示されたた位置が３次元表面マップデータ上のどこに該当するかを求める。このようにして再算出された指示座標２０６ｂ、２０６ｃは、取得部３０２を介して重畳部３０４にリアルタイムに供給される。

再び図４に戻り、取得部３０２は、３Ｄデータ生成部２０２が生成したリアルタイムの３Ｄ手術画像と、指示された３Ｄモデル画像２０６ｄ（図６参照）とを取得する。すなわち、取得部３０２は、術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像２０６ｄとを取得する。

重畳部３０４は、３Ｄモデル画像に設定された情報に基づいて３Ｄ手術画像を立体視したときの所定の空間位置（指示座標２０６ｂ、２０６ｃ）に３Ｄモデル画像の重畳を開始するときに、３Ｄ手術画像または３Ｄモデル画像に対して３Ｄモデル画像が所定の空間位置に位置することを強調する強調処理を行う。

図８は、重畳部３０４の構成例を示すブロック図である。図８に示すように、重畳部３０４は、３Ｄモデルを立体視させる３Ｄモデル画像２０６ｄを生成する。この重畳部３０４は、初期モデル生成部３０４ａと、奥行き処理部３０４ｂと、アジャスト処理部３０４ｃと、回転処理部３０４ｄと、色処理部３０４ｅとを、有する。例えば、重畳部３０４は、コンピュータグラフィックス（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ、以下ではＣＧと称する場合がある）により、３Ｄモデル画像２０６ｄを生成する。

本実施形態での立体視とは、例えば輻輳（ｖｅｒｇｅｎｃｅ）、調整（ａｃｃｏｍｍｏｄａｔｉｏｎ） 、両眼視差（ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｙ）、運動視差（ｍｏｔｉｏｎ ｐａｒａｌｌａｘ）などを意味するが、これに限定されない。輻輳（ｖｅｒｇｅｎｃｅ）とは、例えば一点を注視したときの左右眼の回転角から３角測量の原理で奥行きを知覚する立体視である。また、調整（ａｃｃｏｍｍｏｄａｔｉｏｎ）とは、眼のピント合わせにより奥行きを知覚する立体視である。さらにまた、両眼視差（ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｙ）とは、左右眼の網膜贈の対応点の水平ずれ量により奥行きを知覚する立体視である。また、運動視差（ｍｏｔｉｏｎ ｐａｒａｌｌａｘ）は、視点移動に伴う網膜像の変化に基づき奥行きを知覚する立体視である。これらの立体視を実現するため、表示装置４００に、例えばレンチキラーレンズ方式のモニタ、バリヤー方式のモニタなどを用いることが可能である。或いは、３Ｄモデル画像２０６ｄの表示では、表示装置４００の表示部分に、左右の視差をつけた映像を表示し、操作者が装着した眼鏡で左右の目にそれぞれの映像を分けて入れる方法を用いてもよい。この場合、例えば偏光眼鏡方式、アナグリフ方式、液晶シャッター方式などを用いることが可能である。

初期モデル生成部３０４aは、取得部３０２を介して取得された３Ｄモデル画像２０６ｄに関する情報と、指示座標２０６ｂ、２０６ｃとに基づき、３Ｄモデル画像２０６ｄを生成する。また、この初期モデル生成部３０４ａは、指示座標２０６ｂ、２０６ｃに基づき３Ｄモデル画像２０６ｄの大きさを調整する。例えば、３Ｄモデル画像２０６ｄに設定された血管径の情報に基づき、血管径の外径を維持した状態で血管の長さを調整する。

図９は、初期モデル生成部３０４aが生成した３Ｄモデル画像２０６ｄを３Ｄ手術画像２０６ａ内の指示座標２０６ｂ、２０６ｃに配置した図である。すなわち、３Ｄ手術画像２０６ａ内に配置した３Ｄモデル画像２０６ｄの初期状態を示す画面である。なお、指示位置算出部２０８が指示座標２０６ｂ、２０６ｃを常に算出しているため、指示座標２０６ｂ、２０６ｃの位置が変動しても３Ｄモデル画像２０６ｄの初期状態画面は、３Ｄ手術画像２０６ａ内の指示座標２０６ｂ、２０６ｃの位置に配置される。

奥行き処理部３０４ｂは、初期モデル生成部３０４aが生成した３Ｄモデル画像２０６ｄを３Ｄの奥行方向に前後するＣＧ画像を表示装置４００に表示した後に、正しい指示座標２０６ｂ、２０６ｃに配置する。より具体的には、奥行き処理部３０４ｂは、３Ｄ手術画像２０６ａ内の所定の空間位置（指示座標２０６ｂ、２０６ｃ）を基準とした奥行方向に前後移動する３Ｄモデル画像２０６ｄを生成し、リアルタイムの３Ｄ手術画像２０６ａに重畳する。

図１０は、奥行き処理部３０４ｂが生成したＣＧ画像を３Ｄ手術画像２０６ａに重畳した例を模式的に示す図である。（a)図が奥行き方向において操作者側に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。（ｂ)図が奥行き方向において操作者側から離れる方向に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。このようなＣＧ画像を表示させることにより、操作者は３Ｄモデル画像２０６ｄを３Ｄ画像としての認識が容易となる。一度、３Ｄ画像として認識された３Ｄモデル画像２０６ｄは、指示座標２０６ｂ、２０６ｃに配置されても、３Ｄ画像として認識される。このように、３Ｄモデル画像２０６ｄを、補助者を含む観察者などに、３Ｄ画像として認識を定着させることにより、３Ｄ手術画像２０６ａと３Ｄモデル画像２０６ｄとが３Ｄ画像として一体化して認識され、３Ｄモデル画像２０６ｄを３Ｄ観察することが容易となる。なお、この場合も、指示位置算出部２０８が指示座標２０６ｂ、２０６ｃ(図9参照)を常に算出しているため、指示座標２０６ｂ、２０６ｃの位置が変動しても３Ｄモデル画像２０６ｄの最終状態画面は、３Ｄ手術画像２０６ａ内の指示座標２０６ｂ、２０６ｃの位置に配置される。

また、奥行き処理部３０４ｂは、所定の空間位置を基準とした奥行方向の前後移動の移動量を３Ｄモデル画像２０６ｄの大きさにより変える。例えば、奥行き処理部３０４ｂは、３Ｄモデル画像２０６ｄの大きさが大きくなるに従い、前後移動の移動量を増加させる。これにより、補助者を含む観察者などは、３Ｄモデル画像２０６ｄを３Ｄ画像として、より自然に認識し、認識を定着させることが可能となる。

また、奥行き処理部３０４ｂは、所定の空間位置（指示座標２０６ｂ、２０６ｃ）を基準とした奥行方向の前後移動の移動量を３Ｄ手術画像２０６ａと３Ｄモデル画像２０６ｄとの相対的な大きさにより変更してもよい。例えば、奥行き処理部３０４ｂは、３Ｄモデル画像２０６ｄの大きさが３Ｄ手術画像２０６ａに対して相対的に大きくなるに従い、前後移動の移動量を増加させる。これにより、補助者を含む観察者などは、３Ｄモデル画像２０６ｄの大きさによらず、３Ｄモデル画像２０６ｄを３Ｄ画像として、より自然に認識を定着させることが可能となる。

アジャスト処理部３０４ｃは、３Ｄ手術画像２０６ａ内の所定の空間位置（指示座標２０６ｂ、２０６ｃ）を基準とした奥行方向の前後移動の移動量が徐々に小さくなる３Ｄモデル画像２０６ｄを生成し、リアルタイムの３Ｄ手術画像２０６ａに重畳する。アジャスト処理部３０４ｃは、奥行き処理部３０４ｂの処理機能に加えて、前後移動の移動量が徐々に小さくなる３Ｄモデル画像２０６ｄを生成してもよい。この場合、アジャスト処理部３０４ｃは、最初に奥行方向の前後に大きく移動する３Ｄモデル画像２０６ｄを生成し、次に、空間位置（指示座標２０６ｂ、２０６ｃ）を基準とした奥行方向の前後移動の移動量が徐々に小さくなる３Ｄモデル画像２０６ｄを生成する。

図１１は、アジャスト処理部３０４ｃが生成したＣＧ画像を模式的に示す図である。（a)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。（ｂ)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側から離れる方向に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。（ｃ)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。３Ｄモデル画像２０６ｄの移動量は、（a)図、（ｂ)図、（ｃ)図の順に次第に小さくなる。このように、アジャスト処理部３０４ｃは、３Ｄ手術画像２０６ａ内の所定の空間位置（指示座標２０６ｂ、２０６ｃ）を基準とした奥行方向の前後移動の移動量が徐々に小さくなる３Ｄモデル画像２０６ｄを生成し、最終的に空間位置（指示座標２０６ｂ、２０６ｃ）に３Ｄモデル画像２０６ｄを停止する。これにより、補助者を含む観察者などは、３Ｄ手術画像２０６ａ内の所定の空間位置（指示座標２０６ｂ、２０６ｃ）を注視した状態で、３Ｄモデル画像２０６ｄを３Ｄ画像として、より自然に認識を定着させることが可能となる。このため、３Ｄモデル画像２０６ｄの移植位置をより正確に認識可能となる。

回転処理部３０４ｄは、３Ｄ手術画像２０６ａ内の所定の空間位置（指示座標２０６ｂ、２０６ｃ）を基準として３Ｄモデル画像２０６ｄを回転させる３Ｄモデル画像を生成する。回転処理部３０４ｄは、奥行き処理部３０４ｂ、及びアジャスト処理部３０４ｃのそれぞれの処理機能に、３Ｄモデル画像２０６ｄを回転させる処理を行うことが可能である。例えば、３Ｄモデル画像２０６ｄを回転させ、３Ｄモデル画像２０６ｄの非表示部分も見せてモデルの全体形状を認識させた後に、奥行き方向に大きく動かし、最後にアジャストして正しい位置にフィッティングするようなデモ表示を行うことが可能となる。

図１２は、回転処理部３０４が生成したＣＧ画像を模式的に示す図である。（a)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側に、３Ｄモデル画像２０６ｄを移動しつつ右回転させている例を示す図である。（ｂ)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側から離れる方向に、３Ｄモデル画像２０６ｄを移動しつつ左回転させている例を示す図である。このように、３Ｄモデル画像２０６ｄを回転させることにより、３Ｄモデル画像２０６ｄの非表示部分も見せて、３Ｄモデル画像２０６ｄの全体形状を認識させることができる。これにより、３Ｄモデル画像２０６ｄの全体形状を把握した上で、３Ｄモデル画像２０６ｄを３Ｄ画像として、より自然に認識を定着させることが可能となる。

色処理部３０４ｅは、３Ｄ手術画像２０６ａ内の所定の空間位置（指示座標２０６ｂ、２０６ｃ）を基準として３Ｄモデル画像２０６ｄの色を徐々に変化させる。色処理部３０４ｅは、奥行き処理部３０４ｂ、アジャスト処理部３０４ｃ、及び回転処理部３０４ｄのそれぞれの処理機能に加え、３Ｄモデル画像２０６ｄの色を変更させる処理を行うことが可能である。また、色処理部３０４ｅは、３Ｄ手術画像２０６ａに色を付ける処理を行うことも可能である。

図１３は、色処理部３０４ｅが生成したＣＧ画像を模式的に示す図である。（a)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側に、３Ｄモデル画像２０６ｄを移動させ、色を変更している例を示す図である。ここで、例えば点線は、レインボーカラーを模式的に示す。レインボーカラーとは、例えば赤、橙、黄、緑、青、紫の６色である。色処理部３０４ｅは、例えば、３Ｄモデル画像２０６ｄを赤、橙、黄、緑、青、紫の６色の順に色を変更する。（ｂ)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側から離れる方向に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。ここで、例えば点線は、（a)図と異なる色を示している。（ｃ)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。ここで、例えば点線は、（a)図及び（ｂ)図と異なる色を示している。このように、レインボーカラー表示することにより、３Ｄモデル画像２０６ｄに躍動感を与え、モデル自体を際立たせることが可能となる。

図１４は、色処理部３０４ｅが３Ｄ手術画像２０６ａに色を付け透過させ生成した３Ｄ手術画像像２０６０ａを模式的に示す図である。（a)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側に、３Ｄモデル画像２０６ｄを移動させる例を示す図である。ここで、３Ｄ手術画像像２０６０ａは、例えば３Ｄ手術画像２０６ａに薄い青色を付け透過させている。（ｂ)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側から離れる方向に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。（ｃ)図が空間位置（指示座標２０６ｂ、２０６ｃ）から奥行き方向において操作者側に、３Ｄモデル画像２０６ｄを移動させている例を示す図である。このように、３Ｄ手術画像２０６ａに色を付け透過させることにより、３Ｄ手術画像２０６ａの鮮鋭感が弱まり、３Ｄ手術画像２０６０ａと３Ｄモデル画像２０６ｄとのテクスチャーの違和感が抑制され、３Ｄモデル画像２０６ｄの認識がより容易となる。

図１５は、医用画像処理システム１の処理例を示すフローチャートである。図１５に示すように、位置合わせ処理部２０６は、操作入力部５００を介した操作により、３Ｄモデル画像２０６ｄを選択する（ステップＳ１００）。続けて、位置合わせ処理部２０６は、操作入力部５００を介した操作により、３Ｄ手術画像２０６ａ内に空間位置（指示座標２０６ｂ、２０６ｃ）を指示する（ステップＳ１０２）。続けて，指示位置算出部２０８は、リアルタイムに生成される３Ｄ手術画像２０６ａ内の指示座標２０６ｂ、２０６ｃを順次に演算する。

次に、取得部３０２は、３Ｄ手術画像２０６ａと、選択された３Ｄモデル画像２０６ｄの情報と、指示座標２０６ｂ、２０６ｃと、を画像情報として取得する（ステップＳ１０４）。取得部３０２は、リアルタイムの３Ｄ手術画像２０６ａと指示座標２０６ｂ、２０６ｃとを逐次に取得する。

次に、初期モデル生成部３０４ａは、３Ｄモデル画像２０６ｄに設定された画像情報に基づき、３Ｄモデル画像２０６ｄの初期モデルを生成する（ステップＳ１０６）。
次に、重畳部３０４は、３Ｄモデル画像２０６ｄは、強調画像（例えば図１０乃至図１４のいずれか）を生成し、リアルタイムの３Ｄ手術画像２０６ａに重畳表示する（ステップＳ１０８）。重畳部３０４は、所定の終了条件を満たすか否かを判定し（ステップＳ１１０）、終了条件を満たさない場合（ステップＳ１１０のＮｏ）、ステップＳ１０８からの処理を繰り返す。一方で、終了条件を満たす場合（ステップＳ１１０のＹｅｓ）、指示座標２０６ｂ、２０６ｃに３Ｄモデル画像２０６ｄを固定表示し、処理を終了する。

以上説明したように、本実施形態に係る医用画像処理システム１は、重畳部３０４が、３Ｄ手術画像２０６ａを立体視したときの所定の空間位置（指示座標２０６ｂ、２０６ｃ）に３Ｄモデル画像２０６ｄの重畳を開始するときに、３Ｄ手術画像２０６aまたは３Ｄモデル画像２０６ｄに対して３Ｄモデル画像２０６ｄが所定の空間位置（指示座標２０６ｂ、２０６ｃ）に位置することを強調する強調処理を行うこととした。このような強調処理をすることにより、３Ｄモデル画像２０６ｄを３Ｄ画像として認識することが容易となる。一度、３Ｄ画像として認識された３Ｄモデル画像２０６ｄは、指示座標２０６ｂ、２０６ｃに固定的に配置されても、３Ｄ画像として認識されるので、３Ｄ手術画像２０６ａと３Ｄモデル画像２０６ｄとを３Ｄ画像として一体的に認識させることがより容易となる。

＜＜応用例＞＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。

図１６は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図１６を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医用スタッフのことを意味する。

顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。

顕微鏡部５３０３は、略円柱形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。

筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能やＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。

また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。

アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ_１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ_１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ_１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ_１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ_１と直交する回転軸（第２軸Ｏ_２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ_２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ_１及び第２軸Ｏ_２と互いに直交する回転軸（第３軸Ｏ_３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ_２及び第３軸Ｏ_３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ_２及び第３軸Ｏ_３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ_３と直交する回転軸（第４軸Ｏ_４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ_４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ_４と平行な回転軸（第５軸Ｏ_５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ_４及び第５軸Ｏ_５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ_４及び第５軸Ｏ_５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ_６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。

なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。

また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図１６に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。

また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。

このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。

制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。

なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医用スタッフの手術室内の移動が妨げられる事態が解消され得る。

制御装置５３１７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。

図１７は、図１６に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図１７では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図１７では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。

図１７に示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。

以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医用スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医用スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、制御装置５３１７に好適に適用され得る。具体的には、制御装置５３１７に本開示に係る技術を適用することにより、３Ｄモデル画像２０６ｄを３Ｄ画像として認識することが容易となる。これにより、認識容易な術部画像を得ることができるため、手術をより安全にかつより確実に行うことが可能になる。

なお、本技術は以下のような構成を取ることができる。

（１）術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得部と、
前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳部と、
を備える、医用画像処理システム。

（２）前記重畳部が重畳した前記３Ｄ手術画像と前記３Ｄモデル画像とを表示する表示装置を、
更に備える、（１）に記載の医用画像処理システム。

（３）前記重畳部は、前記所定の空間位置を基準とした奥行方向に前後移動する前記３Ｄモデル画像を生成する、（１）又は（２）に記載の医用画像処理システム。

（４）前記重畳部は、前記所定の空間位置を基準とした奥行方向の前後移動の移動量が徐々に小さくなる前記３Ｄモデル画像を生成する、（３）に記載の医用画像処理システム。

（５）前記重畳部は、前記所定の空間位置を基準とした奥行方向の前後移動の移動量を前記３Ｄモデル画像の大きさにより変える、（３）又は（４）に記載の医用画像処理システム。

（６）前記重畳部は、前記所定の空間位置を基準とした奥行方向の前後移動の移動量を前記３Ｄモデル画像と手術３Ｄ画像との相対的な大きさにより変える、（３）又は（４）に記載の医用画像処理システム。

（７）前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像を回転させる、（３）乃至（５）のいずれかに記載の医用画像処理システム。

（８）前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像の色を変更させる、（３）乃至（７）のいずれかに記載の医用画像処理システム。

（９）前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像の色を徐々に変化させる、（８）に記載の医用画像処理システム。

（１０）記重畳部は、前記強調処理を行う場合に、３Ｄ手術画像の色、空間周波数の少なくとも一方を変更する、（１）に記載の医用画像処理システム。

（１１）前記３Ｄ手術画像を生成するために用いる原画像を撮影する内視鏡、及び手術用顕微鏡の少なくとも一方を、更に備える、（１）に記載の医用画像処理システム。

（１２）術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得部と、
前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳部と、
を備える、手術画像制御装置。

（１３）術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得工程と、
前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳工程と、
を備える、手術画像制御方法。

１：医用画像処理システム、２０６ａ：３Ｄ手術画像、２０６ｄ：３Ｄモデル画像、３０２：取得部、３０４：重畳部、４００、５０４１，５３１９：表示装置、５０１１：内視鏡、５３０１：顕微鏡装置。

Claims (13)

1. 術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得部と、
   前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳部と、
   を備える、医用画像処理システム。
2. 前記重畳部が重畳した前記３Ｄ手術画像と前記３Ｄモデル画像とを表示する表示装置を、
   更に備える、請求項１に記載の医用画像処理システム。
3. 前記重畳部は、前記所定の空間位置を基準とした奥行方向に前後移動する前記３Ｄモデル画像を生成する、請求項１に記載の医用画像処理システム。
4. 前記重畳部は、前記所定の空間位置を基準とした奥行方向の前後移動の移動量が徐々に小さくなる前記３Ｄモデル画像を生成する、請求項３に記載の医用画像処理システム。
5. 前記重畳部は、前記所定の空間位置を基準とした奥行方向の前後移動の移動量を前記３Ｄモデル画像の大きさにより変える、請求項３に記載の医用画像処理システム。
6. 前記重畳部は、前記所定の空間位置を基準とした奥行方向の前後移動の移動量を前記３Ｄモデル画像と手術３Ｄ画像との相対的な大きさにより変える、請求項３に記載の医用画像処理システム。
7. 前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像を回転させる、請求項３に記載の医用画像処理システム。
8. 前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像の色を変更させる、請求項３に記載の医用画像処理システム。
9. 前記重畳部は、前記所定の空間位置を基準として前記３Ｄモデル画像の色を徐々に変化させる、請求項８に記載の医用画像処理システム。
10. 前記重畳部は、前記強調処理を行う場合に、３Ｄ手術画像の色、空間周波数の少なくとも一方を変更する、請求項１に記載の医用画像処理システム。
11. 前記３Ｄ手術画像を生成するために用いる原画像を撮影する内視鏡、及び手術用顕微鏡の少なくとも一方を、更に備える、請求項１に記載の医用画像処理システム。
12. 術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得部と、
    前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳部と、
    を備える、手術画像制御装置。
13. 術者が立体視可能な術場を撮像したリアルタイムの３Ｄ手術画像と、前記３Ｄ手術画像に関連した立体視可能なＣＧ画像である３Ｄモデル画像とを取得する取得工程と、
    前記３Ｄモデル画像に設定された情報に基づいて前記３Ｄ手術画像を立体視したときの所定の空間位置に前記３Ｄモデル画像の重畳を開始するときに、前記３Ｄ手術画像または前記３Ｄモデル画像に対して前記３Ｄモデル画像が前記所定の空間位置に位置することを強調する強調処理を行う重畳工程と、
    を備える、手術画像制御方法。

Images