JP2017080159A - 画像処理装置及び画像処理方法、並びにコンピュータプログラム - Google Patents

Abstract

【課題】被検体の状態の変化を反映しながら被検体の３次元画像に基づいて生成される投影画像を被検体に投影する。
【解決手段】画像処理装置は、被検体の所定部位を表す３次元画像を取得する取得手段１５１１と、所定部位を含む被検体の投影領域に投影される投影画像であって且つ所定部位に関連する投影画像を、３次元画像に基づいて生成する生成手段１５１９とを備え、取得手段は、３次元画像を一旦取得した後に、３次元画像を再取得し、生成手段は、再取得された３次元画像に基づいて、投影画像を再生成する。
【選択図】図２

Description

本発明は、同一の対象物を撮像することで得られる２次元画像及び３次元画像に対して画像処理を行う画像処理装置及び画像処理方法、並びにコンピュータプログラムの技術分野に関する。

手術前にＭＲＩ装置によって撮影された人体の３次元画像に、手術中にビデオカメラ等によって撮影される人体の観察画像を重畳表示する手術支援装置が知られている（例えば、特許文献１）。

一方で、人体を投下した放射線を撮像することにより得られた放射線画像を、可視光で人体に投影する投影装置もまた知られている（例えば、特許文献２）。

特開２０１０−２７４０４４公報 特開２００８−１９４３７４号公報

本願発明者等は、人体の３次元画像に基づいて人体に投影するべき投影画像を生成すると共に、生成した投影画像を人体に投影する技術の開発を検討している。

ここで、特許文献１に記載された手術支援装置では、ＭＲＩ装置は、人体に対して手術が行われる前に、人体の３次元画像を撮影する。つまり、特許文献１に記載された手術支援装置では、手術が行われている間は、人体の３次元画像が更新されることはない。しかしながら、手術が進むにつれて、人体の手術部位の状態は変わっていく。このため、仮に特許文献１及び２に記載された技術を用いることでＭＲＩ装置等によって撮影された人体の３次元画像を人体に投影するだけでは、状態が変わる前の人体を表す３次元画像に基づいて生成された投影画像（つまり、状態が変わる前の人体を表す投影画像）を、状態が変わった後の人体に投影することになるという技術的問題が生ずる。従って、人体に投影される投影画像と実際の手術部位とが異なるがゆえに、術者に混乱を引き起こしかねない。

尚、上述した技術的問題は、ＭＲＩ装置等によって撮影された３次元画像に基づいて生成される投影画像を人体に投影する場合に限らず、被検体の状態を表す任意の３次元画像に基づいて生成される投影画像を被検体に投影する場合にも同様に発生し得る。

本発明は、例えば上記問題点に鑑みてなされたものであり、被検体の状態の変化を反映しながら被検体の３次元画像に基づいて生成される投影画像を被検体に投影することが可能な画像処理装置及び画像処理方法、並びに、コンピュータプログラムを提供することを課題とする。

上記課題を解決するための画像処理装置は、被検体の所定部位を表す３次元画像を取得する取得手段と、前記所定部位を含む前記被検体の投影領域に投影される投影画像であって且つ前記所定部位に関連する投影画像を、前記３次元画像に基づいて生成する生成手段とを備え、前記取得手段は、前記３次元画像を一旦取得した後に前記３次元画像を再取得し、前記生成手段は、再取得された前記３次元画像に基づいて前記投影画像を再生成する。

上記課題を解決するための画像処理方法は、被検体の所定部位を表す３次元画像を取得し、前記所定部位を含む前記被検体の投影領域に投影される投影画像であって且つ前記所定部位に関連する投影画像を、前記３次元画像に基づいて生成し、前記３次元画像を一旦取得した後に前記３次元画像を再取得し、再取得された前記３次元画像に基づいて前記投影画像を再生成する。

上記課題を解決するためのコンピュータプログラムは、コンピュータに上述した画像処理方法を実行させる。

手術支援システムの構成を示すブロック図である。 画像処理装置の構成を示すブロック図である。 手術支援システムの動作の流れを示すフローチャートである。 ＭＲＩ画像を示す模式図である。 腫瘍画像部分が特定されている分光画像を示す平面図である。 外面画像部分を特定する動作の概念を示す模式図である。 内部画像部分を特定する動作の概念を示す模式図である。 投影画像を生成する動作の概念を示す模式図である。

以下、発明を実施するための形態として、画像処理装置及び画像処理方法、並びに、コンピュータプログラムの実施形態について順に説明する。

（画像処理装置の実施形態）
＜１＞
本実施形態の画像処理装置は、被検体の所定部位を表す３次元画像を取得する取得手段と、前記所定部位を含む前記被検体の投影領域に投影される投影画像であって且つ前記所定部位に関連する投影画像を、前記３次元画像に基づいて生成する生成手段とを備え、前記取得手段は、前記３次元画像を一旦取得した後に前記３次元画像を再取得し、前記生成手段は、再取得された前記３次元画像に基づいて前記投影画像を再生成する。

本実施形態の画像処理装置によれば、３次元画像が再取得され且つ再取得された３次元画像に基づいて投影画像が再生成される。このため、被検体の所定部位の状態が変わっていったとしても、状態が変わる前の被検体を表す３次元画像に基づいて生成された投影画像が、状態が変わった後の被検体に投影され続けることはない。従って、被検体に投影される投影画像と実際の所定部位とが異なる状況が不必要に継続されることがないがゆえに、ユーザに混乱を引き起こす可能性が小さくなる。

＜２＞
本実施形態の画像処理装置の他の態様では、前記生成手段は、前記投影領域に前記投影画像が投影された場合に前記投影画像のうち前記所定部位に関連する画像部分の投影位置が前記投影領域内の前記所定部位の位置と合うように、前記投影画像を生成する。

この態様によれば、投影領域と適切に位置合わせされた投影画像が生成される。

＜３＞
本実施形態の画像処理装置の他の態様では、前記取得手段は、前記３次元画像を周期的に繰返し取得する。

この態様によれば、取得手段は、自動的に３次元画像を再取得することができる。

＜４＞
本実施形態の画像処理装置の他の態様では、前記取得手段は、ユーザの指示に応じて、前記３次元画像を取得する。

この態様によれば、取得手段は、ユーザの望むタイミングで、３次元画像を再取得することができる。

＜５＞
本実施形態の画像処理装置の他の態様では、前記投影画像は、投影装置によって前記投影領域に投影され、前記投影装置は、前記投影画像を表示する表示素子を備えており、前記表示素子が表示した前記投影画像を投影し、前記生成手段は、（ｉ）前記３次元画像に基づいて、前記所定部位に関連し且つ前記投影画像を生成する際に参照される他の３次元画像を生成し、（ｉｉ）前記他の３次元画像のうち、前記表示素子の各画素から出射する光の経路上に存在する前記被検体の外面に対応する画像部分を特定し、（ｉｉ）前記投影装置が備える光学系の状態を示す第１パラメータ及び前記投影装置の設置環境を示す第２パラメータに基づいて、前記画像部分を前記投影画像に変換することで、前記投影画像を生成する。

この態様によれば、生成手段は、投影画像を好適に生成することができる。

＜６＞
本実施形態の画像処理装置の他の態様では、前記対象物は、被検体の所定部位、前記被検体の患部及び前記被検体の腫瘍部位のうちの少なくとも一つを含む。

この態様によれば、生成手段は、被検体の患部又は腫瘍部位に関連する投影画像を生成することができる。

＜７＞
本実施形態の画像処理装置の他の態様では、前記３次元画像は、前記被検体の外面及び内部を立体的に示すＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）画像である。

この態様によれば、生成手段は、ＭＲＩ画像に基づいて、投影画像を生成することができる。

（画像処理方法の実施形態）
＜８＞
本実施形態の画像処理方法は、被検体の所定部位を表す３次元画像を取得し、前記所定部位を含む前記被検体の投影領域に投影される投影画像であって且つ前記所定部位に関連する投影画像を、前記３次元画像に基づいて生成し、前記３次元画像を一旦取得した後に前記３次元画像を再取得し、再取得された前記３次元画像に基づいて前記投影画像を再生成する。

本実施形態の画像処理方法によれば、上述した本実施形態の画像処理装置が享受する各種効果を好適に享受することができる。

尚、本実施形態の画像処理装置が採用する各種態様に対応して、本実施形態の画像処理方法も、各種態様を採用してもよい。

（コンピュータプログラムの実施形態）
＜９＞
本実施形態のコンピュータプログラムは、コンピュータに上述した本実施形態の画像処理方法を実行させる。

本実施形態のコンピュータプログラムによれば、上述した本実施形態の画像処理装置が享受する各種効果を好適に享受することができる。

尚、本実施形態の画像処理装置が採用する各種態様に対応して、本実施形態のコンピュータプログラムも、各種態様を採用してもよい。また、コンピュータプログラムは、記録媒体に記録されていてもよい。

本実施形態のこのような作用及び他の利得は次に説明する実施例から明らかにされる。

以上説明したように、本実施形態の画像処理装置は、取得手段と、生成手段とを備える。本実施形態の画像処理方法は、取得工程と、生成工程とを備える。本実施形態のコンピュータプログラムは、コンピュータに上述した本実施形態の画像処理方法を実行させる。従って、被検体の状態の変化を反映しながら被検体の３次元画像に基づいて生成される投影画像が被検体に投影される。

以下、図面を参照しながら、画像処理装置及び画像処理方法、並びに、コンピュータプログラムの実施例について説明する。尚、以下では、画像処理装置及び画像処理方法、並びに、コンピュータプログラムを、患者に手術を行う術者を支援するための手術支援システムに適用した例について説明を進める。この場合、画像処理装置及び画像処理方法、並びに、コンピュータプログラムが適用された手術支援システムは、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置で患者を撮影することで得られるＭＲＩ画像（つまり、患者の外面及び内部の構造等を立体的に表す３次元画像）及びハイパースペクトルカメラが撮影した分光画像を解析することで得られる腫瘍画像部分（つまり、患者の腫瘍の外面を平面的に表す２次元画像）を用いて、腫瘍画像部分が表す腫瘍がＭＲＩ画像内で立体的にどのように分布するかを特定する。更に、画像処理装置及び画像処理方法、並びに、コンピュータプログラムが適用された手術支援システムは、ＭＲＩ画像及び分光画像に基づいて投影画像を生成すると共に、当該投影画像を患者に投影する。但し、画像処理装置及び画像処理方法、並びに、コンピュータプログラムは、同一の対象物を撮影することで得られる２次元画像及び３次元画像を用いて、２次元画像に含まれる対象物が３次元画像内で立体的にどのように分布するかを特定する任意の装置に適用されてもよい。更に、画像処理装置及び画像処理方法、並びに、コンピュータプログラムは、任意の被検体の外面及び内部を表す３次元画像に基づいて投影画像を生成すると共に、当該投影画像を当該任意の被検体に投影する任意の装置に適用されてもよい。

（１）手術支援システム１の構成
はじめに、図１を参照しながら、本実施例の手術支援システム１の構成について説明する。図１は、本実施例の手術支援システム１の構成を示すブロック図である。

図１に示すように、手術支援システム１は、ＭＲＩ装置１１と、ハイパースペクトルカメラ１２と、ポインタ１３と、位置測定装置１４と、画像処理装置１５と、表示装置１６と、プロジェクタ１７とを備える。

ＭＲＩ装置１１は、患者の外面及び内部の構造等を撮影することで、患者の外面及び内部の構造等を立体的に表す３次元画像であるＭＲＩ画像を生成する。ＭＲＩ画像は、患者の断層画像（言い換えれば、２次元のスライス画像）の集合体である。但し、ＭＲＩ画像は、患者の外面及び内部の構造等を立体的に表すことができる限りは、どのような画像であってもよい。例えば、ＭＲＩ画像は、断層画像の集合体ではなく、３次元モデル画像又は３次元ボリュームデータであってもよい。ＭＲＩ装置１１が生成したＭＲＩ画像は、画像処理装置１５に入力される。

本実施例では、患者は、手術対象であるものとする。この場合、患者の体の一部は、手術部位となる。更に、本実施例では、手術部位は、患者の頭部の一部であるものとする。加えて、本実施例では、手術は、患者の頭部にある腫瘍を対象に行われる手術であるものとする。この場合、手術部位には、腫瘍が存在する。患者は、「被検体」の一具体例であり、手術部位や腫瘍は、「所定部位」の一具体例である。但し、本実施例の手術支援システム１は、患者の頭部の腫瘍を対象に行われる手術とは異なる任意の手術（例えば、患者の任意の部位を対象に行われる手術）を行う際に用いられてもよい。更に、患者は、人間であってもよいし、人間以外の任意の生体（例えば、動物等）であってもよい。

手術部位の周辺には、少なくとも３つのマーカｍ１（図１に示す例では、４つのマーカｍ１）が設置されている。マーカｍ１は、ＭＲＩ装置１１によって撮影可能なマーカ（例えば、Ｆｉｄｕｃｉａｌ Ｍａｒｋｅｒ）である。

ハイパースペクトルカメラ１２は、患者を撮影することで、患者の分光画像（つまり、光のスペクトル（波長）毎の画像の集合体）を生成する。ハイパースペクトルカメラ１２が生成した分光画像は、画像処理装置１５に入力される。

ハイパースペクトルカメラ１２には、少なくとも３つのマーカｍ２（図１に示す例では、３つのマーカｍ２）が設置されている。マーカｍ２は、位置測定装置１４がハイパースペクトルカメラ１２の位置（特に、患者が実際に存在する実空間内の３次元を規定する実空間座標系での３次元位置と方位）を測定するために用いられる。

ポインタ１３は、手術部位の周辺に設置されたマーカｍ１を指し示す術具である。術者は、ポインタ１３を操作することで、マーカｍ１をポインタ１３の先端で指し示す。ポインタ１３には、少なくとも３つのマーカｍ３（図１に示す例では、３つのマーカｍ３）が設置されている。マーカｍ３は、位置測定装置１４がポインタ１３の位置（特に、実空間座標系での３次元位置と方位）を測定するために用いられる。

位置測定装置１４は、マーカｍ２及びマーカｍ３の位置（特に、実空間座標系での３次元位置）を測定する。例えば、位置測定装置１４は、ステレオカメラ（２眼カメラ）とＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）とを備える。ＬＥＤは、マーカｍ２及びマーカｍ３の夫々に向けて、測定光（例えば、赤外線等）を出射する。ステレオカメラは、マーカｍ２及びマーカｍ３の夫々によって反射された測定光を検出する。位置測定装置１４による測定光の検出結果（つまり、測定光の測定結果）は、画像処理装置１５に入力される。画像処理装置１５は、位置測定装置１４の測定結果に基づいて、ハイパースペクトルカメラ１２の位置や、ポインタ１３の位置（具体的には、後に詳述するようにマーカｍ１の位置）を特定する。

画像処理装置１５は、ＭＲＩ画像及び分光画像に対する画像処理を行う。画像処理装置１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１と、メモリ１５２とを備える。メモリ１５２には、画像処理装置１５に画像処理を行わせるためのコンピュータプログラムが記録されている。当該コンピュータプログラムがＣＰＵ１５１によって実行されることで、ＣＰＵ１５１の内部には、画像処理を行うための論理的な処理ブロックが形成される。但し、メモリ１５２にコンピュータプログラムが記録されていなくてもよい。この場合、ＣＰＵ１５１は、ネットワークを介してダウンロードしたコンピュータプログラムを実行してもよい。

具体的には、図２に示すように、画像処理装置１５は、ＣＰＵ１５１の内部に形成される論理的な処理ブロックとして、「取得手段」の一具体例であるＭＲＩ画像取得部１５１１と、マーカ位置特定部１５１２と、分光画像取得部１５１３と、腫瘍特定部１５１４と、マーカ位置特定部１５１５と、対応付け処理部１５１６と、３次元モデル生成部１５１７と、３次元ビューワ処理部１５１８と、「生成手段」の一具体例である投影処理部１５１９とを備える。

ＭＲＩ画像取得部１５１１は、ＭＲＩ装置１１が生成したＭＲＩ画像を取得する。

マーカ位置特定部１５１２は、ＭＲＩ画像取得部１５１１が取得したＭＲＩ画像を解析することで、ＭＲＩ画像内に含まれるマーカｍ１の位置（特に、ＭＲＩ画像内の３次元位置を規定するＭＲＩ座標系での３次元位置）を特定する。

分光画像取得部１５１３は、ハイパースペクトルカメラ１２が生成した分光画像を取得する。

腫瘍特定部１５１４は、分光画像取得部１５１３が取得した分光画像を解析することで、腫瘍の位置（特に、分光画像内の２次元位置を規定する分光座標系での２次元位置）を特定する。つまり、腫瘍特定部１５１４は、分光画像のうち腫瘍を表す画像部分である腫瘍画像部分を特定する。

マーカ位置特定部１５１５は、位置測定装置１４の測定結果に基づいて、マーカｍ２の位置を特定する。加えて、マーカ位置特定部１５１５は、マーカｍ１を指し示すポインタ１３に設置されたマーカｍ３の位置に基づいて、マーカｍ１の位置（特に、実空間座標系での３次元位置）を特定する。

対応付け処理部１５１６は、主として、以下に説明する３つの対応付け処理を行う。

具体的には、対応付け処理部１５１６は、第１の対応付け処理として、マーカ位置特定部１５１２が特定したＭＲＩ座標系でのマーカｍ１の位置と、マーカ位置特定部１５１５が特定した実空間座標系でのマーカｍ１の位置とを対応付ける処理を行う。

対応付け処理部１５１６は、第２の対応付け処理として、ＭＲＩ画像と分光画像（特に、腫瘍画像部分）とを対応付ける処理を行う。より具体的には、対応付け処理部１５１６は、腫瘍画像部分に基づいて、ＭＲＩ画像のうち腫瘍画像部分に対応する画像部分（つまり、腫瘍の外面に対応する画像部分）を特定する。尚、ＭＲＩ画像のうちの腫瘍画像部分に対応する画像部分を特定する処理の具体例については、後に詳述するため、ここでの説明を省略する。

ここで、分光画像が２次元画像であるがゆえに、腫瘍画像部分もまた２次元画像である。従って、腫瘍画像部分は、腫瘍の外面（言い換えれば、外殻）を平面として２次元的に表す画像部分である。尚、腫瘍の外面とは、腫瘍のうち外部から視認可能な部分を意味する。従って、ＭＲＩ画像のうち腫瘍画像部分に対応する画像部分もまた、腫瘍の外面を表す画像部分である。但し、ＭＲＩ画像が３次元画像であるがゆえに、ＭＲＩ画像のうち腫瘍画像部分に対応する画像部分は、腫瘍の外面を曲面として３次元的に（言い換えれば、立体的に）表す画像部分である。尚、以降の説明では、ＭＲＩ画像のうち腫瘍画像部分に対応する画像部分を、“外面画像部分”と称する。外面画像部分は、患者の腫瘍の外面の少なくとも一部（典型的には、患者の腫瘍のうちハイパースペクトルカメラ１２の撮影領域に含まれる腫瘍部分の外面）を表している。

対応付け処理部１５１６は、第３の対応付け処理として、外面画像部分に基づいて、ＭＲＩ画像のうち腫瘍の内部に対応する画像部分（つまり、腫瘍の内部の構造を表す画像部分）を特定する処理を行う。尚、腫瘍の内部とは、腫瘍のうち外部から視認できない部分を意味する。尚、ＭＲＩ画像のうち腫瘍の内部に対応する画像部分を特定する処理の具体例については、後に詳述するため、ここでの説明を省略する。

ＭＲＩ画像のうち腫瘍の内部に対応する画像部分は、腫瘍の内部を３次元の構造体として３次元的に（言い換えれば、立体的に）表す画像部分である。尚、以降の説明では、ＭＲＩ画像のうち腫瘍の内部に対応する画像部分を、“内部画像部分”と称する。

３次元モデル生成部１５１７は、対応付け処理部１５１６による処理結果（つまり、外面画像部分及び内部画像部分の特定結果）及びＭＲＩ画像取得部１５１１が取得したＭＲＩ画像に基づいて、腫瘍を他の部分と区別可能な態様で表す患者の３次元モデルを生成する。

３次元ビューワ処理部１５１８は、３次元モデル生成部１５１７が生成した３次元モデルを術者が所望の視点から観察した場合に観察される観察画像を生成する。

投影処理部１５１９は、プロジェクタ１７が患者に投影する投影画像を生成する。尚、投影画像を生成する処理の具体例については、後に詳述するため、ここでの説明を省略する。更に、投影処理部１５１９は、生成した投影画像を投影するようにプロジェクタ１７を制御する。

再び図１において、表示装置１６は、３次元ビューワ処理部１５１８が生成した観察画像を表示する。その結果、術者は、患者の内部で腫瘍がどのように立体的に分布しているかを認識することができる。尚、表示装置１６は、その他の任意の情報（例えば、手術の支援に関連する情報）を表示してもよい。

プロジェクタ１７は、投影処理部１５１９の制御下で、投影処理部１５１９が生成した投影画像を患者に投影する。その結果、術者は、腫瘍がどのように分布しているかを、実際の患者の上で認識することができる。

プロジェクタ１７には、少なくとも３つのマーカｍ７（図１に示す例では、３つのマーカｍ７）が設置されている。マーカｍ７は、位置測定装置１４がプロジェクタ１７の位置（特に、実空間座標系での３次元位置と方位）を測定するために用いられる。

（２）手術支援システム１の動作
続いて、図３を参照しながら、手術支援システム１の動作（主として、画像処理装置１５の動作）について説明する。図３は、手術支援システム１の動作の流れを示すフローチャートである。

図３に示すように、まず、ＭＲＩ画像取得部１５１１は、ＭＲＩ画像を取得する（ステップＳ１１）。具体的には、まず、患者の手術部位の周辺にマーカｍ１が設置される。その後、患者は、ＭＲＩ装置１１が備えるベッドの上に寝転ぶ。その後、ＭＲＩ装置１１は、患者の断層画像（図４参照）を順次撮影していく。つまり、ＭＲＩ装置１１は、ＭＲＩ画像を生成していく。その結果、ＭＲＩ画像取得部１５１１は、ＭＲＩ画像を取得する。

その後、患者は、ＭＲＩ装置１１が備えるベッドから手術台に搬送される。この場合、マーカｍ１が設置されている位置が変わらないように（つまり、マーカｍ１が設置されている位置が固定されたまま）、患者が搬送される。但し、ＭＲＩ装置１１が備えるベッドが手術台として用いられてもよい。尚、マーカｍ１が設置されている位置は、図３に示す一連の動作が行われている間は、変わらない（固定されている）。

マーカｍ１が設置されている位置が変わらないように、マーカｍ１は、ＭＲＩ画像が取得される前に、患者の頭部の骨に直接打ち込まれてもよい。この場合、マーカｍ１は、ベッドに寝転んだ患者を開頭し、頭皮をめくり、現れた頭蓋骨に打ち込まれてもよい。

その後、マーカ位置特定部１５１２は、ステップＳ１１で取得されたＭＲＩ画像を解析することで、ＭＲＩ画像内に含まれるマーカｍ１の位置を特定する（ステップＳ１２）。つまり、マーカ位置特定部１５１２は、ＭＲＩ座標系での、マーカｍ１の３次元位置を特定する。例えば、マーカ位置特定部１５１２は、マッチング処理等を用いて、ＭＲＩ画像の中からマーカｍ１に相当する画像部分を特定する。その後、マーカ位置特定部１５１２は、マーカｍ１に相当する画像部分の位置を特定する。

ステップＳ１２の動作の前に若しくは続けて又は並行して、マーカ位置特定部１５１５は、位置測定装置１４の測定結果に基づいて、マーカｍ１の位置を特定する（ステップＳ１３）。つまり、マーカ位置特定部１５１５は、実空間座標系でのマーカｍ１の３次元位置を特定する。具体的には、術者は、ポインタ１３を操作することで、マーカｍ１をポインタ１３の先端で指し示す。マーカｍ１がポインタ１３の先端で指し示されている状況下で、位置測定装置１４は、マーカｍ３によって反射された測定光を検出する。マーカ位置特定部１５１５は、位置測定装置１４の測定結果に基づいて、マーカｍ３の位置を特定することができる。マーカｍ３の位置が特定されると、ポインタ１３の位置（但し、この場合の「位置」は、ポインタ１３の方位も含む）もまた特定される。ここで、ポインタ１３の先端がマーカｍ１を指し示している状況下では、ポインタ１３の位置は、実質的には、マーカｍ１の位置に対応する。更に、ポインタ１３の形状（少なくとも３つのマーカｍ３の位置と先端との位置関係）は、既知である。従って、マーカ位置特定部１５１５は、マーカｍ３の位置を特定する（つまり、ポインタ１３の位置を特定する）ことで、実空間座標系でのマーカｍ１の位置を特定することができる。以上の動作が、全てのマーカｍ１を対象に行われる。

その後、対応付け処理部１５１６は、ステップＳ１２で特定されたＭＲＩ座標系でのマーカｍ１の位置と、ステップＳ１３で特定された実空間座標系でのマーカｍ１の位置とを対応付ける（ステップＳ１４）。その結果、対応付け処理部１５１６は、ＭＲＩ座標系内の位置を実空間座標系内の位置に又は実空間座標系内の位置をＭＲＩ座標系内の位置に変換するための変換行列を算出することができる。つまり、対応付け処理部１５１６は、ＭＲＩ座標系内の任意の位置に対応する実空間座標系内の位置を特定することができる。同様に、対応付け処理部１５１６は、実空間座標系内の任意の位置に対応するＭＲＩ座標系内の位置を特定することができる。

具体的には、対応付け処理部１５１６は、ＭＲＩ座標系での第１のマーカｍ１の位置（Ｘｍ１、Ｙｍ１、Ｚｍ１）と、実空間座標系での同一の第１のマーカｍ１の位置（Ｘａ１、Ｙａ１、Ｚａ１）とを対応付ける。この対応付けの結果、対応付け処理部１５１６は、（Ｘｍ１、Ｙｍ１、Ｚｍ１）＝変換行列×（Ｘａ１、Ｙａ１、Ｚａ１）という方程式を生成する。対応付け処理部１５１６は、この動作を、全てのマーカｍ１を対象に行う。その結果、変換行列を導くために必要な数の方程式が生成されれば、変換行列が特定される。その結果、対応付け処理部１５１６は、ＭＲＩ画像と実空間とを対応付けることができる。つまり、対応付け処理部１５１６は、ＭＲＩ画像内の患者と実空間に位置する患者とを対応付けることができる。

その後、分光画像取得部１５１３は、分光画像を取得する（ステップＳ２１）。具体的には、患者が手術台の上に位置する状態で、ハイパースペクトルカメラ１２は、患者を撮影する。つまり、ハイパースペクトルカメラ１２は、分光画像を生成していく。その結果、分光画像取得部１５１３は、分光画像を取得する。

その後、腫瘍特定部１５１４は、ステップＳ２１で取得された分光画像を解析することで、腫瘍の位置を特定する（ステップＳ２２）。つまり、腫瘍特定部１５１４は、図５に示すように、分光画像内の２次元的な位置を規定する分光座標系での、腫瘍の２次元位置を特定する。つまり、腫瘍特定部１５１４は、分光画像のうち腫瘍を表す画像部分である腫瘍画像部分を特定する（ステップＳ２２）。尚、分光画像から腫瘍の位置（腫瘍画像部分）を特定する動作として、任意の動作が用いられてもよい。例えば、分光画像から腫瘍の位置を特定する動作として、公知の動作が用いられてもよい。

その後、画像処理装置１５は、分光画像から特定された腫瘍画像部分とＭＲＩ画像とを対応付けることで、ＭＲＩ画像のうち腫瘍の外面に対応する外面画像部分及びＭＲＩ画像のうち腫瘍の内部に対応する内部画像部分を特定する動作を行う（ステップＳ３１からステップＳ３４）。

具体的には、まず、マーカ位置特定部１５１５は、位置測定装置１４の測定結果に基づいて、実空間座標系でのハイパースペクトルカメラ１２の３次元位置を特定する（ステップＳ３１）。具体的には、位置測定装置１４は、ハイパースペクトルカメラ１２に設置されているマーカｍ２によって反射された測定光を検出する。マーカ位置特定部１５１５は、位置測定装置１４の測定結果に基づいて、マーカｍ２の位置を特定することができる。マーカｍ２の位置が特定されると、ハイパースペクトルカメラ１２の位置（但し、この場合の位置は、ハイパースペクトルカメラ１２の方位も含む）が特定される。尚、以下の説明では、説明の便宜上、ステップＳ３１で特定されるハイパースペクトルカメラ１２の位置は、数式１によって特定されるものとする。数式１中のｒｃ１１、ｒｃ１２、ｒｃ１３、ｒｃ２１、ｒｃ２２、ｒｃ２３、ｒｃ３１、ｒｃ３２及びｒｃ３３からなる３行×３行の行列は、実空間座標系内でのハイパースペクトルカメラ１２の回転量（つまり、ヨー方向の回転量（言い換えれば、傾き量、以下同じ）、ロール方向の回転量及びピッチ方向の回転量）を示す。数式１中のｔｃｘは、実空間座標系の原点からのＸ軸に沿ったハイパースペクトルカメラ１２の並進量を示す。数式１中のｔｃｙは、実空間座標系の原点からのＹ軸に沿ったハイパースペクトルカメラ１２の並進量を示す。数式１中のｔｃｚは、実空間座標系の原点からのＺ軸に沿ったハイパースペクトルカメラ１２の並進量を示す。

その後、対応付け処理部１５１６は、ＭＲＩ画像のうち腫瘍画像部分に対応する外面画像部分を特定する（ステップＳ３２）。つまり、対応付け処理部１５１は、２次元画像である腫瘍画像部分に基づいて、３次元画像であるＭＲＩ画像のうち腫瘍の外面を曲面（或いは、凹凸面）として立体的に示す外面画像部分を特定する。ここで、対応付け処理部１５１６は、腫瘍画像部分（つまり、２次元画像）に基づいてＭＲＩ画像（つまり、３次元画像）のうち腫瘍画像部分に対応する外面画像部分を特定する動作として、任意の動作を用いてもよい。例えば、対応付け処理部１５１６は、腫瘍画像部分に基づいてＭＲＩ画像のうち腫瘍画像部分に対応する外面画像部分を特定する動作として、２次元画像に基づいて３次元画像のうち２次元画像に対応する画像部分を特定する公知の動作を用いてもよい。

以下、腫瘍画像部分に基づいてＭＲＩ画像のうち腫瘍画像部分に対応する外面画像部分を特定する動作の一例を説明する。

対応付け処理部１５１６は、ハイパースペクトルカメラ１２の光学系（例えば、レンズ群）の状態を示す内部パラメータを特定する。内部パラメータの一例として、分光座標系を構成するＸ軸に対する光学系の焦点距離ｆｃｘ（つまり、Ｘ軸に沿った被写体の撮影倍率に対応する焦点距離ｆｃｘ）や、分光座標系を構成するＹ軸に対する光学系の焦点距離ｆｃｙ（つまり、Ｙ軸に沿った被写体の撮影倍率に対応する焦点距離ｆｃｙ）があげられる。内部パラメータの他の一例として、光学系の光軸の中心に対するハイパースペクトルカメラ１２の撮像素子の中心（つまり、分光画像の中心）のずれ量があげられる。このずれ量は、分光座標系を構成するＸ軸に沿ったずれ量ｃｃｘ及び分光座標系を構成するＹ軸に沿ったずれ量ｃｃｙを含む。尚、対応付け処理部１５１６は、チェッカーパターンの撮影結果に基づくハイパースペクトルカメラ１２のキャリブレーションの結果を用いて、内部パラメータを特定可能である。

対応付け処理部１５１６は、更に、ハイパースペクトルカメラ１２の実空間座標系での設置状態を示す外部パラメータを特定する。本実施例では、外部パラメータは、数式１に示す実空間座標系でのハイパースペクトルカメラ１２の位置であるものとする。

対応付け処理部１５１６は、内部パラメータ及び外部パラメータに基づいて、図６に示すように、ハイパースペクトルカメラ１２の撮像素子を構成する各画素に至る光の経路を実空間座標系で特定することができる。更に、実空間座標系の位置をＭＲＩ座標系の位置に変換可能であるため、対応付け処理部１５１６は、各画素に至る光の経路をＭＲＩ座標系で特定することができる。その結果、対応付け処理部１５１６は、ＭＲＩ画像が表す患者の外面のうち各画素に至る光の経路上に位置する部分を特定することができる。例えば、対応付け処理部１５１６は、ＭＲＩ画像内において、各画素から患者に向かって光の経路に沿って進んでいった場合に最初に到達する患者の外面のＭＲＩ座標系での位置（Ｘ１（３）、Ｙ１（３）、Ｚ１（３））を特定することができる。

ここで、患者の外面のうち各画素に至る光の経路上に位置する部分は、患者の外面のうちハイパースペクトルカメラ１２によって撮影される部分であることは、図６からも分かるとおりである。同様に、患者の外面のうち各画素に至る光の経路上に位置する部分は、ＭＲＩ装置１１によっても撮影される部分である。そうすると、ＭＲＩ画像のうち各画素に至る光の経路上に位置する患者の外面に対応する画像部分は、分光画像に対応する。つまり、ＭＲＩ画像のうち光の経路上に位置する画像部分は、分光画像に対応する。

そこで、対応付け処理部１５１６は、ＭＲＩ画像のうち光の経路上に位置する画像部分（つまり、位置（Ｘ１（３）、Ｙ１（３）、Ｚ１（３））が特定されている画像部分）を、分光画像に対応付ける。具体的には、ＭＲＩ座標系での位置（Ｘ１（３）、Ｙ１（３）、Ｚ１（３））は、実空間座標系での位置（Ｘ１（３）’、Ｙ１（３）’、Ｚ１（３）’）に変換可能であることは上述したとおりである。更に、光の出射先である各画素は、分光画像内の２次元位置を特定する分光座標系内の特定の座標と１対１で対応している。そうすると、対応付け処理部１５１６は、内部パラメータ及び外部パラメータに基づいて、実空間座標系での位置（Ｘ１（３）’、Ｙ１（３）’、Ｚ１（３）’）と分光座標系での位置（Ｘ１（２）、Ｙ１（２））とを対応付けることができる。つまり、対応付け処理部１５１６は、ＭＲＩ座標系での位置（Ｘ１（３）、Ｙ１（３）、Ｚ１（３））と分光座標系での位置（Ｘ１（２）、Ｙ１（２））とを対応付けることができる。本実施例では、対応付け処理部１５１６は、数式２を用いて、ＭＲＩ座標系での位置（Ｘ１（３）、Ｙ１（３）、Ｚ１（３））と分光座標系での位置（Ｘ１（２）、Ｙ１（２））とを対応付ける。尚、ｓ１は、所定の係数又は所定の変換行列を示す。

その結果、対応付け処理部１５１６は、ＭＲＩ画像（特に、各画素に至る光の経路上に位置する患者の外面に対応するＭＲＩ画像の画像部分）と分光画像とを対応付けることができる。つまり、対応付け処理部１５１６は、ＭＲＩ画像を構成するある画像部分に対応する分光画像の画像部分を特定することができる。同様に、対応付け処理部１５１６は、分光画像を構成するある画像部分に対応するＭＲＩ画像の画像部分を特定することができる。そうすると、分光画像のうちの腫瘍画像部分の位置が既に特定されているため、ＭＲＩ画像と分光画像とが対応付けられた時点で、対応付け処理部１５１６は、ＭＲＩ画像のうち腫瘍画像部分に対応する外面画像部分を特定することができる。

このように、対応付け処理部１５１６は、分光画像に含まれるマーカｍ１の分光座標系での位置を特定することなく、ＭＲＩ画像と分光画像とを対応付けることができる。分光画像に含まれるマーカｍ１の分光座標系での位置を特定しなくてもよい理由は、ＭＲＩ画像と分光画像とを対応付けるために対応付け処理部１５１６が行う動作が、ＭＲＩ画像のうち患者の外面に対応する画像部分が、同じく患者の外面を撮影することで生成される分光画像に対応していることを前提としているからである。言い換えれば、ＭＲＩ画像と分光画像とを対応付けるために対応付け処理部１５１６が行う動作が、分光画像が患者の外面を平面として２次元的に表すと共に、ＭＲＩ画像が同じ患者の同じ外面を曲面として３次元的に表すことを前提としているからである。つまり、対応付け処理部１５１６は、分光画像（更には、腫瘍画像部分）及び外面画像部分の夫々が同一の患者の同一の外面を表すことを利用して、患者の外面を平面として２次元的に表す腫瘍画像部分に基づいて、同じ患者の同じ外面を曲面として３次元的に表す外面画像部分を特定する。

その後、対応付け処理部１５１６は、ステップＳ３２で特定した外面画像部分の特徴を特定する（ステップＳ３３）。ステップＳ３３で特定される「特徴」は、画像に特有の又は画像に関連した特徴である限りは、どのような特徴であってもよい。このような特徴の一例として、輝度や、色相や、彩度や、明度等があげられる。

ステップＳ３３で特定された特徴は、腫瘍の外面を示す外面画像部分の特徴であるため、ＭＲＩ画像のうち腫瘍に対応する画像部分の特徴であるとも推定される。このため、対応付け処理部１５１６は、ＭＲＩ画像のうちステップＳ３３で特定された特徴と同一の特徴を有する画像部分を、腫瘍の内部を表す内部画像部分として特定する（ステップＳ３４）。その結果、図７に示すように、ＭＲＩ画像上では、腫瘍の外面を表す外面画像部分のみならず、腫瘍の内部を表す内部画像部分が特定される。

その後、３次元モデル生成部１５１７は、腫瘍を他の部分と区別可能な態様で表す患者の３次元モデルを生成する（ステップＳ４１）。つまり、３次元モデル生成部１５１７は、外面画像部分及び内部画像部分を他の画像部分と区別可能な態様で表す患者の３次元モデルを生成する（ステップＳ４１）。例えば、３次元モデル生成部１５１７は、外面画像部分及び内部画像部分を他の画像部分と区別可能な態様でＭＲＩ画像が表すようにＭＲＩ画像を修正することで、３次元モデルを生成してもよい。例えば、３次元モデル生成部１５１７は、外面画像部分及び内部画像部分を他の画像部分と区別可能な態様で表すようにＭＲＩ画像を新たに生成することで、３次元モデルを生成してもよい。尚、他の部分と区別可能な態様での腫瘍の表示方法の一例として、例えば、腫瘍を強調して表示する表示方法があげられる。

その後、３次元ビューワ処理部１５１８は、ステップＳ４１で生成された３次元モデルを術者が所望の視点から観察した場合に観察される観察画像を生成する（ステップＳ４２）。３次元ビューワ処理部１５１８は、生成した観察画像を、表示装置１６に出力する。

その後、表示装置１６は、ステップＳ４２で生成された観察画像を表示する（ステップＳ４３）。その結果、術者は、観察画像を視認することで、患者の内部で腫瘍がどのように立体的に分布しているかを認識することができる。

その後、画像処理装置１５は、ステップＳ４１で生成された３次元モデルに基づいて、患者に投影するべき投影画像を生成すると共に、生成した投影画像を患者に投影する（ステップＳ６１からステップＳ６３）。

具体的には、まず、マーカ位置特定部１５１５は、位置測定装置１４の測定結果に基づいて、実空間座標系でのプロジェクタ１７の３次元位置を特定する（ステップＳ３１）。具体的には、位置測定装置１４は、プロジェクタ１７に設置されているマーカｍ７によって反射された測定光を検出する。マーカ位置特定部１５１５は、位置測定装置１４の測定結果に基づいて、マーカｍ７の位置を特定することができる。マーカｍ７の位置が特定されると、プロジェクタ１７の位置（但し、この場合の位置は、プロジェクタ１７の方位も含む）が特定される。尚、以下の説明では、説明の便宜上、ステップＳ６１で特定されるプロジェクタ１７の位置は、数式３によって特定されるものとする。数式１中のｒｐ１１、ｒｐ１２、ｒｐ１３、ｒｐ２１、ｒｐ２２、ｒｐ２３、ｒｐ３１、ｒｐ３２及びｒｐ３３からなる３行×３行の行列は、実空間座標系内でのプロジェクタ１７の回転量（つまり、ヨー方向の回転量（言い換えれば、傾き量、以下同じ）、ロール方向の回転量及びピッチ方向の回転量）を示す。数式３中のｔｐｘは、実空間座標系の原点からのＸ軸に沿ったプロジェクタ１７の並進量を示す。数式３中のｔｐｙは、実空間座標系の原点からのＹ軸に沿ったプロジェクタ１７の並進量を示す。数式３中のｔｐｚは、実空間座標系の原点からのＺ軸に沿ったプロジェクタ１７の並進量を示す。

その後、投影処理部１５１９は、ステップＳ４１で生成された３次元モデルに基づいて、患者の投影領域に投影するべき投影画像を生成する（ステップＳ６２）。投影画像は、３次元モデルのうち投影領域に位置する患者の部位に対応するモデル部分の外面を構成する画像部分である。例えば、投影領域が患者の右側頭部である場合には、投影画像は、３次元モデルのうち患者の右側頭部に対応するモデル部分の外面を構成する画像部分である。但し、投影画像は、プロジェクタ１７が備える表示素子（例えば、液晶シャッタ素子等）に表示されるがゆえに、２次元画像である。従って、投影画像は、３次元モデルのうち投影領域に位置する患者の部位に対応するモデル部分の外面を構成する画像部分を２次元画像に変換することで生成される画像である。

投影処理部１５１９は、３次元モデルから２次元画像である投影画像を生成する動作として、任意の動作を用いてもよい。例えば、投影処理部１５１９は、３次元モデルから２次元画像である投影画像を生成する動作として、公知の動作を用いてもよい。

以下、３次元モデルから２次元画像である投影画像を生成する動作の一例を説明する。尚、以下に説明する３次元モデルから２次元画像である投影画像を生成する動作の一例の概念は、図６を参照しながら説明した腫瘍画像部分に基づいてＭＲＩ画像のうち腫瘍画像部分に対応する外面画像部分を特定する動作の一例の概念と同一である。

投影処理部１５１９は、プロジェクタ１７の光学系（例えば、レンズ群）の状態を示す内部パラメータを特定する。内部パラメータの一例として、プロジェクタ１７の投影面内における２次元位置を規定する投影座標系を構成するＸ軸に対する光学系の焦点距離ｆｐｘ（つまり、Ｘ軸に沿った投影画像の投影倍率に対応する焦点距離ｆｐｘ）や、投影座標系を構成するＹ軸に対する光学系の焦点距離ｆｐｙ（つまり、Ｙ軸に沿った投影画像の投影倍率に対応する焦点距離ｆｐｙ）があげられる。内部パラメータの他の一例として、光学系の光軸の中心に対するプロジェクタ１７の表示素子の中心（つまり、投影画像の中心）のずれ量があげられる。このずれ量は、投影座標系を構成するＸ軸に沿ったずれ量ｃｐｘ及び投影座標系を構成するＹ軸に沿ったずれ量ｃｐｙを含む。尚、投影処理部１５１９は、チェッカーパターンの投影結果に基づくプロジェクタ１７のキャリブレーションの結果を用いて、内部パラメータを特定可能である。

投影処理部１５１９は、更に、プロジェクタ１５１９の実空間座標系での設置状態を示す外部パラメータを特定する。本実施例では、外部パラメータは、数式３に示す実空間座標系でのプロジェクタ１７の位置であるものとする。

投影処理部１５１９は、内部パラメータ及び外部パラメータに基づいて、図８に示すように、プロジェクタ１７の表示素子を構成する各画素からの光の経路を実空間座標系で特定することができる。更に、実空間座標系の位置をＭＲＩ座標系の位置に変換可能であるため、投影処理部１５１９は、各画素からの光の経路をＭＲＩ座標系で特定することができる。更に、３次元モデルがＭＲＩ画像に基づいて生成されているため、投影処理部１５１９は、３次元モデルの各部分の位置を、ＭＲＩ座標系で特定することができる。その結果、投影処理部１５１９は、３次元モデルが表す患者の外面のうち各画素からの光の経路上に位置する部分を特定することができる。例えば、投影処理部１５１９は、３次元モデル内において、各画素から患者に向かって光の経路に沿って進んでいった場合に最初に到達する患者の外面のＭＲＩ座標系での位置（Ｘ２（３）、Ｙ２（３）、Ｚ２（３））を特定することができる。

ここで、患者の外面のうち各画素からの光の経路上に位置する部分は、患者の外面のうちプロジェクタ１７によって投影画像が投影される投影領域であることは、図８からも分かるとおりである。そうすると、３次元モデルのうち各画素からの光の経路上に位置する患者の外面に対応するモデル部分は、投影画像として投影されるべきモデル部分である。つまり、３次元モデルのうち光の経路上に位置するモデル部分は、投影画像として投影されるべきモデル部分である。

そこで、投影処理部１５１９は、３次元モデルのうち光の経路上に位置するモデル部分（つまり、位置（Ｘ２（３）、Ｙ２（３）、Ｚ２（３））が特定されているモデル部分）を、投影画像に変換する。具体的には、ＭＲＩ座標系での位置（Ｘ（３Ｄ）、Ｙ（３Ｄ）、Ｚ（３Ｄ））は、実空間座標系での位置（Ｘ２（３）’、Ｙ２（３）’、Ｚ２（３）’）に変換可能であることは上述したとおりである。更に、光の出射元である画素は、投影座標系内の特定の座標と１対１で対応している。そうすると、投影処理部１５１９は、内部パラメータ及び外部パラメータに基づいて、実空間座標系での位置（Ｘ２（３）’、Ｙ２（３）’、Ｚ２（３）’）と投影座標系での位置（Ｘ２（２）、Ｙ２（２））とを対応付けることができる。つまり、投影処理部１５１９は、ＭＲＩ座標系での位置（Ｘ２（３）、Ｙ２（３）、Ｚ２（３））と投影座標系での位置（Ｘ２（２）、Ｙ２（２））とを対応付けることができる。本実施例では、投影処理部１５１９は、数式４を用いて、ＭＲＩ座標系での位置（Ｘ２（３）、Ｙ２（３）、Ｚ２（３））と投影座標系での位置（Ｘ２（２）、Ｙ２（２））とを対応付ける。尚、ｓ２は、所定の係数又は所定の変換行列を示す。

その結果、投影処理部１５１９は、各画素からの光の経路上に位置する３次元モデルのモデル部分が、投影画像のいずれの画像部分を構成するかを特定することができる。つまり、３次元モデルのうちの第１のモデル部分のＭＲＩ座標系での位置（ｘａ１、ｙａ１、ｚａ１）が、投影座標系での位置（ｘａ１’、ｙａ１’）に対応付けられた場合には、投影処理部１５１９は、投影画像のうち位置（ｘａ１’、ｙａ１’）によって特定される第１の画像部分が当該第１のモデル部分から構成されると特定することができる。同様に、３次元モデルのうちの第２のモデル部分のＭＲＩ座標系での位置（ｘａ２、ｙａ２、ｚａ２）が、投影座標系での位置（ｘａ２’、ｙａ２’）に対応付けられた場合には、投影処理部１５１９は、投影画像のうち位置（ｘａ２’、ｙａ２’）によって特定される第２の画像部分が当該第２のモデル部分から構成されると特定することができる。以上の動作を、３次元モデルのうち光の経路上に位置するモデル部分に対して繰り返し行うことで、投影処理部１５１９は、投影画像を生成することができる。

尚、このように生成される投影画像は、３次元モデルから生成されているがゆえに、腫瘍を表す投影画像である。但し、投影画像は、腫瘍又は手術部位（つまり、患者の所定部位）に何らかの関連を有する任意の画像であってもよい。

その後、投影処理部１５１９は、生成した投影画像を投影するようにプロジェクタ１７を制御する。その結果、プロジェクタ１７は、ステップＳ６２で生成された投影画像を、患者の外面に設定される投影領域に投影する（ステップＳ６３）。ここで、上述したように、投影画像は、３次元モデルのうち投影領域に位置する患者の部位に対応するモデル部分の外面を構成する画像部分である。更に、上述したように、このような投影画像が、プロジェクタ１７の表示素子を構成する各画素からの光の経路を考慮して生成される。従って、投影画像は、投影画像のうち患者のある部位に対応する画像部分が投影領域のうち当該ある部位（つまり、同一の部位）が存在する領域部分に投影されるように、生成される。つまり、投影画像は、投影画像のうち患者のある部位に対応する画像部分が投影される位置が、投影領域のうち当該ある部位（つまり、同一の部位）が存在する位置と合致するように、投影される。

その後、ＭＲＩ画像取得部１５１１は、ＭＲＩ画像を再度取得するタイミングが到来したか否かを判定する（ステップＳ５１）。例えば、前回ＭＲＩ画像が取得されてから一定時間が経過した場合には、ＭＲＩ画像取得部１５１１は、ＭＲＩ画像を再度取得するタイミングが到来したと判定してもよい。例えば、ユーザがＭＲＩ画像の再度の取得を要求している場合には、ＭＲＩ画像取得部１５１１は、ＭＲＩ画像を再度取得するタイミングが到来したと判定してもよい。

ステップＳ５１の判定の結果、ＭＲＩ画像を再度取得するタイミングが到来したと判定される場合には（ステップＳ５１：Ｙｅｓ）、ＭＲＩ画像取得部１５１１は、ＭＲＩ画像を再度取得する（ステップＳ１）。その後、ステップＳ２以降の動作が再度行われる。このため、対応付け処理部１５１６は、再度取得されたＭＲＩ画像を用いて、腫瘍に対応する外面画像部分及び内部画像部分を再度特定する（つまり、新たに特定する）。更に、３次元モデル生成部１５１７は、新たに特定された外面画像部分及び内部画像部分を他の画像部分と区別可能な態様で表す患者の３次元モデルを再度生成する（つまり、新たに生成する）。投影処理部１５９１は、新たに生成された３次元モデルに基づいて、投影画像を再度生成する（つまり、新たに生成する）。

他方で、ステップＳ５１の判定の結果、ＭＲＩ画像を再度取得するタイミングが到来していないと判定される場合には（ステップＳ５１：Ｎｏ）、３次元モデル生成部１５１７は、ステップＳ４２で生成した３次元モデルに対して、付加的な画像に相当する付加モデルを付加する（ステップＳ５２）。付加的な画像として、術者が扱う術具（例えば、メス等）の画像が上げられる。

術具の画像を付加的な画像として３次元モデルに付加するために、画像処理装置１５は、以下に説明する動作を行う。まず、前提として、術具には、ハイパースペクトルカメラ１２やポインタ１３と同様に、マーカが設置される。位置測定装置１４は、術具に設置されたマーカによって反射された測定光を検出する。マーカ位置検出部１５１５は、位置測定装置１４の測定結果に基づいて、術具の実空間座標系での位置を特定する。対応付け処理部１５１６は、術具の実空間座標系での位置を、術具のＭＲＩ座標系での位置に変換する。術具のＭＲＩ座標系での位置は、３次元モデル中で術具に想到する付加モデルを配置するべき位置に相当する。従って、３次元モデル生成部１５１７は、患者の３次元モデルに対して、術具に相当する付加モデルを、患者の３次元モデルと術具に相当する付加モデルとの間の位置関係が実際の患者と実際の術具との位置関係と合致するように付加することができる。

その後、画像処理部１５は、手術が終了したか否かを判定する（ステップＳ５３）。ステップＳ５３の判定の結果、手術が終了していないと判定される場合には（ステップＳ５３：Ｎｏ）、ステップＳ５１以降の動作が繰り返し行われる。他方で、ステップＳ５３の判定の結果、手術が終了したと判定される場合には（ステップＳ５３：Ｙｅｓ）、手術支援システム１は、図３に示す動作を終了する。

以上説明したように、本実施例の画像処理装置１５は、腫瘍の外面を３次元的に表す外面画像部分のみならず、腫瘍の内部を立体的に表す内部画像部分をも特定することができる。つまり、本実施例の画像処理装置１５は、２次元画像である分光画像から特定される腫瘍が、３次元画像であるＭＲＩ画像内で立体的にどのように分布するかを特定することができる。その結果、表示装置１６は、腫瘍を他の部分と区別可能な態様で表す患者の３次元モデルを表示することができる。その結果、術者は、腫瘍を好適に認識することができる。

加えて、本実施例の画像処理装置１５は、患者の手術中に、一定期間毎に又はユーザの指示に応じて、ＭＲＩ画像を再度取得することができる。このため、画像処理装置１５、新たに取得されたＭＲＩ画像に基づいて、投影画像を再度生成する（つまり、新たに生成する）ことができる。このため、手術が進むにつれて患者の手術部位の状態が変わっていったとしても、状態が変わる前の患者を表すＭＲＩ画像に基づいて生成された投影画像が、状態が変わった後の患者に投影され続けることはない。従って、患者に投影される投影画像と実際の手術部位とが異なる状況が不必要に継続されることがないがゆえに、術者に混乱を引き起こす可能性が小さくなる。

尚、上述した手術支援システム１の構成及び動作は、あくまで一例である。従って、手術支援システム１の構成及び動作の少なくとも一部が適宜変形されてもよい。以下、手術支援システム１の構成及び動作の少なくとも一部の変形例について説明する。

手術支援システム１は、ＭＲＩ装置１１に加えて又は代えて、患者を撮影することで、患者の外面及び内部の構造等を３次元的に表す画像を生成可能な任意の装置を備えていてもよい。このような任意の装置の一例として、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置や、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈ）装置があげられる。

手術の途中で手術部位の形状や腫瘍の形状等が変化する可能性がある。この場合には、画像処理装置１５は、腫瘍の外面を表す外面画像部分及び腫瘍の内部を表す内部画像部分を特定した後に、分光画像（或いは、外面画像部分及び内部画像部分のうちの少なくとも一方）に対して非剛体レジストレーション処理を行ってもよい。その結果、画像処理装置１５は、形状が変化した腫瘍を他の部分と区別可能な態様で表す３次元モデルを生成することができる。

内部画像部分は、外面画像部分をその一部として含んでいてもよい。なぜならば、内部画像部分の外殻が実質的には外面画像部分に対応するからである。このため、内部画像部分は、腫瘍の内部に加えて、腫瘍の外面を表していてもよい。

また、本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置及び画像処理方法、並びに、コンピュータプログラムもまた本発明の技術思想に含まれる。

１ 手術支援システム
１１ ＭＲＩ装置
１２ ハイパースペクトルカメラ
１３ ポインタ
１４ 位置測定装置
１５ 画像処理装置
１５１ ＣＰＵ
１５１１ ＭＲＩ画像取得部
１５１２ マーカ位置特定部
１５１３ 分光画像取得部
１５１４ 腫瘍特定部
１５１５ マーカ位置特定部
１５１６ 対応付け処理部
１５１７ ３次元モデル生成部
１５１８ ３次元ビューワ処理部
１５１９ 投影処理部
１５２ メモリ
１６ 表示装置
１７ プロジェクタ

Claims (9)

1. 被検体の所定部位を表す３次元画像を取得する取得手段と、
   前記所定部位を含む前記被検体の投影領域に投影される投影画像であって且つ前記所定部位に関連する投影画像を、前記３次元画像に基づいて生成する生成手段と
   を備え、
   前記取得手段は、前記３次元画像を一旦取得した後に前記３次元画像を再取得し、
   前記生成手段は、再取得された前記３次元画像に基づいて前記投影画像を再生成する
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記投影領域に前記投影画像が投影された場合に前記投影画像のうち前記所定部位に関連する画像部分の投影位置が前記投影領域内の前記所定部位の位置と合うように、前記投影画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記３次元画像を周期的に繰返し取得する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得手段は、ユーザの指示に応じて、前記３次元画像を再度取得する
   ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記投影画像は、投影装置によって前記投影領域に投影され、
   前記投影装置は、前記投影画像を表示する表示素子を備えており、前記表示素子が表示した前記投影画像を投影し、
   前記生成手段は、（ｉ）前記３次元画像に基づいて、前記所定部位に関連し且つ前記投影画像を生成する際に参照される他の３次元画像を生成し、（ｉｉ）前記他の３次元画像のうち、前記表示素子の各画素から出射する光の経路上に存在する前記被検体の外面に対応する画像部分を特定し、（ｉｉｉ）前記投影装置が備える光学系の状態を示す第１パラメータ及び前記投影装置の設置環境を示す第２パラメータに基づいて、前記画像部分を前記投影画像に変換することで、前記投影画像を生成する
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記所定部位は、前記被検体の患部及び前記被検体の腫瘍部位のうちの少なくとも一つを含む
   ことを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記３次元画像は、前記被検体の外面及び内部を立体的に表すＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）画像である
   ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 被検体の所定部位を表す３次元画像を取得し、
   前記所定部位を含む前記被検体の投影領域に投影される投影画像であって且つ前記所定部位に関連する投影画像を、前記３次元画像に基づいて生成し、
   前記３次元画像を一旦取得した後に前記３次元画像を再取得し、
   再取得された前記３次元画像に基づいて前記投影画像を再生成する
   画像処理方法。
9. コンピュータに請求項８に記載の画像処理方法を実行させることを特徴とするコンピュータプログラム。

Images