JP5160276B2

JP5160276B2 - 画像表示方法及び装置

Info

Publication number: JP5160276B2
Application number: JP2008076412A
Authority: JP
Inventors: 義幸九貫
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-03-24
Filing date: 2008-03-24
Publication date: 2013-03-13
Anticipated expiration: 2028-03-24
Also published as: JP2009226072A

Description

本発明は画像表示方法及び装置に係り、特に内視鏡手術を支援する技術に関する。

外科手術等を行う場合には、血管を傷つけないように十分に注意を払う必要があるが、被検体の生体組織表面から一定の深さ以上に存在する血管は確認することができないため、血管を傷つけるリスク（出血リスク）がある。

特に内視鏡手術は、低侵襲手術であるという利点があるものの、手術の術野が狭く、電気メス、超音波メス等の処置具の先端位置と血管の位置関係が把握しにくいため、出血リスクが通常の手術よりも高く、出血量が多い場合には出血に対するコントロールが難しいという問題がある。従って、内視鏡手術を行う場合には、内視鏡操作に十分に精通している術者が行うことが要求される。

従来、撮像装置により撮影された患部の画像に基づいて手術を支援する手術支援システムが提案されている（特許文献１）。この特許文献１に記載の手術支援システムは、手術経路線を近似する線や面の種類を指定し、かつ、撮影された立体画像上で手術経路の基準点を入力すると、全ての基準点を通る指定された線や面の手術経路を計算し、立体画像とともに手術経路を表示するようにしている。

また、血管に注目した撮影を行う従来の技術としては、特許文献２に記載の発明がある。この特許文献２に記載の発明は、動物にインドシアニングリーン（ＩＣＧ）等の蛍光染料を投与するとともに、蛍光染料を励起させる特定の波長の光を照射して血管造影画像を取得し、この血管造影画像から血管部分の開存性を評定するようにしている。

一方、体内の血管等の管状通路から閉塞物を取り除く治療を支援するものとして、特許文献３に記載の発明がある。この特許文献３に記載の発明は、ステントなどの目標物とカテーテルチューブ先端との距離を、カテーテル先端部に設けたセンサーの出力によって測定し、目標物とカテーテルチューブ先端（センサー）との位置関係を使用者に知らせる表示を行うようにしている。

また、従来、白色光（照明光）と励起光を１フィールド期間毎交互に、生体組織に向けて照射するとともに、撮像手段により１フィールド期間毎交互に照明光画像と蛍光画像を撮像し、交互に撮像された照明光画像と蛍光画像とを合成する電子内視鏡システムが提案されている（特許文献４）。

この電子内視鏡システムは、生体組織に紫外線等の特定の波長の光（励起光）を照射すると、自家蛍光により蛍光を発するが、自家蛍光は病変組織では正常組織に比べて弱いという特性を利用し、生体組織の異常を観察するシステムであり、特に照明光画像と蛍光画像とを合成し、合成画像を見るだけで病変組織を特定できるようにしている。
特開２００７−７５１９８号公報特表２００３−５１０１２１号公報特表２００１−５１０３５４号公報特開２００４−２５４８９９号公報

特許文献１に記載の発明は、医師が手術経路線を近似する線や面の種類を指定し、かつ種類に応じた数の基準点（例えば、「球面」の場合には、４点の基準点）を入力すると、入力された全ての基準点を通る指定された線や面の手術経路を計算し、その手術経路を医師に提示するものであり、血管を傷つけない最適な手術経路を提示するものではない。

特許文献２に記載の発明は、血管造影画像を調べることにより外科手術中又は外科手術後の血管の開存性、組織部分における血流を評定するものであり、外科手術時に血管を傷つけないように支援するものではない。尚、血管造影画像は、手術を行う上で参考になるが、血流が流れている血管以外の組織部分を確認することができないため、血管造影画像を見ながら手術を行うことはでない。

特許文献３に記載の発明は、ステントなどの目標物とカテーテルチューブ先端（センサー）との位置関係を使用者に知らせることができるが、電気メス等の処置具と血管との位置関係を知らせることができない。

特許文献４に記載の発明は、白色光画像（照明光画像）と蛍光画像とを合成した合成画像を得るようにしているが、特許文献４に記載の蛍光画像は、紫外線等の特定の波長の光の照射によって自家蛍光する生体組織の画像であり、血管造影画像ではない。尚、白色光画像と蛍光画像との合成方法としては、各画素の色差信号は、白色光画像の色差信号を使用し、各画素の輝度信号は、白色光画像の輝度信号と蛍光画像の輝度信号とを所定の割合で加算して生成している。

本発明の目的は、外科手術を行う際に、生体組織表面が映された通常画面上に、該組織表面から所定の深さまでに存在する血管を重畳して表示することができ、これにより血管を傷つけるリスク（出血リスク）を大幅に低減することができる画像表示方法及び装置を提供することにある。

本発明の他の目的は、手術用の処置具が血管に近接した場合には、警告を発して注意を喚起することができ、これにより出血トラブルを未然に防止することができる画像表示方法及び装置を提供することにある。

本発明の更に他の目的は、手術の開始点と終了点を入力するだけで、血管に接近しない適正な手術経路を提示することができ、これにより手術時の処置具をより安全に操作することができる画像表示方法及び装置を提供することにある。

前記目的を達成するために請求項１に係る画像表示方法は、第１の光源手段が、血管造影剤が投与された被検体に対して該血管造影剤を発光させるための近赤外の波長域の励起光を内視鏡の先端から所定の時間間隔で連続的に出射する工程と、画像取得手段が、前記内視鏡に設けられた撮像手段によって前記励起光の出射期間に同期して撮影した被検体の画像を蛍光画像として取得する工程と、第２の光源手段が、前記被検体に対して前記励起光の非出射期間に前記内視鏡の先端から連続的に可視光を出射する工程と、画像取得手段が、前記撮像手段によって前記可視光の出射期間に同期して撮影した被検体の画像を通常画像として取得する工程と、血管画像抽出手段が、前記取得した蛍光画像を所定の閾値により閾値処理して血管画像を抽出する工程と、合成画像作成手段が、前記取得した通常画像に前記抽出した血管画像を重畳させた合成画像を作成する工程と、合成画像出力手段が、前記作成された合成画像を表示手段に出力し、動画として表示手段に連続的に表示させる工程と、を含み、前記合成画像作成手段が前記合成画像を作成する工程は、前記閾値処理により抽出された血管画像とその背景とを示す２値化信号をキー信号として前記通常画像に前記血管画像をキー合成することを特徴としている。

即ち、通常画像の場合には、生体組織表面の血管しか観察することができないが、血管造影剤が投与された被検体に対し、近赤外の波長域の励起光の照射によって血管造影剤を発光させた蛍光画像によれば、生体組織表面から所定の深さまでに存在する血管を観察することができる。そして、前記蛍光画像を所定の閾値により閾値処理して血管画像を抽出し、この血管画像を通常画像に重畳させた合成画像を作成・表示し、これにより生体組織表面を観察できるようにするとともに、生体組織表面から所定の深さまでに存在する血管も合成画像上で観察できるようにしている。また、通常画像に血管画像をキー合成することにより通常画像上に血管画像のみを貼り付けるように合成している。

請求項２に示すように請求項１に記載の画像表示方法において、前記抽出された血管画像は、前記蛍光画像の濃度情報を含む血管画像、又は２値化された血管画像であることを特徴としている。

請求項３に示すように請求項１又は２に記載の画像表示方法において、前記合成画像出力手段が前記合成画像を表示させる工程は、前記合成画像とともに、前記通常画像、蛍光画像及び血管画像のうちの少なくとも１つの画像を前記表示手段に同時に表示させることを特徴としている。これにより、合成画像以外の他の画像（通常画像、蛍光画像、あるいは血管画像）も参照することができる。

請求項４に示すように請求項１から３のいずれかに記載の画像表示方法において、前記蛍光画像は、前記励起光の透過特性、前記血管造影剤の発光特性及び濃度に基づいて前記被検体の生体組織表面から所定の深さまでに存在する血管の画像を含むことを特徴としている。

即ち、励起光の透過特性、血管造影剤の発光特性及び濃度等のパラメータによって撮像手段によって撮影可能な血管の深さが決まるため、目的の深さまでの血管を撮影できるように上記パラメータを決定することが好ましい。

請求項５に示すように請求項４に記載の画像表示方法において、前記所定の深さは、内視鏡手術用の処置具によって一度に切開される深さ以上であることを特徴としている。これにより、合成画像上で血管が観察されていない箇所を切開する場合には、血管を傷つけないことが保証される。

請求項６に示すように請求項１から５のいずれかに記載の画像表示方法において、処置具検出手段が、前記通常画像に基づいて手術用の処置具の先端位置を検出する工程と、距離算出手段が、前記検出した処置具の先端位置と前記抽出した血管画像における血管の位置情報とに基づいて前記処置具の先端位置から最も近い血管までの実寸距離を算出する工程と、警告発生手段が、前記算出した実寸距離が所定の距離以下になると、警告を発する工程と、を更に含むことを特徴としている。

即ち、通常画像を画像処理することにより処置具の先端位置を検出するとともに、この検出した処置具の先端位置から最も近い血管の位置を検出し、これらの検出した位置間の撮像手段の結像面上の距離に基づいて実寸距離を算出する。結像面上の距離から実寸距離を求める場合には、生体組織表面までの撮影距離、又は生体組織表面上の基準スケール（例えば、処置具の先端の大きさ）に基づいて実寸距離を換算する。そして、前記算出した実寸距離が所定の距離以下になると、処置具の先端位置が血管に近づいたことを知らせるために、警告を発するようにしている。

請求項７に示すように請求項６に記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、前記表示手段に警告文字を重畳して表示することを特徴としている。

請求項８に示すように請求項６又は７に記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、前記表示手段に前記算出した実寸距離を重畳して表示することを特徴としている。上記実寸距離を表示することにより、処置具の先端位置が血管に近づいたことを知らせることができる。

請求項９に示すように請求項７又は８に記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、前記警告文字又は実寸距離を表示する際に、前記警告文字又は実寸距離の色を変化させる表示、前記警告文字又は実寸距離を点滅させる表示、前記警告文字又は実寸距離の拡大縮小を繰り返す表示、及び前記警告文字又は実寸距離を拡大する表示のうちの少なくとも１つの表示を行うことを特徴としている。上記のような警告の表示形態により、警告を確認しやすくしている。

請求項１０に示すように請求項６から９のいずれかに記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、前記表示手段に表示された処置具の先端位置の近傍に、前記警告文字又は実寸距離を表示することを特徴としている。処置具の先端位置の近傍（即ち、注視している箇所）に警告を表示することにより、警告が見落とされないようにしている。

請求項１１に示すように請求項６から１０のいずれかに記載の画像表示方法において、前記警告発生手段が前記警告を発する工程は、警告音又は警告音声を発することを特徴としている。

請求項１２に示すように請求項１から１１のいずれかに記載の画像表示方法において、入力手段が、前記表示手段の画面上での手術の開始点及び終了点の入力を受け付ける工程と、安全領域算出手段が、前記受け付けた手術の開始点及び終了点の位置情報と、前記抽出した血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域を通過せずに前記手術の開始点と終了点とを結ぶ手術経路を算出する工程と、安全領域表示手段が、前記算出した手術経路を前記合成画像に重畳して表示させる工程と、を更に含むことを特徴としている。

即ち、手術の開始点と終了点を入力するだけで、血管及び血管近傍の危険領域を通過しない手術経路（血管に接近しない適正な手術経路）を提示することができ、これにより手術時の処置具をより安全に操作することができるようになる。

請求項１３に示すように請求項１２に記載の画像表示方法において、前記安全領域算出手段が前記手術経路を算出する工程は、前記手術の開始点と終了点とを結ぶ最も安全な経路、又は最短経路を前記手術経路として算出することを特徴としている。尚、複数の手術経路の候補を表示させ、医師に選択させるようにしてもよい。また、提示された手術経路は、適宜修正できることが好ましい。

請求項１４に示すように請求項１から１１のいずれかに記載の画像表示方法において、入力手段が、前記表示手段の画面上での手術の開始点及び終了点の入力を受け付ける工程と、安全領域算出手段が、前記受け付けた手術の開始点及び終了点の位置情報と、前記抽出した血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域以外の安全領域を算出する工程と、安全領域表示手段が、前記算出した安全領域を識別可能に前記表示手段に表示させる工程と、を更に含むことを特徴としている。

即ち、手術の開始点と終了点を入力するだけで、血管及び血管近傍の危険領域以外の安全領域（血管に接近しない領域）を提示することができ、これにより手術時の処置具をより安全に操作することができるようになる。尚、安全領域と危険領域とは、合成画像の濃度や色を変えることにより識別可能に表示することができる。

請求項１５に係る画像表示装置は、血管造影剤が投与された被検体に対して該血管造影剤を発光させるための近赤外の波長域の励起光を内視鏡の先端から所定の時間間隔で連続的に照射する第１の光源手段と、前記被検体に対して前記励起光の非照射期間に前記内視鏡の先端から連続的に可視光を照射する第２の光源手段と、前記内視鏡に設けられ、前記第１、第２の光源手段による励起光又は可視光の照射に同期して被検体を交互に繰り返し撮影する撮像手段と、前記撮像手段によって撮影された画像のうちの前記励起光の照射に同期して撮影された画像を蛍光画像として取得するとともに、前記可視光の照射に同期して撮影された画像を通常画像として取得する画像取得手段と、前記画像取得手段によって取得した蛍光画像を所定の閾値により閾値処理して血管画像を抽出する血管画像抽出手段と、前記画像取得手段によって取得した通常画像に前記血管画像抽出手段によって抽出した血管画像を重畳させた合成画像を作成する合成画像作成手段と、前記合成画像作成手段によって作成された合成画像を動画として表示手段に出力する合成画像出力手段と、を備え、前記合成画像作成手段は、前記閾値処理により抽出された血管画像とその背景とを示す２値化信号からなるキー信号を作成する手段と、前記作成したキー信号に基づいて前記通常画像に前記血管画像をキー合成する手段とを有することを特徴としている。

即ち、血管造影剤が投与された被検体に対して、近赤外の波長域の励起光と可視光とを交互に連続的に照射し、同一の撮像装置によって励起光又は可視光の照射に同期して被検体を交互に繰り返し撮影し、蛍光画像と通常画像とを取得するようにしている。そして、前記蛍光画像を所定の閾値により閾値処理して血管画像を抽出し、この血管画像を通常画像に重畳させた合成画像を作成・表示し、これにより生体組織表面を観察できるようにするとともに、生体組織表面から所定の深さまでに存在する血管も合成画像上で観察できるようにしている。近赤外の波長域の励起光は、ヘモグロビンや水を透過することができるため、生体組織表面から所定の深さまで到達し、その深さまでに血管が存在すると、血管造影剤を励起して蛍光を発光させることができる。したがって、生体組織表面から所定の深さまでに存在する血管を蛍光画像として撮影することができる。

請求項１６に示すように請求項１５に記載の画像表示装置において、前記血管画像抽出手段は、前記蛍光画像の濃度情報を含む血管画像、又は２値化された血管画像を抽出することを特徴としている。

請求項１７に示すように請求項１５又は１６に記載の画像表示装置において、前記合成画像出力手段は、前記合成画像とともに、前記通常画像、蛍光画像及び血管画像のうちの少なくとも１つの画像を前記表示手段に同時に表示させることを特徴としている。尚、いずれの画像を合成画像と同時に表示させるかは、適宜選択できるようにしてもよい。

請求項１８に示すように請求項１５から１７のいずれかに記載の画像表示装置において、前記通常画像に基づいて手術用の処置具の先端位置を検出する処置具検出手段と、前記検出した処置具の先端位置と前記抽出した血管画像における血管の位置情報とに基づいて前記処置具の先端位置から最も近い血管までの実寸距離を算出する距離算出手段と、前記算出した実寸距離が所定の距離以下になると、警告を発する警告発生手段と、を更に備えたことを特徴としている。

請求項１９に示すように請求項１８に記載の画像表示装置において、前記警告発生手段は、前記表示手段に警告文字を重畳して表示することを特徴としている。

請求項２０に示すように請求項１８又は１９に記載の画像表示装置において、前記警告発生手段は、前記表示手段に前記算出した実寸距離を重畳して表示することを特徴としている。

請求項２１に示すように請求項１９又は２０に記載の画像表示装置において、前記警告発生手段は、前記警告文字又は実寸距離を表示する際に、前記警告文字又は実寸距離の色を変化させる表示、前記警告文字又は実寸距離を点滅させる表示、前記警告文字又は実寸距離の拡大縮小を繰り返す表示、及び前記警告文字又は実寸距離を拡大する表示のうちの少なくとも１つの表示を行うことを特徴としている。

請求項２２に示すように請求項１９から２１のいずれかに記載の画像表示装置において、前記警告発生手段は、前記表示手段に表示された処置具の先端位置の近傍に、前記警告文字又は実寸距離を表示することを特徴としている。

請求項２３に示すように請求項１８から２２のいずれかに記載の画像表示装置において、前記警告発生手段は、警告音又は警告音声を発することを特徴としている。

請求項２４に示すように請求項１５から２３のいずれかに記載の画像表示装置において、前記表示手段の画面上での手術の開始点及び終了点を入力する入力手段と、前記入力手段によって入力された手術の開始点及び終了点の位置情報と、前記血管画像抽出手段によって抽出された血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域を通過せずに前記手術の開始点と終了点とを結ぶ手術経路を算出する手術経路算出手段と、前記算出された手術経路を前記合成画像に重畳して表示させる手術経路表示手段と、を更に備えたことを特徴としている。

請求項２５に示すように請求項２４に記載の画像表示装置において、前記手術経路算出手段は、前記手術の開始点と終了点とを結ぶ最も安全な経路、又は最短経路を前記手術経路として算出することを特徴としている。

請求項２６に示すように請求項１５から２３のいずれかに記載の画像表示装置において、前記表示手段の画面上での手術の開始点及び終了点を入力する入力手段と、前記入力手段によって入力された手術の開始点及び終了点の位置情報と、前記血管画像抽出手段によって抽出された血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域以外の安全領域を算出する安全領域算出手段と、前記算出した安全領域を識別可能に前記表示手段に表示させる安全領域表示手段と、を更に備えたことを特徴としている。

本発明によれば、外科手術を行う際に、生体組織表面を良好に観察することができる通常画像を表示することができるとともに、通常画像では表示することができない生体組織表面から所定の深さまでに存在する血管を通常画面上に重畳して表示することができ、これにより血管を傷つけるリスク（出血リスク）を大幅に低減することができる。

また、手術用の処置具が血管に近接した場合には、警告を発して注意を喚起することができ、これにより出血トラブルを未然に防止することができ、更に手術の開始点と終了点を入力するだけで、血管に接近しない適正な手術経路を提示することができ、これにより手術時の処置具をより安全に操作することができる。

以下、添付図面に従って本発明に係る画像表示方法及び装置の好ましい実施の形態について説明する。

＜画像表示装置の外観＞
図１は本発明に係る画像表示装置の実施の形態を示す外観図である。

図１に示すように、この画像表示装置１０は、主として内視鏡の一種である腹腔鏡１００と、プロセッサ２００と、光源装置３００と、モニタ装置４００とから構成されている。尚、プロセッサ２００は、光源装置３００を内蔵するように構成されていてもよい。

腹腔鏡１００は、電気コネクタ１１０及びライトガイド（ＬＧ）コネクタ１２０を介してそれぞれプロセッサ２００及び光源装置３００に着脱自在に取り付けられるようになっている。腹腔鏡１００で撮影された被検体を示す画像は、プロセッサ２００によって適宜画像処理された後、モニタ装置４００に出力され、ここで術者によって観察される。

図２は腹腔鏡１００を使用した腹腔鏡手術の模式図である。腹腔鏡手術では、腹壁に数カ所の穴を開け、トロッカ２０を介して腹腔鏡１００の挿入部先端１００Ａや、内視鏡手術に使用する電気メス３０、鉗子等の処置具を挿入するとともに、炭酸ガスや空気を入れて腹壁を膨らませる。

術者は、腹腔鏡１００によって撮影した手術対象部位をモニタ装置４００で観察しながら、処置具を操作して手術を進める。

＜画像表示装置の内部構成＞
図３は画像表示装置１０の内部構成を示すブロック図である。

［腹腔鏡］
腹腔鏡１００の挿入部先端１００Ａには、対物レンズ１３０、撮像素子（ＣＣＤ）１４０及び照明レンズ１５０が配設されている。

対物レンズ１３０は、被検体をＣＣＤ１４０の受光面に結像させ、ＣＣＤ１４０は、受光面上に結像された被検体像を各受光素子によって電気信号に変換する。この実施の形態のＣＣＤ１４は、３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが所定の配列（ベイヤー配列、ハニカム配列）で各画素ごとに配設されたカラーＣＣＤである。

また、腹腔鏡１００の内部には、ＣＣＤ１４０を駆動し、またＣＣＤ出力を取り出すための配線１６０が設けられるとともに、ライトガイド１７０が設けられている。

ライトガイド１７０の一端１７０Ａは、ＬＧコネクタ１２０を介して光源装置３００に接続され、ライトガイド１７０他端１７０Ｂは、照明レンズ１５０に対面している。光源装置３００から発せられた光は、ライトガイド１７０を経由して照明レンズ１５０から出射され、対物レンズ１３０の視野範囲を照明する。

尚、この実施の形態の腹腔鏡１００は、ＣＣＤ１４０の前面に赤外カットフィルタが設けられていない点を除いて、一般の腹腔鏡と同じ構成を有している。

［プロセッサ］
プロセッサ２００は、主として中央処理装置（ＣＰＵ）２１０、アナログ・フロント・エンド（ＡＦＥ）２２０、画像入力コントローラ２２２、通常画像処理部２２４、蛍光画像処理部２２６、画像合成部２３０、ＣＣＤドライバ２４０、タイミングジェネレータ（ＴＧ）２４２、キャラクタジェネレータ（ＣＧ）２４４、メモリ２４６、ビデオ出力部２４８、音声処理部２５０、スピーカ２５２、及び操作部２５４から構成されている。

ＣＰＵ２１０は、プログラムＲＯＭを内蔵しており、このプログラムＲＯＭにはＣＰＵ２１０が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ２１０は、操作部２５４からの撮影の指示等の指示入力に基づきプログラムＲＯＭに記録された制御プログラムをメモリ２４６に読み出し、逐次実行することにより各部を制御する。尚、メモリ２４６は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。

腹腔鏡１００内のＣＣＤ１４０は、ＴＧ２４２からＣＣＤドライバ２４０を介して供給される垂直転送クロック及び水平転送クロックに同期して、各画素に蓄積された電荷を１ラインずつシリアルな画像信号として出力する。ＣＰＵ２１０は、ＴＧ２４２を制御して、ＣＣＤ１４０の駆動を制御する。

操作部２５４は、撮影の開始及び終了を指示するスイッチのほか、後述する手術経路の計算を指示するスイッチ、手術経路の開始点及び終了点の指示入力を行うマウス等のポインティングデバイスを有している。

ＣＣＤ１４０から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、ＡＦＥ２２０に取り込まれる。ＡＦＥ２２０は、相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）、及びＡＤ変換器（ＡＤＣ）を含んで構成されている。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅し、ＡＤＣは、アナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。

画像入力コントローラ２２２は、所定容量のラインバッファを内蔵しており、ＡＦＥ２２０から出力された１フレーム分の画像信号を蓄積する。この画像入力コントローラ２２２に蓄積された１フレーム分の画像信号は、バス２５６を介してメモリ２４６に格納される。

バス２５６には、上記ＣＰＵ２１０、メモリ２４６、画像入力コントローラ２２２のほか、通常画像処理部２２４、蛍光画像処理部２２６、画像合成部２３０、ＣＧ２４４、ビデオ出力部２４８等が接続されており、これらはバス２５６を介して互いに情報を送受信できるようになっている。

メモリ２４６に格納された１フレーム分の画像信号は、通常画像処理部２２４又は蛍光画像処理部２２６に取り込まれ、それぞれ必要な画像処理が施される。通常画像処理部２２４、及び蛍光画像処理部２２６によって処理された画像は、画像合成部２３０によって合成される。尚、通常画像処理部２２４、蛍光画像処理部２２６、及び画像合成部２３０の詳細については後述する。

画像合成部２３０によって合成された合成画像は、ビデオ出力部２４８によってモニタ装置４００用の映像信号に変換され、モニタ装置４００に出力される。

また、ＣＧ２４４は、ＣＰＵ２１０からの指令により警告文字等を発生し、画像合成部２３０に出力し、音声処理部２５０は、ＣＰＵ２１０からの指令によりビープ音などの警告音や警告音声をスピーカ２５２から発生させる。

［光源装置］
光源装置３００は、主として白色の光源３１０、回転フィルタ３２０、絞り３３０、集光レンズ３４０、モータ駆動回路３５０、モータ３６０、及び自動光量調整回路（ＡＬＣ）３７０から構成されており、可視光と、特定の波長域（近赤外域）の励起光とを交互にライトガイド１７０に入射させる機能を備えている。

光源３１０としては、例えばハロゲンランプを使用することができる。ハロゲンランプから発せられる白色光は、４００ｎｍ〜１８００ｎｍの波長域を有している。回転フィルタ３２０は、その回転位置に応じて可視光のみを透過させ、又は近赤外域の励起光のみを透過させる。

図４は回転フィルタ３２０の平面図である。同図に示すように、回転フィルタ３２０には、赤外カットフィルタ３２２と近赤外バンドパスフィルタ３２４とが設けられており、回転フィルタ３２０は、赤外カットフィルタ３２２が光源３１０の前面に位置する場合には、可視光（４００ｎｍ〜７００ｎｍ）のみを透過させ、近赤外バンドパスフィルタ（近赤外ＢＰＦ）３２４が光源３１０の前面に位置する場合には、近赤外域の励起光（例えば、８００ｎｍ付近）のみを透過させる。

モータ駆動回路３５０は、モータ３６０に駆動信号を出力し、回転フィルタ３２０を３０回／秒の速度で回転させるとともに、ＴＧ２４２からの垂直同期信号に同期して赤外カットフィルタ３２２と近赤外ＢＰＦ３２４とが切り替わるように位相を制御している。

回転フィルタ３２０を透過した光は、絞り３３０及び集光レンズ３４０を介してライトガイド１７０の端面に導かれる。

ＡＬＣ３７０は、ＣＰＵ２１０から加えられる撮影画像の明るさ情報に基づいて絞り３３０を制御し、撮影画像が一定の明るさに維持されるようにライトガイド１７０に入射させる光量を調整する。これにより、ハレーション等が生じないようにしている。

上記構成の光源装置３００により可視光をライトガイド１７０に入射させると、腹腔鏡１００では、カラー画像（通常画像）を撮影することができ、励起光をライトガイド１７０に入射させると、腹腔鏡１００では、励起光によって蛍光発光する生体組織の蛍光画像を撮影することができる。

［血管画像を含む蛍光画像の取得方法］
光を使って生体組織内の情報を得るためには、生体組織が吸収する波長域の光を避ける必要がある。図５に示すように７００ｎｍ以下の可視光の波長域では、ヘモグロビンの吸収があり、１０００ｎｍ以上の波長域では、水の吸収があるため、この波長域の光は使用できない。７００ｎｍ〜１０００ｎｍの波長域（近赤外域）の光は、生体組織を比較的よく透過するため、「生体の分光学的窓」と呼ばれている。即ち、前述した近赤外域の励起光は、生体組織を比較的よく透過する光である。

本発明では、生体組織の内部の血管を観察するために、被検体に血管造影剤を投与するとともに、近赤外域の励起光を照射して血管画像を含む蛍光画像を撮影する。尚、血管造影剤としては、励起光波長７８５ｎｍ及び蛍光波長８０５ｎｍの蛍光試薬ＩＣＧ（インドシアニングリーン）、励起光波長７４７ｎｍ及び蛍光波長７７６ｎｍの蛍光試薬Ｃｙ７を用いることができる。

＜第１の実施の形態＞
本発明は通常画像と蛍光画像とを交互に撮影する。蛍光画像を撮影する場合には、前述したように生体組織に近赤外域の励起光を照射する。

図６は本発明に係る画像表示方法及び装置の第１の実施の形態を示すフローチャートである。

まず、被検体の静脈から血管造影剤を投与する（ステップＳ１０）。尚、血管造影剤は、体内で代謝されてしまうため、血中濃度を一定に保つように蛍光造影剤を投与する必要がある。また、血管造影剤の血中濃度が適正になるように（即ち、蛍光強度がピークになるように）血管造影剤を投与することが好ましい。

続いて、通常画像と蛍光画像とを、１／６０秒の周期の垂直同期信号（ＶＤ信号）に同期して１フレーム毎に交互に撮影する（ステップＳ１２）。即ち、図７（Ａ）に示すようにＶＤ信号に同期して、光源装置３００から可視光と励起光とを交互に発光させ、ライトガイド１７０及び照明レンズ１５０を介して被検体を照射する。これにより、ＣＣＤ１４０により通常画像の露光（撮影）と蛍光画像の露光（撮影）とが交互に行われる（図７（Ｂ），（Ｆ））。

通常画像の露光が行われると、次のＶＤ信号に同期してＣＣＤ１４０から画像信号（通常画像）の読み出しが行われ（図７（Ｃ））、続いて、図３に示した通常画像処理部２２４にて通常画像処理が行われる（図７（Ｄ），ステップＳ１４）。

通常画像処理部２２４は、リニアマトリクス回路、ホワイトバランス補正回路、ガンマ補正回路、及び同時化回路等を含み、これらの回路によって入力する通常画像を示すＲ、Ｇ、Ｂの画像信号を処理する。

一方、蛍光画像の露光が行われると、次のＶＤ信号に同期してＣＣＤ１４０から画像信号（蛍光画像）の読み出しが行われ（図７（Ｇ））、続いて、図３に示した蛍光画像処理部２２６にて蛍光画像処理、及び血管画像の生成処理が行われる（図７（Ｈ），ステップＳ１６、Ｓ１８）。

蛍光画像処理部２２６は、まずガンマ補正回路、同時化回路等により入力する蛍光画像を示すＲ、Ｇ、Ｂの画像信号を処理し、同時化回路での同時化処理後のＲ、Ｇ、Ｂの画像信号から輝度信号（濃度情報のみをもつ信号）を生成する。続いて、濃度情報のみをもつ蛍光画像から血管画像の生成を行う。

図８は、図６のステップＳ１８における血管画像生成（血管画像の抽出）の処理を示すフローチャートである。

図８に示すようにステップＳ１６で処理された蛍光画像を入力する（ステップＳ３０）。次に、入力した蛍光画像を所定の閾値により閾値処理し、前記閾値によって設定した濃度以上の画素（蛍光発光した生体組織から光を受光した画素）の濃度情報を抽出するとともに、前記閾値によって２値化した２値化画像を抽出する（ステップＳ３２）。尚、前記閾値としては、画素の濃度情報とノイズとを区別できる範囲内で可能な限り小さい値が好ましい。

続いて、前記抽出した濃度情報又は２値化画像から血管画像のみを抽出する画像処理を行う（ステップＳ３４）。例えば、血管の特徴量（細長い連続した形状等）とは異なる特徴量を有する画像部分やノイズ成分を削除するためのフィルタ処理を行う。

上記のようにして画像処理された通常画像と蛍光画像（血管画像）は、図７（Ｅ）及び（Ｉ）に示すようにそれぞれ連続したフレームとなるように２フレームずつ出力され、同時に出力された通常画像と血管画像とは、図３に示した画像合成部２３０に出力され、ここで合成される。

図９（Ａ）及び（Ｂ）は、それぞれ画像合成部２３０に出力される通常画像及び血管画像の模式図である。

図１０は画像合成部２３０の内部構成を示すブロック図である。同図に示すように、画像合成部２３０は、ミキサ２３２、２３４、２３６と、色変換部２３８とを備えている。

色変換部２３８には、濃度情報からなる血管画像が加えられており、色変換部２３８は、入力する血管画像を、予め設定された色（例えば、赤）になるように色変換し、変換後の血管画像をミキサ２３２に出力する。尚、色変換部２３８は、血管画像の濃度情報に対応した階調（明るい赤から暗い赤）の色になるように色変換する。

ミキサ２３２の他の入力には、通常画像が加えられており、ミキサ２３２は、通常画像と血管画像とを合成する。このミキサ２３２での画像合成は、前記血管画像に対応する２値画像（血管画像とその背景とを示す２値化信号）をキー信号として通常画像に血管画像をキー合成する。これにより、通常画像上に血管画像のみを貼り付けるように合成し、血管がない部分は通常画像が見えるように合成する。

このようにして合成された合成画像は、ミキサ２３４に加えられる。ミキサ２３４の他の入力には、必要に応じてＣＧ２４４から警告文字情報が加えられ、ミキサ２３４は、合成画像上に警告文字を合成できるようになっている。

ミキサ２３４から出力された合成画像は、ミキサ２３６に加えられる。ミキサ２３６の他の入力には、ＣＰＵ２１０から手術経路情報が加えられ、ミキサ２３６は合成画像上に手術経路を合成できるようになっている。尚、警告文字及び手術経路の合成表示の詳細については後述する。

図６に戻って、上記のようにして画像合成部２３０にて合成された合成画像は、ビデオ出力部２４８を介してモニタ装置４００に出力され、モニタ装置４００に表示される（ステップＳ２２）。図１１は合成画像が表示されたモニタ画面の一例を示している。

次に、操作部２５４からの手術終了の指示入力の有無に基づいて手術が終了したか否かを判別し、手術が終了していない場合にはステップＳ１２に遷移し、手術が終了した場合には、本手術支援の処理を終了する（ステップＳ２４）。

尚、この実施の形態では、血管画像として、濃度情報に対応した階調をもった画像としたが、これに限らず、２値化画像でもよい。この場合には、血管画像を容易に確認することができるが、血管画像に濃度差がないため、血管の深さ方向の情報は得られない。

［合成画像の他の表示例］
図１２及び図１３は、それぞれ合成画像を含む画像が表示されたモニタ画面の他の例を示している。

図１２に示すモニタ画面では、合成画像Ａと通常画像Ｂとを並べて表示している。また、図１３に示すモニタ画面では、合成画像Ａと通常画像Ｂと血管画像Ｃとを並べて表示している。尚、図１１、図１２及び図１３に示したモニタ画面は、操作部２５４での操作によって適宜切り替えることができるようにしてもよい。

［画像表示装置の他の実施の形態］
上記実施の形態の腹腔鏡１００では、Ｒ、Ｇ、Ｂのカラーフィルタを有するＣＣＤ１４０を使用するようにしたが、これに限らず、白黒のＣＣＤ（図示せず）を使用するようにしてもよい。

この場合には、光源装置３００から可視光をライトガイド１７０に入射させる際に、Ｒ、Ｇ、Ｂの可視光を順次入射させる。

即ち、光源装置３００は、図４に示した回転フィルタ３２０の代わりに、図１４に示す回転フィルタ３２９を使用する。この回転フィルタ３２９には、約９０度の角度範囲毎に、Ｒフィルタ３２８Ｒ、Ｇフィルタ３２８Ｇ、Ｂフィルタ３２８Ｂ、及び近赤外ＢＰＦ３２４が配設されている。また、Ｒフィルタ３２８Ｒ、Ｇフィルタ３２８Ｇ、Ｂフィルタ３２８Ｂには、赤外カットフィルタ（図示せず）も重畳して設けられている。

この回転フィルタ３２９は、Ｒフィルタ３２８Ｒ、Ｇフィルタ３２８Ｇ、Ｂフィルタ３２８Ｂ、及び近赤外ＢＰＦ３２４が光源３１０の前面に位置する場合には、それぞれＲ、Ｇ、Ｂの可視光、及び近赤外域の励起光を透過させる。

この回転フィルタ３２９を、１５回／秒の速度で回転させることにより、１／６０秒周期毎にＲ光、Ｇ光、Ｂ光、及び励起光が切り替わる面順次光を発生することができる。

図１５は上記Ｒ光、Ｇ光、Ｂ光、及び励起光の面順次光を被検体に照射した場合の信号処理のタイミングチャートである。

図１５（Ａ）に示すようにＶＤ信号に同期して、光源装置３００からＲ光、Ｇ光、Ｂ光、及び励起光が順番に発光され、Ｒ、Ｇ、Ｂ光による通常画像の露光、及び励起光の蛍光画像の露光が行われる（図１５（Ｂ），（Ｆ））。

Ｒ、Ｇ、Ｂ光による通常画像の露光、及び励起光の蛍光画像の露光が行われると、それぞれ次のＶＤ信号に同期してＣＣＤ１４０から画像信号の読み出しが行われ（図１５（Ｃ）、（Ｇ））、続いて、画像信号の読み出し後に通常画像処理部２２４及び蛍光画像処理部２２６による画像処理が行われる（図１５（Ｄ），（Ｈ））。

尚、Ｒ、Ｇ、Ｂの面順次の画像信号の処理の場合には、カラーフィルタの配列に対応した同時化処理は不要であり、それ以外の画像処理は、カラーのＣＣＤ１４０から得られる画像信号の処理とほぼ同様である。また、図１５（Ｄ）では、Ｒ、Ｇ、Ｂの３つの色画像の読み出しが終了した後に、これらの画像に対する画像処理を開始するようにしたが、各色画像の読み出しが終了する毎に、その読み出した色画像に対する処理を開始するようにしてもよい。

通常画像処理部２２４及び蛍光画像処理部２２６による画像処理が終了すると、通常画像と蛍光画像（血管画像）は、図１５（Ｅ）及び（Ｉ）に示すようにそれぞれ連続したフレームとなるように４フレームずつ出力される。

尚、図１５（Ｄ）では、Ｒ_１Ｇ_１Ｂ_１の３つの画像からカラー画像を生成し、次のＲ_２Ｇ_２Ｂ_２の３つの画像から次のカラー画像を生成するようにしたが、これに限らず、Ｒ_１Ｇ_１Ｂ_１→Ｇ_１Ｂ_１Ｒ_２→Ｂ_１Ｒ_２Ｇ_２→…のように新たな色画像が取得される毎に、その色画像と直前の２つの色画像とからカラー画像を生成するようにしてもよい。これによれば、より滑らかなライブビュー画像を作成することができる。

［光源装置の他の実施の形態］
図１６は本発明に適用される光源装置の他の実施の形態を示すブロック図である。尚、図３に示した光源装置３００と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１６に示す光源装置３００’は、図３に示した光源装置３００にレーザ制御部５００、半導体レーザ５１０、反射ミラー５２０、及びハーフミラー５３０が追加されている。また、回転フィルタ３２９は、図４に示した回転フィルタ３２０の近赤外ＢＰＦ３２４の部分が遮光されたものが使用されている。

上記構成の光源装置３００’により可視光を発光させる場合には、光源３１０から発光された白色光の波長域を、回転フィルタ３２９の赤外カットフィルタにより可視光の波長域に制限し、赤外カットフィルタを透過させた可視光を、絞り３３０、集光レンズ３４０及びハーフミラー５３０を介してライトガイド１７０の入射端面に入射させる。

一方、励起光を発光させる場合には、レーザ制御部５００により半導体レーザ５１０が間欠的にレーザ光を発光するように制御する。この半導体レーザ５１０の発光期間は、光源３１０から発光された白色光が回転フィルタ３２９によって遮光される遮光期間に同期するように制御される。

半導体レーザ５１０は、８００ｎｍ付近の近赤外域のレーザ光（励起光）を発光することができ、この励起光は、反射ミラー５２０及びハーフミラー５３０を介してライトガイド１７０の入射端面に入射する。

また、図１６に示した光源３１０の代わりに、白色発光ダイオードを使用することができ、この白色発光ダイオードをＯＮ／ＯＦＦ制御することより、回転フィルタ３２９等を省略することができる。

＜第２の実施の形態＞
図１７は本発明に係る画像表示方法及び装置の第２の実施の形態を示すフローチャートである。

第２の実施の形態は、第１の実施の形態によって合成画像が表示された画面上に、手術処置具と血管とが近接した場合に警告表示を行うようにしている。以下、警告表示等を行うための処理について説明する。

図１７において、通常画像を入力し（ステップＳ５０）、入力した通常画像を画像処理することより、電気メスの先端位置Ｐ_Ｏを検出する（ステップＳ５２）。電気メスの先端位置Ｐ_Ｏの検出は、まず通常画像内から電気メスの画像を検出する。電気メスの具体的な検出方法としては、エッジ検出又は形状パターン検出による方法、電気メスの特徴点をベクトル化し、特徴点ベクトルを近似検出することによる、特徴点ベクトル近似法、使用する電気メス固有の色相検出による方法等の公知の方法を利用することができる。

電気メスが検出されると、その検出した電気メスのエッジを追跡することによって先端位置Ｐ_Ｏを検出することができる。

次に、前記検出した電気メスの先端位置Ｐ_Ｏから最短距離にある血管までの距離Ｌを算出する（ステップＳ５４）。この距離Ｌの算出は、以下のようにして行う。

図１８に示すように電気メス３０の先端位置Ｐ_Ｏを基準にして、先端位置Ｐ_Ｏから血管画像を放射方向に走査する。例えば、位置Ｐ_Ｏから０時の方向に血管画像の画素値を走査し、最初に画素値が現れた画素の位置を血管壁と見なし、位置Ｐ_Ｏと血管壁までのＣＣＤ１４０の結像面上の距離を算出する。この処理を、０時から１２時まで所定の角度ずつ回転させながら繰り返し実行し、算出された複数の距離のうちの最小値を最短の距離Ｌとして求める。

続いて、上記のようにして算出した距離Ｌの実寸距離Ｌ’を算出する（ステップＳ５６）。実寸距離Ｌ’を算出する方法としては、生体組織表面までの撮影距離を検出し、その撮影距離に基づいて実寸距離Ｌ’を算出する方法や、生体組織表面上に位置している基準スケール（例えば、寸法が既知の処置具等）の通常画像上での大きさを検出し、その大きさに基づいて実寸距離Ｌ’を算出する方法が考えられる。

生体組織表面までの撮影距離を検出する方法としては、腹腔鏡１００の先端からレーザビームを撮影画像の中心に向かって出射する。生体組織表面までの撮影距離に応じて、前記レーザビームの輝点の位置が変化するため、レーザビームの輝点の画面上の位置を検出することによって撮影距離を求めることができる。また、レーザビームを複数本出射することにより生体組織表面の複数箇所の距離を求めることができる。

撮影距離Ｘが検出されると、距離Ｘと対物レンズ１３０の焦点距離ｆとの比を、結像面上の距離Ｌに乗算することによって実寸距離Ｌ’を求めることができる。

このようにして算出した電気メス３０の先端位置Ｐ_Ｏから最短距離にある血管までの実寸距離Ｌ’が、危険か否かを判断するための基準の距離Ｌ_ｒｅｆ以下か否かを判別する（ステップＳ５８）。

判別結果が「Ｙｅｓ」（Ｌ’≦Ｌ_ｒｅｆ）の場合には、合成画像上に警告を表示する（ステップＳ６０）。判別結果が「Ｎｏ」（Ｌ’＞Ｌ_ｒｅｆ）の場合には、ステップＳ６２に遷移し、ステップＳ６０での警告表示は行わない。

図１９に警告表示の一例を示す。同図に示す例では、「接近！」の警告文字を表示するとともに、引き出し線によってどの血管に接近しているか、また、その実寸距離（この例では、「２ｍｍ」）を同時に表示するようにしている。尚、矢印のようにポインタを血管の位置に表示したり、測っているポイントに点印を付けたりしてもよい。更に、実寸距離をバー表示したり、メータ表示するようにしてもよい。

この警告文字及び実寸距離をモニタ装置４００に表示させる場合には、ＣＰＵ２１０から警告文字及び実寸距離を示す信号をＣＧ２４４に出力し、ＣＧ２４４から警告文字及び実寸距離を示す警告文字情報を画像合成部２３０に出力させる。図１０に示すように画像合成部２３０のミキサ２３４は、ＣＧ２４４から入力する警告文字情報に基づいて合成画像上に警告文字及び実寸距離を合成する。これにより、モニタ装置４００の画面上に警告文字及び実寸距離が合成された合成画像を表示させることができる。

尚、警告文字及び実寸距離の表示形態としては、表示色を変化させる表示、点滅させる表示、拡大縮小を繰り返す表示、又は拡大表示することが考えられる。これにより、警告文字及び実寸距離の表示に注意を喚起することができ、警告が見落とされないようにすることができる。

また、この実施の形態では、警告文字及び実寸距離を同時に表示するようにしたが、これに限らず、警告文字及び実寸距離の一方を表示するようにしてもよい。

更に、警告文字及び実寸距離の表示とともに、又は警告文字及び実寸距離の表示の代わりに、ＣＰＵ２１０から警告の音声指令を音声処理部２５０に出力し、音声処理部２５０から音声信号をスピーカ２５２に出力することにより、警告音又は警告音声を発生させるようにしてもよい。

図１７に戻って、ステップＳ６２では操作部２５４からの手術終了の指示入力の有無に基づいて手術が終了したか否かを判別し、手術が終了していない場合にはステップＳ６４に遷移し、手術が終了した場合には、本手術支援の処理を終了する。

ステップＳ６４及びステップＳ６６では、ステップＳ５０及びステップＳ５２と同様にして新たに通常画像を入力し、電気メスの先端位置Ｐ_Ｏを検出する。続いて、電気メスの先端位置Ｐ_Ｏが前回の位置から移動したか否かを判別し、電気メスの先端位置Ｐ_Ｏが移動した場合には、ステップＳ５４に遷移させ、電気メスの先端位置Ｐ_Ｏが移動していない場合には、ステップＳ５８に遷移させる（ステップＳ６８）。

＜第３の実施の形態＞
図２０は本発明に係る画像表示方法及び装置の第３の実施の形態を示すフローチャートである。

第３の実施の形態は、第１の実施の形態によって合成画像が表示された画面上に、安全な手術経路を計算して重畳して表示することを特徴としている。以下、手術経路を表示するための処理等について説明する。

図２０において、手術者は、合成画像を見ながら所望の上で手術の始点位置Ｐ_Ａ、及び終点位置Ｐ_Ｂを入力する（ステップＳ７０）。これらの始点位置Ｐ_Ａ、及び終点位置Ｐ_Ｂを入力する場合には、操作部２５４とモニタ装置４００の画面とを使用し、例えば、手術支援装置１０の動作モードを始点／終点位置入力モードに設定する。そして、モニタ装置４００の画面上で始点位置Ｐ_Ａにマウスポインタを移動させ、マウスをクリックすることにより始点位置Ｐ_Ａを設定する。同様にして終点位置Ｐ_Ｂを設定する。

図２１（Ａ）は、始点位置Ｐ_Ａ、及び終点位置Ｐ_Ｂを設定したときのモニタ画面の一例を示している。尚、設定された始点位置Ｐ_Ａ、及び終点位置Ｐ_Ｂには、それぞれマーカーを表示することが好ましい。

始点位置Ｐ_Ａ、及び終点位置Ｐ_Ｂの設定が終了した後、術者が操作部２５４から手術経路の作成指示を入力すると、ＣＰＵ２１０は、始点位置Ｐ_Ａから終点位置Ｐ_Ｂまでの危険領域を通らない手術経路を計算する（ステップＳ７２）。

図２１を用いて手術経路の計算の一例を説明する。図２１（Ｂ）に示す例では、始点位置Ｐ_Ａから終点位置Ｐ_Ｂに向かって順番に血管間の中点Ｐ_１〜Ｐ_７を求める。例えば、中点Ｐ_１を求める場合には、始点位置Ｐ_Ａと終点位置Ｐ_Ｂとを結んだ線分を挟む血管、又は線分が横断する血管を求める。図２１（Ｂ）の例では、血管Ｘ_１、Ｘ_２を求め、これらの血管Ｘ_１、Ｘ_２が最も近づく位置を求める。そして、これらの血管Ｘ_１、Ｘ_２が最も近づく位置の中点Ｐ_１を算出する。

同様にして、中点Ｐ_２を求める場合には、前記求めた中点Ｐ_１と終点位置Ｐ_Ｂとを結んだ線分を挟む血管、又は線分が横断する血管を求める。図２１（Ｂ）の例では、血管Ｘ_２、Ｘ_３を求め、これらの血管Ｘ_２、Ｘ_３が最も近づく位置を求める。そして、最も近づく位置の中点Ｐ_２を算出する。

一方、上記のようにして求めた中点Ｐ_３と終点位置Ｐ_Ｂとを直線で結んだ場合には、その線分は、血管Ｘ_５を横断することになる。この場合には、この横断する血管Ｘ_５と、血管Ｘ_５を迂回する経路側の血管Ｘ_４とが最も近づく位置を求め、これらの位置の中点Ｐ_４を算出する。

上記のようにして各中点Ｐ_１〜Ｐ_７の算出が終了すると、図２１（Ｃ）に示すように始点位置Ｐ_Ａと終点位置Ｐ_Ｂとを結ぶ手術経路Ｃであって、途中の各中点Ｐ_１〜Ｐ_７を通る手術経路Ｃを算出する。各点を通る手術経路Ｃは、例えばスプライン補間を使用し、全体としては滑らかな曲線になるように計算する。尚、血管間の中点の位置と血管との実寸距離を算出し、この実寸距離が危険な距離として予め設定された閾値以下の場合には、他の手術経路の計算を行うようにする。

図２０に戻って、手術経路の算出が終了すると、手術経路とともに、手術経路上の画像（例えば、始点位置Ｐ_Ａ、終点位置Ｐ_Ｂ、及び各中点Ｐ_１〜Ｐ_７の近傍の画像）を、画面上の位置に関連づけて記憶する（ステップＳ７４）。

次に、画像が変化したか否かを、前記記憶した画像との比較により判別する（ステップＳ７６）。画像の変化は、腹腔鏡１００の撮影範囲の変化や術中の撮影対象の移動によって生じる。

画像が変化しない場合には、ステップＳ７２で算出した手術経路を、モニタ装置４００に表示されている合成画像上に重ねて表示させる（ステップＳ８０）。

この手術経路をモニタ装置４００に表示させる場合には、ＣＰＵ２１０から手術経路を示す手術経路情報を画像合成部２３０に出力する。図１０に示すように画像合成部２３０のミキサ２３６は、ＣＰＵ２１０から入力する手術経路情報に基づいて合成画像上に手術経路を合成する。これにより、モニタ装置４００の画面上に、手術経路が合成された合成画像を表示させることができる。

一方、画像が変化したと判別されると、ステップＳ７４で記憶した画像との各部分での画像のずれ量を算出し、そのずれ量だけ前記始点位置Ｐ_Ａ、終点位置Ｐ_Ｂ、及び各中点Ｐ_１〜Ｐ_７の位置を補正し、補正後の各位置に基づいて手術経路を再計算する（ステップＳ７８）。そして、ステップＳ８０では、再計算後の手術経路を表示させる。

その後、手術が終了したか否かを操作部３５４からの手術終了の指示入力の有無に基づいて判別し、終了していない場合にはステップＳ７６に遷移し、手術が終了した場合には、本手術支援の処理を終了する（ステップＳ８２）。

［第３の実施の形態の変形例］
図２０のステップＳ７２での手術経路の計算後にモニタ画面上に手術経路を表示させ、術者からの指示入力に基づいて（例えば、手術経路をマウスでドラッグして）手術経路を修正できるようにしてもよい
また、図２２に示すように手術経路と血管との実寸距離を算出し、注意を要する箇所等に実寸距離や警告を表示するようにしてもよい。これによれば、手術経路に沿って切開する場合に、特に注意を要する箇所への切開を慎重に行うことができる。

更に、手術の始点位置Ｐ_Ａ、及び終点位置Ｐ_Ｂの入力方法は、この実施の形態に限定されず、例えば、タッチパネル付きのモニタ装置の場合には、タッチペン等によって行うようにしてもよい。

また、図２３に示すように手術の始点位置Ｐ_Ａ、及び終点位置Ｐ_Ｂの入力後、手術経路が表示された場合に（図２３（Ａ），（Ｂ））、その手術経路上の複数のポイントを、電気メスによってマーキングする。マーキングする箇所としては、始点位置Ｐ_Ａ、終点位置Ｐ_Ｂ、及び手術経路を計算する上で必要なポイント（Ｑ_１〜Ｑ_６）が選択される。そして、マーキング終了後に、図２０のステップＳ７４で記憶させた画像の代わりに、これらの複数のポイントを含む画像及びその位置を記憶させる。これによれば、手術経路上の特徴点の抽出が簡単になり、画像の変化に伴う手術経路の変更表示を、より簡単に行うことができる。

［手術経路の他の計算及び表示方法］
図２４は手術経路の他の計算方法を説明するための図である。

図２１に示した手術経路の計算方法は、各血管間の中点を通るように手術経路を算出したため、最も安全な手術経路を算出することができるが、図２４に示す手術経路の計算方法は、危険領域を通過しない最短の手術経路を算出する方法である。

図２４に示すように手術の始点位置Ｐ_Ａ、及び終点位置Ｐ_Ｂが指定されると、これらの始点位置Ｐ_Ａと終点位置Ｐ_Ｂとを結んだ線分の近傍の血管Ｘ_１、Ｘ_２、…を求める（図２４（Ａ））。続いて、血管Ｘ_１、Ｘ_２、…から一定距離の範囲の危険領域Ａ_１、Ａ_２、…を設定する（図２４（Ｂ））。この危険領域Ａ_１、Ａ_２、…の設定は、予め設定された手術経路と血管壁との危険な実寸距離に基づいて行う。

続いて、手術の始点位置Ｐ_Ａと点位置Ｐ_Ｂとを直線で結んだ時に（図２４（Ｃ））、上記危険領域Ａ_１、Ａ_２、…を通過しない場合には、その直線を手術経路として設定するが、上記危険領域Ａ_１、Ａ_２、…を通過する場合には、下記のように迂回する手術経路を計算する。

即ち、図２４（Ｄ）に示すように手術の始点位置Ｐ_Ａから危険領域Ａ_１を通過しない最短の位置Ｐ_１を求め、位置Ｐ_Ａと位置Ｐ_１とを直線で結んだ経路を手術経路とする。続いて、位置Ｐ１から危険領域Ａ_２を通過しない最短の位置Ｐ２を求め、その後、位置Ｐ２から危険領域Ａ_１を通過しない最短の位置Ｐ１’を求める。そして、位置Ｐ_１とＰ_１’との間の危険領域Ａ_１の円弧、及び位置Ｐ_１’と位置Ｐ_２とを直線で結んだ経路を手術経路とする。以下同様にして、位置Ｐ_２とＰ_２’との間の危険領域Ａ_２の円弧、及び位置Ｐ_２’と位置Ｐ_Ｂとを直線で結んだ経路を手術経路とする（図２４（Ｅ））。

これにより、危険領域を通過しない最短の手術経路を計算することができる。

また、図２５に示すように手術経路を計算せずに、手術の始点位置Ｐ_Ａから終点位置Ｐ_Ｂに至る安全領域を算出し、この算出した安全領域と危険領域（安全領域以外の領域）とを識別可能に表示するようにしてもよい。

上記安全領域は、危険領域を算出することにより求めることができる。例えば、手術の始点位置Ｐ_Ａと終点位置Ｐ_Ｂとを結ぶ線分の近傍の各血管について、図２４（Ｂ）に示したようにそれぞれ危険領域を設定する。そして、これらの危険領域を連結した領域に基づいて危険領域を算出する。そして、この算出した危険領域以外の領域を、安全領域として求める。

尚、安全領域と危険領域とは、合成画像の濃度や色を変えることにより識別可能に表示することができる。

また、安全経路、最短経路等の複数の手術経路を識別可能に同時に表示したり、複数の経路のうちの選択された手術経路のみを表示するようにしてもよい。更に、選択された手術経路を強調表示し、あるいは、選択された経路以外は目立たない表示する（色を変える、線を細くする）ようにしてもよい。

［その他の実施の形態］
この実施の形態では、腹腔鏡を使用する場合について説明したが、本発明は、これに限らず、各種の内視鏡（上部消化管内視鏡、小腸内視鏡、大腸内視鏡、胸腔鏡、喉頭内視鏡、気管支鏡、膀胱鏡、胆道鏡、関節鏡等）に適用でき、要は、通常画像と蛍光画像とを撮影できるものであれば、如何なるものにも適用できる。

また、血管画像を抽出する際に、第２の実施の形態で説明した技術より血管径の実寸を計測し、電気メス等での凝固作用によって止血できる細い血管（毛細血管等）については、画像処理によって血管画像から削除することが好ましい。

更に、少なくとも処置具による１回の切開時の深さ（例えば、電気メスの場合には、３ｍｍ程度）以上の血管を撮影することができるように、血管造影剤の種類、血中濃度、及び励起光の種類、強度等を設定する必要がある。

更にまた、通常画像と蛍光画像とは１枚ずつ交互に撮影する場合に限らず、通常画像を連続して複数枚撮影する毎に蛍光画像を１枚撮影するようにしてもよい。これは、通常画像は、実際の処置具等が映されるライブビュー画像として使用されるため、リアルタイム性が要求されるが、蛍光画像は血管画像の抽出に使用されるため、通常画像と大幅にずれなければ問題がないからである。

また、処置具としては、電気メスに限らず、超音波メス、マイクロ波メス、レーザメス、冷凍メス等の外科用手術具が考えられる。

更に、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいことは言うまでもない。

図１は本発明に係る手術支援装置の実施の形態を示す外観図である。図３は画像表示装置の内部構成を示すブロック図である。図３は画像記録部内の画像をグループ別の画像に分類した様子を示す図表である。図４は回転フィルタの平面図である。図５は光の波長と生体組織の光吸収率との関係を示すグラフである。図６は本発明に係る画像表示方法及び装置の第１の実施の形態を示すフローチャートである。図７は可視光及び励起光を交互に被検体に照射した場合の信号処理のタイミングチャートである。図８は血管画像生成（血管画像の抽出）の処理を示すフローチャートである。図９（Ａ）及び（Ｂ）はそれぞれ画像合成部２３０に出力される通常画像及び血管画像の模式図である。図１０は画像合成部の内部構成を示すブロック図である。図１１は合成画像が表示されたモニタ画面の一例を示す図である。図１２は合成画像を含む画像が表示されたモニタ画面の他の例を示す図である。図１３は合成画像を含む画像が表示されたモニタ画面の更に他の例を示す図である。図１４は回転フィルタの他の例を示す平面図である。図１５はＲ光、Ｇ光、Ｂ光、及び励起光の面順次光を被検体に照射した場合の信号処理のタイミングチャートである。図１６は本発明に適用される光源装置の他の実施の形態を示すブロック図である。図１７は本発明に係る画像表示方法及び装置の第２の実施の形態を示すフローチャートである。図１８は電気メスの先端位置から最短距離にある血管までの距離の算出方法を説明するために用いた図である。図１９に警告表示の一例を示す図である。図２０は本発明に係る画像表示方法及び装置の第３の実施の形態を示すフローチャートである。図２１は手術経路の算出方法を説明するために用いた図である。図２２は血管と手術経路とを表示したモニタ画面の一例を示す図である。図２３は手術経路上のポイント指定方法を説明するために用いた図である。図２４は手術経路の他の計算方法を説明するために用いた図である。図２５は手術時の安全領域と危険領域とを識別可能に表示した表示例を示す図である。

符号の説明

１０…画像表示装置、３０…電気メス、１００…腹腔鏡、１４０…ＣＣＤ、１７０…ライトガイド、２００…プロセッサ、２１０…中央処理装置（ＣＰＵ）、２２４…通常画像処理部、２２６…蛍光画像処理部、２３０…画像合成部、２４４…キャラクタジェネレータ（ＣＧ）、２４８…ビデオ出力部、２５０…音声処理部、２５２…スピーカ、２５４…操作部、３００…光源装置、３１０…光源、３２０、３２９…回転フィルタ、３２２…赤外カットフィルタ、３２４…近赤外バンドパスフィルタ、３５０…モード駆動回路、３６０…モータ、４００…モニタ装置、５００…レーザ制御部、５１０…半導体レーザ、５２０…反射ミラー、５３０…ハーフミラー

Claims

第１の光源手段が、血管造影剤が投与された被検体に対して該血管造影剤を発光させるための近赤外の波長域の励起光を内視鏡の先端から所定の時間間隔で連続的に出射する工程と、
画像取得手段が、前記内視鏡に設けられた撮像手段によって前記励起光の出射期間に同期して撮影した被検体の画像を蛍光画像として取得する工程と、
第２の光源手段が、前記被検体に対して前記励起光の非出射期間に前記内視鏡の先端から連続的に可視光を出射する工程と、
画像取得手段が、前記撮像手段によって前記可視光の出射期間に同期して撮影した被検体の画像を通常画像として取得する工程と、
血管画像抽出手段が、前記取得した蛍光画像を所定の閾値により閾値処理して血管画像を抽出する工程と、
合成画像作成手段が、前記取得した通常画像に前記抽出した血管画像を重畳させた合成画像を作成する工程と、
合成画像出力手段が、前記作成された合成画像を表示手段に出力し、動画として表示手段に連続的に表示させる工程と、
を含み、
前記合成画像作成手段が前記合成画像を作成する工程は、前記閾値処理により抽出された血管画像とその背景とを示す２値化信号をキー信号として前記通常画像に前記血管画像をキー合成することを特徴とする画像表示方法。
前記抽出された血管画像は、前記蛍光画像の濃度情報を含む血管画像、又は２値化された血管画像であることを特徴とする請求項１に記載の画像表示方法。
前記合成画像出力手段が前記合成画像を表示させる工程は、前記合成画像とともに、前記通常画像、蛍光画像及び血管画像のうちの少なくとも１つの画像を前記表示手段に同時に表示させることを特徴とする請求項１又は２に記載の画像表示方法。
前記蛍光画像は、前記励起光の透過特性、前記血管造影剤の発光特性及び濃度に基づいて前記被検体の生体組織表面から所定の深さまでに存在する血管の画像を含むことを特徴とする請求項１から３のいずれかに記載の画像表示方法。
前記所定の深さは、内視鏡手術用の処置具によって一度に切開される深さ以上であることを特徴とする請求項４に記載の画像表示方法。
処置具検出手段が、前記通常画像に基づいて手術用の処置具の先端位置を検出する工程と、
距離算出手段が、前記検出した処置具の先端位置と前記抽出した血管画像における血管の位置情報とに基づいて前記処置具の先端位置から最も近い血管までの実寸距離を算出する工程と、
警告発生手段が、前記算出した実寸距離が所定の距離以下になると、警告を発する工程と、
を更に含むことを特徴とする請求項１から５のいずれかに記載の画像表示方法。
前記警告発生手段が前記警告を発する工程は、前記表示手段に警告文字を重畳して表示することを特徴とする請求項６に記載の画像表示方法。
前記警告発生手段が前記警告を発する工程は、前記表示手段に前記算出した実寸距離を重畳して表示することを特徴とする請求項６又は７に記載の画像表示方法。
前記警告発生手段が前記警告を発する工程は、前記警告文字又は実寸距離を表示する際に、前記警告文字又は実寸距離の色を変化させる表示、前記警告文字又は実寸距離を点滅させる表示、前記警告文字又は実寸距離の拡大縮小を繰り返す表示、及び前記警告文字又は実寸距離を拡大する表示のうちの少なくとも１つの表示を行うことを特徴とする請求項７又は８に記載の画像表示方法。
前記警告発生手段が前記警告を発する工程は、前記表示手段に表示された処置具の先端位置の近傍に、前記警告文字又は実寸距離を表示することを特徴とする請求項６から９のいずれかに記載の画像表示方法。
前記警告発生手段が前記警告を発する工程は、警告音又は警告音声を発することを特徴とする請求項６から１０のいずれかに記載の画像表示方法。
入力手段が、前記表示手段の画面上での手術の開始点及び終了点の入力を受け付ける工程と、
安全領域算出手段が、前記受け付けた手術の開始点及び終了点の位置情報と、前記抽出した血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域を通過せずに前記手術の開始点と終了点とを結ぶ手術経路を算出する工程と、
安全領域表示手段が、前記算出した手術経路を前記合成画像に重畳して表示させる工程と、
を更に含むことを特徴とする請求項１から１１のいずれかに記載の画像表示方法。
前記安全領域算出手段が前記手術経路を算出する工程は、前記手術の開始点と終了点とを結ぶ最も安全な経路、又は最短経路を前記手術経路として算出することを特徴とする請求項１２に記載の画像表示方法。
入力手段が、前記表示手段の画面上での手術の開始点及び終了点の入力を受け付ける工程と、
安全領域算出手段が、前記受け付けた手術の開始点及び終了点の位置情報と、前記抽出した血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域以外の安全領域を算出する工程と、
安全領域表示手段が、前記算出した安全領域を識別可能に前記表示手段に表示させる工程と、
を更に含むことを特徴とする請求項１から１１のいずれかに記載の画像表示方法。
血管造影剤が投与された被検体に対して該血管造影剤を発光させるための近赤外の波長域の励起光を内視鏡の先端から所定の時間間隔で連続的に照射する第１の光源手段と、
前記被検体に対して前記励起光の非照射期間に前記内視鏡の先端から連続的に可視光を照射する第２の光源手段と、
前記内視鏡に設けられ、前記第１、第２の光源手段による励起光又は可視光の照射に同期して被検体を交互に繰り返し撮影する撮像手段と、
前記撮像手段によって撮影された画像のうちの前記励起光の照射に同期して撮影された画像を蛍光画像として取得するとともに、前記可視光の照射に同期して撮影された画像を通常画像として取得する画像取得手段と、
前記画像取得手段によって取得した蛍光画像を所定の閾値により閾値処理して血管画像を抽出する血管画像抽出手段と、
前記画像取得手段によって取得した通常画像に前記血管画像抽出手段によって抽出した血管画像を重畳させた合成画像を作成する合成画像作成手段と、
前記合成画像作成手段によって作成された合成画像を動画として表示手段に出力する合成画像出力手段と、を備え、
前記合成画像作成手段は、前記閾値処理により抽出された血管画像とその背景とを示す２値化信号からなるキー信号を作成する手段と、前記作成したキー信号に基づいて前記通常画像に前記血管画像をキー合成する手段とを有することを特徴とする画像表示装置。
前記血管画像抽出手段は、前記蛍光画像の濃度情報を含む血管画像、又は２値化された血管画像を抽出することを特徴とする請求項１５に記載の画像表示装置。
前記合成画像出力手段は、前記合成画像とともに、前記通常画像、蛍光画像及び血管画像のうちの少なくとも１つの画像を前記表示手段に同時に表示させることを特徴とする請求項１５又は１６に記載の画像表示装置。
前記通常画像に基づいて手術用の処置具の先端位置を検出する処置具検出手段と、
前記検出した処置具の先端位置と前記抽出した血管画像における血管の位置情報とに基づいて前記処置具の先端位置から最も近い血管までの実寸距離を算出する距離算出手段と、
前記算出した実寸距離が所定の距離以下になると、警告を発する警告発生手段と、
を更に備えたことを特徴とする請求項１５から１７のいずれかに記載の画像表示装置。
前記警告発生手段は、前記表示手段に警告文字を重畳して表示することを特徴とする請求項１８に記載の画像表示装置。
前記警告発生手段は、前記表示手段に前記算出した実寸距離を重畳して表示することを特徴とする請求項１８又は１９に記載の画像表示装置。
前記警告発生手段は、前記警告文字又は実寸距離を表示する際に、前記警告文字又は実寸距離の色を変化させる表示、前記警告文字又は実寸距離を点滅させる表示、前記警告文字又は実寸距離の拡大縮小を繰り返す表示、及び前記警告文字又は実寸距離を拡大する表示のうちの少なくとも１つの表示を行うことを特徴とする請求項１９又は２０に記載の画像表示装置。
前記警告発生手段は、前記表示手段に表示された処置具の先端位置の近傍に、前記警告文字又は実寸距離を表示することを特徴とする請求項１９から２１のいずれかに記載の画像表示装置。
前記警告発生手段は、警告音又は警告音声を発することを特徴とする請求項１８から２２のいずれかに記載の画像表示装置。
前記表示手段の画面上での手術の開始点及び終了点を入力する入力手段と、
前記入力手段によって入力された手術の開始点及び終了点の位置情報と、前記血管画像抽出手段によって抽出された血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域を通過せずに前記手術の開始点と終了点とを結ぶ手術経路を算出する手術経路算出手段と、
前記算出された手術経路を前記合成画像に重畳して表示させる手術経路表示手段と、
を更に備えたことを特徴とする請求項１５から２３のいずれかに記載の画像表示装置。
前記手術経路算出手段は、前記手術の開始点と終了点とを結ぶ最も安全な経路、又は最短経路を前記手術経路として算出することを特徴とする請求項２４に記載の画像表示装置。
前記表示手段の画面上での手術の開始点及び終了点を入力する入力手段と、
前記入力手段によって入力された手術の開始点及び終了点の位置情報と、前記血管画像抽出手段によって抽出された血管画像における血管の位置情報とに基づいて血管及び血管近傍の危険領域以外の安全領域を算出する安全領域算出手段と、
前記算出した安全領域を識別可能に前記表示手段に表示させる安全領域表示手段と、
を更に備えたことを特徴とする請求項１５から２３のいずれかに記載の画像表示装置。