Nothing Special   »   [go: up one dir, main page]

JP3731814B2 - 蛍光画像表示装置 - Google Patents

蛍光画像表示装置 Download PDF

Info

Publication number
JP3731814B2
JP3731814B2 JP2002089108A JP2002089108A JP3731814B2 JP 3731814 B2 JP3731814 B2 JP 3731814B2 JP 2002089108 A JP2002089108 A JP 2002089108A JP 2002089108 A JP2002089108 A JP 2002089108A JP 3731814 B2 JP3731814 B2 JP 3731814B2
Authority
JP
Japan
Prior art keywords
image data
image
fluorescence
fluorescent
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002089108A
Other languages
English (en)
Other versions
JP2003024268A (ja
JP2003024268A5 (ja
Inventor
知成 千代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002089108A priority Critical patent/JP3731814B2/ja
Priority to DE60203559T priority patent/DE60203559T2/de
Priority to EP02010071A priority patent/EP1256310B1/en
Priority to US10/138,527 priority patent/US7043291B2/en
Publication of JP2003024268A publication Critical patent/JP2003024268A/ja
Publication of JP2003024268A5 publication Critical patent/JP2003024268A5/ja
Priority to US11/250,510 priority patent/US7583993B2/en
Application granted granted Critical
Publication of JP3731814B2 publication Critical patent/JP3731814B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、励起光の照射により生体組織から発生した蛍光を測定して、生体組織に関する情報を画像として表示する蛍光画像表示装置に関するものである。
【0002】
【従来の技術】
従来より、生体内在色素の励起光波長領域にある励起光を生体組織に照射した場合に、正常組織と病変組織とでは発する蛍光強度が異なることを利用して、生体組織に所定波長領域の励起光を照射し、生体内在色素が発する蛍光を受光することにより病変組織の局在、浸潤範囲を蛍光画像として表示する蛍光画像表示装置が提案されている。
【0003】
通常、励起光を照射すると、図26に実線で示すように正常組織からは強い蛍光が発せられ、病変組織からは破線で示すように微弱な蛍光が発せられるため、蛍光強度を測定することにより、生体組織が正常であるか病変状態にあるかを判定することができる。このような蛍光画像表示装置は、多くの場合、体腔内部に挿入される内視鏡や、コルポスコープあるいは手術用顕微鏡等に組み込まれた形に構成される。
【0004】
ところで、励起光による蛍光の強度を画像として表示する場合、生体組織に凹凸があるため、生体組織に照射される励起光の強度は均一ではない。また、生体組織から発せられる蛍光強度は、励起光照度に略比例するが、励起光照度は距離の2乗に反比例して低下する。そのため、光源から遠くにある正常組織からよりも近くにある病変組織からの方が、強い蛍光を受光する場合があり、励起光による蛍光の強度の情報だけでは生体組織の組織性状を正確に識別することができない。
【0005】
このため、例えば米国特許第5647368号明細書においては、組織性状により蛍光強度が大きく変化する500nm近傍の波長域および組織性状で蛍光強度が変化しない630nm近傍の波長域の励起光の照射により取得した蛍光画像を加色混合させた加色混合画像を表示することにより、視認される色に基づいて、組織性状を正確に識別する方法が提案されている。
【0006】
また、本出願人により、異なる波長帯域(480nm付近の狭帯域と430nm近傍から730nm近傍の広帯域)の励起光に基づいて取得した2種類の蛍光画像を加色混合させて表示する方法が提案されている(特開2001-157658号公報)。この方法によれば、上記米国特許第5647368号と比較して、蛍光画像の帯域が広いため、加色混合により得られる画像のS/Nを向上させることができるとともに、両帯域の蛍光画像とも組織性状によって蛍光画像の強度が大きく変化するため、組織性状の変化に対する色の変化をより大きくすることができ、これにより組織性状の識別性を一層向上させることができる。
【0007】
【発明が解決しようとする課題】
ところで、上述した加色混合画像を表示する方法においては、表示される画像における色は、加色混合する2種類の蛍光画像の比に応じて決定される色度および蛍光強度に応じて決定される明度により規定される。表示される画像における色度は加色混合する2種類の蛍光画像の比に応じて決定されるため、組織性状に応じて表示される画像の色度を一意に決定することができる。しかしながら、生体組織と光源との距離に応じて得られる蛍光の強度が異なるため、加色混合画像においては上記距離に応じて明度が異なるものとなる。ここで、上記蛍光画像表示装置は、多くの場合、体腔内部に挿入される内視鏡や、コルポスポープあるいは手術用顕微鏡等に組み込まれた形に構成されるが、このような形態で構成された装置は、体腔内部が測定対象であるため、被測定部との距離が数mmから50mm程度の範囲に及ぶ。このように、体内挿入部先端と被測定部との距離が変化すると蛍光の強度が変化し、その結果加色混合画像における明度が変化する。このように、加色混合画像の明度が変化すると、色度は同じであっても、異なる色として視認されてしまうため、同一の組織性状であっても異なる組織性状として識別されるおそれがある。一方、加色混合画像における明度が低い場合には、色度が異なっていても、異なる色として視認できない場合があり、病変組織を見落とす虞がある。
【0008】
本発明は上記事情に鑑みなされたものであり、蛍光の強度に拘わらず生体組織の組織性状を正確に識別できる蛍光画像表示装置を提供することを目的とするものである。
【0009】
【課題を解決するための手段】
本発明による第1の蛍光画像表示装置は、励起光を被測定部に照射することにより前記被測定部から発生する蛍光の強度に基づいて、互いに異なる波長帯域の蛍光画像を撮像して2つの蛍光画像データを取得する蛍光画像撮像手段と、
該2つの蛍光画像データのうちのいずれか一方の蛍光画像データの統計量に基づいて、前記2つの蛍光画像データに乗算するゲインを算出するゲイン算出手段と、
該ゲインを前記両蛍光画像データに乗算して2つの乗算蛍光画像データを得る乗算手段と、
該両乗算蛍光画像データに基づいて、前記被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを生成する画像生成手段と、
該疑似カラー画像を表示する表示手段とを備えたことを特徴とするものである。
【0010】
ここで、「統計量に基づいて蛍光画像に乗算するゲインを算出する」とは、例えば、蛍光画像データの統計量が所望の値より小さい場合、つまり蛍光画像データのデータ値の大きさが十分な大きさでないときは、乗算蛍光画像データが蛍光画像データよりも大きいデータ値となって乗算画像データの統計量が上記所望の値以上の値となるようにゲインを算出し、また、統計量が所望の値より大きい場合、つまり蛍光画像データのデータ値が大きいときは、乗算蛍光画像データが蛍光画像データよりも小さいデータ値となって乗算画像データの統計量が上記所望の値以下の値となるようにゲインを算出し、統計量が略所望の値である場合、つまり蛍光画像データの大きさが適当な大きさのときは、乗算蛍光画像データが蛍光画像データと略等しいデータ値となるようにゲインを算出することを意味する。
【0011】
具体的には、例えば下記の式(1)または(2)によりゲインを算出すればよい。すなわち、表示手段のダイナミックレンジをDR(例えば8ビットの場合は255)、蛍光画像データの最大値をMax、最小値をMin、任意の定数a(例えば0.9〜0.95)、b(例えば2)とすると、
ゲインの上限=DR×a/{(Max+Min)/2+b×(Max-Min)/2} (1)
【0012】
また、表示手段のダイナミックレンジをDR、蛍光画像データの平均値をm、標準偏差をσ、任意の定数a、bとすると、
ゲインの上限=DR×a/(m+b×σ) (2)
【0013】
なお、両蛍光画像データに乗算するゲインは、一定の関係(例えば一方に乗算するゲインが他方に乗算するゲインのC倍(C:定数)等)を有するものであれば、異なる値であってもよい。
【0014】
なお、本発明による第1の蛍光画像表示装置においては、前記画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから前記疑似カラー画像データを生成する手段としてもよい。
【0015】
また、前記画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
いずれか一方の前記乗算蛍光画像データにより表される乗算蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えるものとしてもよい。
【0016】
「色度成分」とは、加色混合画像の色相、彩度または色相および彩度、その他XYZ色空間のXY、色空間Lab、Luvのab、uv、均等色空間Lab、Luvのab、uv等を全て含む。
【0017】
「いずれか一方の乗算蛍光画像データにより表される乗算蛍光画像の画素値に輝度の表示階調を割り当てる」とは、乗算蛍光画像の各画素値に、その大きさに応じて明るさを示す数値を割り当てることを意味する。
【0018】
さらに、画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
いずれか一方の前記蛍光画像データにより表される蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えるものとしてもよい。
【0019】
また、本発明による第1の蛍光画像表示装置においては、前記統計量に基づいて、前記表示手段のダイナミックレンジの略全域に亘るように前記両乗算蛍光画像データのダイナミックレンジを拡張するダイナミックレンジ拡張手段をさらに備えるようにしてもよい。
【0020】
この場合、前記ダイナミックレンジ拡張手段の駆動および非駆動を切り替えるスイッチ手段をさらに備えるものとすることが好ましい。
【0021】
また、本発明による第1の蛍光画像表示装置においては、ゲイン算出手段を、いずれか一方の蛍光画像データにより表される蛍光画像の一部の所望領域内の蛍光画像データの統計量に基づいてゲインを算出する手段としてもよい。
【0022】
ここで、上記「一部の所望領域」とは、例えば、撮像される蛍光画像の範囲でとくに注目して観察したい画像の領域を意味する。
【0023】
また、本発明による第1の蛍光画像表示装置においては、前記統計量が、前記蛍光画像データの最大値、最小値、平均値、最大値と標準偏差との組み合わせ、最大値と最小値との組み合わせ、最小値と標準偏差の組み合わせおよび平均値と標準偏差との組み合わせの少なくとも1つであることが好ましい。
【0024】
本発明による第2の蛍光画像表示装置は、励起光を被測定部に照射することにより前記被測定部から発生する蛍光の強度に基づいて、互いに異なる波長帯域の蛍光画像を撮像して2つの蛍光画像データを取得する蛍光画像撮像手段と、
参照光を前記被測定部に照射することにより前記被測定部において反射される反射光の強度に基づいて、反射画像を撮像して反射画像データを取得する反射画像撮像手段と、
該反射画像データの統計量に基づいて、前記2つの蛍光画像データに乗算するゲインを算出するゲイン算出手段と、
該ゲインを前記両蛍光画像データに乗算して2つの乗算蛍光画像データを得る乗算手段と、
該両乗算蛍光画像データに基づいて、前記被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを生成する画像生成手段と、
該疑似カラー画像を表示する表示手段とを備えたことを特徴とするものである。
【0025】
なお、本発明による第2の蛍光画像表示装置においては、前記画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから前記疑似カラー画像データを生成する手段としてもよい。
【0026】
また、本発明による第2の蛍光画像表示装置においては、前記画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
前記反射画像データに前記ゲインを乗算することにより乗算反射画像データを得、該乗算反射画像データにより表される乗算反射画像の画素値またはいずれか一方の前記乗算蛍光画像データにより表される乗算蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えるものとしてもよい。
【0027】
この場合、明度の表示階調を割り当てる画像を、乗算反射画像およびいずれか一方の乗算蛍光画像のいずれにするかを切替可能とすることが好ましい。
【0028】
参照光としては、生体組織に吸収されにくい近赤外光等の光を用いることが好ましい。
【0029】
さらに、前記画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
前記反射画像データにより表される反射画像の画素値またはいずれか一方の前記蛍光画像データにより表される蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えるものとしてもよい。
【0030】
この場合も、明度の表示階調を割り当てる画像を、反射画像およびいずれか一方の蛍光画像のいずれにするかを切替可能とすることが好ましい。
【0031】
本発明による第3の蛍光画像表示装置は、励起光を被測定部に照射することにより前記被測定部から発生する蛍光の強度に基づいて、互いに異なる波長帯域の蛍光画像を撮像して2つの蛍光画像データを取得する蛍光画像撮像手段と、
参照光を前記被測定部に照射することにより前記被測定部において反射される反射光の強度に基づいて、反射画像を撮像して反射画像データを取得する反射画像撮像手段と、
該反射画像データの統計量に基づいて、前記2つの蛍光画像データに乗算するゲインを算出するゲイン算出手段と、
該ゲインを前記両蛍光画像データおよび前記反射画像データに乗算して2つの乗算蛍光画像データおよび乗算反射画像データを得る乗算手段と、
前記乗算反射画像データといずれか一方の前記乗算蛍光画像データとの差分データを算出する差分手段と、
該差分データおよび他方の前記乗算蛍光画像データに基づいて、前記被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを生成する画像生成手段と、
該疑似カラー画像を表示する表示手段とを備えたことを特徴とするものである。
【0032】
なお、本発明による第3の蛍光画像表示装置においては、前記画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから前記疑似カラー画像データを生成する手段としてもよい。
【0033】
また、本発明による第3の蛍光画像表示装置においては、前記画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
前記乗算反射画像データにより表される乗算反射画像の画素値またはいずれか一方の前記乗算蛍光画像データにより表される乗算蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えるものとしてもよい。
【0034】
この場合、明度の表示階調を割り当てる画像を、乗算反射画像およびいずれか一方の乗算蛍光画像のいずれにするかを切替可能とすることが好ましい。
【0035】
さらに、前記画像生成手段を、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
前記反射画像データにより表される反射画像の画素値またはいずれか一方の前記蛍光画像データにより表される蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えるものとしてもよい。
【0036】
この場合も、明度の表示階調を割り当てる画像を、反射画像およびいずれか一方の蛍光画像のいずれにするかを切替可能とすることが好ましい。
【0037】
また、本発明による第2および第3の蛍光画像表示装置においては、前記統計量に基づいて、前記表示手段のダイナミックレンジの略全域に亘るように前記反射画像データおよび/または前記両乗算画像データのダイナミックレンジを拡張するダイナミックレンジ拡張手段をさらに備えてもよい。
【0038】
この場合、前記ダイナミックレンジ拡張手段の駆動および非駆動を切り替えるスイッチ手段をさらに備えることが好ましい。
【0039】
また、本発明による第2および第3の蛍光画像表示装置においては、前記ゲイン算出手段を、前記反射画像データにより表される反射画像における一部の所望領域内の反射画像データの統計量に基づいて、前記ゲインを算出する手段としてもよい。
【0040】
また、本発明による第2および第3の蛍光画像表示装置においては、前記統計量が、前記反射画像データの最大値、最小値、平均値、最大値と標準偏差との組み合わせ、最大値と最小値との組み合わせ、最小値と標準偏差の組み合わせおよび平均値と標準偏差との組み合わせの少なくとも1つであることが好ましい。
【0041】
なお、本発明による第1から第3の蛍光画像表示装置においては、前記画像生成手段を、いずれか一方の乗算蛍光画像データの強度を反転して反転蛍光画像データを得、この反転蛍光画像データおよび他方の乗算蛍光画像データに基づいて疑似カラー画像データを生成する手段としてもよい。
【0042】
「乗算蛍光画像データの強度を反転した反転蛍光画像データ」は、乗算蛍光画像データにより表される乗算蛍光画像の各画素の画素値を、乗算蛍光画像データが取り得る最大値(例えば8ビットであれば255)から減算すること、あるいは各画素の画素値の逆数を算出することにより得ることができる。
【0043】
また、本発明による第1から第3の蛍光画像表示装置においては、前記画像生成手段を、いずれか一方の乗算蛍光画像データの強度を反転して反転蛍光画像データを得、さらに反転蛍光画像データに対して所定の定数を乗算して定数乗算反転蛍光画像データを得、他方の乗算蛍光画像データおよび該定数乗算反転蛍光画像データに基づいて前記疑似カラー画像データを生成する手段としてもよい。
【0044】
「定数」としては1未満の値を用いることができる。
【0045】
なお、本発明による第1から第3の蛍光画像表示装置においては、蛍光画像データまたは反射画像データが、9ビット以上のビット数で示される場合、データ値が上位8ビット以下のビット数で示されるよう蛍光画像データまたは反射画像データをビットシフトするビットシフト手段を備え、ゲイン算出手段を、ビットシフトされたデータ値の統計量に基づいてゲインを算出する手段とすることができる。
【0046】
ここで、「上位8ビット以下のビット数で示されるようビットシフトする」とは、蛍光画像データまたは反射画像データが9ビット以上のビット数で示される場合、上位8ビット以下のビットについては丸めこみをして8ビット以下のデータ値とし、8ビットの汎用統計演算機により演算できるようにすることを意味する。
【0047】
また、本発明による第1の蛍光画像表示装置における蛍光画像撮像手段または本発明による第2および第3の蛍光画像表示装置における蛍光画像撮像手段および反射画像撮像手段の一部または全部は、生体内部に挿入される内視鏡の形態をとすることができる。
【0048】
ここで、上記「内視鏡の形態とする」とは、蛍光画像撮像手段および反射画像撮像手段の一部または全部が、内視鏡のシステム内部に配設されることを意味する。また、上記「一部」とは、励起光と参照光の射出端および蛍光と参照光の照射による反射光の入射端を含むものとする。
【0049】
また、励起光の光源を、GaN系の半導体レーザとし、その波長帯域を400nmから420nmまでの範囲内とすることができる。
【0050】
なお、本発明による第1から第3の蛍光画像表示装置は、被測定部への白色光の照射により反射される反射光に基づく通常画像を撮像して表示するものと組み合わせてもよい。
【0051】
【発明の効果】
本発明による第1の蛍光画像表示装置によれば、2つの蛍光画像データのうちのいずれか一方の蛍光画像データの統計量に基づいて、2つの蛍光画像データに乗算するゲインを算出し、このゲインを両蛍光画像データに乗算して乗算蛍光画像データを得、両乗算蛍光画像データに基づいて被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを得るようにしたものである。このため、蛍光の強度に拘わらず、所望のデータ値を有する乗算蛍光画像データから疑似カラー画像を得ることができるため、疑似カラー画像を所望とする明度を有するものとすることができる。すなわち、蛍光強度の大小に起因する疑似カラー画像の明度の高低を所望の明度範囲に調整することができ、これにより疑似カラー画像における組織性状の識別性を向上させることができる。
【0052】
本発明による第2の蛍光画像表示装置によれば、参照光の被測定部における反射画像データの統計量に基づいて、2つの蛍光画像データに乗算するゲインを算出し、このゲインを両蛍光画像データに乗算して乗算蛍光画像データを得、両乗算蛍光画像データに基づいて被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを得るようにしたものである。このため、蛍光の強度に拘わらず、所望のデータ値を有する乗算蛍光画像データから疑似カラー画像を得ることができるため、疑似カラー画像を所望とする明度を有するものとすることができる。すなわち、蛍光強度の大小に起因する疑似カラー画像の明度の高低を所望の明度範囲に調整することができ、これにより疑似カラー画像における組織性状の識別性を向上させることができる。また、参照光の反射光の強度は、蛍光の強度よりも大きいため、統計量に基づくゲインをより適切に算出することができる。
【0053】
本発明による第3の蛍光画像表示装置によれば、参照光の被測定部における反射画像データの統計量に基づいて、2つの蛍光画像データに乗算するゲインを算出し、このゲインを反射画像データおよび両蛍光画像データに乗算して乗算反射画像データおよび乗算蛍光画像データを得、乗算反射画像データといずれか一方の乗算蛍光画像データとの差分データを算出し、差分データおよび他方の乗算蛍光画像データに基づいて被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを得るようにしたものである。このため、蛍光の強度に拘わらず、所望のデータ値を有する乗算蛍光画像データから疑似カラー画像を得ることができるため、疑似カラー画像を所望とする明度を有するものとすることができる。また、乗算反射画像データと乗算蛍光画像データとの差分データを算出することにより、病変組織を正常組織との差異をより明瞭なものとすることができる。すなわち、蛍光強度の大小に起因する疑似カラー画像の明度の高低を所望の明度範囲に調整することにより、組織性状の識別性を向上させることができる。
【0054】
また、加算混合法に基づいて両乗算蛍光画像データから疑似カラー画像データを生成することにより、視認される色に基づいて組織性状を正確に識別することができる。
【0055】
さらに、加色混合法に両乗算蛍光画像データから加色混合画像データを生成し、この加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成し、いずれか一方の乗算蛍光画像または乗算反射画像の画素値に明度の表示階調を割り当てて明度画像データを生成し、色画像データおよび明度画像データを合成して疑似カラー画像データを生成することにより、表示された疑似カラー画像の色相は、被測定部の組織性状を反映させたものとなり、明度は乗算反射画像の場合は光強度、すなわち被測定部の形状を、乗算蛍光画像の場合は被測定部の形状に加えて被測定部の組織性状を反映させたものとなる。したがって、1枚の画像に、被測定部の組織性状に関する情報とともに、被測定部の形状に関する情報を同時に表示することができる。とくに、乗算蛍光画像から明度画像データを生成した場合には、被測定部と励起光の射出端との距離が比較的小さい場合であっても被測定部に病変組織が含まれている場合には、その分の明度が低下するため、疑似カラー画像において色度のコントラストに明度のコントラストを付与することができることとなる。
【0056】
なお、このようにいずれか一方の乗算蛍光画像または乗算反射画像に明度の表示階調を割り当てた場合において、被測定部と撮像手段との距離が大きく変動すると、ゲインも大きく変動するため、表示される疑似カラー画像の明るさが大きく変動してしまう。このため、明度の階調を割り当てる画像をゲインを乗算する前のいずれか一方の蛍光画像または反射画像とすることにより、疑似カラー画像の明るさが大きく変動することを防止することができる。
【0057】
また、両乗算蛍光画像データおよび/または乗算反射画像データのダイナミックレンジが表示手段のダイナミックレンジの略全域に亘るように、両乗算蛍光画像データおよび/または乗算反射画像データのダイナミックレンジを拡張することにより、乗算蛍光画像または乗算反射画像のコントラストを拡大することができるため、疑似カラー画像における被測定部の組織性状の変化を詳細に表すことができ、これにより組織性状の識別性をより向上させることができる。
【0058】
なお、この場合、ダイナミックレンジ拡張手段の駆動および非駆動をスイッチ手段によって切り替えることにより、ダイナミックレンジの拡張が不要な場合にはその処理を行わないようにすることができるため、操作者の好みを反映させた疑似カラー画像を表示することができる。
【0059】
また、統計量を蛍光画像データまたは反射画像データの最大値、最小値、平均値、最大値と標準偏差との組み合わせ、最大値と最小値との組み合わせ、最小値と標準偏差の組み合わせおよび平均値と標準偏差との組み合わせの少なくとも1つとすることにより、統計量の算出を比較的容易に行うことができる。
【0060】
また、ゲイン算出手段を、蛍光画像データまたは反射画像データの一部の所望領域内の蛍光画像データまたは反射画像データの統計量に基づいてゲインを算出するものとした場合には、統計量の演算量を減らすことができる。
【0061】
さらに、病変組織における蛍光の強度変化は、両乗算蛍光画像データにおいて同相であるが、いずれか一方の乗算蛍光画像データの強度を反転することに得られた反転蛍光画像データを求めることにより、反転蛍光画像データと他方の乗算蛍光画像データとにおいて強度変化を逆相とすることができる。したがって、疑似カラー画像における病変組織を正常組織との色相変化を拡大することができ、これにより、組織性状の識別性を一層向上させることができる。
【0062】
なお、強度を反転した場合、疑似カラー画像に含まれる病変組織以外の暗い部分が病変組織と同一の色となってしまう場合がある。このため、強度反転後の乗算蛍光に対して定数を乗算することにより、疑似カラー画像における暗い部分が病変組織と同一の色となる効果を抑制することができ、病変組織と単に暗い部分との誤認を防止して、組織性状の識別性を一層向上させることができる。
【0063】
また、蛍光画像データまたは反射画像データが、9ビット以上のビット数で示される場合、データ値が上位8ビット以下のビット数で示されるようビットシフトするビットシフト手段を備え、ゲイン算出手段を、ビットシフトされたデータ値に基づいて算出された統計量に基づいてゲインを算出するものとした場合には、8ビットの汎用統計演算機を使用することができ、演算処理の高速化を図ることができる。
【0064】
また、励起光の光源に、GaN系の半導体レーザを用いれば、安価で小型な光源とすることができ、また、その波長帯域を400nmから420nmまでの範囲内とすれば、効率よく蛍光を発生させることができる。
【0065】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による蛍光画像表示装置を適用した蛍光内視鏡の概略構成を示す図である。
【0066】
第1の実施形態による蛍光内視鏡は、患者の病巣と疑われる部位に挿入される内視鏡挿入部100と、生体組織から得られた情報を画像データとして出力する画像データ処理部1と、画像データ処理部1から出力された画像データを可視画像として表示するモニタユニット600とから構成される。
【0067】
画像データ処理部1は、通常画像用白色光Lwと蛍光画像用励起光Lrとをそれぞれ射出する2つの光源を備えた照明ユニット110、励起光Lrの照射により生体組織50から発生した蛍光像Zjと、白色光Lwに含まれる参照光Lsの照射により生体組織50から発生した反射像Zsとを撮像し、デジタル値に変換して画像データとして出力する画像検出ユニット300、画像検出ユニット300から出力された蛍光像の画像データに対して後述する演算を施して、疑似カラー画像データを出力する画像演算ユニット400、通常像をデジタル値に変換して画像データとし、その画像データおよび画像演算ユニット400において得られた疑似カラー画像データをビデオ信号に変換して出力する表示信号処理ユニット500、および各ユニットの制御を行う制御用コンピュータ200から構成される。なお、第1の実施形態においては、反射像Zsの撮像は行わないものである。
【0068】
内視鏡挿入部100は、内部に先端まで延びるライトガイド101、CCDケーブル102およびイメージファイバ103を備えている。ライトガイド101およびCCDケーブル102の先端部、すなわち内視鏡挿入部100の先端部は、照明レンズ104および対物レンズ105を備えている。また、イメージファイバ103は石英ガラスファイバであり、その先端部は集光レンズ106を備えている。CCDケーブル102の先端部には、通常画像用撮像素子107が接続され、その通常画像用撮像素子107には、反射用プリズム108が取り付けられている。ライトガイド101は、多成分ガラスファイバである白色光ライトガイド101bおよび石英ガラスファイバである励起光ライトガイド101aがバンドルされてケーブル状に一体化されており、白色光ライトガイド101bおよび励起光ライトガイド101aは照明ユニット110に接続されている。CCDケーブル102の一端は表示信号処理ユニット500に接続され、イメージファイバ103の一端は画像検出ユニット300に接続されている。なお、図示を省略しているが、ライトガイド101の先端部は2眼となっている。
【0069】
照明ユニット110は、蛍光画像用の励起光Lrを射出するGaN系半導体レーザ111、GaN系半導体レーザ111に電気的に接続された半導体レーザ用電源112、GaN系半導体レーザから射出される励起光を集光する励起光用集光レンズ113、通常画像用白色光Lwを射出する白色光源114、白色光源114に電気的に接続された白色光源用電源115、および白色光源114から射出された白色光を集光する白色光用集光レンズ116を備えている。また、白色光源114は、射出する白色光Lwに参照光Lsとして利用できる波長帯域の光が含まれているため、後述する参照光源としても利用できる。
【0070】
画像検出ユニット300は、イメージファイバ103により伝搬された蛍光画像を結像系に導くコリメートレンズ301、蛍光画像から励起光近傍付近の波長をカットする励起光カットフィルタ302、励起光カットフィルタ302を透過した蛍光画像から所望の波長帯域を切り出す光学透過フィルタ303、光学透過フィルタを回転させるフィルタ回転装置304、光学透過フィルタを透過した蛍光像を結像させる蛍光用集光レンズ305、蛍光用集光レンズ305により結像された蛍光像を撮像する蛍光画像用高感度撮像素子306、および蛍光画像用高感度撮像素子306により撮像された蛍光画像をデジタル値に変換して画像データとして出力するAD変換器307を備えている。
【0071】
上記光学透過フィルタ303は図2に示すような、2種類のバンドパスフィルタ303aおよび303bから構成される。バンドパスフィルタ303aは430nmから730nmまでの波長の広帯域の蛍光像を透過させるバンドパスフィルタであり、バンドパスフィルタ303bは430nmから530nmの狭帯域の蛍光像を透過させるバンドパスフィルタである。したがって、画像検出ユニット300においては、広帯域のバンドパスフィルタ303aを用いて広帯域の蛍光画像を表す蛍光画像データが得られ、狭帯域のバンドパスフィルタ303bを用いて狭帯域の蛍光画像を表す蛍光画像データが得られる。
【0072】
図3は画像演算ユニット400の構成を示す概略ブロック図である。図3に示すように、画像演算ユニット400は、画像検出ユニット300において得られた広帯域の蛍光画像データWSおよび狭帯域の蛍光画像データNSを記憶する蛍光画像用メモリ401、蛍光画像用メモリ401に記憶された広帯域蛍光画像データWSにより表される広帯域蛍光画像の各画素値のうち、9ビット以上の画素値については、8ビットにビットシフトするビットシフト手段402、ビットシフト手段402から出力された広帯域蛍光画像データWSの統計量を算出する8ビットの統計量演算機を備えた統計量算出手段403、統計量算出手段403から出力された統計量に基づいて広帯域および狭帯域蛍光画像データWS,NSに乗算するゲインgを算出するゲイン算出手段404、ゲイン算出手段404から出力されたゲインgを広帯域および狭帯域蛍光画像データWS,NSに乗算してゲインg乗算済みの広帯域および狭帯域蛍光画像データWS′,NS′を得るゲイン乗算手段405、ゲイン乗算手段405から出力された広帯域蛍光画像データWS′に対してグリーン(G)の色階調を割り当てる色階調割り当て手段406、ゲイン乗算手段405から出力された狭帯域の蛍光画像データNS′に対してレッド(R)の色階調を割り当てる色階調割り当て手段407、および色階調割り当て手段406,407から出力された広帯域および狭帯域蛍光画像データWS′,NS′を加色混合して合成画像を表す合成画像データCSを得る画像合成手段408を備える。
【0073】
なお、本実施形態では、広帯域および狭帯域蛍光画像データデータWS,NSを蛍光画像用メモリ401に記憶するようにしたが、それぞれ別個のメモリに記憶するようにしてもよい。
【0074】
表示信号処理ユニット500は、通常画像用撮像素子107において得られた映像信号をデジタル化して通常画像データを得るAD変換器501、通常画像データを保存する通常画像用メモリ502、通常画像用メモリ502から出力された通常画像データおよび画像合成手段408から出力された合成画像画像データCSをビデオ信号に変換するビデオ信号処理回路503を備えている。
【0075】
モニタユニット600は、通常画像用モニタ601および合成画像用モニタ602を備えている。
【0076】
次に、以上のように構成された第1の実施形態による蛍光画像表示装置を適用した蛍光内視鏡の作用について説明する。異なる2つの波長帯域の蛍光画像を撮像するために、制御用コンピュータ200からの信号に基づいて、半導体レーザ用電源112が駆動され、GaN系半導体レーザ111から波長410nmの励起光Lrが射出される。励起光Lrは、励起光用集光レンズ113を透過し、励起光ライトガイド101aに入射され、内視鏡挿入部100の先端まで導光された後、照明レンズ104を透過して生体組織50に照射される。
【0077】
励起光Lrの照射により生体組織50から発生する蛍光像Zjは、集光レンズ106により集光され、イメージファイバ103の先端に入射され、イメージファイバ103を経て、励起光カットフィルタ302に入射される。励起光カットフィルタ302を透過した蛍光像Zjは、光学透過フィルタ303に入射される。なお、励起光カットフィルタ302は、波長420nm以上の全蛍光を透過するロングパスフィルタである。励起光Lrの波長は410nmであるため、生体組織50で反射された励起光Lrは、この励起光カットフィルタ302によりカットされ、光学透過フィルタ303へ入射することはない。
【0078】
制御用コンピュータ200により、フィルタ回転装置304が駆動され、蛍光像Zjは、光学フィルタ303aを透過した後、蛍光用集光レンズ305により結像され、蛍光画像用高感度撮像素子306により広帯域蛍光画像として撮像される。また、蛍光像Zjは、光学フィルタ303bを透過した後、蛍光用集光レンズ305により結像され、蛍光画像用高感度撮像素子306により狭帯域蛍光画像として撮像される。蛍光画像用高感度撮像素子306からの映像信号はAD変換器307へ入力され、デジタル化された後、広帯域および狭帯域蛍光画像データWS,NSとして蛍光画像用メモリ401に保存される。なお、蛍光画像用高感度撮像素子306により撮像さた広帯域蛍光画像データWSは、蛍光画像用メモリ401の図示省略した広帯域蛍光画像領域に保存され、狭帯域蛍光画像データNSは、図示省略した狭帯域蛍光画像領域に保存される。
【0079】
蛍光画像用メモリ401に保存された広帯域蛍光画像データWSは、ビットシフト手段402において9ビット以上のデータが8ビットのデータにビットシフトされた後、統計量算出手段403に入力される。統計量算出手段403においては、広帯域蛍光画像データWSにより表される広帯域蛍光画像の各画素値の平均値mおよび標準偏差σが算出される。そして、平均値mおよび標準偏差σはゲイン算出手段404に入力され、ここで上記式(2)にしたがってゲインgが算出される。なお、広帯域蛍光画像の各画素値の最大値および最小値を求め、上記式(1)にしたがってゲインgを算出してもよい。また、蛍光画像の一部の所望領域(例えばとくに注目して観察したい画像の領域)内の画素値のみから平均値mおよび標準偏差σを算出してゲインgを算出してもよい。
【0080】
算出されたゲインgはゲイン乗算手段405に入力され、広帯域および狭帯域蛍光画像データWS,NSに乗算される。なお、広帯域および狭帯域蛍光画像データWS,NSに乗算するゲインgは同一の値であってもよいが、一定の関係を有するものであれば、異なる値であってもよい。
【0081】
ゲインgが乗算された広帯域蛍光画像データWS′は、色階調割り当て手段406に入力されてGの色階調が割り当てられる。また、ゲインgが乗算された狭帯域蛍光画像データNS′は、色階調割り当て手段407に入力されてRの色階調が割り当てられる。
【0082】
ここで、図4に示すように、広帯域および狭帯域蛍光画像の画素値がグラフ10,10′に示すように分布するものであった場合、ゲインgを乗算することにより分布範囲が高画素値側にシフトし、グラフ20,20′に示すものとなる。そして、グラフ20,20′に示す画素値の分布範囲に基づいて、例えば図5に示す階調処理関数30,31にそれぞれしたがって、広帯域および狭帯域蛍光画像データWS′,NS′に対してGおよびRの色階調が割り当てられる。
【0083】
GおよびRにそれぞれ色階調が割り当てられた広帯域および狭帯域蛍光画像データWS′,NS′は画像合成手段408に入力され、加色混合されて合成画像を表す合成画像データCSが得られる。
【0084】
合成画像データCSはビデオ信号処理回路503に入力され、DA変換後にモニタユニット600に入力され、合成画像用モニタ602に表示される。ここで、合成画像用モニタ602に表示された合成画像においては、正常組織は明るい黄緑色、病変組織は暗い緑色として表される。
【0085】
次に、通常画像表示時の作用を説明する。通常画像表示時には、制御用コンピュータ200からの信号に基づいて白色光源用電源115が駆動され、白色光源114から白色光Lwが射出される。白色光Lwは、白色光用集光レンズ116を経て白色光ライトガイド101bに入射され、内視鏡挿入部100の先端部まで導光された後、照明レンズ104から生体組織50へ照射される。白色光Lwの反射光は対物レンズ105によって集光され、反射用プリズム108に反射して、通常画像用撮像素子107に結像される。通常画像用撮像素子107からの映像信号はAD変換器501へ入力され、デジタル化された後、通常画像用メモリ502に保存される。その通常画像用メモリ502により保存された通常画像データは、ビデオ信号処理回路503によってDA変換後にモニタユニット600に入力され、通常画像用モニタ601に可視画像として表示される。
【0086】
合成画像表示時および通常画像表示時における、上記一連の動作は、制御用コンピュータ200によって制御される。
【0087】
このように、本発明の第1の実施形態の蛍光画像表示装置を適用した蛍光内視鏡によれば、広帯域蛍光画像データWSにより表される広帯域蛍光画像の画素値の分布の統計量を算出する統計量算出手段403を備え、統計量に基づいてゲインgを算出して広帯域および狭帯域蛍光画像データWS,NSに乗算するようにしたため、生体組織50から発生する蛍光の強度に拘わらず、所望の画素値を有する蛍光画像データWS,NSから合成画像データCSを得ることができ、合成画像を所望とする明度を有するものとすることができる。すなわち、蛍光強度の大小に起因する疑似カラー画像の明度の高低を所望の明度範囲に調整することができ、合成画像における組織性状の識別性を向上させることができる。
【0088】
また、統計量を広帯域蛍光画像データWSの画素値分布の平均値mと標準偏差σとの組み合わせとしたため、統計量の演算を比較的容易に行うことができ、また、適当な表示階調を割り当てることができる。
【0089】
また、統計量算出手段403を、反射画像の一部の所望領域から統計量を算出する手段とした場合には、統計量の演算量を減らすことができる。
【0090】
また、広帯域蛍光画像データWSが、9ビット以上のビット数で示される場合、データが上位8ビットのビット数で示されるようビットシフトするビットシフト手段402を備え、統計量算出手段403を、ビットシフトされたデータに基づいて統計量を算出する手段としたため、8ビットの汎用統計演算機を使用することができ、演算処理の高速化を図ることができる。
【0091】
次いで、本発明の第2の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第2の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第1の実施形態の画像演算ユニット400において、ゲインg乗算後の狭帯域蛍光画像データNS′の強度を反転し、反転後の狭帯域蛍光画像データNS′に対してRの色階調を割り当てるようにしたものである。このため、第2の実施形態における蛍光内視鏡の画像演算ユニット400は、図6に示すように、ゲインg乗算後の狭帯域蛍光画像データNS′を強度反転する反転手段410を備える。
【0092】
反転手段410は、狭帯域蛍光画像データNS′が8ビットのデータである場合、狭帯域蛍光画像データNS′により表される蛍光画像の各画素値を255から減算して減算値を得、この減算値を強度反転後の蛍光画像の画素値とするものである。なお、255からの減算に代えて、画素値の逆数(すなわち1/画素値)を強度反転後の蛍光画像の画素値としてもよい。
【0093】
以下、第2の実施形態の作用を説明する。なお、ゲインgの乗算までの処理は第1の実施形態と同様であるため、詳細な説明は省略する。第2の実施形態においては、広帯域蛍光画像データWSに基づいてゲインgが算出され、ゲインg乗算後の狭帯域蛍光画像データNS′が反転手段410に入力され、ここで強度が反転され、さらに反転後の狭帯域蛍光画像データNS′に対してRの色階調が割り当てられて、Gの色階調が割り当てられた広帯域蛍光画像データWS′と合成されて合成画像データCSが得られる。
【0094】
ここで、強度反転の効果について説明する。図7は、強度反転の効果を示す図である。図7(a)に示すように、横軸をG、縦軸をRとした2次元加色混合色平面を考えると、強度反転前においては正常組織における広帯域および狭帯域蛍光画像データWS′,NS′の比率は若干広帯域蛍光画像データWS′の方が大きくなるため、合成画像において正常組織は明るい黄緑色として表される。一方、病変組織は蛍光強度が低下し、さらに正常組織と比較して、狭帯域蛍光画像データNS′に対する広帯域蛍光画像データWS′の値が大きくなる。したがって、病変組織は合成画像において暗い緑色として表される。このように、合成画像においては、正常組織と病変組織とでは明るい黄緑色と暗い緑色として表されるが、色相コントラストの差が僅かであるため、正常組織と病変組織とを視認しにくい場合がある。
【0095】
これに対して、狭帯域蛍光画像データNS′を強度反転すると、図7(b)に示すように、病変組織における蛍光の強度変化が、広帯域蛍光画像データWS′と狭帯域蛍光画像データNS′とで逆相に変化するため、狭帯域蛍光画像データNS′の方が広帯域蛍光画像データWS′よりも大きな値となる。このため、正常組織は明るい緑色に、病変組織は明るい赤色として表され、正常組織と病変組織との色相コントラストの差が強度反転前と比較して拡大されることとなる。したがって、第2の実施形態のように、狭帯域蛍光画像データNS′を強度反転することにより、合成画像における正常組織と病変組織との差異をより明瞭とすることができ、組織性状の識別性を一層向上させることができる。
【0096】
次いで、本発明の第3の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第3の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第2の実施形態の画像演算ユニット400において、ゲインg乗算後の狭帯域蛍光画像データNS′を強度反転し、強度反転後の狭帯域蛍光画像データNS′に対して所定の定数α(α<1)を乗算し、定数α乗算後の狭帯域蛍光画像データαNS′に対してRの色階調を割り当てるようにしたものである。このため、第3の実施形態における蛍光内視鏡の画像演算ユニット400は、図8に示すように、ゲインg乗算後の狭帯域蛍光画像データNS′を強度反転する反転手段410に加えて、強度反転された狭帯域蛍光画像データNS′に対して定数αを乗算する定数乗算手段412を備える。
【0097】
以下、第3の実施形態の作用を説明する。なお、ゲインgの乗算までの処理は第1の実施形態と同様であるため、詳細な説明は省略する。第3の実施形態においては、広帯域蛍光画像データWSに基づいてゲインgが算出され、ゲインg乗算後の狭帯域蛍光画像データNS′が反転手段410に入力され、ここで強度が反転される。さらに強度が反転された狭帯域蛍光画像データNS′に対して、定数乗算手段412において定数αが乗算され、定数乗算後の狭帯域蛍光画像データαNS′に対してRの色階調が割り当てられて、Gの色階調が割り当てられた広帯域蛍光画像データWS′と合成されて合成画像データCSが得られる。
【0098】
ここで、狭帯域蛍光画像データNS′を強度反転した場合、合成画像に含まれる病変組織以外の暗い部分も赤い色となってしまい、病変組織と暗い部分との差異が明瞭でなくなる場合がある。このため、第3の実施形態においては、定数乗算手段412において、強度反転後の狭帯域蛍光画像データNS′に対して定数αを乗算することにより、合成画像における暗い部分も赤色となる効果を抑制することができ、これにより、病変組織と単に暗い部分との誤認を防止して、組織性状の識別性を一層向上させることができる。
【0099】
なお、上記第2および第3の実施形態においては、狭帯域蛍光画像データNS′を強度反転しているが、広帯域蛍光画像データWS′を強度反転してもよい。
【0100】
次いで、本発明の第4の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第4の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第1の実施形態において、ゲインgを乗算した後の広帯域および狭帯域蛍光画像データWS′,NS′に対して、統計量算出手段403において算出された統計量に基づいて、ダイナミックレンジ拡張処理を施すようにしたものである。このため、第4の実施形態における蛍光内視鏡の画像演算ユニット400は、図9に示すように、ゲインg乗算後の広帯域および狭帯域蛍光画像データWS′,NS′に対してダイナミックレンジ拡張処理を施すダイナミックレンジ拡張手段414を備える。
【0101】
ダイナミックレンジ拡張手段414は統計量算出手段403において算出された広帯域蛍光画像の各画素値の平均値mおよび標準偏差σに基づいて、下記の式(3)に示すように、ダイナミックレンジ拡張後の広帯域および狭帯域蛍光画像データDWS′,DNS′により表される各蛍光画像の画素値の分布範囲を算出する。なお、式(3)においては、例えばb=2とすればよい。
分布範囲=m−b×σ〜m+b×σ (3)
【0102】
そして、最小値=m−b×σ、最大値m+b×σとすると、ダイナミックレンジ拡張後の各蛍光画像の各画素値は下記の式(4)に示す関数g(x)(xはゲインgが乗算された広帯域および狭帯域蛍光画像の画素値)により算出することができる。
g(x)=(x−最小値)/(最大値−最小値) (4)
【0103】
以下、第4の実施形態の作用を説明する。なお、ゲインgの乗算までの処理は第1の実施形態と同様であるため、詳細な説明は省略する。第4の実施形態においては、広帯域蛍光画像データWSに基づいてゲインgが算出され、ゲインg乗算後の広帯域および狭帯域蛍光画像データWS′,NS′がダイナミックレンジ拡張手段414に入力され、ここでダイナミックレンジが拡張される。そして、ダイナミックレンジが拡張された広帯域および狭帯域蛍光画像データDWS′,DNS′に対してそれぞれG,Rの色階調が割り当てられて、さらに合成されて合成画像データCSが得られる。
【0104】
ここで、図10(a)に示すように、ダイナミックレンジ拡張処理前の広帯域および狭帯域蛍光画像の画素値の分布がグラフ12,12′に示すものであった場合、その分布範囲は合成画像用モニタ602の表示階調曲線32の一部にのみしか存在しないため、合成画像のコントラストはそれほど大きくならない。これに対して、ダイナミックレンジ拡張処理を行うことにより、画素値の分布範囲は、図10(b)のグラフ14,14′に示すように、合成画像用モニタ602の表示階調曲線32の略全域に亘るものとなるため、合成画像のコントラストを大きくすることができる。したがって、合成画像においては、生体組織50の組織性状の変化をより正確に表すことができ、これにより、組織性状の識別性をより向上させることができる。
【0105】
なお、統計量算出手段403において、広帯域蛍光画像の各画素の最大値Maxおよび最小値Minを算出した場合、ダイナミックレンジ拡張手段414においては、下記の式(5)に示すように、ダイナミックレンジ拡張後の広帯域および狭帯域蛍光画像データDWS′,DNS′により表される各蛍光画像の画素値の分布範囲を算出してもよい。なお、式(5)においてc,dは任意の定数である。
分布範囲=(Max+Min)/2-c×(Max-Min)/2
〜(Max+Min)/2+d×(Max-Min)/2 (5)
【0106】
また、第4の実施形態においては、合成画像において正常組織と病変組織が適度に混在している場合には問題ないが、合成画像に正常組織のみあるいは病変組織のみが含まれている場合にダイナミックレンジ拡張処理を行うと、正常組織内あるいは病変組織内の組織性状の変化が合成画像用モニタ602のダイナミックレンジに割り当てられてしまうため、表示されている合成画像が正常組織であるか病変組織であるかが識別できなくなってしまう。
【0107】
したがって、蛍光内視鏡の操作者が所望とするときにのみ、ダイナミックレンジ拡張処理が行われるようにしてもよい。この場合、図11に示すように、フットスイッチ210あるいは手元スイッチ212により、ダイナミックレンジ拡張手段414のオン/オフを切り替えるようにすればよい。
【0108】
さらに、上記第4の実施形態においては、第1の実施形態にダイナミックレンジ拡張手段414を設けてダイナミックレンジ拡張処理を行っているが、上記第2および第3の実施形態においても同様にダイナミックレンジ拡張処理を行うことが可能である。この場合、第2の実施形態においては、反転手段410において強度が反転された狭帯域蛍光画像データNS′に対してダイナミックレンジ拡張処理を施せばよく、第3の実施形態においては、定数αを乗算した狭帯域蛍光画像データαNS′に対してダイナミックレンジ拡張処理を施せばよい。
【0109】
なお、上記第1から第4の実施形態においては、広帯域蛍光画像データWS′(ダイナミックレンジ拡張後のものを含む)にGの色階調を、狭帯域蛍光画像データNS′(ダイナミックレンジ拡張後のもの、反転後のもの、または反転後定数αを乗算したものを含む)にRの色階調をそれぞれ割り当てているが、広帯域蛍光画像データWS′にRの色階調を、狭帯域蛍光画像データNS′にGの色階調を割り当ててもよい。また、G,Rの色階調に加えてBの色階調を割り当てるようにしてもよい。この場合、広帯域蛍光画像データWS′にGおよびBの色階調を、狭帯域蛍光画像データNS′にRの色階調を割り当てるようにしてもよく、狭帯域蛍光画像データNS′にGおよびBの色階調を、広帯域蛍光画像データWS′にRの色階調を割り当てるようにしてもよい。なお、色階調の割り当ての変更は、強度反転後、定数αを乗算後あるいはダイナミックレンジ拡張後の蛍光画像データに対して行えばよい。
【0110】
次いで、本発明の第5の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第5の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第1の実施形態において、広帯域および狭帯域蛍光画像データWS′,NS′から色相画像データを、広帯域蛍光画像データWS′から明度画像データをそれぞれ算出し、色相画像データおよび明度画像データを合成して合成画像データを得るようにしたものである。このため、第5の実施形態における蛍光内視鏡の画像演算ユニット400は、図12に示すように、色階調割り当て手段406,407および画像合成手段408に代えて、ゲインgが乗算された広帯域および狭帯域蛍光画像データWS′,NS′から色相を表す色相画像データHを生成する色相画像データ生成手段420と、ゲインgが乗算された広帯域蛍光画像データWS′に基づいて明るさを表す明度画像データVを生成する明度画像データ生成手段422と、色相画像データHと明度画像データVとを合成して合成画像データCS′を得る画像合成手段424とを備えるものである。
【0111】
色相画像データ生成手段420は、ゲインgを乗算後の広帯域および狭帯域蛍光画像データWS′,NS′をそれぞれ異なるカラープレーン(例えばG,R)に出力して加色混合法による加色混合画像を表す加色混合画像データを生成し、この加色混合画像データに基づいて、マンセル表色系における加色混合画像の色相を算出することにより、色相画像データHを生成する。
【0112】
明度画像データ生成手段422は、予め作成された、ゲインgを乗算後の広帯域蛍光画像の画素値の範囲と、マンセル表色系における明度(Value)とを対応付けたルックアップテーブルを参照して、明度画像データVを生成する。
【0113】
以下、第5の実施形態の作用を説明する。なお、ゲインgの乗算までの処理は第1の実施形態と同様であるため、詳細な説明は省略する。ゲインgが乗算された後の広帯域および狭帯域蛍光画像データWS′,NS′は、色相画像データ生成手段420に入力される。そして、広帯域および狭帯域蛍光画像データWS′,NS′がそれぞれ異なるカラープレーンに出力されて加色混合法による加色混合画像を表す加色混合画像データが生成され、加色混合画像データに基づいて、マンセル表色系における加色混合画像の色相が算出されて色相画像データHが生成される。
【0114】
一方、ゲインgが乗算された後の広帯域蛍光画像データWS′は、明度画像データ生成手段422に入力され、広帯域蛍光画像の画素値およびルックアップテーブルに基づいて、マンセル表色系における明度が定められて明度画像データVが生成される。
【0115】
色相画像データHおよび明度画像データVは、画像合成手段424に入力され、合成画像を表す合成画像データCS′が生成される。この場合、色相および明度に加えて彩度が必要であるため、画像合成の際にはマンセル表色系における彩度S(Saturation)として、各色相、明度毎の最大値を設定し、RGB変換を行うことにより合成画像データCS′が生成される。生成された合成画像データCS′は、合成画像用モニタ602に表示される。なお、彩度は操作者が任意に設定できるようにしておいてもよい。
【0116】
ここで、第5の実施形態のように、広帯域蛍光画像および狭帯域蛍光画像から色相画像データHを生成し、明度画像データVと合成して合成画像データCS′を生成することにより、合成画像用モニタ602に表示された合成画像の色相は、生体組織50の組織性状を反映させたものとなり、明度は生体組織50の形状を反映させたものとなる。したがって、1枚の画像に、生体組織50の組織性状に関する情報とともに、生体組織50の形状に関する情報を同時に表示することができる。
【0117】
次いで、本発明の第6の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第6の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第5の実施形態において、ゲインgを乗算した後の広帯域蛍光画像データWS′に対して、統計量算出手段403において算出された統計量に基づいて、ダイナミックレンジ拡張処理を施すようにしたものである。このため、第6の実施形態における蛍光内視鏡の画像演算ユニット400は、図13に示すように、ゲインg乗算後の広帯域蛍光画像データWS′に対してダイナミックレンジ拡張処理を施すダイナミックレンジ拡張手段426を備える。なお、ダイナミックレンジ拡張手段426は、第4の実施形態におけるダイナミックレンジ拡張手段414と同様の処理を行うものであるため、ここでは詳細な説明は省略する。
【0118】
このように、ダイナミックレンジ拡張手段426を設けることにより、明度画像データVの分布を、合成画像用モニタ602の表示階調曲線の略全域に存在させることができるため、合成画像のコントラストを大きくすることができる。したがって、生体組織50の組織性状の変化をより正確に表すことができ、これにより、組織性状の識別性をより向上させることができる。
【0119】
なお、第6の実施形態においては、ダイナミックレンジ拡張処理を常に行ってもよいが、第4の実施形態と同様に、フットスイッチ210あるいは手元スイッチ212を用いて、蛍光内視鏡の操作者が所望とするときにのみ、ダイナミックレンジ拡張処理が行われるようにしてもよい。
【0120】
また、上記第5および第6の実施形態においては、第1の実施形態において色相画像データHおよび明度画像データVを生成しているが、上記第2から第4の実施形態においても同様に色相画像データHおよび明度画像データVを生成して合成画像データCS′を求めることが可能である。この場合、第2の実施形態においては、反転手段410において強度が反転された狭帯域蛍光画像データNS′を用いて色相画像データHを生成すればよく、第3の実施形態においては、定数αを乗算した狭帯域蛍光画像データαNS′を用いて色相画像データHを生成すればよい。また、第4の実施形態においては、ダイナミックレンジが拡張された広帯域および狭帯域蛍光画像データDWS′,DNS′を用いて色相画像データHを生成すればよい。
【0121】
また、上記第5および第6の実施形態においては、明度画像データ生成手段422において、ゲインgが乗算された広帯域蛍光画像データWS′に基づいて明度画像データVを生成しているが、ゲインgが乗算された狭帯域蛍光画像データNS′に基づいて明度画像データVを生成してもよい。
【0122】
なお、上記第5および第6の実施形態においては、色相画像H(彩度一定)を算出しているが、これに限らず、XYZ色空間におけるXY、色空間における Lab Luv ab uv 、均等色空間における La b Lu v a b u v 等のいずれかに対応する画像であっても良い。
【0123】
さらに、上記第5および第6の実施形態においては、明度画像データ生成手段422において、ゲインgが乗算された広帯域蛍光画像データWS′に基づいて明度画像データVを生成しているが、図14に示す第7の実施形態のように、ゲインgを乗算する前の広帯域蛍光画像データWSに基づいて明度画像データVを生成してもよい。この場合、明度画像データVを生成する画像データを、ゲインgを乗算する前のものとするか後のものとするかを切替可能とすることが好ましい。
【0124】
ここで、ゲインgを乗算した後の広帯域蛍光画像データWS′から明度画像データVを生成した場合、生体組織50と内視鏡挿入部100の先端との距離が大きく変動すると、ゲインgも大きく変動するため、表示される合成画像の明るさが大きく変動してしまう。このため、ゲインgを乗算する前の広帯域蛍光画像データWSに基づいて明度画像データVを生成することにより、合成画像の明るさが大きく変動することを防止することができる。
【0125】
さらに、上記第1から第7の実施形態においては、広帯域蛍光画像データWSの統計量に基づいてゲインgを算出しているが、狭帯域蛍光画像データNSの統計量に基づいてゲインgを算出してもよい。
【0126】
次いで、本発明の第8の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第8の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第1の実施形態において、広帯域蛍光画像データWSの統計量に基づいてゲインを算出していたものを、参照光Lsを生体組織50に照射することにより得られる反射像Zsから得られる反射画像データRSの統計量に基づいてゲインを算出するようにしたものである。
【0127】
その構成は、第1の実施形態における画像検出ユニット300の光学透過フィルタ303を光学透過フィルタ701とし、さらに図15に示すように、画像演算ユニット400の蛍光画像用メモリ401を蛍光/反射画像用メモリ801とするとともに、反射画像データRSのビットシフトを行うビットシフト手段802、ビットシフトされた反射画像データRSの統計量を算出する統計量算出手段803および算出された統計量に基づいてゲインrgを算出するゲイン算出手段804を備えたものである。
【0128】
光学透過フィルタ701は図16に示すように、3種類のバンドパスフィルタ701a,701b,701cから構成される。バンドパスフィルタ701aは430nmから730nmまでの波長の広帯域の蛍光像を透過させるバンドパスフィルタであり、バンドパスフィルタ702bは430nmから530nmの狭帯域の蛍光像を透過させるバンドパスフィルタであり、バンドパスフィルタ701cは750nmから900nmの反射像を透過させるバンドパスフィルタである。
【0129】
また、蛍光/反射画像用メモリ801は広帯域蛍光画像記憶領域、狭帯域蛍光画像記憶領域および反射画像記憶領域から構成され、バンドパスフィルタ701a,701bを透過した蛍光画像は広帯域蛍光画像記憶領域および狭帯域蛍光画像記憶領域にそれぞれ保存され、バンドパスフィルタ701cを透過した反射画像は、反射画像記憶領域に保存される。
【0130】
統計量算出手段803においては、反射画像データRSにより表される反射画像の各画素値の平均値rmおよび標準偏差rσが算出される。そして、平均値rmおよび標準偏差rσはゲイン算出手段804に入力され、ここで下記の式(6)にしたがってゲインrgが算出される。
ゲインの上限=f(DR×a/(rm+b×rσ)) (6)
【0131】
f(x)は、反射光の強度(すなわち反射画像データRSの値)および蛍光の強度(すなわち広帯域蛍光画像データWSまたは狭帯域蛍光画像データNSの値)との強度比を反映した補正関数である。図17は、生体組織50と内視鏡挿入部100の先端との距離と、反射光強度および蛍光強度との関係を表す図である。ライトガイド101の先端部は2眼となっているため、図17に示すように、反射光強度および蛍光強度は、生体組織50からの距離zがz0となるまでは非線形に減少し、距離z0よりも大きい距離においては、距離zの2乗に反比例して減少する。これは、距離zがz0以上であると2箇所から射出される光の合成光がガウス分布に従うが、z0未満である場合には合成光の分布がガウス分布に従わないからである。
【0132】
このため、反射画像データRSに基づいてゲインrgを算出した場合、ゲインrgの乗算による蛍光画像と反射画像との画素値の分布の変化の仕方が、距離zが小さい場合と大きい場合とで異なるものとなってしまう。
【0133】
したがって、例えばf(x)=pxとした場合、距離zが小さい箇所では、変数(例えば距離が小さいほど1に近づく)となり、距離zが大きい箇所では定数となるように係数pを設定することにより、距離zによる補正関数の変動を低減したゲインrgを算出することができる。なお、距離zは直接検出することができないため、反射画像データRSのデータ値に基づいて係数pの値を決定すればよい。すなわち、反射画像データRSのデータ値が大きいときはpの値を1に近い値とし、データ値が小さいときは蛍光画像と反射画像との比率に基づいて算出した値とすればよい。
【0134】
なお、広帯域蛍光画像の各画素の最大値および最小値を求め、下記の式(7)にしたがってゲインrgを算出してもよい。また、反射画像の一部の所望領域(例えばとくに注目して観察したい画像の領域)内の画素値にのみ基づいてゲインrgを算出してもよい。
ゲインの上限=f[DR×a/{(rMax+rMin)/2+b×(rMax-rMin)/2}] (7)
【0135】
以下、第8の実施形態の作用を説明する。第8の実施形態においては、制御用コンピュータ200により、フィルタ回転装置304が駆動され、蛍光像Zjは光学フィルタ701aを透過した後、蛍光用集光レンズ305により結像され、蛍光画像用高感度撮像素子306により広帯域蛍光画像として撮像される。また、蛍光像Zjは、光学フィルタ701bを透過した後、蛍光用集光レンズ305により結像され、蛍光画像用高感度撮像素子306により狭帯域蛍光画像として撮像される。蛍光画像用高感度撮像素子306からの映像信号はAD変換器307へ入力され、デジタル化された後、広帯域および狭帯域蛍光画像データWS,NSとして蛍光/反射画像用メモリ801の広帯域蛍光画像記憶領域および狭帯域蛍光画像記憶領域にそれぞれ保存される。
【0136】
一方、反射画像撮像時には、制御用コンピュータ200からの信号に基づき、白色光源用電源115が駆動され、白色光Lwが射出される。この白色光Lwには、波長帯域が750nmから900nmまでの参照光Lsが含まれる。参照光Lsを含む白色光Lwは、白色光用集光レンズ116を透過し、白色光ライトガイド101bに入射され、内視鏡挿入部100の先端まで導光された後、照明レンズ104から生体組織50へ照射される。
【0137】
参照光Lsを含む白色光Lwの生体組織50における反射により生じる反射像Zsは集光レンズ106により集光され、イメージファイバ103の先端に入射され、イメージファイバ103を経て励起光カットフィルタ302に入射する。励起光カットフィルタ302を透過した反射像Zsは、光学透過フィルタ303に入射される。
【0138】
制御用コンピュータ200により、フィルタ回転装置304が駆動され、反射像Zsはバンドパスフィルタ701cを透過した後、蛍光用集光レンズ305により結像され、蛍光画像用高感度撮像素子306により撮像され、蛍光画像用高感度撮像素子306からの映像信号はAD変換器307へ入力され、デジタル化された後、反射画像データRSとして蛍光/反射画像用メモリ801の反射画像保存領域に保存される。この際、バンドパスフィルタ303cにおいては、白色光Lwに含まれる参照光Lsの照射により生体組織50において反射される反射像を透過する。
【0139】
蛍光/反射画像用メモリ801に保存された反射画像データRSは、ビットシフト手段802においてビットシフトされた後、統計量算出手段803において統計量が算出され、さらにゲイン算出手段804においてゲインrgが算出される。そして、第1の実施形態と同様に、算出されたゲインrgが広帯域および狭帯域蛍光画像データWS,NSにそれぞれ乗算され、さらにGの色階調およびRの色階調がそれぞれ割り当てられて、合成画像データCSが得られる。
【0140】
ここで、生体組織50における参照光Lsの反射光の強度は、生体組織50から発生する広帯域蛍光の強度よりも大きい。このため、統計量に基づくゲインrgを第1の実施形態と比較してより適切に算出することができ、これにより合成画像における組織性状の識別性をより向上させることができる。
【0141】
次いで、本発明の第9の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第9の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第8の実施形態の画像演算ユニット400において、第2の実施形態と同様に、ゲインrg乗算後の狭帯域蛍光画像データNS′の強度を反転し、反転後の狭帯域蛍光画像データNS′に対してRの色階調を割り当てるようにしたものである。このため、第9の実施形態における蛍光内視鏡の画像演算ユニット400は、図18に示すように、ゲインrg乗算後の狭帯域蛍光画像データNS′を強度反転する反転手段410を備える。
【0142】
以下、第9の実施形態の作用を説明する。なお、ゲインgの乗算までの処理は第1の実施形態と同様であるため、詳細な説明は省略する。第9の実施形態においては、反射画像データRSに基づいてゲインrgが算出され、ゲインrg乗算後の狭帯域蛍光画像データNS′が反転手段410に入力され、ここで強度が反転され、反転後の狭帯域蛍光画像データNS′に対してRの色階調が割り当てられて、Gの色階調が割り当てられた広帯域蛍光画像データWS′と合成されて合成画像データCSが得られる。
【0143】
このように、狭帯域蛍光画像データNS′を強度反転することにより、正常組織と病変組織との差異をより明瞭とすることができ、組織性状の識別性を一層向上させることができる。
【0144】
次いで、本発明の第10の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第10の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第9の実施形態の画像演算ユニット400において、ゲインrg乗算後の狭帯域蛍光画像データNS′を強度反転し、強度反転後の狭帯域蛍光画像データNS′に対して定数α(α<1)を乗算し、定数α乗算後の狭帯域蛍光画像データαNS′に対してRの色階調を割り当てるようにしたものである。このため、第10の実施形態における蛍光内視鏡の画像演算ユニット400は、図19に示すように、第3の実施形態と同様の定数乗算手段412を備える。
【0145】
以下、第10の実施形態の作用を説明する。なお、ゲインgの乗算までの処理は第1の実施形態と同様であるため、詳細な説明は省略する。第10の実施形態においては、反射画像データRSに基づいてゲインrgが算出され、ゲインrg乗算後の狭帯域蛍光画像データNS′が反転手段410に入力され、ここで強度が反転される。さらに強度が反転された狭帯域蛍光画像データNS′に対して、定数乗算手段412において定数αが乗算され、定数乗算後の狭帯域蛍光画像データαNS′に対してRの色階調が割り当てられて、Gの色階調が割り当てられた広帯域蛍光画像データWS′と合成されて合成画像データCSが得られる。
【0146】
このように、強度反転後の狭帯域蛍光画像データNS′に対して定数αを乗算することにより、第3の実施形態と同様に、合成画像における暗い部分も赤くなる効果を抑制することができ、これにより、病変組織と単に暗い部分との誤認を防止して、組織性状の識別性を一層向上させることができる。
【0147】
なお、上記第9および第10の実施形態においては、狭帯域蛍光画像データNS′を強度反転しているが、広帯域蛍光画像データWS′を強度反転してもよい。
【0148】
次いで、本発明の第11の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第11の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、ゲイン乗算手段405において、反射画像データRSにもゲインrgを乗算し、ゲインrgを乗算後の反射画像データRS′とゲインrgを乗算後の狭帯域蛍光画像データNS′との差分データを算出し、差分データに対して定数αを乗算してRの色階調を割り当てるようにしたものである。このため、第11の実施形態における蛍光内視鏡の画像演算ユニット400は、図20に示すように、ゲインrgを乗算後の反射画像データRS′とゲインrgを乗算後の狭帯域蛍光画像データNS′との差分データSsubを算出する差分手段810と、第3の実施形態と同様の定数乗算手段412とを備える。
【0149】
差分手段810においては、ゲインrgを乗算後の反射画像データRS′により表される反射画像と、ゲインrgを乗算後の狭帯域蛍光画像データNS′により表される狭帯域蛍光画像との相対応する画素同士で差分演算を行って差分データSsubを算出する。
【0150】
以下、第11の実施形態の作用を説明する。第11の実施形態においては、反射画像データRSに基づいてゲインrgが算出され、ゲインrg乗算後の反射画像データRS′および狭帯域蛍光画像データNS′が差分手段810に入力され、ここで差分データSsubが算出される。さらに、差分データSsubに対して、定数乗算手段412において定数αが乗算され、定数乗算後の差分データαSsubに対してRの色階調が割り当てられて、Gの色階調が割り当てられた広帯域蛍光画像データWS′と合成されて合成画像データCSが得られる。
【0151】
このように、ゲインrgを乗算した後の反射画像データRS′とゲインrgを乗算した後の狭帯域蛍光画像データNS′との差分データSsubを算出することにより、病変組織を正常組織との差異をより明瞭とすることができる。すなわち、蛍光強度の大小に起因する合成画像における明度の高低を所望の明度範囲に調整することにより、合成画像における組織性状の識別性を向上させることができる。
【0152】
次いで、本発明の第12の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第12の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第8の実施形態において、ゲインrgを乗算した後の広帯域および狭帯域蛍光画像データWS′,NS′に対して、統計量算出手段403において算出された統計量に基づいて、ダイナミックレンジ拡張処理を施すようにしたものである。このため、第12の実施形態における蛍光内視鏡の画像演算ユニット400は、図21に示すように、ゲインrg乗算後の広帯域および狭帯域蛍光画像データWS′,NS′に対してダイナミックレンジ拡張処理を施す、第4の実施形態と同様のダイナミックレンジ拡張手段814を備える。
【0153】
ダイナミックレンジ拡張手段814は統計量算出手段803において算出された反射画像の各画素値の平均値rmおよび標準偏差rσに基づいて、下記の式(8)に示すように、拡張後の広帯域および狭帯域蛍光画像データDWS′,DNS′により表される各蛍光画像の画素値の分布範囲を算出する。
分布範囲=rm−b×rσ〜rm+b×rσ (8)
【0154】
そして、最小値=rm−b×rσ、最大値rm+b×rσとすると、ダイナミックレンジ拡張後の各蛍光画像の各画素値は下記の式(9)に示す関数rg(x)(xはゲインrgが乗算された広帯域および狭帯域蛍光画像の画素値)により算出することができる。
rg(x)=(x−最小値)/(最大値−最小値) (9)
【0155】
以下、第12の実施形態の作用を説明する。なお、ゲインgの乗算までの処理は第1の実施形態と同様であるため、詳細な説明は省略する。第12の実施形態においては、反射画像データRSに基づいてゲインrgが算出され、ゲインrg乗算後の広帯域および狭帯域蛍光画像データWS′,NS′がダイナミックレンジ拡張手段824に入力され、ここでダイナミックレンジが拡張される。そして、ダイナミックレンジが拡張された広帯域および狭帯域蛍光画像データDWS′,DNS′に対してそれぞれG,Rの色階調が割り当てられ、さらに合成されて合成画像データCSが得られる。
【0156】
このように、ダイナミックレンジを拡張することにより、合成画像のコントラストを大きくすることができるため、生体組織50の組織性状の変化をより正確に表すことができ、これにより、合成画像における組織性状の識別性をより向上させることができる。
【0157】
なお、統計量算出手段803において、反射画像の各画素の最大値rMaxおよび最小値rMinを算出した場合、ダイナミックレンジ拡張手段814においては、下記の式(10)に示すように、拡張後の広帯域および狭帯域蛍光画像データDWS′,DNS′により表される各蛍光画像の画素値の分布範囲を算出してもよい。なお、式(10)においてc,dは任意の定数である。
分布範囲=(rMax+rMin)/2-c×(rMax-rMin)/2
〜(rMax+rMin)/2+d×(rMax-rMin)/2 (10)
【0158】
また、第12の実施形態においては、ダイナミックレンジ拡張処理を常に行ってもよいが、第4の実施形態と同様に、フットスイッチ210あるいは手元スイッチ212を用いて、蛍光内視鏡の操作者が所望とするときにのみ、ダイナミックレンジ拡張処理が行われるようにしてもよい。
【0159】
さらに、上記第12の実施形態においては、第8の実施形態にダイナミックレンジ拡張手段814を設けてダイナミックレンジ拡張処理を行っているが、上記第9から第11の実施形態においても同様にダイナミックレンジ拡張処理を行うことが可能である。この場合、第9の実施形態においては、反転手段410において強度が反転された狭帯域蛍光画像データNS′に対してダイナミックレンジ拡張処理を施せばよく、第10の実施形態においては、定数αを乗算した狭帯域蛍光画像データαNS′に対してダイナミックレンジ拡張処理を施せばよい。さらに、第11の実施形態においては、定数αを乗算した差分データαSsubに対してダイナミックレンジ拡張処理を施せばよい。
【0160】
なお、上記第8から第12の実施形態においては、広帯域蛍光画像データWS′(ダイナミックレンジ拡張後のものを含む)にGの色階調を、狭帯域蛍光画像データNS′(ダイナミックレンジ拡張後のもの、反転後のもの、または反転後定数αを乗算したものを含む)または差分データαSsubにRの色階調をそれぞれ割り当てているが、広帯域蛍光画像データWS′にRの色階調を、狭帯域蛍光画像データNS′または差分データαSsubにGの色階調を割り当ててもよい。また、G,Rの色階調に加えてBの色階調を割り当てるようにしてもよい。この場合、広帯域蛍光画像データWS′にGおよびBの色階調を、狭帯域蛍光画像データNS′または差分データαSsubにRの色階調を割り当てるようにしてもよく、狭帯域蛍光画像データNS′または差分データαSsubにGおよびBの色階調を、広帯域蛍光画像データWS′にRの色階調を割り当てるようにしてもよい。なお、色階調の割り当ての変更は、強度反転後、定数αを乗算後あるいはダイナミックレンジ拡張後の蛍光画像データに対して行えばよい。
【0161】
次いで、本発明の第13の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第13の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第8の実施形態において、ゲインrgを乗算後の広帯域および狭帯域蛍光画像データWS′,NS′から色相画像データHを、広帯域蛍光画像データWS′から明度画像データVをそれぞれ算出し、色相画像データHおよび明度画像データVを合成して合成画像データを得るようにしたものである。このため、第13の実施形態における蛍光内視鏡の画像演算ユニット400は、図22に示すように、第5の実施形態と同様に、色階調割り当て手段406,407および画像合成手段408に代えて、ゲインrg乗算後の広帯域および狭帯域蛍光画像データWS′,NS′から色相を表す色相画像データHを生成する色相画像データ生成手段420と、ゲインrg乗算後の広帯域蛍光画像データWS′に基づいて明るさを表す明度画像データVを生成する明度画像データ生成手段422と、色相画像データHと明度画像データVとを合成して合成画像データCS′を得る画像合成手段424とを備えるものである。
【0162】
以下、第13の実施形態の作用を説明する。なお、ゲインrgの乗算までの処理は第8の実施形態と同様であるため、詳細な説明は省略する。反射画像データRSから算出されたゲインrg乗算後の広帯域および狭帯域蛍光画像データWS′,NS′は、色相画像データ生成手段420に入力され、それぞれ異なるカラープレーン(例えばG,R)に出力されて加色混合法による加色混合画像を表す加色混合画像データが生成され、加色混合画像データに基づいて、マンセル表色系における加色混合画像の色相が算出されて色相画像データHが生成される。
【0163】
一方、ゲインrg乗算後の広帯域蛍光画像データWS′は、明度画像データ生成手段422に入力され、広帯域蛍光画像の画素値およびルックアップテーブルに基づいて、マンセル表色系における明度が定められ、明度画像データVが生成される。
【0164】
色相画像データHおよび明度画像データVは、画像合成手段424に入力され、合成画像を表す合成画像データCS′が生成される。この場合、色相および明度に加えて彩度が必要であるため、画像合成の際には、マンセル表色系における彩度S(Saturation)として、各色相、明度毎の最大値を設定し、RGB変換を行うことにより合成画像データCS′が生成される。
【0165】
これにより、第5の実施形態と同様に、1枚の画像に生体組織50の組織性状に関する情報とともに、生体組織50の形状に関する情報を同時に表示することができる。
【0166】
次いで、本発明の第14の実施形態による蛍光画像表示装置を適用した蛍光内視鏡について説明する。第14の実施形態における蛍光画像表示装置を適用した蛍光内視鏡は、第13の実施形態において、ゲインrgを乗算した後の広帯域蛍光画像データWS′に対して、統計量算出手段803において算出された統計量に基づいて、ダイナミックレンジ拡張処理を施すようにしたものである。このため、第14の実施形態における蛍光内視鏡の画像演算ユニット400は、図23に示すように、ゲインrg乗算後の広帯域蛍光画像データWS′に対してダイナミックレンジ拡張処理を施すダイナミックレンジ拡張手段826を備える。なお、ダイナミックレンジ拡張手段826は、第4の実施形態におけるダイナミックレンジ拡張手段414と同様の処理を行うものであるため、ここでは詳細な説明は省略する。
【0167】
このように、ダイナミックレンジ拡張手段826を設けることにより、明度画像データVの分布を、合成画像用モニタ602の表示階調曲線の略全域に存在させることができるため、合成画像のコントラストを大きくすることができる。したがって、生体組織50の組織性状の変化をより正確に表すことができ、これにより、組織性状の識別性をより向上させることができる。
【0168】
なお、第14の実施形態においては、ダイナミックレンジ拡張処理を常に行ってもよいが、第4の実施形態と同様に、フットスイッチ210あるいは手元スイッチ212を用いて、蛍光内視鏡の操作者が所望とするときにのみ、ダイナミックレンジ拡張処理が行われるようにしてもよい。
【0169】
また、上記第13および第14の実施形態においては、第8の実施形態において色相画像データHおよび明度画像データVを生成しているが、上記第9から第12の実施形態においても同様に色相画像データHおよび明度画像データVを生成して合成画像データCS′を求めることが可能である。この場合、第9の実施形態においては、反転手段410において強度が反転された狭帯域蛍光画像データNS′を用いて色相画像データHを生成すればよく、第10の実施形態においては、定数αを乗算した狭帯域蛍光画像データαNS′を用いて色相画像データHを生成すればよい。また、第11の実施形態においては、定数αを乗算した差分データαSsubを用いて色相画像データHを生成すればよく、第12の実施形態においては、ダイナミックレンジが拡張された広帯域および狭帯域蛍光画像データDWS′,DNS′を用いて色相画像データHを生成すればよい。
【0170】
また、上記第13および第14の実施形態においては、明度画像データ生成手段422において、ゲインrgが乗算された広帯域蛍光画像データWS′に基づいて明度画像データVを生成しているが、ゲインrgが乗算された狭帯域蛍光画像データNS′に基づいて明度画像データVを生成してもよい。
【0171】
さらに、上記第13および第14の実施形態においては、明度画像データ生成手段422において、ゲインrgが乗算された広帯域蛍光画像データWS′に基づいて明度画像データVを生成しているが、図24に示す第15の実施形態のように、ゲイン乗算手段405において反射画像データRSに対してもゲインrgを乗算して反射画像データRS′を得、反射画像データRS′に基づいて明度画像データVを生成してもよい。
【0172】
さらに、上記第13および第14の実施形態においては、明度画像データ生成手段422において、ゲインrgが乗算された広帯域蛍光画像データWS′に基づいて明度画像データVを生成しているが、図25に示す第16の実施形態のように、ゲインrgを乗算する前の広帯域蛍光画像データWSに基づいて明度画像データVを生成てもよい。なお、ゲインrgを乗算する前の狭帯域蛍光画像データNSあるいは反射画像データRSに基づいて明度画像データVを生成してもよいことはもちろんである。この場合、明度画像データVを生成する画像データを、ゲインrgを乗算する前のものとするか後のものとするかを切替可能とすることが好ましい。
【0173】
ここで、ゲインrgを乗算した後の広帯域蛍光画像データWS′から明度画像データVを生成した場合、生体組織50と内視鏡挿入部100の先端との距離が大きく変動すると、ゲインrgも大きく変動するため、表示される合成画像の明るさが大きく変動してしまう。このため、ゲインrgを乗算する前の広帯域蛍光画像データWSに基づいて明度画像データVを生成することにより、合成画像の明るさが大きく変動することを防止することができる。
【0174】
なお、上記第13から第16の実施形態においては、色相画像H(彩度一定)を算出しているが、これに限らず、XYZ色空間におけるXY、色空間における Lab Luv ab uv 、均等色空間における La b Lu v a b u v 等のいずれかに対応する画像であっても良い。
【0175】
また、上記第1から第16の実施形態においては、統計量算出手段403,803において算出される統計量は、同一フレームにおいてリアルタイムに撮像されている蛍光画像または反射画像に基づくものでなくてもよく、前のフレームにおいて撮像された蛍光画像または反射画像に基づくものとしてもよい。
【0176】
さらに、上記第1から第16の実施形態においては、通常画像用撮像素子107を内視鏡挿入部100の先端に設置する形態としたが、イメージファイバを用いることにより、画像データ処理部内に設置してもよい。さらに、通常画像用および蛍光画像用のイメージファイバと撮像素子を共通化してもよい。この場合、光学透過フィルタに通常像を得るためのフィルタを設置しておけばよい。また、この通常像を得るためのフィルタを設置した光学透過フィルタと同等の機能を有するモザイクフィルタを撮像素子にオンチップ化することにより、通常画像用および蛍光画像用の撮像素子を内視鏡挿入部先端に設置することもできる。
【0177】
また、合成画像を表示する方法については、通常画像用モニタ601と合成画像用モニタ602とで別々に表示する形態となっているが、1つのモニタで兼用して表示するようにしてもよい。その際、通常画像と合成画像との切り替えは、制御用コンピュータにより時系列で自動的に行ってもよいし、測定者が適当な切替手段で、任意に切り替える形態としてもよい。さらに、通常画像と合成画像を重ね合わせて表示してもよい。
【0178】
また、イメージファイバ103は、石英ファイバではなく、多成分ガラスファイバにすることができる。このとき、多成分ガラスファイバに励起光が入射すると蛍光を発するので、励起光カットフィルタ302を、集光レンズ106とイメージファイバ103の蛍光像入射端との間に設置する必要がある。石英ファイバから多成分ガラスファイバにすることにより、コストを低減することができる。
【0179】
また、上記第1から第16の実施形態において、画像演算ユニット400での演算処理は、各画素単位で行うことに限定されず、蛍光画像用高感度撮像素子のビニング処理に対応する画素単位で演算処理を行ったり、測定者の所望する任意の縦横n×m画素単位で行ってもよい。
【0180】
また、励起光源は、波長として400nmから420nm程度のいずれのものを選んでもよい。
【0181】
また、励起光源と白色光源を別個のものとしたが、適当な光学透過フィルタを利用することにより光源を共通化してもよい。
【図面の簡単な説明】
【図1】本発明による蛍光画像表示装置を適用した第1の実施形態である蛍光内視鏡の概略構成図
【図2】本実施形態による蛍光内視鏡に使用される光学透過フィルタの概略構成図(その1)
【図3】本発明の第1の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図4】ゲインの乗算を説明するための図
【図5】GおよびRの表示階調曲線を示す図
【図6】本発明の第2の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図7】強度反転を説明するための図
【図8】本発明の第3の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図9】本発明の第4の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図10】ダイナミックレンジ拡張処理を説明するための図
【図11】第4の実施形態においてフットスイッチあるいは手元操作スイッチを備えた状態を示す図
【図12】本発明の第5の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図13】本発明の第6の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図14】本発明の第7の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図15】本発明の第8の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図16】本実施形態による蛍光内視鏡に使用される光学透過フィルタの概略構成図(その2)
【図17】ゲインの算出を説明するための図
【図18】本発明の第9の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図19】本発明の第10の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図20】本発明の第11の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図21】本発明の第12の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図22】本発明の第13の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図23】本発明の第14の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図24】本発明の第15の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図25】本発明の第16の実施形態による蛍光内視鏡における画像演算ユニットの構成を示す概略ブロック図
【図26】正常組織と病変組織の蛍光スペクトルの強度分布を示す説明図
【符号の説明】
1 画像データ処理部
50 生体組織
100 内視鏡挿入部
101 ライトガイド
101a 励起光ライトガイド
101b 白色光ライトガイド
102 CCDケーブル
103 イメージファイバ
104 照明レンズ
105 対物レンズ
106 集光レンズ
107 通常画像用撮像素子
108 反射用プリズム
110 照明ユニット
111 GaN系半導体レーザ
112 半導体レーザ用電源
113 励起光用集光レンズ
114 白色光源
115 白色光源用電源
116 白色光用集光レンズ
200 制御用コンピュータ
210 フットスイッチ
212 手元スイッチ
300 画像検出ユニット
301 コリメートレンズ
302 励起光カットフィルタ
303、701 光学透過フィルタ
303a,303b バンドパスフィルタ
701a,701b,701c バンドパスフィルタ
304 フィルタ回転装置
305 蛍光用集光レンズ
306 蛍光画像用高感度撮像素子
307、501 AD変換器
400、800 画像演算ユニット
401 蛍光画像用メモリ
402,802 ビットシフト手段
403,803 統計量算出手段
404,804 ゲイン算出手段
405 ゲイン乗算手段
406,407 階調割り当て手段
408,424 画像合成手段
410 反転手段
412 定数乗算手段
414,426,814,826 ダイナミックレンジ拡張手段
420 色相画像データ生成手段
422 明度画像データ生成手段
801 蛍光/反射画像用メモリ

Claims (14)

  1. 励起光を被測定部に照射することにより前記被測定部から発生する蛍光の強度に基づいて、互いに異なる波長帯域の蛍光画像を撮像して2つの蛍光画像データを取得する蛍光画像撮像手段と、
    該2つの蛍光画像データのうちのいずれか一方の蛍光画像データの統計量に基づいて、前記2つの蛍光画像データに乗算するゲインを算出するゲイン算出手段と、
    該ゲインを前記両蛍光画像データに乗算して2つの乗算蛍光画像データを得る乗算手段と、
    該両乗算蛍光画像データに基づいて、前記被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを生成する画像生成手段と、
    該疑似カラー画像を表示する表示手段とを備えたことを特徴とする蛍光画像表示装置。
  2. 前記画像生成手段は、加色混合法に基づいて前記両乗算蛍光画像データから前記疑似カラー画像データを生成する手段であることを特徴とする請求項1記載の蛍光画像表示装置。
  3. 前記画像生成手段は、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
    いずれか一方の前記乗算蛍光画像データにより表される乗算蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
    前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えたことを特徴とする請求項1記載の蛍光画像表示装置。
  4. 前記統計量に基づいて、前記表示手段のダイナミックレンジの略全域に亘るように前記両乗算蛍光画像データのダイナミックレンジを拡張するダイナミックレンジ拡張手段をさらに備えたことを特徴とする請求項1から3のいずれか1項記載の蛍光画像表示装置。
  5. 前記蛍光画像撮像手段の一部または全部が、生体内部に挿入される内視鏡の形態であることを特徴とする請求項1から4のいずれか1項記載の蛍光画像表示装置。
  6. 励起光を被測定部に照射することにより前記被測定部から発生する蛍光の強度に基づいて、互いに異なる波長帯域の蛍光画像を撮像して2つの蛍光画像データを取得する蛍光画像撮像手段と、
    参照光を前記被測定部に照射することにより前記被測定部において反射される反射光の強度に基づいて、反射画像を撮像して反射画像データを取得する反射画像撮像手段と、
    該反射画像データの統計量に基づいて、前記2つの蛍光画像データに乗算するゲインを算出するゲイン算出手段と、
    該ゲインを前記両蛍光画像データに乗算して2つの乗算蛍光画像データを得る乗算手段と、
    該両乗算蛍光画像データに基づいて、前記被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを生成する画像生成手段と、
    該疑似カラー画像を表示する表示手段とを備えたことを特徴とする蛍光画像表示装置。
  7. 前記画像生成手段は、加色混合法に基づいて前記両乗算蛍光画像データから前記疑似カラー画像データを生成する手段であることを特徴とする請求項6記載の蛍光画像表示装置。
  8. 前記画像生成手段は、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
    前記反射画像データに前記ゲインを乗算することにより乗算反射画像データを得、該乗算反射画像データにより表される乗算反射画像の画素値またはいずれか一方の前記乗算蛍光画像データにより表される乗算蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
    前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えたことを特徴とする請求項6記載の蛍光画像表示装置。
  9. 励起光を被測定部に照射することにより前記被測定部から発生する蛍光の強度に基づいて、互いに異なる波長帯域の蛍光画像を撮像して2つの蛍光画像データを取得する蛍光画像撮像手段と、
    参照光を前記被測定部に照射することにより前記被測定部において反射される反射光の強度に基づいて、反射画像を撮像して反射画像データを取得する反射画像撮像手段と、
    該反射画像データの統計量に基づいて、前記2つの蛍光画像データに乗算するゲインを算出するゲイン算出手段と、
    該ゲインを前記両蛍光画像データおよび前記反射画像データに乗算して2つの乗算蛍光画像データおよび乗算反射画像データを得る乗算手段と、
    前記乗算反射画像データといずれか一方の前記乗算蛍光画像データとの差分データを算出する差分手段と、
    該差分データおよび他方の前記乗算蛍光画像データに基づいて、前記被測定部における組織性状を反映した疑似カラー画像を表す疑似カラー画像データを生成する画像生成手段と、
    該疑似カラー画像を表示する表示手段とを備えたことを特徴とする蛍光画像表示装置。
  10. 前記画像生成手段は、加色混合法に基づいて前記両乗算蛍光画像データから前記疑似カラー画像データを生成する手段であることを特徴とする請求項9記載の蛍光画像表示装置。
  11. 前記画像生成手段は、加色混合法に基づいて前記両乗算蛍光画像データから加色混合画像データを生成し、該加色混合画像データに基づいて、該加色混合画像データにより表される加色混合画像の色度成分を表す色画像データを生成する色画像生成手段と、
    前記乗算反射画像データにより表される乗算反射画像の画素値またはいずれか一方の前記乗算蛍光画像データにより表される乗算蛍光画像の画素値に明度の表示階調を割り当てて明度画像を表す明度画像データを生成する明度画像生成手段と、
    前記色画像データと前記明度画像データとを合成して前記疑似カラー画像データを生成する合成手段とを備えたことを特徴とする請求項9記載の蛍光画像表示装置。
  12. 前記統計量に基づいて、前記表示手段のダイナミックレンジの略全域に亘るように前記反射画像データおよび/または前記両乗算画像データのダイナミックレンジを拡張するダイナミックレンジ拡張手段をさらに備えたことを特徴とする請求項6から11のいずれか1項記載の蛍光画像表示装置。
  13. 前記蛍光画像撮像手段および前記反射画像撮像手段の一部または全部が、生体内部に挿入される内視鏡の形態であることを特徴とする請求項6から12のいずれか1項記載の蛍光画像表示装置。
  14. 前記画像生成手段は、いずれか一方の乗算蛍光画像データの強度を反転して反転蛍光画像データを得、他方の乗算蛍光画像データおよび該反転蛍光画像データに基づいて前記疑似カラー画像データを生成する手段であることを特徴とする請求項1から13のいずれか1項記載の蛍光画像表示装置。
JP2002089108A 2001-05-07 2002-03-27 蛍光画像表示装置 Expired - Fee Related JP3731814B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002089108A JP3731814B2 (ja) 2001-05-07 2002-03-27 蛍光画像表示装置
DE60203559T DE60203559T2 (de) 2001-05-07 2002-05-06 Gerät zur Anzeige eines Fluoreszenzbildes
EP02010071A EP1256310B1 (en) 2001-05-07 2002-05-06 Fluorescence image display apparatus
US10/138,527 US7043291B2 (en) 2001-05-07 2002-05-06 Fluorescence image display apparatus
US11/250,510 US7583993B2 (en) 2001-05-07 2005-10-17 Fluorescence image display apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001136046 2001-05-07
JP2001-136046 2001-05-07
JP2002089108A JP3731814B2 (ja) 2001-05-07 2002-03-27 蛍光画像表示装置

Publications (3)

Publication Number Publication Date
JP2003024268A JP2003024268A (ja) 2003-01-28
JP2003024268A5 JP2003024268A5 (ja) 2005-02-24
JP3731814B2 true JP3731814B2 (ja) 2006-01-05

Family

ID=26614690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002089108A Expired - Fee Related JP3731814B2 (ja) 2001-05-07 2002-03-27 蛍光画像表示装置

Country Status (4)

Country Link
US (2) US7043291B2 (ja)
EP (1) EP1256310B1 (ja)
JP (1) JP3731814B2 (ja)
DE (1) DE60203559T2 (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10973397B2 (en) 1999-03-01 2021-04-13 West View Research, Llc Computerized information collection and processing apparatus
US8636648B2 (en) 1999-03-01 2014-01-28 West View Research, Llc Endoscopic smart probe
EP1759631B1 (en) * 2000-06-06 2011-03-09 FUJIFILM Corporation Fluorescent-light image display method and apparatus therefor
WO2002007587A2 (en) * 2000-07-14 2002-01-31 Xillix Technologies Corporation Compact fluorescent endoscopy video system
DE10109539A1 (de) * 2001-02-28 2002-09-12 Siemens Ag Vorrichtung zur Untersuchung von Gewebe mit Licht
US20060241496A1 (en) 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
JP3869324B2 (ja) * 2002-06-26 2007-01-17 オリンパス株式会社 蛍光観察用画像処理装置
JP2004248721A (ja) * 2003-02-18 2004-09-09 Pentax Corp 診断補助用装置
KR100583250B1 (ko) * 2004-03-05 2006-05-24 한국전기연구원 개선된 영상 검출 모듈을 갖는 형광 내시경 장치
JP4575174B2 (ja) * 2005-01-07 2010-11-04 オリンパスメディカルシステムズ株式会社 内視鏡用挿入部及び内視鏡
DE202005003411U1 (de) * 2005-02-24 2006-07-06 Karl Storz Gmbh & Co. Kg Multifunktionales Fluoreszenzdiagnosesystem
JP5191090B2 (ja) * 2005-07-15 2013-04-24 オリンパスメディカルシステムズ株式会社 内視鏡装置
DE102005054184B4 (de) * 2005-11-14 2020-10-29 Carl Zeiss Microscopy Gmbh Multispektrale Beleuchtungsvorrichtung und Messverfahren
WO2007106624A2 (en) 2006-02-07 2007-09-20 Novadaq Technologies Inc. Near infrared imaging
JP4845590B2 (ja) * 2006-05-22 2011-12-28 オリンパス株式会社 内視鏡システム
EP2051603B1 (en) 2006-07-28 2019-09-11 Novadaq Technologies ULC System and method for deposition and removal of an optical element on an endoscope objective
US7668355B2 (en) * 2006-08-31 2010-02-23 Carestream Health, Inc. Method for detection of caries
US20080081990A1 (en) * 2006-09-28 2008-04-03 The Research Foundation Of State University Of New York Apparatus, system, kit and method for heart mapping
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
FR2911965B1 (fr) * 2007-01-30 2009-06-26 Univ Claude Bernard Lyon Sonde miniaturisee pour la mesure d'un rayonnement haute energie et dispositif de mesure en faisant application
US7996068B2 (en) * 2007-03-14 2011-08-09 The Board Of Trustees Of The Leland Stanford Junior University Surgical method and apparatus for identification of fluorescence
GB0707433D0 (en) 2007-04-18 2007-05-23 Stfc Science & Technology Fluorescence measurement
JP4954858B2 (ja) * 2007-11-30 2012-06-20 オリンパス株式会社 蛍光観察装置および内視鏡装置
JP2009165553A (ja) * 2008-01-11 2009-07-30 Olympus Medical Systems Corp 医療用画像処理装置及び医療用撮像システム
US9173554B2 (en) 2008-03-18 2015-11-03 Novadaq Technologies, Inc. Imaging system for combined full-color reflectance and near-infrared imaging
CA2724563C (en) * 2008-05-16 2018-07-17 Huron Technologies International Inc. Imaging system with dynamic range maximization
PL2291640T3 (pl) 2008-05-20 2019-07-31 University Health Network Urządzenie i sposób obrazowania i monitorowania w oparciu o fluorescencję
EP2165643B1 (en) * 2008-09-17 2012-04-18 FUJIFILM Corporation Image obtaining method and image obtaining apparatus
US8734333B2 (en) * 2009-03-18 2014-05-27 Fujifilm Corporation Endoscope system, endoscope video processor and method of driving endoscope system
JP5396121B2 (ja) * 2009-03-26 2014-01-22 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法
WO2010131620A1 (ja) * 2009-05-14 2010-11-18 オリンパスメディカルシステムズ株式会社 撮像装置
KR101605770B1 (ko) * 2009-07-28 2016-03-23 삼성전자주식회사 영상 처리 방법 및 장치
JP5435796B2 (ja) * 2010-02-18 2014-03-05 富士フイルム株式会社 画像取得装置の作動方法および画像撮像装置
JP2011200367A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 画像撮像方法および装置
JP5558178B2 (ja) * 2010-04-07 2014-07-23 オリンパス株式会社 蛍光観察装置
JP5592715B2 (ja) * 2010-07-02 2014-09-17 オリンパス株式会社 画像処理装置および画像処理方法
JP5604248B2 (ja) * 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
JP2012090889A (ja) * 2010-10-28 2012-05-17 Olympus Corp 蛍光観察装置
TWI430778B (zh) * 2010-12-24 2014-03-21 Pai Chi Li 醫學成像系統及其醫學成像方法
EP2683981B1 (en) 2011-03-08 2018-08-08 Novadaq Technologies ULC Full spectrum led illuminator
JP5363680B2 (ja) * 2011-09-22 2013-12-11 オリンパスメディカルシステムズ株式会社 医療機器
US20150049177A1 (en) * 2012-02-06 2015-02-19 Biooptico Ab Camera Arrangement and Image Processing Method for Quantifying Tissue Structure and Degeneration
JP6077340B2 (ja) * 2013-03-06 2017-02-08 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP5972312B2 (ja) * 2014-03-24 2016-08-17 富士フイルム株式会社 医用画像処理装置及びその作動方法
CN115844328A (zh) 2014-07-24 2023-03-28 大学健康网络 用于诊断目的的数据的收集和分析
JP6584147B2 (ja) * 2015-05-28 2019-10-02 Hoya株式会社 撮像装置
JP6743137B2 (ja) 2015-11-13 2020-08-19 ノバダック テクノロジーズ ユーエルシー ターゲットの照明およびイメージングのためのシステムおよび方法
CA3009419A1 (en) 2016-01-26 2017-08-03 Novadaq Technologies ULC Configurable platform
US10293122B2 (en) 2016-03-17 2019-05-21 Novadaq Technologies ULC Endoluminal introducer with contamination avoidance
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
WO2017214730A1 (en) 2016-06-14 2017-12-21 Novadaq Technologies Inc. Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
JP6779670B2 (ja) * 2016-06-14 2020-11-04 Hoya株式会社 電子内視鏡システム
DE112017004403T5 (de) * 2016-09-02 2019-05-23 Hoya Corporation Endoskopsystem und charakteristischer betrag-berechnungsverfahren
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
EP3417763A1 (en) * 2017-06-22 2018-12-26 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) System for endoscopic imaging
WO2019049376A1 (ja) * 2017-09-11 2019-03-14 オリンパス株式会社 内視鏡システム
IL254896B (en) * 2017-10-03 2019-03-31 Visionsense Ltd Fluorescent camera with limited variable praise
WO2019208011A1 (ja) * 2018-04-24 2019-10-31 オリンパス株式会社 内視鏡システム
US20210338040A1 (en) * 2018-08-21 2021-11-04 Sony Olympus Medical Solutions Inc. Medical control device and medical observation device
CN111481164B (zh) * 2019-01-25 2023-04-07 宏碁股份有限公司 用以获取荧光眼底图的方法及其装置
JP7224963B2 (ja) * 2019-03-01 2023-02-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program
JP2021145823A (ja) * 2020-03-18 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
GB2597521A (en) * 2020-07-27 2022-02-02 Sensor Coating Systems Ltd Detection system and method
JP7551465B2 (ja) * 2020-11-18 2024-09-17 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
CN112756268B (zh) * 2021-01-27 2023-02-21 延边金刚山食品股份有限公司 一种辣白菜原材料自动筛选装置
DE102021001955B4 (de) 2021-04-14 2023-03-23 Baumer Inspection Gmbh Vorrichtung und Verfahren zur fluoreszenzbasierten Inspektion sowie Prüfanordung mit einer solchen Vorrichtung

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805016A (en) * 1986-08-25 1989-02-14 Kabushiki Kaisha Toshiba Endoscopic system for converting primary color images into hue, saturation and intensity images
JP3217343B2 (ja) * 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
US5386819A (en) * 1990-03-29 1995-02-07 Olympus Optical Co., Ltd. Method and apparatus for inhibiting a scattered component in a light having passed through an examined object
US6198532B1 (en) * 1991-02-22 2001-03-06 Applied Spectral Imaging Ltd. Spectral bio-imaging of the eye
JPH05219513A (ja) * 1992-01-27 1993-08-27 Ikegami Tsushinki Co Ltd 固体撮像装置
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
JPH0838460A (ja) * 1994-08-03 1996-02-13 Mitsubishi Electric Corp 脳活動計測装置
EP0812506A1 (en) * 1995-12-27 1997-12-17 Koninklijke Philips Electronics N.V. X-ray examination apparatus including an image pick-up apparatus with a correction unit
US5647368A (en) * 1996-02-28 1997-07-15 Xillix Technologies Corp. Imaging system for detecting diseased tissue using native fluorsecence in the gastrointestinal and respiratory tract
JP3796635B2 (ja) * 1996-03-06 2006-07-12 富士写真フイルム株式会社 蛍光検出装置
US6059720A (en) * 1997-03-07 2000-05-09 Asahi Kogaku Kogyo Kabushiki Kaisha Endoscope system with amplification of fluorescent image
US5986271A (en) * 1997-07-03 1999-11-16 Lazarev; Victor Fluorescence imaging system
CA2318180A1 (en) * 1998-01-26 1999-07-29 Massachusetts Institute Of Technology Fluorescence imaging endoscope
US6110106A (en) * 1998-06-24 2000-08-29 Biomax Technologies, Inc. Endoscopes and methods relating to direct viewing of a target tissue
JP2001157658A (ja) * 1999-12-02 2001-06-12 Fuji Photo Film Co Ltd 蛍光画像表示装置
WO2002007587A2 (en) 2000-07-14 2002-01-31 Xillix Technologies Corporation Compact fluorescent endoscopy video system
US6826424B1 (en) * 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices

Also Published As

Publication number Publication date
DE60203559D1 (de) 2005-05-12
EP1256310A2 (en) 2002-11-13
US20060058684A1 (en) 2006-03-16
DE60203559T2 (de) 2006-02-09
EP1256310B1 (en) 2005-04-06
JP2003024268A (ja) 2003-01-28
US7043291B2 (en) 2006-05-09
US20020177780A1 (en) 2002-11-28
EP1256310A3 (en) 2003-09-03
US7583993B2 (en) 2009-09-01

Similar Documents

Publication Publication Date Title
JP3731814B2 (ja) 蛍光画像表示装置
US11033175B2 (en) Endoscope system and operation method therefor
JP3862582B2 (ja) 蛍光画像取得方法および装置並びにプログラム
US20190082963A1 (en) Compact fluorescence endoscopy video system
US9706953B2 (en) Endoscope system, processor of endoscope system, and image producing method
US9801573B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP4327380B2 (ja) 蛍光画像表示方法および装置
JP2006175052A (ja) 蛍光画像撮像装置
JP4202671B2 (ja) 規格化画像生成方法および装置
JP2001157658A (ja) 蛍光画像表示装置
EP2468187A1 (en) Endoscope system and processor apparatus thereof, and method for generating images
US8105232B2 (en) Fluorescent endoscopic device and method of creating fluorescent endoscopic image
JP2004024497A (ja) 蛍光診断画像生成装置
JP2003164414A (ja) 蛍光診断画像表示方法および表示装置
US7181265B2 (en) Fluorescent image obtaining apparatus
JP2002336187A (ja) 規格化蛍光画像生成方法および装置
JP2012011082A (ja) 画像処理装置および画像処理方法
JP2003159209A (ja) 蛍光診断画像表示方法および表示装置
JP2003000528A (ja) 蛍光診断画像生成方法および装置
JP3946985B2 (ja) 蛍光画像撮像装置
JP2003159210A (ja) 蛍光診断画像表示方法および表示装置
JP2004024496A (ja) 蛍光診断画像生成方法および装置
JP2004008230A (ja) 蛍光診断情報生成装置
JP2002045328A (ja) 蛍光診断画像表示装置
JP2001314366A (ja) 蛍光画像表示方法および装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051006

R150 Certificate of patent or registration of utility model

Ref document number: 3731814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081021

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081021

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131021

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees