Nothing Special   »   [go: up one dir, main page]

JP6265588B2 - 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理装置の作動方法、及び画像処理プログラム Download PDF

Info

Publication number
JP6265588B2
JP6265588B2 JP2012133187A JP2012133187A JP6265588B2 JP 6265588 B2 JP6265588 B2 JP 6265588B2 JP 2012133187 A JP2012133187 A JP 2012133187A JP 2012133187 A JP2012133187 A JP 2012133187A JP 6265588 B2 JP6265588 B2 JP 6265588B2
Authority
JP
Japan
Prior art keywords
inspection area
inspection
imaging distance
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012133187A
Other languages
English (en)
Other versions
JP2013255656A (ja
Inventor
大和 神田
大和 神田
北村 誠
誠 北村
隆志 河野
隆志 河野
昌士 弘田
昌士 弘田
都士也 上山
都士也 上山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012133187A priority Critical patent/JP6265588B2/ja
Priority to PCT/JP2013/064332 priority patent/WO2013187206A1/ja
Priority to CN201380030577.0A priority patent/CN104363815B/zh
Priority to EP13803772.6A priority patent/EP2859833A4/en
Publication of JP2013255656A publication Critical patent/JP2013255656A/ja
Priority to US14/564,453 priority patent/US9916666B2/en
Application granted granted Critical
Publication of JP6265588B2 publication Critical patent/JP6265588B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、生体の管腔内を撮像した画像から異常部領域を判別する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像した画像(以下、内視鏡画像若しくは管腔内画像、又は、単に画像ともいう)に対する画像処理として、例えば特許文献1には、画像内から粘膜表面の微細構造や血管走行形態に基づく異常部を検出する技術が開示されている。この技術においては、内視鏡画像において粘膜の微細構造や血管像に関する情報をよく含むG(緑)成分からなる画像を抽出した後、粘膜表面の画素値パターンを数値化した特徴量を算出し、この特徴量と事前に作成した線形判別関数とを用いて、当該画像に映った被写体が正常か異常かを判別する。特徴量としては、例えば、特定の空間周波数成分の画像を二値化して抽出した領域の形状特徴量(面積、溝幅、周囲長、円形度、分岐点、端点、分岐率等、例えば特許文献2を参照)や、Gaborフィルタ等を利用した空間周波数解析に基づく特徴量(例えば特許文献3を参照)が用いられる。また、線形判別関数は、正常及び異常所見の画像から算出した特徴量を教師データとして事前作成される。
特開2005−192880号公報 特許2918162号公報 特開2002−165757号公報
しかしながら、内視鏡画像には、管腔内壁を斜めから撮像した画像が多いため、撮像距離(内視鏡と管腔内壁との間の距離)に応じて、管腔内壁の粘膜表面における微細構造の解像度が異なる。つまり、遠景部において微細構造の異常を示す特徴量と、近景部において微細構造の異常を示す特徴量とは異なっている。このため、従来のように、遠景部と近景部とが混在する画像全体に対して、空間周波数に基づく特徴量を算出しても、解像度差の影響により、適切な特徴量を算出することができず、微細構造が正常であるか異常であるかを精度良く判別できないという問題があった。
本発明は、上記に鑑みて為されたものであって、撮像距離の差により被写体の微細構造に解像度の差が生じる場合においても、微細構造の異常を精度良く識別することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像に映る被写体までの撮像距離を推定する撮像距離推定部と、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定部と、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、を備えることを特徴とする。
本発明に係る画像処理方法は、画像に映る被写体までの撮像距離を推定する撮像距離推定ステップと、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定ステップと、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、を含むことを特徴とする。
本発明に係る画像処理プログラムは、画像に映る被写体までの撮像距離を推定する撮像距離推定ステップと、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定ステップと、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定された検査領域に対して、各検査領域に応じて設定されるテクスチャ特徴量を用いて異常の識別を行うので、撮像距離の差により被写体の微細構造に解像度の差が生じる場合においても、微細構造の異常を精度良く識別することが可能になる。
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。 図2は、図1に示す画像処理装置の動作を示すフローチャートである。 図3Aは、内視鏡によって管腔内を撮像する様子を示す模式図である。 図3Bは、内視鏡によって撮像された管腔内画像を示す模式図である。 図4は、図1に示す撮像距離推定部が実行する処理を詳細に示すフローチャートである。 図5は、図1に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図6は、検査領域の設定方法を説明する模式図である。 図7は、図1に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図8は、変形例1−1に係る画像処理装置が備える演算部の構成を示すブロック図である。 図9は、図8に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図10は、図8に示す検査領域設定部が実行する処理を説明する模式図である。 図11は、図8に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図12は、変形例1−2に係る画像処理装置が備える演算部の構成を示すブロック図である。 図13は、図12に示す検査領域設定部が実行する処理を詳細示すフローチャートである。 図14は、図12に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図15は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。 図16は、図15に示す画像処理装置の動作を示すフローチャートである。 図17は、本発明の実施の形態3に係る画像処理装置の構成を示すブロック図である。 図18は、図17に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図19は、図17に示す検査領域設定部が実行する処理を説明する模式図である。 図20は、図17に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図21は、管腔内画像における撮像距離に応じた周波数成分の強度特性を示す模式図である。 図22は、本発明の実施の形態4に係る画像処理装置の構成を示すブロック図である。 図23は、図22に示す画像処理装置の動作を示すフローチャートである。 図24は、図22に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図25は、図22に示す検査領域設定部が実行する処理を説明する模式図である。 図26は、本発明の実施の形態5に係る画像処理装置の構成を示すブロック図である。 図27は、図26に示す画像処理装置の動作を示すフローチャートである。 図28は、図26に示す検査領域変形部が実行する処理を詳細に示すフローチャートである。 図29は、図26に示す検査領域変形部が実行する処理の概念を説明する模式図である。 図30は、変形例5−1における検査領域変形部の構成を示すブロック図である。 図31は、図30に示す検査領域変形部が実行する処理の詳細を示すフローチャートである。 図32Aは、図30に示す検査領域変形部が実行する処理の概念を説明する模式図である。 図32Bは、図30に示す検査領域変形部が実行する処理を説明する模式図である。
以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置を示すブロック図である。本実施の形態1に係る画像処理装置1は、一例として、内視鏡又はカプセル型内視鏡(以下、これらをまとめて単に内視鏡という)によって生体の管腔内を撮像することにより取得された管腔内画像(以下、単に画像ともいう)に対し、粘膜表面の微細構造の異常を識別する画像処理を施す装置である。管腔内画像は、通常、各画素位置においてR(赤)、G(緑)、B(青)の波長成分(色成分)に対して、所定の(例えば256階調の)画素レベル(画素値)を有するカラー画像である。
図1に示すように、画像処理装置1は、該画像処理装置1全体の動作を制御する制御部10と、内視鏡によって撮像された画像に対応する画像データを取得する画像取得部20と、外部から入力される入力信号を受け付ける入力部30と、各種表示を行う表示部40と、画像取得部20によって取得された画像データや種々のプログラムを格納する記録部50と、画像データに対して所定の画像処理を実行する演算部100とを備える。
制御部10は、CPU等のハードウェアによって実現され、記録部50に記録された各種プログラムを読み込むことにより、画像取得部20から入力される画像データや入力部30から入力される操作信号等に従って、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
画像取得部20は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部20は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部20は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部20を、内視鏡からケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
入力部30は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部10に出力する。
表示部40は、LCDやELディスプレイ等の表示装置によって実現され、制御部10の制御の下で、管腔内画像を含む各種画面を表示する。
記録部50は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、CD−ROM等の情報記録媒体及びその読取装置等によって実現される。記録部50は、画像取得部20によって取得された画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部50は、画像内に映った粘膜表面の微細構造の異常を識別するための画像処理プログラム51や、このプログラムの実行中に使用される種々の情報等を格納する。
演算部100は、CPU等のハードウェアによって実現され、画像処理プログラム51を読み込むことによって管腔内画像に対する画像処理を施し、粘膜表面の微細構造の異常を識別するための種々の演算処理を実行する。
次に、演算部100の詳細な構成について説明する。
図1に示すように、演算部100は、画像に映る被写体までの撮像距離を推定する撮像距離推定部110と、上記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する120と、検査領域に応じて特定される、検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部130とを備える。
ここで、画像処理におけるテクスチャとは、繰返しの輝度パターンのことである(参考:CG−ARTS協会、「ディジタル画像処理」、第192頁(領域のテクスチャ))。本実施の形態1においては、テクスチャの特徴を数値化したテクスチャ特徴量として、特定の空間周波数成分を用いる。
上記演算部100の構成のうち、撮像距離推定部110は、画像内の各画素の画素値(R成分、G成分、B成分の各値)のうち、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分に対応するR成分の値(以下、R成分値という)を選択する低吸収波長選択部111を備え、該R成分値を基に、画像に映る被写体までの撮像距離を推定する。
検査領域設定部120は、画像内に検査候補領域を設定する候補領域設定部121と、設定された検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定部122とを備える。このうち、領域確定部122は、検査候補領域内に映る被写体までの撮像距離の分布範囲を算出する撮像距離範囲算出部122aを備え、該分布範囲が所定の閾値以下となる検査候補領域を検査領域として確定する。
異常構造識別部130は、検査領域における特定空間周波数成分を算出する特定周波数成分算出部131と、該特定空間周波数成分を基に統計分類を行う統計分類部132とを備える。なお、特定空間周波数成分については後述する。
次に、画像処理装置1の動作について説明する。図2は、画像処理装置1の動作を示すフローチャートである。なお、本実施の形態1においては、管腔内画像のほとんどの領域に粘膜が映っているものとし、以下においては、粘膜領域に対する処理を説明する。
まず、ステップS11において、演算部100は、記録部50に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。
ここで、図3Aは、内視鏡によって管腔内を撮像する様子を示す模式図である。また、図3Bは、内視鏡によって撮像された管腔内画像を示す模式図である。内視鏡6は、通常、管腔7の長手方向に視野Vを向けて撮像を行う。このため、被写体である粘膜表面8が映った画像Mには、近景v1が映った画像領域m1と遠景v2が映った画像領域m2とが混在することになる。このため、撮像距離rの違いに起因して、画像領域m1と画像領域m2との間で画質に差が生じてくる。以下においては、一例として、画像Mを処理対象として説明する。
続くステップS12において、撮像距離推定部110は、画像に映る粘膜表面8までの撮像距離rを推定する。図4は、撮像距離推定部110が実行する処理を詳細に示すフローチャートである。
ステップS121において、低吸収波長選択部111は、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分を選択する。これは、粘膜表面8の近傍の血管等による光の吸収又は散乱の影響を抑制して、内視鏡6と粘膜表面8との間の撮像距離rを最もよく反映した画素値を得るためである。R、G、Bの各成分からなる画像においては、R成分が血液の吸収帯域から最も離れており、且つ、最も長波長の成分であるため、生体内における吸収又は散乱の影響を受け難い。従って、本実施の形態1においては、R成分を選択する。
続くステップS122において、撮像距離推定部110は、低吸収波長成分として選択したR成分値を基に、粘膜表面8が均等拡散面であると仮定した場合の撮像距離rを、次式(1)を用いて推定する。
Figure 0006265588
式(1)において、記号Iは、内視鏡6が内蔵する光源の放射強度であり、事前に測定された測定値が適用される。記号Kは、粘膜表面8の拡散反射係数であり、平均的な値が事前に測定されて適用される。記号θは、粘膜表面8の法線ベクトルと該粘膜表面8から光源(内視鏡6)までのベクトルとのなす角度である。なお、角度θは、実際には内視鏡6の先端に設けられる光源と粘膜表面8との位置関係により個別に決まる値であるが、平均的な値が事前に設定されて適用される。記号Lは、撮像距離rの粘膜表面8上の推定対象領域が映った画素のR成分値である。
ステップS12に続くステップS13において、検査領域設定部120は、検査領域に映る被写体の撮像距離rの分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。本実施の形態1においては、分布の広がりを示す指標として、撮像距離rの分布範囲を用いる。図5は、検査領域設定部120が実行する処理を詳細に示すフローチャートである。また、図6は、検査領域設定部120が実行する処理を説明する模式図である。
ステップS131において、候補領域設定部121は、図6に示すように、画像Mを格子状に分割した所定サイズの矩形領域の各々を、検査候補領域CAi(i=1、2、…、n)として設定する。
続くステップS132において、撮像距離範囲算出部122aは、各検査候補領域CAiに映る粘膜表面8までの撮像距離rの分布範囲を算出する。具体的には、各検査候補領域CAi内において、各画素のR成分値から算出された撮像距離rの最小値rminと最大値rmaxとの差Δr(Δr=rmax−rmin)を分布範囲として求める。
さらに、ステップS133において、領域確定部122は、分布範囲Δrが所定の閾値以下となる検査候補領域を検査領域として確定する。本実施の形態1においては、図6の太枠で示す検査領域EAj(j=1、2、…、m;m≦n)が確定されたものとする。
ステップS13に続くステップS14において、異常構造識別部130は、確定した検査領域に映る被写体の表面、即ち、粘膜表面8の微細構造が異常であるか否かを識別する。図7は、異常構造識別部130が実行する処理を詳細に示すフローチャートである。
ステップS141において、特定周波数成分算出部131は、各検査領域EAjに対し、画像Mを構成する各波長成分(R成分、G成分、B成分)の特定空間周波数成分の強度を、各画素について算出する。ここで、特定空間周波数成分とは、画像Mに映った粘膜表面8の微細構造における異常の有無の識別が可能な空間周波数成分のことであり、教師データ等に基づいて事前に設定されている。
特定空間周波数成分の算出は、検査領域EAjの各波長成分に対して、公知のバンドパスフィルタ(参考:CG−ARTS協会、「ディジタル画像処理」、第136頁(バンドパスフィルタ)、第141頁(LOGフィルタ))を適用することで実現できる。なお、実施の形態1においては、検査領域EAjの端部に位置する画素(端部画素)に対して、バンドパスフィルタ処理(特定空間周波数成分の算出)を行わないものとする。その理由は、検査領域EAjの端部画素の特定空間周波数成分を算出する場合、検査領域EAjの外部の画素を用いる必要が生じるが、例えば検査領域EA3のように、検査領域EAjが画像Mの端部に位置する場合、検査領域EAjの外部は即ち画像Mの外部となり、画素が存在しないことがあるからである。また、検査領域EAjの外部に画素が存在する場合であっても、検査領域EAjの外部では、検査領域EAjの内部画素の画素値と大きく値が異なっている可能性があるからである。
ステップS142において、統計分類部132は、各検査領域EAjに対し、特定空間周波数成分の画素間での平均強度を波長成分ごとに算出し、これらの平均強度を成分とする特徴ベクトルxを作成する。なお、実施の形態1においては、R、G、Bの3つの波長成分について演算を行うため、特徴ベクトルxの成分は3つ(即ち、3行1列の行列)となる。
ここで、粘膜表面の微細構造が異常である場合、粘膜表面の形状を表わす低周波成分と撮像ノイズを表す高周波成分とを除いた中間帯域の特定の空間周波数成分において、微細構造が正常である場合との間で強度の差が生じる。
そこで、ステップS143において、異常構造識別部130は、事前に作成した異常領域の識別関数と、特定空間周波数成分から作成した特徴ベクトルとを基に、各検査領域EAjが異常領域であるか否かの分類を行う。実際の処理としては、式(2)に示す確率モデルに基づく分類指標P(x)を算出し、この値が閾値以上である場合に、その検査領域EAjは異常領域であると分類する。
Figure 0006265588
式(2)において、記号μは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの平均ベクトル(3行1列)である。記号Zは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの分散共分散行列(3行3列)である。記号|Z|は、分散共分散行列の行列式である。記号Z-1は、分散共分散行列の逆行列である。記号kは、特徴ベクトルxの次元数であり、実施の形態1においては、k=3である。
なお、実施の形態1においては、確率モデルを用いた異常領域の分類方法を示したが、各検査領域が異常であるか正常であるかを分類することができれば、上記説明以外の方法を用いても良い。例えば、代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内において分類境界を設定する方法等により分類を行っても良い。
ステップS15において、演算部100は、ステップS14における異常識別結果を出力し、表示部40に表示させると共に、記録部50に記録させる。その後、画像処理装置1における処理を終了する。
以上説明したように、実施の形態1によれば、画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定し、検査領域ごとに、該検査領域に映る被写体の微細構造の異常を識別可能な特定空間周波数成分をテクスチャ特徴量として用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別するので、例えば遠景と近景といった撮像距離の差により、画像内に映る被写体(粘膜)表面の微細構造に対する解像度に差が生じる場合においても、粘膜表面の微細構造の異常を精度良く識別することが可能になる。
(変形例1−1)
次に、実施の形態1の変形例1−1について説明する。
図8は、変形例1−1に係る画像処理装置が備える演算部の構成を示すブロック図である。図8に示すように、変形例1−1に係る演算部100−1は、撮像距離推定部110と、検査領域設定部140と、異常構造識別部150とを備える。なお、撮像距離推定部110の構成及び動作は、実施の形態1と同様である。また、演算部100−1以外の画像処理装置全体の構成及び動作も、実施の形態1と同様である。
検査領域設定部140は、候補領域設定部141及び領域確定部142を備える。このうち、候補領域設定部141は、検査候補領域を設定する位置に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部141aを備え、該代表的な撮像距離に応じたサイズの検査候補領域を設定する。また、領域確定部142は、検査候補領域内に映る被写体までの撮像距離の分散を算出する撮像距離分散算出部142aを備え、該分散が所定の閾値以下となる検査候補領域を検査領域として確定する。
異常構造識別部150は、生体内における吸収又は散乱の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部151と、選択された波長における特定周波数成分を算出する特定周波数成分算出部152と、特定空間周波数成分を基に統計分類を行う統計分類部153とを備える。
次に、演算部100−1の動作について説明する。
演算部100−1の動作は全体として図2に示すものと同様であり、ステップS13及びS14における詳細な処理が異なる。図9は、検査領域設定部140が実行する処理(ステップS13)を詳細に示すフローチャートである。図10は、検査領域設定部140が実行する処理を説明する模式図である。図11は、異常構造識別部150が実行する処理(ステップS14)を詳細に示すフローチャートである。
ステップS12に続くステップS13において、検査領域設定部140は、ステップS12において推定された撮像距離の分布の広がりを示す指標が所定の範囲内となる被写体のみを含むように、画像M内に検査領域を設定する。本変形例1−1においては、分布の広がりを示す指標として、撮像距離の分布範囲よりも、ノイズに対してより安定的な撮像距離の分散を用いる。
より詳細には、ステップS231において、候補領域設定部141が、図10に示すように、検査候補領域を設定しようとする領域の中心位置(xi,yi)(i=1、2、…)を、複数個、ランダムに決定する。図10には、例として、3箇所の中心位置(x1,y1)、(x2,y2)、(x3,y3)が示されている。
続くステップS232において、代表撮像距離取得部141aは、各中心位置(xi,yi)に映る被写体までの撮像距離を取得する。
ここで、画像においては一般に、近景部の被写体ほど大きく映り、遠景部の被写体ほど小さく映る(図3A参照)。このため、撮像距離が長くなるほど検査領域を小さく設定すれば、検査領域に含まれる被写体までの撮像距離の分散を所定値以下に抑えられる可能性が高くなる。
そこで、ステップS233において、候補領域設定部141は、撮像距離に応じたサイズの検査候補領域CBiを、各中心位置(xi,yi)を中心として設定する。この際、検査領域の形状は特に限定されず、矩形や円形等、様々な形状を適用することができる。例えば、図10の場合、近景部の中心位置(x1,y1)に対しては比較的大きな検査候補領域CB1が設定され、遠景部の中心位置(x3,y3)に対しては比較的小さな検査候補領域CB3が設定される。また、それらの中間部の中心位置(x2,y2)には、中間のサイズの検査候補領域CB2が設定される。
ステップS234において、撮像距離分散算出部142aは、各検査候補領域CBiに映る被写体までの撮像距離の分布の分散を算出する。
ステップS235において、領域確定部142は、分散が所定の閾値以下となる検査候補領域CBiを検査領域EBiとして確定する。例えば図10の場合、検査候補領域CB1、CB3が検査領域EB1、EB3として確定される。
ステップS13に続くステップS14において、異常構造識別部150は、検査領域EBiに映る粘膜表面の微細構造が異常であるか否かを識別する。
ここで、実施の形態1においては、全ての波長成分(R成分、G成分、B成分)における特定空間周波数成分を用いて微細構造の異常を識別した。しかしながら、粘膜表面の微細構造の異常は、毛細血管の形成状態に起因する場合が多い。このため、血液の吸収帯域に近い波長成分ほど顕著な変化が見られる。そこで、本変形例1−1においては、生体内での吸収又は散乱の度合いが高い特定の波長における特定空間周波数成分をテクスチャ特徴量として用いて異常構造の識別を行う。
詳細には、ステップS241において、特定波長成分選択部151は、生体内における吸収又は散乱の度合いが高い特定波長成分として、例えばG成分又はB成分を選択する。
続くステップS242において、特定周波数成分算出部152は、各検査領域EBiに対し、選択された波長成分における特定空間周波数成分の強度を、各画素について算出する。なお、特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
ステップS243において、統計分類部153は、選択された波長成分の特定空間周波数成分の画素間での平均強度を算出し、この平均強度の値を特徴量とする。
さらに、ステップS244において、異常構造識別部150は、事前に作成した異常領域の識別関数と特徴量とを基に、各検査領域EBiが異常領域であるか否かの分類を行う。なお、識別関数を用いた処理は、実施の形態1と同様である。ただし、式(2)に示す分類指標P(x)の算出式においては、特徴ベクトルxの代わりに、ステップS243において算出された特徴量が適用される。また、式(2)における平均ベクトルμの代わりに、事前に取得された複数の異常領域のサンプルにおける特徴量の平均値が適用される。さらに、式(2)における分散共分散行列Zの代わりに、事前に取得された複数の異常領域のサンプルにおける分散が適用され、逆行列Z-1の代わりに、該サンプルにおける分散の逆数が適用される。また、式(2)において、k=1となる。
以上説明したように、変形例1−1によれば、撮像距離に応じて検査候補領域のサイズを変更するので、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるような検査領域を効率良く設定することができる。その結果、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。また、微細構造の異常の識別に用いる波長を特定することにより、吸光変化を伴う微細構造の異常を精度良く識別することが可能になる。
(変形例1−2)
次に、実施の形態1の変形例1−2について説明する。
図12は、変形例1−2に係る画像処理装置が備える演算部の構成を示すブロック図である。図12に示すように、変形例1−2に係る演算部100−2は、撮像距離推定部110と、検査領域設定部160と、異常構造識別部170とを備える。なお、撮像距離推定部110の構成及び動作は、実施の形態1と同様である。また、演算部100−2以外の画像処理装置全体の構成及び動作も、実施の形態1と同様である。
検査領域設定部160は、候補領域設定部161及び領域確定部142を備える。候補領域設定部161は、検査候補領域を設定する位置に映る被写体の代表的な撮像距離勾配を算出する代表撮像距離勾配算出部161aを備え、当該代表的な撮像距離勾配に応じたサイズの検査候補領域を設定する。領域確定部142の構成及び動作は、変形例1−1と同様である。
異常構造識別部170は、生体内における吸収又は散乱の度合いが異なる特定波長成分間の比率を算出する特定波長間比率算出部171と、算出された特定波長成分間の比率に対して特定空間周波数成分を算出する特定周波数成分算出部172と、特定空間周波数成分を基に統計分類を行う統計分類部173とを備える。
次に、演算部100−2の動作について説明する。
演算部100−2の動作は全体として図2に示すものと同様であり、ステップS13及びS14における詳細な処理が異なる。図13は、検査領域設定部160が実行する処理(ステップS13)を詳細示すフローチャートである。図14は、異常構造識別部170が実行する処理(ステップS14)を詳細に示すフローチャートである。なお、図13に示すステップS231、S234、及びS235は、図9と対応している。
ステップS231に続くステップS232’において、代表撮像距離勾配算出部161aは、画像M(図10参照)内でランダムに決定された各中心位置(xi,yi)に映る被写体の撮像距離勾配を算出する。実際の処理としては、各画素位置に映る被写体の撮像距離に対して、公知の1次微分フィルタ(参考:CG−ARTS協会、「ディジタル画像処理」、第114頁(微分フィルタ))を適用し、算出された値の絶対値を求める。
ここで、撮像距離勾配が大きいほど、所定領域における撮像距離の範囲は大きくなる。このため、検査領域を設定しようとする位置における撮像距離勾配が大きくなるほど検査領域を小さく設定すれば、検査領域に含まれる被写体までの撮像距離の分散を所定値以下に抑えられる可能性が高くなる。
そこで、ステップS233’において、候補領域設定部161は、各中心位置(xi,yi)における撮像距離勾配に応じて検査候補領域のサイズを決定し、撮像距離勾配に応じたサイズの検査候補領域を、各中心位置(xi,yi)を中心として設定する。
その後のステップS234、235は変形例1−1と同様である。
ステップS13に続くステップS14において、異常構造識別部170は、検査領域に映る粘膜表面の微細構造が異常であるか否かを識別する。
ここで、変形例1−1においては、生体内における吸収又は散乱の度合いが高い特定波長における特定空間周波数成分を用いて微細構造の異常を識別した。しかしながら、画像に映った微細構造における画素値変化は撮像距離の影響を受け、遠景部では変化が小さく、近景部では変化が大きくなる。このため、変形例1−1において算出した特定空間周波数成分の平均強度には、撮像距離に応じた画素値変化が含まれてしまい、同一の識別関数を用いて異常構造の識別を行うと、識別精度が低下してしまうおそれがある。そこで、本変形例1−2においては、撮像距離に伴う画素値変化の影響を抑制するため、生体内での吸収又は散乱の度合いが互いに異なる特定波長成分間の比率を算出し、該比率における特定空間周波数成分をテクスチャ特徴量として用いて異常構造の識別を行う。
詳細には、ステップS241’において、特定波長間比率算出部171は、検査領域内の各画素の画素値に基づいて、生体内における吸収又は散乱の度合いが互いに異なる特定波長成分間の比率として、例えばG/R等を算出する。以下、これによって算出される比率のことを、波長間比率という。
続くステップS242’において、特定周波数成分算出部172は、各検査領域に対し、波長間比率の特定空間周波数成分の強度を各画素について算出する。なお、特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
ステップS243’において、統計分類部173は、波長間比率の特定空間周波数成分の画素間での平均強度を算出し、この平均強度の値を特徴量とする。
さらにステップS244において、異常構造識別部170は、事前に作成した異常領域の識別関数と特徴量とを基に、各検査領域が異常領域であるか否かの分類を行う。なお、この処理の詳細については、変形例1−1と同様である。
以上説明したように、変形例1−2によれば、検査領域を設定する位置の撮像距離勾配に応じて検査領域のサイズを変更するので、撮像距離の分布の広がりを示す指標が所定の範囲内となるような検査領域を効率良く設定することができる。その結果、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。また、微細構造の異常を識別する際に波長間比率を用いることにより、撮像距離に応じて生じる特定空間周波数成分の強度変化を抑制し、微細構造の異常を精度良く識別することが可能になる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図15は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。図15に示すように、実施の形態2に係る画像処理装置2は、図1に示す演算部100の代わりに演算部200を備える。演算部200以外の画像処理装置2の各部の構成及び動作は、実施の形態1と同様である。
演算部200は、画像内において異常を識別する対象としない領域(非検査対象領域)を処理対象から除外する非検査領域除外部210と、撮像距離推定部110と、検査領域設定部120と、検査領域が未設定の領域に対して、検査領域の設定を繰返し実行させる制御を行う繰り返し制御部220と、異常構造識別部130とを備える。このうち、撮像距離推定部110、検査領域設定部120、及び異常構造識別部130の構成及び動作は、実施の形態1と同様である。なお、検査領域設定部120及び異常構造識別部130の代わりに、変形例1−1における検査領域設定部140及び異常構造識別部150、又は、変形例1−2における検査領域設定部160及び異常構造識別部170を適用しても良い。
次に、画像処理装置2の動作について説明する。図16は、画像処理装置2の動作を示すフローチャートである。
まず、ステップS21において、演算部200は、記録部50に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。
続くステップS22において、非検査領域除外部210は、画像から取得可能な色情報、周波数情報、形状情報等を基に、暗部、明部、残渣、泡といった非検査領域を特定して検査対象から除外する。
ここで、管腔内画像には、検査対象となる粘膜領域以外にも、管腔の深部が映った領域(暗部)、被写体の表面から鏡面反射されたハレーション領域(明部)、残渣や泡が映った領域等が存在する。これらの領域が検査領域内に混在すると、微細構造の異常の識別精度が低下してしまう。そこで、非検査領域除外部210は、画像から明部、暗部、残渣や泡等が移った領域を抽出し、非検査領域として除外する。なお、これらの非検査領域は、公知の種々の方法により抽出することができる。例えば、暗部は、画像内の各画素の色情報(R成分、G成分、B成分の各値等)に基づく色特徴量を基に黒色領域を抽出し、この黒色領域の周囲の画素値変化の方向に基づいて、当該黒色領域が暗部であるか否かを判別することにより抽出することができる(参考:特開2011−234931号公報)。また、明部は、例えば、画像内の各画素の色特徴量を基に白色領域を抽出し、この白色領域の境界付近の画素値の変化に基づいて、当該白色領域がハレーション領域であるか否かを判別することにより抽出することができる(同上)。残渣は、例えば、画像内の各画素の色特徴量を基に非粘膜領域とみられる残渣候補領域を検出し、この残渣候補領域と画像内の構造エッジとの位置関係に基づいて残渣候補領域が粘膜領域であるか否かを判別することにより抽出することができる。泡は、例えば、画像内からエッジを抽出し、泡画像の特徴を基に予め設定された泡モデルと抽出されたエッジとの相関値を算出することにより抽出することができる(参考:特開2007−313119号公報)。
ステップS23において、撮像距離推定部110は、画像に映る被写体までの撮像距離を推定する。なお、この推定処理は、実施の形態1(図2のステップS12参照)と同様である。
ステップS24において、検査領域設定部120は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。なお、この検査領域の設定処理は、実施の形態1(図2のステップS13参照)と同様である。
ステップS25において、繰返し制御部220は、検査領域が未だ設定されていない領域である未検査領域の面積が所定の閾値(閾値Aとする)よりも小さいか、又は、これまでに設定された検査領域の設定回数が所定の閾値(閾値Nとする)よりも大きいか否かを判定する。ここで、画像内に検査領域が十分に設定されない場合には、微細構造の異常の識別精度が低下するおそれがある。そこで、未検査領域の面積が閾値A以上であり、且つ、検査領域の設定回数が閾値N以下である場合(ステップS25:No)、繰返し制御部220は、検査領域の設定がさらに必要であると判定し、設定する検査領域のサイズを前回の設定時よりも小さくする(ステップS26)。そして、ステップS24に移行して、検査領域設定部120に検査領域の設定を再度実行させる。このように検査領域のサイズを小さくすることにより、1つの検査領域に含まれる撮像距離の範囲が狭くなる場合が多いので、検査領域として設定され得る画像内の領域が増加する可能性が高くなる。
一方、未検査領域の面積が閾値Aよりも小さいか、又は、検査領域の設定回数が閾値Nよりも大きい場合(ステップS25:Yes)、繰返し制御部220は、さらなる検査領域の設定は不要であると判定し、ステップS27に移行して、異常構造識別部130に微細構造の異常の識別を実行させる。なお、微細構造の異常の識別処理は、実施の形態1(図2のステップS14参照)と同様である。
さらに、ステップS28において、演算部200は、異常識別結果を出力する(図2のステップS15参照)。
以上説明したように、実施の形態2によれば、非検査領域を事前に除外して検査領域を設定するので、微細構造の異常を精度良く識別することが可能になる。また、検査領域の設定を繰返し行うことより、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の識別精度を向上させることが可能になる。さらに、処理の繰返しを行うごとに検査領域のサイズを小さくすることにより、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図17は、本発明の実施の形態3に係る画像処理装置の構成を示すブロック図である。図17に示すように、実施の形態3に係る画像処理装置3は、図1に示す演算部100の代わりに演算部300を備える。演算部300以外の画像処理装置3の各部の構成及び動作は、実施の形態1と同様である。
演算部300は、撮像距離推定部110と、検査領域設定部310と、異常構造識別部320とを備える。この内、撮像距離推定部110の構成及び動作は、実施の形態1と同様である。
検査領域設定部310は、撮像距離の値を1つ又は複数の階層に分類する階層分類部311と、同一の階層に分類された撮像距離の被写体が映る領域毎に、画像を1つ又は複数の領域に分割する領域分割部312とを備え、領域分割部312により得られた1つ又は複数の領域の各々を個別の検査領域として設定する。
異常構造識別部320は、検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部321と、代表的な撮像距離に応じた特定空間周波数成分を算出する特定周波数成分算出部322と、特定空間周波数成分を基に統計分類を行う統計分類部323とを備える。
次に、画像処理装置3の動作について説明する。
画像処理装置3の動作は全体として図3に示すものと同様であり、ステップS13及びS14における詳細な処理が異なる。図18は、検査領域設定部310が実行する処理(ステップS13)を詳細に示すフローチャートである。図19は、検査領域設定部310が実行する処理を説明する模式図である。図20は、異常構造識別部320が実行する処理(ステップS14)を詳細に示すフローチャートである。図21は、管腔内画像における撮像距離に応じた周波数成分の強度特性を示す模式図である。
ステップS12に続くステップS13において、検査領域設定部310は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像M内に検査領域を設定する。
詳細には、まず、ステップS331において、階層分類部311は、画像M内に映る被写体までの撮像距離の値を所定の複数の階層に分類する。なお、各階層は、撮像距離の範囲が所定値以下となるように設定されている。
続くステップS332において、領域分割部312は、撮像距離が同一階層となる被写体が映る領域毎に、画像Mを分割する。例えば図19においては、撮像距離がr1以下である階層R1と、撮像距離がr1〜r2の範囲である階層R2と、撮像距離がr2〜r3の範囲である階層R3と、撮像距離がr3以上である階層R4とに対応して、画像Mが4つの分割領域B1〜B4に分割される。
ステップS333において、検査領域設定部310は、各階層R1〜R4に対応する分割領域B1〜B4を、個別の検査領域として設定する。
ステップS13に続くステップS14において、異常構造識別部320は、検査領域に映る粘膜表面の微細構造が異常であるか否かを識別する。
詳細には、ステップS341において、代表撮像距離取得部321は、各検査領域(分割領域)B1〜B4に映る被写体までの代表的な撮像距離を取得する。代表的な撮像距離としては、検査領域B1〜B4に含まれる被写体までの撮像距離の平均値や、検査領域B1〜B4の重心座標における撮像距離等が挙げられる。
続くステップS342において、特定周波数成分算出部322は、各検査領域B1〜B4に対し、代表的な撮像距離に応じて、異常の識別に用いる空間周波数成分を特定する。
ここで、上述したとおり、内視鏡によって撮像される管腔内画像においては、撮像距離に応じて粘膜表面の微細構造の解像度が異なる。具体的には、撮像距離が長くなるほど、解像度が低下する。このため、例えば、図21に示すように、撮像距離が短い場合(近景)に、微細構造の異常を識別可能な特定空間周波数がf1であるとすると、同じ微細構造の異常を識別可能な空間周波数は、撮像距離が長くなると高周波側にシフトする(遠景:空間周波数f2)。
そこで、本実施の形態3においては、各検査領域B1〜B4の代表的な撮像距離に応じて、微細構造の異常の識別の際にテクスチャ特徴量として用いる特定空間周波数成分を変更し、識別精度の向上と処理の効率化を図る。具体的には、撮像距離が長いほど、特定空間周波数成分を高くして、より微細な構造を検出できるようにする。一方、撮像距離が短いほど特定空間周波数成分を低くして、演算量を抑制する。なお、撮像距離に応じた特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
ステップS343において、特定周波数成分算出部322は、各検査領域B1〜B4に対し、画像を構成する各波長成分に対し、撮像距離に応じた特定空間周波数成分の強度を、各画素について算出する。なお、特定空間周波数成分の強度の算出処理については、実施の形態1と同様である(図7のステップS141参照)。
続くステップS142及びS143については、実施の形態1と同様である。
以上説明したように、実施の形態3によれば、検査候補領域の設定や確定といった処理を繰り返すことなく、画像内の広範囲にわたって検査領域を効率良く設定することができる。その結果、微細構造の異常を精度良く識別することが可能になる。また、検査領域に映る被写体までの代表的な撮像距離を基に、微細構造の異常の識別に用いる空間周波数成分を特定するので、撮像距離によらず、微細構造の異常を精度良く識別することが可能になると共に、演算処理を効率化することが可能になる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
図22は、本発明の実施の形態4に係る画像処理装置の構成を示すブロック図である。図22に示すように、実施の形態4に係る画像処理装置4は、図1に示す演算部100の代わりに演算部400を備える。演算部400以外の画像処理装置4の各部の構成及び動作は、実施の形態1と同様である。
演算部400は、撮像距離推定部110と、検査領域設定部410と、繰返し制御部220と、異常構造識別部130とを備える。この内、撮像距離推定部110及び異常構造識別部130の構成及び動作は、実施の形態1と同様である。
検査領域設定部410は、階層分類部311と、領域分割部312と、局所領域設定部411とを備える。この内、階層分類部311及び領域分割部312の構成及び動作は、実施の形態3と同様である。
局所領域設定部411は、階層分類部311により同一の階層に分類された撮像距離の被写体が映る領域内に局所領域を設定する。より詳細には、局所領域設定部411は、互いに同一の階層に分類された撮像距離の被写体が映る領域の境界からの距離を画素値に変換した距離変換画像を算出する距離変換画像算出部411aを備え、該距離変換画像を基に上記局所領域を設定する。
次に、画像処理装置4の動作について説明する。
図23は、画像処理装置4の動作を示すフローチャートである。なお、図23に示すステップS11、S12、S14、及びS15は、実施の形態1に対応している(図2参照)。
ステップS12に続くステップS41において、検査領域設定部410は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。図24は、検査領域設定部410が実行する処理を詳細に示すフローチャートである。また、図25は、検査領域設定部410が実行する処理を説明する模式図である。
ステップS411において、階層分類部311は、画像M内に映る被写体までの撮像距離の値を所定の複数の階層に分類する。
続くステップS412において、領域分割部312は、撮像距離が同一階層となる被写体が映る領域毎に、画像Mを分割する。それにより、例えば図25においては、撮像距離がr1以下である階層R1と、撮像距離がr1〜r2の範囲である階層R2と、撮像距離がr2〜r3の範囲である階層R3と、撮像距離がr3以上である階層R4とに対応して、画像Mが4つの分割領域B1〜B4に分割される。
このようにして分割された各分割領域B1〜B4は、画像M内の被写体に応じた任意の形状となる。このため、これらの分割領域B1〜B4をそのまま検査領域として設定し、テクスチャ特徴量として特定空間周波数成分の算出処理を実行すると、検査領域を内包する矩形領域の画素全体に対して、特定空間周波数成分を算出すべき検査領域であるか否かを判定する必要が生じ、処理に長時間を要してしまう。そこで、実施の形態4においては、分割領域B1〜B4を基に、同一階層の撮像距離となる対象が映る領域内の局所領域に対して、検査領域に設定する。
詳細には、ステップS413において、距離変換画像算出部411aは、撮像距離が同一階層となる被写体が映る領域の境界、及び検査領域が既に設定された領域からの距離変換画像を算出する。
続くステップS414において、局所領域設定部411は、距離変換画像の値が最大値となる画素を検査領域の中心座標とし、該中心座標から検査領域の端部までの距離が、上記最大値より小さくなるように検査領域を設定する。ここで、距離変換画像の値が最大値になる画素とは、即ち、2つの境界からの距離が等しい中間点の画素のいずれかであり、例えば図25の場合、階層R2に対応する分割領域B2の境界D1及び境界D2の中間に位置する画素Piが相当する。この場合、距離変換画像の値の最大値は、画素Piから境界D1、D2までの距離diとなる。そこで、画素Piを中心とし、対角線の最大値が距離di×2を越えない検査領域ECiを設定する。それにより、同一階層の撮像距離となる被写体が映る領域内で、矩形の検査領域を設定することが可能になる。
ステップS41に続くステップS42において、繰返し制御部220は、未検査領域の面積が閾値Aよりも小さいか、又は、これまでに設定された検査領域の設定回数が閾値Nよりも大きいか否かを判定する。この判定を行う理由は、画像内に検査領域が十分に設定されていない場合には、微細構造の異常の識別精度が低下するおそれがあるからである。
未検査領域の面積が閾値A以上であり、且つ、検査領域の設定回数が閾値N以下である場合(ステップS42:No)、繰返し制御部220は、検査領域の設定がさらに必要であると判定し、ステップS41に移行して、検査領域設定部410に検査領域の設定を再度実行させる。一方、未検査領域の面積が閾値Aよりも小さいか、又は、検査領域の設定回数が閾値Nよりも大きい場合(ステップS42:Yes)、処理はステップS14に移行する。
以上説明したように、実施の形態4によれば、検査候補領域の設定や確定といった処理を繰り返すことなく、特定空間周波数成分の算出を効率的に実行することができる検査領域を設定することができる。従って、微細構造の異常を識別する処理全体を高速化することが可能になる。
(実施の形態5)
次に、本発明の実施の形態5について説明する。
図26は、本発明の実施の形態5に係る画像処理装置の構成を示すブロック図である。図26に示すように、実施の形態5に係る画像処理装置5は、図1に示す演算部100の代わりに演算部500を備える。演算部500以外の画像処理装置5の各部の構成及び動作は、実施の形態1と同様である。
演算部500は、撮像距離推定部110と、検査領域設定部120と、検査領域内の画像を変形する検査領域変形部510と、異常構造識別部130とを備える。このうち、撮像距離推定部110、検査領域設定部120、及び異常構造識別部130の構成及び動作は、実施の形態1と同様である。
検査領域変形部510は、検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部511と、該代表的な撮像距離に応じて検査領域のサイズを正規化するサイズ正規化部512とを備える。
次に、画像処理装置5の動作について説明する。
図27は、画像処理装置5の動作を示すフローチャートである。なお、図27に示すステップS11〜S15は、実施の形態1と対応している(図2参照)。
ステップS13に続くステップS51において、検査領域変形部510は、検査領域内の画像を変形する。
ここで、上述したとおり、内視鏡によって撮像される管腔内画像において、撮像距離に応じて粘膜表面の微細構造の解像度が異なる。そこで、本実施の形態5においては、設定された検査領域までの撮像距離に応じて、検査領域内の画像を変形し、変形後の画像における特定空間周波数成分をテクスチャ特徴量として用いて微細構造の異常の識別を行うことにより、識別精度を向上させる。
図28は、検査領域変形部510が実行する処理(ステップS51)を詳細に示すフローチャートである。また、図29は、検査領域変形部510が実行する処理の概念を説明する模式図である。
まず、ステップS511において、代表撮像距離取得部511は、各検査領域に映る被写体までの代表的な撮像距離を取得する。
続くステップS512において、サイズ正規化部512は、代表的な撮像距離に応じて、検査領域のサイズを正規化する。図29に示すように、ある撮像距離r0において、微細構造の異常を識別可能な特定空間周波数に対応する画素値変化の周期をc2とする。この撮像距離r0に対し、撮像距離が短くなると、特定空間周波数は低周波側にシフトし、画素値変化の周期は大きくなる(c1>c2)。反対に、撮像距離r0に対して、撮像距離が長くなると、特定空間周波数は高周波側にシフトし、画素値変化の周期は小さくなる(c3<c2)。
そこで、撮像距離r0に対して、処理対象である検査領域EC1の撮像距離が短い場合(即ち、近景部の場合)、周期c1、c2の比率に応じて検査領域EC1を縮小することにより、縮小後の検査領域EC1’の解像度を撮像距離r0の場合と同等にすることができる。反対に、撮像距離r0に対して、処理対象である検査領域EC2の撮像距離が長い場合(即ち、遠景部の場合)、周期c2、c3の比率に応じて検査領域EC2を拡大することにより、拡大後の検査領域EC2’の解像度を撮像距離r0の場合と同等にすることができる。即ち、このような変形を行うことにより、後段のステップS14において、検査領域の撮像距離によらず、同一の特定空間周波数成分を算出して、異常の識別を行うことができる。
以上説明したように、実施の形態5によれば、検査領域に映る被写体までの代表的な撮像距離を基に、検査領域のサイズを正規化することにより、撮像距離によらず、同一の特定空間周波数を算出することにより、微細構造の異常を精度良く識別することが可能になる。
(変形例5−1)
次に、実施の形態5の変形例5−1について説明する。
図30は、変形例5−1における検査領域変形部の構成を示すブロック図である。変形例5−1に係る演算部は、図26に示す検査領域変形部510の代わりに、図30に示す検査領域変形部520を備える。この検査領域変形部520は、検査領域内に映る被写体上の少なくとも3箇所の基準点に対して、撮像距離及び画像内における座標を基に3次元座標を推定する3次元座標推定部521と、上記少なくとも3箇所の基準点によって張られる平面における検査領域を所定の距離から正対して撮像した場合の画像となるように、検査領域に対して画像変換を施す画像変換部522とを備える。
変形例5−1に係る演算部の動作は、全体として、図27に示すものと同様であり、ステップS51における処理が実施の形態5とは異なる。
図31は、検査領域変形部520が実行する処理(ステップS51)の詳細を示すフローチャートである。また、図32A及び図32Bは、検査領域変形部520が実行する処理の概念を説明する模式図である。
ステップS13に続くステップS51において、検査領域変形部520は、検査領域内の画像を変形する。
ここで、実施の形態5においては検査領域のサイズを正規化したが、検査領域内に残る所定範囲内に収まる撮像距離の差は補正されず、同一の検査領域内において撮像距離が短い粘膜表面の微細構造の解像度と、撮像距離が長い粘膜表面の微細構造の解像度との差による影響が生じてしまう。そこで、本変形例5−1においては、図32Aに示すように、管腔7内の粘膜表面8上の3箇所の基準点を含む領域を内視鏡6によって正面から撮像したかのように、検査領域を変形する。
詳細には、ステップS521において、3次元座標推定部521は、検査領域内に映る被写体上の少なくとも3箇所の基準点に対して、撮像距離及び画像内における座標を基に、3次元座標を推定する。実際の処理としては、例えば図32Bに示すように、検査領域内において互いに離れた任意の3点の画素を選択する。そして、これらの画素に対応する被写体上の位置(基準点)P1、P2、P3の撮像距離r1、r2、r3と、撮像機(例えば、内視鏡6)の焦点距離と、位置P1、P2、P3に対応する画像内における座標(x1,y1)、(x2,y2)、(x3,y3)とを基に、撮像機を原点とする座標系における被写体上の位置P1、P2、P3の3次元座標を推定する。なお、撮像機の焦点距離は予め定められている。
続くステップS522において、画像変換部522は、検査領域内に映る被写体上の領域を所定の距離から正対して撮像した場合の画像となるように、検査領域に画像変換を施す。この画像変換は、例えば、平面PLにおける被写体上の位置P1、P2、P3の重心(又は検査領域に相当する被写体上の領域の重心)から、該平面PLの法線方向に向かって所定の距離だけ離れた位置に視点をおき、所定の焦点距離で撮像した画像に変換することを想定して実行すれば良い。
以上説明したように、変形例5−1によれば、検査領域内における撮像距離の差を補正することができる。即ち、変換後の画像において、同一の検査領域内の各画素位置に対応する被写体上の領域内の各位置と撮像機の位置との間の距離のばらつきを、変換前の画像よりも少なくすることができる。これにより、同一の検査領域内において撮像距離が近い粘膜表面の微細構造の解像度と、撮像距離が遠い粘膜表面の微細構造の解像度との差を小さくすることができる。従って、このように変換された画像における特定空間周波数成分をテクスチャ特徴量として用いることにより、微細構造の異常の識別精度をさらに向上させることが可能になる。
以上説明したように、実施の形態1〜5及びこれらの変形例によれば、画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定し、検査領域ごとに、該検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別するので、撮像距離の差により、画像内に映る粘膜表面の微細構造に対する解像度に差が生じる場合においても、粘膜表面の微細構造の異常を精度良く識別することが可能になる。
上記実施の形態1〜5及びこれらの変形例においては、テクスチャ特徴量の一例として、テクスチャの周波数特徴を数値化した空間周波数成分を用いたが、その代わりに、テクスチャの統計的特徴量を用いても良い。テクスチャの統計的特徴量は、画素値の同時生起行列を用いて求めることができる。具体的には、同時生起行列により、画像内の互いに離れた2つの位置における画素対の値から、画素値の一様性、方向性、コントラスト等の性質を表す統計量(特徴量)が求められる(参考:CG−ARTS協会、「ディジタル画像処理」、第194〜195頁(領域のテクスチャ))。
以上説明した実施の形態1〜5並びにこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク(LAN/WAN)、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態1〜3に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器(ビュアーやプリンタ等)に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置(記録媒体及びその読取装置等)に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態1〜5及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
1〜5 画像処理装置
6 内視鏡
7 管腔
8 粘膜表面
10 制御部
20 画像取得部
30 入力部
40 表示部
50 記録部
51 画像処理プログラム
100、100−1、100−2、200、300、400、500 演算部
110 撮像距離推定部
111 低吸収波長選択部
120、140、160、310、410 検査領域設定部
121、141 候補領域設定部
122 領域確定部
122a 撮像距離範囲算出部
130、150、170、320 異常構造識別部
131、152、172、322 特定周波数成分算出部
132、153、173、323 統計分類部
141a、321 代表撮像距離取得部
142a 撮像距離分散算出部
151 特定波長成分選択部
161 候補領域設定部
161a 代表撮像距離勾配算出部
171 特定波長間比率算出部
210 非検査領域除外部
220 繰返し制御部
311 階層分類部
312 領域分割部
411 局所領域設定部
411a 距離変換画像算出部
510、520 検査領域変形部
511 代表撮像距離取得部
512 サイズ正規化部
521 3次元座標推定部
522 画像変換部

Claims (20)

  1. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定部と、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定部と、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    を備え
    前記検査領域設定部は、
    前記画像内に矩形の検査候補領域を設定する候補領域設定部と、
    前記検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像は、複数の波長成分からなり、
    前記撮像距離推定部は、前記複数の波長成分のうち、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分を選択する低吸収波長選択部を備え、前記低吸収波長成分を基に、前記画像に映る被写体までの撮像距離を推定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記候補領域設定部は、前記検査候補領域を設定しようとする位置に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部を備え、前記代表的な撮像距離に応じたサイズの前記検査候補領域を設定することを特徴とする請求項に記載の画像処理装置。
  4. 前記領域確定部は、前記検査候補領域内に映る被写体までの撮像距離の分布範囲を算出する撮像距離範囲算出部を備え、前記分布範囲が所定の閾値以下となる検査候補領域を前記検査領域として確定することを特徴とする請求項に記載の画像処理装置。
  5. 前記領域確定部は、前記検査候補領域内に映る被写体までの撮像距離の分散を算出する撮像距離分散算出部を備え、前記分散が所定の閾値以下となる検査候補領域を前記検査領域として確定することを特徴とする請求項に記載の画像処理装置。
  6. 前記検査領域が未設定の領域に対して、前記検査領域設定部による処理を繰返す制御を行う繰返し制御部をさらに備えることを特徴とする請求項に記載の画像処理装置。
  7. 前記繰返し制御部は、前記処理の繰返しに応じて、前記検査領域設定部が実行する処理の内容を変更することを特徴とする請求項に記載の画像処理装置。
  8. 前記異常構造識別部は、
    前記テクスチャ特徴量として、前記検査領域に映る被写体の微細構造の異常を識別可能な特定空間周波数成分を算出する特定周波数成分算出部と、
    前記特定空間周波数成分を基に統計分類を行う統計分類部と、
    を備えることを特徴とする請求項に記載の画像処理装置。
  9. 前記異常構造識別部は、生体内における吸収又は散乱の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部をさらに備え、
    前記特定周波数成分算出部は、前記特定波長成分に対して前記特定空間周波数成分を算出することを特徴とする請求項に記載の画像処理装置。
  10. 前記異常構造識別部は、生体内における吸収又は散乱の度合いが異なる特定波長成分間の比率を算出する特定波長間比率算出部をさらに備え、
    前記特定周波数成分算出部は、前記特定波長成分間の比率に対して前記特定空間周波数成分を算出することを特徴とする請求項に記載の画像処理装置。
  11. 前記異常構造識別部は、前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部をさらに備え、
    前記特定周波数成分算出部は、前記代表的な撮像距離に応じて前記特定空間周波数成分の周波数を特定し、前記特定空間周波数成分を算出することを特徴とする請求項に記載の画像処理装置。
  12. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定部と、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定部と、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    を備え、
    前記検査領域設定部は、
    前記検査領域を設定する位置の撮像距離勾配が大きくなるほど検査領域を小さく設定することを特徴とする画像処理装置。
  13. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定部と、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定部と、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    前記検査領域内の画像を変形する検査領域変形部と、
    を備え、
    前記検査領域変形部は、
    前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部と、
    前記代表的な撮像距離に応じて前記検査領域のサイズを正規化するサイズ正規化部と、
    を備え、
    前記異常構造識別部は、前記サイズ正規化部により正規化されたサイズを有する前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別することを特徴とする画像処理装置。
  14. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定部と、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定部と、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    前記検査領域内の画像を変形する検査領域変形部と、
    を備え、
    前記検査領域変形部は、
    前記検査領域内に映る被写体上の少なくとも3箇所の基準点に対して、撮像距離及び画像内における対応する画素の座標を基に、3次元座標を推定する3次元座標推定部と、
    前記少なくとも3箇所の基準点により張られる平面における前記検査領域を所定の距離から正対して撮像した画像となるように、前記検査領域に対して画像変換を施す画像変換部と、
    を備えることを特徴とする画像処理装置。
  15. 画像処理装置の作動方法であって、
    演算部が、画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    演算部が、前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    演算部が、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    を含み、
    前記検査領域設定ステップは、
    演算部が、前記画像内に矩形の検査候補領域を設定する候補領域設定ステップと、
    演算部が、前記検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定ステップと、
    を含むことを特徴とする画像処理装置の作動方法。
  16. 画像処理装置の作動方法であって、
    演算部が、画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    演算部が、前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    演算部が、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    を含み、
    前記検査領域設定ステップは、
    演算部が、前記検査領域を設定する位置の撮像距離勾配が大きくなるほど前記検査領域を小さく設定することを特徴とする画像処理装置の作動方法。
  17. 画像処理装置の作動方法であって、
    演算部が、画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    演算部が、前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    演算部が、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    演算部が、前記検査領域内の画像を変形する検査領域変形ステップと、
    を含み、
    前記検査領域変形ステップは、
    演算部が、前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得ステップと、
    演算部が、前記代表的な撮像距離に応じて前記検査領域のサイズを正規化するサイズ正規化ステップと、
    を含み、
    前記異常構造識別ステップは、前記サイズ正規化ステップにより正規化されたサイズを有する前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別することを特徴とする画像処理装置の作動方法。
  18. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    をコンピュータに実行させ、
    前記検査領域設定ステップは、
    前記画像内に矩形の検査候補領域を設定する候補領域設定ステップと、
    前記検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
  19. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    をコンピュータに実行させ、
    前記検査領域設定ステップは、
    前記検査領域を設定する位置の撮像距離勾配が大きくなるほど前記検査領域を小さく設定することを特徴とする画像処理プログラム。
  20. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    前記検査領域内の画像を変形する検査領域変形ステップと、
    をコンピュータに実行させ、
    前記検査領域変形ステップは、
    前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得ステップと、
    前記代表的な撮像距離に応じて前記検査領域のサイズを正規化するサイズ正規化ステップと、
    をコンピュータに実行させ、
    前記異常構造識別ステップは、前記サイズ正規化ステップにより正規化されたサイズを有する前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別することを特徴とする画像処理プログラム。
JP2012133187A 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム Active JP6265588B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012133187A JP6265588B2 (ja) 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
PCT/JP2013/064332 WO2013187206A1 (ja) 2012-06-12 2013-05-23 画像処理装置、画像処理方法、及び画像処理プログラム
CN201380030577.0A CN104363815B (zh) 2012-06-12 2013-05-23 图像处理装置以及图像处理方法
EP13803772.6A EP2859833A4 (en) 2012-06-12 2013-05-23 PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
US14/564,453 US9916666B2 (en) 2012-06-12 2014-12-09 Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012133187A JP6265588B2 (ja) 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2013255656A JP2013255656A (ja) 2013-12-26
JP6265588B2 true JP6265588B2 (ja) 2018-01-24

Family

ID=49758036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012133187A Active JP6265588B2 (ja) 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US9916666B2 (ja)
EP (1) EP2859833A4 (ja)
JP (1) JP6265588B2 (ja)
CN (1) CN104363815B (ja)
WO (1) WO2013187206A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616071B2 (ja) * 2014-12-22 2019-12-04 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
CN107105989B (zh) * 2015-01-23 2018-12-18 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
JP6507747B2 (ja) * 2015-03-18 2019-05-08 カシオ計算機株式会社 情報処理装置、コンテンツ決定方法、及びプログラム
WO2016170656A1 (ja) * 2015-04-23 2016-10-27 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6603709B2 (ja) * 2015-04-23 2019-11-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6552613B2 (ja) 2015-05-21 2019-07-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6461333B2 (ja) * 2015-06-04 2019-01-30 オリンパス株式会社 可撓管挿入装置、及び可撓管挿入装置の作動方法
JP6177458B2 (ja) * 2015-07-03 2017-08-09 オリンパス株式会社 画像処理装置及び内視鏡システム
JP6704933B2 (ja) * 2015-11-26 2020-06-03 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US20180137369A1 (en) * 2016-11-13 2018-05-17 Pointgrab Ltd. Method and system for automatically managing space related resources
JP7021183B2 (ja) 2017-03-03 2022-02-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018159082A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN107049211B (zh) * 2017-03-13 2019-02-12 重庆金山医疗器械有限公司 一种测量胶囊式内窥镜与胃壁距离的装置
WO2019156022A1 (ja) * 2018-02-07 2019-08-15 Hoya株式会社 内視鏡システム
CN112535451A (zh) * 2019-09-22 2021-03-23 深圳硅基智控科技有限公司 胶囊内窥镜用的测距系统
CN115813320A (zh) * 2019-09-22 2023-03-21 深圳硅基智控科技有限公司 具有双透镜的胶囊内窥镜
CN116778520B (zh) * 2023-08-11 2023-11-10 山东省大数据中心 一种海量证照数据质量检验方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918162B2 (ja) 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JPH03105483A (ja) * 1989-09-19 1991-05-02 Olympus Optical Co Ltd 内視鏡装置
JP4450973B2 (ja) 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP4652694B2 (ja) 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP4804742B2 (ja) * 2004-11-19 2011-11-02 オリンパス株式会社 画像処理装置、及び画像処理プログラム
US7764817B2 (en) * 2005-08-15 2010-07-27 Siemens Medical Solutions Usa, Inc. Method for database guided simultaneous multi slice object detection in three dimensional volumetric data
JP5086563B2 (ja) 2006-05-26 2012-11-28 オリンパス株式会社 画像処理装置及び画像処理プログラム
WO2008139812A1 (ja) * 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
JP5028138B2 (ja) * 2007-05-08 2012-09-19 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5190944B2 (ja) * 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
WO2010081048A1 (en) * 2009-01-08 2010-07-15 American Biooptics Llc Probe apparatus for recognizing abnormal tissue
JP2013505763A (ja) * 2009-09-24 2013-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 増加した走査速度を持つ光プローブシステム
JP5011452B2 (ja) * 2010-04-12 2012-08-29 オリンパスメディカルシステムズ株式会社 医用画像処理装置および医用画像処理装置の制御方法
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5800468B2 (ja) 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5622461B2 (ja) * 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5620194B2 (ja) * 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5658945B2 (ja) * 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5830295B2 (ja) * 2011-07-29 2015-12-09 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5800626B2 (ja) * 2011-07-29 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5926937B2 (ja) * 2011-11-30 2016-05-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6422198B2 (ja) * 2012-11-29 2018-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6045396B2 (ja) * 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
EP2859833A1 (en) 2015-04-15
CN104363815A (zh) 2015-02-18
EP2859833A4 (en) 2016-03-23
US20150092993A1 (en) 2015-04-02
JP2013255656A (ja) 2013-12-26
CN104363815B (zh) 2018-04-13
WO2013187206A1 (ja) 2013-12-19
US9916666B2 (en) 2018-03-13

Similar Documents

Publication Publication Date Title
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6422198B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN111325739B (zh) 肺部病灶检测的方法及装置,和图像检测模型的训练方法
Loizou et al. Snakes based segmentation of the common carotid artery intima media
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8244009B2 (en) Image analysis device
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6361776B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
WO2015141302A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Wu et al. Detection of blur artifacts in histopathological whole-slide images of endomyocardial biopsies
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
TWI624807B (zh) 醫學影像之迭代式分析法
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP5800549B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
WO2018011928A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
Wang et al. Organic Boundary Location Based on Color‐Texture of Visual Perception in Wireless Capsule Endoscopy Video
Ramesh et al. Automatic Endoscopic Ultrasound Station Recognition with Limited Data
Jütte et al. Integrating generative AI with ABCDE rule analysis for enhanced skin cancer diagnosis, dermatologist training and patient education
Kakade et al. Gradient Ridge Enhancer: A Robust Approach for Ridge Detection in Infant’Retinal Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

R151 Written notification of patent or utility model registration

Ref document number: 6265588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250