Nothing Special   »   [go: up one dir, main page]

JP4912787B2 - 医療用画像処理装置及び医療用画像処理装置の作動方法 - Google Patents

医療用画像処理装置及び医療用画像処理装置の作動方法 Download PDF

Info

Publication number
JP4912787B2
JP4912787B2 JP2006216250A JP2006216250A JP4912787B2 JP 4912787 B2 JP4912787 B2 JP 4912787B2 JP 2006216250 A JP2006216250 A JP 2006216250A JP 2006216250 A JP2006216250 A JP 2006216250A JP 4912787 B2 JP4912787 B2 JP 4912787B2
Authority
JP
Japan
Prior art keywords
region
color tone
area
image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006216250A
Other languages
English (en)
Other versions
JP2008036243A (ja
Inventor
涼子 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2006216250A priority Critical patent/JP4912787B2/ja
Priority to PCT/JP2007/063483 priority patent/WO2008018259A1/ja
Priority to EP07768232A priority patent/EP2052674A4/en
Publication of JP2008036243A publication Critical patent/JP2008036243A/ja
Priority to US12/366,116 priority patent/US8160329B2/en
Application granted granted Critical
Publication of JP4912787B2 publication Critical patent/JP4912787B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、医療用画像処理装置及び医療用画像処理装置の作動方法に関し、特に、赤色を呈する病変部位を検出可能な医療用画像処理装置及び医療用画像処理装置の作動方法に関するものである。
従来、医療分野において、Ｘ線診断装置、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。
また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。
そして、近年、前述したような内視鏡装置と略同様の有用性が期待できる画像撮像機器として、例えば、カプセル型内視鏡装置が提案されている。一般的に、カプセル型内視鏡装置は、被検者が口から飲み込むことにより体腔内に配置され、撮像した該体腔内の像を撮像信号として外部に送信するカプセル型内視鏡と、送信された該撮像信号を体腔外で受信した後、受信した該撮像信号を蓄積するレシーバと、レシーバに蓄積された撮像信号に基づく体腔内の像の画像を観察するための観察装置とから構成される。
さらに、内視鏡装置は、出血部位等の病変部位が含まれる所定の画像を検出可能な画像処理方法として、例えば、特許文献１に記載されている画像処理方法を用いることにより、出血部位が含まれる所定の画像を検出することもまた可能である。
特許文献１に記載されている画像処理方法である、生体内での比色分析の異常を検出するための方法は、正常粘膜と出血部位との色調の違いに着目し、色調を特徴量と設定した特徴空間における各平均値からの距離に基づいて画像の分割領域毎に出血部位の検出を行うことにより、出血部位が含まれる所定の画像を検出することを可能とする方法である。
ＰＣＴ ＷＯ ０２／０７３５０７号公報
一般に、消化管内部においては、生体粘膜表面が有する本来の色調の像のみが撮像されている訳ではなく、例えば、消化液または胆汁等が生体粘膜表面を覆うことにより、生体粘膜表面が有する本来の色調とは異なった色調の像が撮像され得る状況が多く発生する。
そのため、消化管内部における生体粘膜表面の像として、例えば、正常粘膜の色調と、赤色を呈する病変部位としての出血部位の色調とが互いに類似した像が撮像される場合もまた想定され得る。そして、このような場合、正常粘膜の色調の平均値と、出血部位の色調の平均値とは、特徴空間において互いに近接する傾向がある。その結果、特許文献１に記載されている画像処理方法が用いられた場合、正常粘膜の色調と、出血部位の色調とが互いに類似した箇所の像において、出血部位の検出精度が低下してしまうため、ユーザによる観察の効率化をはかることができないという課題が生じている。
本発明は、前述した点に鑑みてなされたものであり、従来に比べて出血部位及び発赤部位の検出精度を高めることにより、ユーザが効率的に観察を行うことを可能とする医療用画像処理装置及び医療用画像処理装置の作動方法を提供することを目的としている。
本発明における第１の医療用画像処理装置は、医療用撮像装置が撮像した被写体の像に応じた画像を、少なくとも１以上の画素からなる複数の領域に分割する画像分割手段と、前記画像の色調に基づく特徴量である色調特徴量を前記複数の領域各々において算出する特徴量算出手段と、前記複数の領域各々が有する前記色調特徴量に基づき、第１の色調基準値を算出する第１の色調基準値算出手段と、病変所見を検出するための第１の病変検出基準を、前記第１の色調基準値に応じて適宜算出する第１の病変検出基準算出手段と、前記第１の病変検出基準と、前記複数の領域各々が有する前記色調特徴量とに基づき、前記複数の領域各々のうち、前記病変所見が撮像されている領域である、第１の対象領域を検出する第１の画像領域検出手段と、を有することを特徴とする。
本発明における第２の医療用画像処理装置は、前記第１の医療用画像処理装置において、さらに、前記医療用画像処理装置は、前記複数の領域のうち、前記被写体として生体粘膜の像が撮像された各領域を生体粘膜クラスとして分類する第１の画像領域分類手段を有することを特徴とする。
本発明における第３の医療用画像処理装置は、前記第２の医療用画像処理装置において、前記病変所見は、出血部位または発赤部位の少なくともいずれか一方であることを特徴とする。
本発明における第４の医療用画像処理装置は、前記第３の医療用画像処理装置において、前記第１の色調基準値は、前記生体粘膜クラスとして分類された各領域が有する、前記色調特徴量の平均値であることを特徴とする。
本発明における第５の医療用画像処理装置は、前記第３または前記第４の医療用画像処理装置において、前記第１の病変検出基準算出手段は、前記第１の色調基準値に関する所定のテーブルデータに基づき、前記第１の病変検出基準を適宜算出することを特徴とする。
本発明における第６の医療用画像処理装置は、前記第３または前記第４の医療用画像処理装置において、前記第１の病変検出基準算出手段は、前記第１の色調基準値に応じた所定の関数を用い、前記第１の病変検出基準を適宜算出することを特徴とする。
本発明における第７の医療用画像処理装置は、前記第３または前記第４の医療用画像処理装置において、前記第１の病変検出基準算出手段は、前記第１の色調基準値に応じて構成された識別器に基づき、前記第１の病変検出基準を適宜算出することを特徴とする。
本発明における第８の医療用画像処理装置は、前記第１乃至前記第７の医療用画像処理装置において、前記画像分割手段は、前記画像を所定の画素数を有する複数の矩形領域に分割することを特徴とする。
本発明における第９の医療用画像処理装置は、前記第１乃至前記第７の医療用画像処理装置において、前記画像分割手段は、前記画像を画素単位に分割することを特徴とする。
本発明における第１０の医療用画像処理装置は、前記第３または前記第４の医療用画像処理装置において、さらに、前記第１の画像領域分類手段の分類結果に基づき、前記生体粘膜クラスに分類された各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第２の画像領域分類手段と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量に基づき、第２の色調基準値を算出する第２の色調基準値算出手段と、 前記黄色粘膜領域として分類された各領域における第２の病変検出基準を、前記第２の色調基準値に応じて算出する第２の病変検出基準算出手段と、前記第２の病変検出基準と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量とに基づき、前記黄色粘膜領域として分類された各領域のうち、出血部位または発赤部位の少なくともいずれか一方が撮像されている領域である、第２の対象領域を検出する第２の画像領域検出手段と、を有することを特徴とする。
本発明における第１１の医療用画像処理装置は、前記第３または前記第４の医療用画像処理装置において、さらに、前記第１の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段と、前記一の対象領域群が有する領域数に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段と、を有することを特徴とする。
本発明における第１２の医療用画像処理装置は、前記第３または前記第４の医療用画像処理装置において、さらに、前記第１の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段と、
前記一の対象領域群が有する前記色調特徴量の平均値に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段と、を有することを特徴とする。
本発明における第１の医療用画像処理装置の作動方法は、医療用撮像装置が撮像した被写体の像に応じた画像を、少なくとも１以上の画素からなる複数の領域に分割する画像分割手段が、当該画像を、少なくとも１以上の画素からなる複数の領域に分割する画像分割ステップと、前記画像の色調に基づく特徴量である色調特徴量を前記複数の領域各々において算出する特徴量算出手段が、当該色調特徴量を前記複数の領域各々において算出する特徴量算出ステップと、前記複数の領域各々が有する前記色調特徴量に基づき、第１の色調基準値を算出する第１の色調基準値算出手段が、当該第１の色調基準値を算出する第１の色調基準値算出ステップと、病変所見を検出するための第１の病変検出基準を、前記第１の色調基準値に応じて適宜算出する第１の病変検出基準算出手段が、当該第１の病変検出基準を、前記第１の色調基準値に応じて適宜算出する第１の病変検出基準算出ステップと、前記第１の病変検出基準と、前記複数の領域各々が有する前記色調特徴量とに基づき、前記複数の領域各々のうち、前記病変所見が撮像されている領域である、第１の対象領域を検出する第１の画像領域検出手段が、当該第１の対象領域を検出する第１の画像領域検出ステップと、を有することを特徴とする。
本発明における第２の医療用画像処理装置の作動方法は、前記第１の医療用画像処理方法において、さらに、前記複数の領域のうち、前記被写体として生体粘膜の像が撮像された各領域を生体粘膜クラスとして分類する第１の画像領域分類手段が、当該各領域を生体粘膜クラスとして分類する第１の画像領域分類ステップを有することを特徴とする。
本発明における第３の医療用画像処理方法は、前記第２の医療用画像処理方法において、前記病変所見は、出血部位または発赤部位の少なくともいずれか一方であることを特徴とする。
本発明における第４の医療用画像処理方法は、前記第３の医療用画像処理方法において、前記第１の色調基準値は、前記生体粘膜クラスとして分類された各領域が有する、前記色調特徴量の平均値であることを特徴とする。
本発明における第５の医療用画像処理装置の作動方法は、前記第３または前記第４の医療用画像処理方法において、前記第１の病変検出基準算出ステップにおける前記第１の病変検出基準算出手段は、前記第１の色調基準値に関する所定のテーブルデータに基づき、前記第１の病変検出基準を適宜算出することを特徴とする。
本発明における第６の医療用画像処理装置の作動方法は、前記第３または前記第４の医療用画像処理方法において、前記第１の病変検出基準算出ステップにおける前記第１の病変検出基準算出手段は、前記第１の色調基準値に応じた所定の関数を用い、前記第１の病変検出基準を適宜算出することを特徴とする。
本発明における第７の医療用画像処理装置の作動方法は、前記第３または前記第４の医療用画像処理方法において、前記第１の病変検出基準算出ステップにおける前記第１の病変検出基準算出手段は、前記第１の色調基準値に応じて構成された識別器に基づき、前記第１の病変検出基準を適宜算出することを特徴とする。
本発明における第８の医療用画像処理装置の作動方法は、前記第１乃至前記第７の医療用画像処理方法において、前記画像分割ステップにおける前記画像分割手段は、前記画像を所定の画素数を有する複数の矩形領域に分割することを特徴とする。
本発明における第９の医療用画像処理装置の作動方法は、前記第１乃至前記第７の医療用画像処理方法において、前記画像分割ステップにおける前記画像分割手段は、前記画像を画素単位に分割することを特徴とする。
本発明における第１０の医療用画像処理装置の作動方法は、前記第３または前記第４の医療用画像処理方法において、さらに、前記第１の画像領域分類ステップの分類結果に基づき、前記生体粘膜クラスに分類された各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第２の画像領域分類手段が、当該各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第２の画像領域分類ステップと、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量に基づき、第２の色調基準値を算出する第２の色調基準値算出手段が、当該第２の色調基準値を算出する第２の色調基準値算出ステップと、前記黄色粘膜領域として分類された各領域における第２の病変検出基準を、前記第２の色調基準値に応じて算出する第２の病変検出基準算出手段が、当該第２の病変検出基準を、前記第２の色調基準値に応じて算出する第２の病変検出基準算出ステップと、前記第２の病変検出基準と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量とに基づき、前記黄色粘膜領域として分類された各領域のうち、出血部位または発赤部位の少なくともいずれか一方が撮像されている領域である、第２の対象領域を検出する第２の画像領域検出手段が、当該第２の対象領域を検出する第２の画像領域検出ステップと、を有することを特徴とする。
本発明における第１１の医療用画像処理装置の作動方法は、前記第３または前記第４の医療用画像処理方法において、さらに、前記第１の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段が、当該各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張ステップと、前記一の対象領域群が有する領域数に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段が、当該一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定ステップと、を有することを特徴とする。
本発明における第１２の医療用画像処理装置の作動方法は、前記第３または前記第４の医療用画像処理方法において、さらに、前記第１の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段が、当該各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張ステップと、前記一の対象領域群が有する前記色調特徴量の平均値に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段が、当該一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定ステップと、を有することを特徴とする。
本発明における医療用画像処理装置及び医療用画像処理方法によると、従来に比べて出血部位及び発赤部位の検出精度を高めることにより、ユーザが効率的に観察を行うことができる。
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
以下、図面を参照して本発明の第１の実施の形態を説明する。図１は、本発明の第１の実施形態である画像処理動作が行われる医療用画像処理装置および周辺機器の外観を示した外観正面図である。図２は、本実施形態の医療用画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図である。図３は、本実施形態の医療用画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図である。図４は、本実施形態の医療用画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図である。図５は、図２に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャートである。図６は、図２に示すカプセル型内視鏡の位置検出を説明する説明図である。図７は、図３に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図である。図８は、図３に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図である。図９は、図３に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図である。図１０は、図２に示すカプセル型内視鏡の電気的な構成を示すブロック図である。
また、図１１は、図１の医療用画像処理装置が第１の実施形態において行う処理の手順の一例を示すフローチャートである。図１２は、図１１のフローチャートの処理を行った場合に得られる各データの模式図である。図１３は、図１１のフローチャートの処理において用いられる値である、ＭＧ＿Ｒとｔｈｒｅ１＿ｉとの間の関係の一例を示す図である。図１４は、図１１のフローチャートの処理を行った場合に、出血部位が撮像されているとして判断される値の範囲を示す図である。
本発明の第１の実施形態である画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置１は、図３に示すように、カプセル型内視鏡３、アンテナユニット４及び外部装置５を有して主要部が構成されている。
医療用撮像装置としてのカプセル型内視鏡３は、詳細は後述するが、被検体である患者２の口から体腔内に飲み込まれることにより体腔内に配置された後、蠕動運動により消化管内を進行する形状に形成され、かつ、内部に体腔内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット４は、詳細は後述するが、患者２の身体表面上に設置され、前記カプセル型内視鏡３から送信される撮像画像情報を受信する複数の受信アンテナ１１を有している。外部装置５は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット４が受信した撮像画像情報の各種処理、撮像画像情報の記録、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置５の外装の表面に前記撮像画像を表示させる液晶モニタ１２と、各種機能の操作指示を行う操作部１３とが設けられている。
また、この外部装置５は、駆動電源用の電池の残量に関する警告表示用のＬＥＤと、電源スイッチ等のスイッチからなる操作部１３とが外装の表面に設けられている。又、カプセル型内視鏡３の内部には、ＣＰＵ及びメモリを用いた演算実行部が設けられており、例えば、該演算実行部において、受信及び記録した撮像画像情報に対して後述する画像処理が実行されるような構成であっても良い。
この外部装置５は、患者２の身体に着脱自在に装着されると共に、図１に示すように、クレードル６に装着されることにより、本発明の第１の実施形態である医療用画像処理装置（以下、端末装置と記す）７に着脱自在に接続されるようになっている。この端末装置７は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体９と、各種操作処理入力用のキーボード８ａ及びマウス８ｂと、及び各種処理結果を表示するディスプレイ８ｃとを有している。この端末装置７は、基本的機能として、例えば、前記外部装置５に記録されている撮像画像情報をクレードル６を介して取り込み、端末本体９に内蔵されている書換可能なメモリ、或いは端末本体９に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記録させ、かつ、その記録した撮像画像情報をディスプレイ８ｃに表示する画像処理を行うような機能を有している。なお、前記外部装置５に記憶されている撮像画像情報は、前記クレードル６に代えて、ＵＳＢケーブル等によって端末装置７に取り込まれるようにしても良い。
なお、端末装置７が行う画像処理は、例えば、前記外部装置５から取り込み記録した撮像画像情報から経過時間に応じて表示させる画像を選択する処理、及び後述する画像処理として、端末本体９が有する制御部９ａにおいて行われる。制御部９ａは、ＣＰＵ（中央処理装置）等を有し、例えば、前述したような処理を行う場合に、処理結果を一時的に図示しないレジスタ等に保持することができる。
次に、前記カプセル型内視鏡３の外形と内部構造について、図２を用いて説明する。カプセル型内視鏡３は、断面がＵ字状の外装部材１４と、この外装部材１４の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材１４ａと有する。そのため、カプセル型内視鏡３の外装は、外装部材１４と、カバー部材１４ａとが接続された状態においては、水密構造かつカプセル形状を有するように形成されている。
この外装部材１４とカバー部材１４ａを有するカプセル形状の内部中空部であって、前記カバー部材１４ａの半球の円弧の略中央にあたる部分には、カバー部材１４ａを介して入射された観察部位像を取り込む対物レンズ１５がレンズ枠１６に収納されて配置されている。この対物レンズ１５の結像位置には、撮像素子である電荷結合素子（以降、ＣＣＤと記す）１７が配置されている。また、前記対物レンズ１５を収納するレンズ枠１６の周囲には、照明光を発光放射させる４つの白色系のＬＥＤ１８が同一平面上に配置されている（図中には２つのＬＥＤのみを表記している）。前記ＣＣＤ１７の後端側の前記外装部材１４の内部中空部には、前記ＣＣＤ１７を駆動制御して光電変換された撮像信号の生成、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理、及び前記ＬＥＤ１８の点灯／非点灯の動作を制御するＬＥＤ駆動の処理を行う処理回路１９と、この処理回路１９の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路２０と、この通信処理回路２０からの無線信号を外部に送信する送信アンテナ２３と、前記処理回路１９と通信処理回路２０の駆動用電源を供給する複数のボタン型の電池２１とが配置されている。
なお、ＣＣＤ１７、ＬＥＤ１８、処理回路１９、通信処理回路２０及び送信アンテナ２３は、図示しない基板上に配置され、それらの基板の間は、図示しないフレキシブル基板にて接続されている。また、前記処理回路１９には、後述する画像処理を行うための図示しない演算回路を備えている。つまり、前記カプセル型内視鏡３は、図３に示すように、前記ＣＣＤ１７、ＬＥＤ１８及び処理回路１９とを有する撮像装置４３と、前記通信処理回路２０を有する送信器３７と、送信アンテナ２３とを有する。
次に、前記カプセル型内視鏡３の撮像装置４３の詳細構成について、図１０を用いて説明する。撮像装置４３は、ＬＥＤ１８の点灯／非点灯の動作を制御するＬＥＤドライバ１８Ａと、ＣＣＤ１７の駆動を制御して光電変換された電荷の転送を行う為のＣＣＤドライバ１７Ａと、前記ＣＣＤ１７から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路１９Ａと、前記ＬＥＤドライバ１８Ａ、ＣＣＤドライバ１７Ａ、処理回路１９Ａ、及び送信器３７に電池２１からの駆動電源を供給するスイッチ部と、前記スイッチ部及びＣＣＤドライバ１７Ａにタイミング信号を供給するタイミングジェネレータ１９Ｂとからなっている。なお、前記スイッチ部は、電池２１から前記ＬＥＤドライバ１８Ａへの電源供給をオン／オフをするスイッチ１９Ｃと、前記ＣＣＤ１７、ＣＣＤドライバ１７Ａ及び処理回路１９Ａへの電源供給をオン・オフするスイッチ１９Ｄと、前記送信器３７への電源供給をオン／オフするスイッチ１９Ｅとからなっている。また、前記タイミングジェネレータ１９Ｂには、電池２１から常時駆動電源が供給されるようになっている。
このような構成を有するカプセル型内視鏡３の撮像装置４３においては、スイッチ１９Ｃと、スイッチ１９Ｄと、スイッチ１９Ｅとがオフ状態である場合、タイミングジェネレータ１９Ｂ以外の各部は非動作状態である。そして、タイミングジェネレータ１９Ｂからタイミング信号が出力されると、前記スイッチ１９Ｄがオンされ、これにより、電池２１から電源が供給されたＣＣＤ１７、ＣＣＤドライバ１７Ａ及び処理回路１９Ａは動作状態となる。
前記ＣＣＤ１７の駆動初期時に、ＣＣＤ１７の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ１９Ｂは、スイッチ１９ＣをオンさせてＬＥＤドライバ１８Ａを駆動させてＬＥＤ１８を点灯させＣＣＤ１７を露光する。ＬＥＤ１８は、ＣＣＤ１７の露光に必要な所定の時間だけ点灯された後、消費電力低減の為に、スイッチ１９Ｃがオフしたタイミングにおいて消灯される。
前記ＣＣＤ１７の露光が行われた前記所定の時間内に蓄えられた電荷は、ＣＣＤドライバ１７Ａの制御により処理回路１９Ａへ転送される。処理回路１９Ａは、ＣＣＤ１７から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。処理回路１９Ａは、例えば、送信器３７から送信される信号がアナログ無線方式である場合、ＣＤＳ出力信号に対して複合同期信号を重畳させたアナログ撮像信号を生成した後、該アナログ撮像信号を内視鏡画像信号として送信器３７へ出力する。また、処理回路１９Ａは、例えば、送信器３７から送信される信号がデジタル無線方式である場合、アナログ／デジタルコンバータにより生成したシリアルなデジタル信号に対し、さらにスクランブル等の符号化処理を施したデジタル撮像画像信号を生成し、該デジタル撮像信号を内視鏡画像信号として送信器３７へ出力する。
この送信器３７は、前記処理回路１９Ａから供給された内視鏡画像信号である、アナログ撮像画像信号またはデジタル撮像画像信号に対して変調処理を施して送信アンテナ２３から外部へ無線送信する。この時、スイッチ１９Ｅは、前記処理回路１９Ａから撮像画像信号が出力されたタイミングにおいてのみ送信器３７に駆動電力が供給されるように、タイミングジェネレータ１９Ｂによりオン／オフされる。
なお、スイッチ１９Ｅは、処理回路１９Ａから撮像画像信号が出力されてから所定の時間が経過した後に、送信器３７に駆動電力が供給されるように制御されても良い。また、スイッチ１９Ｅは、カプセル型内視鏡３に設けられた、図示しないｐＨセンサーによる所定値のｐＨ値の検出、図示しない湿度センサーによる所定値以上の湿度の検出、図示しない圧力センサーまたは図示しない加速度センサーによる所定値以上の圧力または加速度の検出等の検出結果に基づいてタイミングジェネレータ１９Ｂから出力される信号により、被検体である患者２の体腔内に挿入された際に、送信器３７に電源を供給するように制御されるような構成を有していても良い。
なお、前記カプセル型内視鏡２の撮像装置４３は、通常毎秒２枚の画像（毎秒２フレーム＝２ｆｐｓ）を撮像するものであるが、例えば、食道の検査の場合は、毎秒１５〜３０枚の画像（１５ｆｐｓ〜３０ｆｐｓ）を撮像できるようにする。具体的には、カプセル型内視鏡３に、図示しないタイマー回路を設け、このタイマー回路により、例えば、タイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるように撮像装置４３の駆動を制御させる。或いは、カプセル型内視鏡３の電源の投入と共にタイマー回路を作動させて、このタイマー回路により、例えば、患者２が飲み込んだ直後の食道を通過するまでの時間は高速撮像となるように、撮像装置４３の駆動を制御させることも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。
次に、前記患者２の身体表面上に設置されるアンテナユニット４について説明する。図４に示すように、カプセル型内視鏡３を飲み込んで内視鏡検査を行う場合、患者２は、複数の受信アンテナ１１からなるアンテナユニット４が設置されたジャケット１０を装着する。このアンテナユニット４は、図７に示すように、たとえば、ＧＰＳに使用されているパッチアンテナのような単方向の指向性を有する複数の受信アンテナ１１を患者２の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡３のカプセル本体３Ｄは、身体内に留置されるため、その身体内のカプセル本体３Ｄを取り囲むように前記複数のアンテナ１１が配置される。この指向性の高いアンテナ１１を使用することにより、身体内のカプセル本体３Ｄ以外からの電波による干渉妨害の影響を受けにくくしている。
前記ジャケット１０は、図８に示すように、患者２の身体表面に設置する前記アンテナユニット４と、ベルトにより患者２の腰に設置された外部装置５の本体部５Ｄを覆うように電磁シールド繊維で形成されたシールドジャケット７２とからなる。このシールドジャケット７２を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット７２は、ジャケット形状に限るものではなく、例えば、ベスト、ワンピース形状等であっても良い。
又、前記シールドジャケット７２に前記外部装置５を装着する例として、図９に示すように、前記外部装置５の外部本体５Ｄに鍵穴７４を設け、前記シールドジャケット７２に設けた鍵７５を前記鍵穴７４に差し込むことにより、ベルト７３に着脱自在に装着できるようにする。或いは、単にシールドジャケット７２に図示しないポケットを設け、そのポケットに外部本体５Ｄを収納する、又は、外部装置５の外部本体５Ｄとシールドジャケット７２にマジックテープ（登録商標）を設置し、そのマジックテープ（登録商標）により取付固定しても良い。
つまり、アンテナユニット４が配置された身体にシールドジャケット７２を装着することにより、アンテナユニット４に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けにくくしている。
次に、前記アンテナユニット４と外部装置５の構成について、図３を用いて説明する。前記アンテナユニット４は、前記カプセル型内視鏡３の送信アンテナ２３から送信された無線信号を受信する複数の受信アンテナ１１ａ〜１１ｄと、このアンテナ１１ａ〜１１ｄを切り替えるアンテナ切換スイッチ４５とからなる。前記外部装置５は、アンテナ切換スイッチ４５からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路３３と、この受信回路３３から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号及び撮像画像データを生成する信号処理回路３５と、この信号処理回路３５により生成された撮像画像表示用信号に基づいて撮像画像を表示する液晶モニタ１２と、前記信号処理回路３５により生成された撮像画像データを記憶するメモリ４７と、前記受信回路３３により受信処理された無線信号の大きさにより前記アンテナ切換スイッチ４５を制御するアンテナ選択回路４６とからなる。
前記アンテナユニット４の図中受信アンテナ１１ａ〜１１ｄとして示した複数の受信アンテナ１１は、前記カプセル型内視鏡３の送信アンテナ２３から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ１１ａ〜１１ｄは、前記外部装置５のアンテナ選択回路４６からのアンテナ選択信号によりアンテナ切替スイッチ４５が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スイッチ４５により順次切り替えられた各受信アンテナ１１ａ〜ｄ毎に受信した無線信号が前記受信器３３に出力される。この受信器３３において、各受信アンテナ１１ａ〜１１ｄ毎の無線信号の受信強度を検出して、各受信アンテナ１１ａ〜１１ｄとカプセル型内視鏡３の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路３５へと出力する。前記アンテナ選択回路４６は、前記受信器３３からの出力によって制御される。
前記アンテナ選択回路４６によるアンテナ切替スイッチ４５の動作について説明する。前記カプセル型内視鏡３から送信される無線信号は、図５に示すように、撮像画像信号の１フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。
前記アンテナ選択回路４６は、前記受信回路３３を介して、各受信アンテナ１１ａ〜１１ｄが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路４６は、前記受信器３３からの供給された各アンテナ１１ａ〜１１ｄの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高いアンテナ１１ｉ（ｉ＝ａ〜ｄ）を決定して、アンテナ切替回路４５をそのアンテナ１１ｉに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分から切り替えるようにする。
このように、カプセル型内視鏡３からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路４６によって受信強度が最大となるアンテナ１１ｉを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡３が患者２の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ１１により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡３の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作１回につき常にアンテナ切替動作を１回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を１回行うようにしてもよい。
なお、カプセル型内視鏡３は、患者２の体内を移動しているので、適宜の時間間隔で外部装置５から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡３が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡３が患者２の体内を移動した場合にも、適切な送信出力に設定でき、電池２１のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。
次に、前記複数の受信アンテナ１１とカプセル型内視鏡３の位置関係を示す情報の取得方法について、図６を用いて説明する。なお、図６において、カプセル型内視鏡３を３次元座標Ｘ、Ｙ、Ｚの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ１１ａ〜１１ｄのうち、説明を簡単化するために、３つの受信アンテナ１１ａ、１１ｂ、１１ｃを用い、受信アンテナ１１ａと受信アンテナ１１ｂとの間の距離をＤａｂ、受信アンテナ１１ｂと受信アンテナ１１ｃとの間の距離をＤｂｃ、受信アンテナ１１ａと受信アンテナ１１ｃとの間の距離Ｄａｃとしている。さらに、この受信アンテナ１１ａ〜１１ｃとカプセル型内視鏡３の間は、所定の距離関係としている。
カプセル型内視鏡３の送信された一定の送信強度の無線信号は、各受信アンテナ１１ｊ（ｊ＝ａ、ｂ、ｃ）で受信した場合の受信強度は、カプセル型内視鏡３（カプセル型内視鏡３の送信アンテナ２３）からの距離Ｌｉ（ｉ＝ａ，ｂ，ｃ）の関数となる。具体的には電波減衰量が伴う距離Ｌｉに依存する。従って、カプセル型内視鏡３から送信された無線信号の受信アンテナ１１ｊにより受信した受信強度からカプセル型内視鏡３と各受信アンテナ１１ｊとの間の距離Ｌｉを算出する。この距離Ｌｉの算出には、前記カプセル型内視鏡３と受信アンテナ１１ｊの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路４６に設定する。又、その算出されたカプセル型内視鏡３と各受信アンテナ１１ｊの位置関係を示す距離データは、前記メモリ４７にカプセル型内視鏡３の位置情報として記憶させる。このメモリ４７に記憶された撮像画像情報及びカプセル型内視鏡３の位置情報を基に、前記端末装置７による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。
次に、本実施形態の画像処理動作について説明を行う。
なお、本実施形態においては、カプセル型内視鏡３により撮像された体腔内の像の画像は、ｘ軸方向の画素数Ｎ×ｙ軸方向の画素数Ｎ（１≦Ｎ）を満たす値であるとともに、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３プレーンからなるとする。また、Ｒ（赤）、Ｇ（緑）及びＢ（青）の各プレーンにおける各画素は、濃度値であるＲＧＢ値として各々８ｂｉｔ、すなわち、０から２５５の値をとるものとする。また、本発明の実施形態においては、時系列的に連続して撮像されたＡ枚の画像（１≦Ａ）におけるｉ番目の画像をＩｉ（１≦ｉ≦Ａ）と示すものとする。さらに、本実施形態においては、画像Ｉｉの各プレーンにおけるｖ番目の画素（１≦ｖ≦Ｎ×Ｎ）をそれぞれｒｉｖ、ｇｉｖ及びｂｉｖと示すものとする。
そして、本実施形態の画像処理動作は、前述した端末装置７の端末本体９が有する制御部９ａにおける処理として行われるものであるとする。
まず、画像分割手段としての制御部９ａは、Ｎ×Ｎのサイズ（画素数）を有する画像Ｉｉを、所定のサイズを有する複数の矩形領域、すなわち、Ｍ×Ｍ（Ｍ＜Ｎ）のサイズを有する（Ｎ２／Ｍ２）個の（複数の）小領域に分割する（図１１のステップＳ１）。なお、以降の説明においては、制御部９ａにおいて分割された小領域のうち、一の小領域をＨｊ（１≦ｊ≦Ｎ２／Ｍ２）と示すものとする。また、制御部９ａに入力される画像のサイズ、及び該画像が分割される際の小領域のサイズは、以降に述べる処理が適用可能なサイズであれば、前述したものに限らず、例えば、画素単位（Ｍ＝１）であっても良い。
次に、画像領域分類手段としての制御部９ａは、領域Ｈｊ各々に対し、教師データに応じて得られた、例えば、ベイズの識別規則に基づく識別関数等の識別手段を用いた処理を行うことにより、該領域Ｈｊ各々における被写体の分類を行う（図１１のステップＳ２）。これにより、制御部９ａは、領域Ｈｊ各々を、例えば、便及び泡等の被写体が撮像された領域群としての非生体粘膜クラスと、胃粘膜及び絨毛等の被写体が撮像された領域群としての生体粘膜クラスとに分類するとともに、該分類結果を保持しつつ以降の処理を行う。
ここで、図１１のステップＳ２に示す処理の具体例を以下に詳述する。
制御部９ａは、分割した領域Ｈｊ各々において、撮像対象の像の画像上における色の違いを反映する色調情報、及び撮像対象の像の画像上における構造の違いを反映するテクスチャ情報を、色調特徴量及びテクスチャ特徴量として各々算出する。
本実施形態において、制御部９ａが算出する色調特徴量は、領域Ｈｊに含まれる各画素のＲＧＢ値の比に基づく値としての、ｇｉｖ／ｒｉｖの平均値（以降、μｇｊと記す）及びｂｉｖ／ｇｉｖの平均値（以降、μｂｊと記す）からなる、２つの特徴量として示される値である。なお、μｇｊ及びμｂｊの各値は、０から１の値をとるものとする。また、μｇｊ及びμｂｊの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、μｇｊ及びμｂｊの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、μｇｊ及びμｂｊの各値は、例えば、便のような比較的黄色調を示す領域においては、μｇｊ＞μｂｊとなるような値をとる。
本実施形態において、制御部９ａが算出するテクスチャ特徴量は、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部９ａが算出するテクスチャ特徴量は、領域Ｈｊに含まれる各画素のＲＧＢ値の標準偏差σｒｊ、σｇｊ及びσｂｊを、領域Ｈｊに含まれる各画素のＲＧＢ値の平均値ｍｒｊ、ｍｇｊ及びｍｂｊで除したものである、３つの特徴量として示されるＲＧＢ値の変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊである。なお、変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊを算出するための計算式は、下記数式（１）、数式（２）及び数式（３）として示される。

ＣＶｒｊ＝σｒｊ／ｍｒｊ ・・・（１）
ＣＶｇｊ＝σｇｊ／ｍｇｊ ・・・（２）
ＣＶｂｊ＝σｂｊ／ｍｂｊ ・・・（３）

上記数式（１）、数式（２）及び数式（３）により算出される変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域においては、略同様に大きな値をとる。
そして、特徴量算出手段としての制御部９ａは、色調特徴量及びテクスチャ特徴量からなる５つの特徴量、すなわち、μｇｊ、μｂｊ、ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値を、ハレーション画素及び暗部画素を除いた各画素のＲＧＢ値に基づき、Ｎ２／Ｍ２個の領域Ｈｊ各々において算出する。なお、本実施形態においては、領域Ｈｊが有するＭ×Ｍ個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が５０％を超えた場合、領域Ｈｊを以降の処理から除外するような制御が行われるものであっても良い。
その後、制御部９ａは、以降に説明する処理を行うため、領域Ｈｊの領域番号ｊをｊ＝１とする。そして、制御部９ａは、ベイズの定理に基づく統計的識別器を用い、胃粘膜、絨毛、便及び泡からなる４つのクラスのうち、領域Ｈｊがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。
具体的には、４つのクラスの識別及び分類において、一のクラスωａ（ａ＝１、２、…、Ｃ、Ｃはクラス数を示す）が発生する事前確率をＰ（ωａ）とし、領域Ｈｊにおける５つの特徴量から決定された特徴ベクトルをｘとし、全クラスからの特徴ベクトルｘの発生確率に基づく確率密度関数をｐ（ｘ）とし、一のクラスωａからの特徴ベクトルｘの発生確率に基づく状態依存確率密度（多変量正規確率密度）関数をｐ（ｘ｜ωａ）とすると、発生した特徴ベクトルｘが一のクラスωａに属する事後確率Ｐ（ωａ｜ｘ）を算出するための計算式は、下記数式（４）として示される。
なお、状態依存確率密度関数ｐ（ｘ｜ωａ）及び確率密度関数ｐ（ｘ）は、下記数式（５）及び数式（６）として示される。
なお、上記数式（５）及び数式（６）において、ｄはｘの特徴量の個数と同数である次元数を示し、μａ及びΣａはクラスωａにおける特徴ベクトルｘの平均ベクトル及び一のクラスωａにおける分散共分散行列を示すものとする。また、（ｘ−μａ）ｔは（ｘ−μａ）の転置行列を示し、｜Σａ｜はΣａの行列式を示し、Σａ−１はΣａの逆行列を示すものとする。さらに、説明の簡単のため、事前確率Ｐ（ωａ）は、全クラスにおいて等しい値をとると仮定し、また、確率密度関数ｐ（ｘ）は、上記数式（６）により全クラス共通の関数として表されるものとする。
分類基準としての平均ベクトルμａ及び分散共分散行列Σａは、一のクラスωａにおける母数を構成する要素であり、１番目の画像Ｉ１が端末装置７に入力される以前の段階において、胃粘膜、絨毛、便及び泡からなる４つのクラスの教師データを構成する複数の画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトルｘから、クラス毎に予め算出された後、初期値として端末装置７に各々記憶される。
なお、平均ベクトルμａは、特徴ベクトルｘが有する５つの特徴量各々の平均値からなり、かつ、特徴ベクトルｘと同一の次元数を有するベクトルである。すなわち、特徴ベクトルｘがｘ＝（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５）として表される場合、平均ベクトルμａは、特徴ベクトルｘが有する５つの特徴量各々の平均値である、μｘ１、μｘ２、μｘ３、μｘ４及びμｘ５を用いて、μａ＝（μｘ１，μｘ２，μｘ３，μｘ４，μｘ５）として表されるものとする。また、分散共分散行列Σａは、一のクラスωａに属する特徴ベクトルｘの分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトルｘの特徴量の個数と同数である次元数ｄに対し、ｄ×ｄ行列として表されるものとする。
制御部９ａは、発生した特徴ベクトルｘがクラスω１に属する事後確率Ｐ（ω１｜ｘ）と、発生した特徴ベクトルｘがクラスω２に属する事後確率Ｐ（ω２｜ｘ）と、発生した特徴ベクトルｘがクラスω３に属する事後確率Ｐ（ω３｜ｘ）と、発生した特徴ベクトルｘがクラスω４に属する事後確率Ｐ（ω４｜ｘ）とを、ベイズの定理に基づいた上記数式（４）から数式（６）を用いて各々算出する。そして、制御部９ａは、これら４つの事後確率のうち、最大の事後確率Ｐ１（ωａ｜ｘ）を与えるクラスωａに特徴ベクトルｘが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルｘが発生した領域である領域Ｈｊをクラスωａに分類すると共に、最大の事後確率Ｐ１（ωａ｜ｘ）を与える確率密度関数ｐ１（ｘ｜ωａ）の値を算出する。
そして、制御部９ａは、以上までの処理において、クラスωａに分類された領域Ｈｊの分類結果が正確なものであるか否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率Ｐ１（ωａ｜ｘ）を与える確率密度関数ｐ１（ｘ｜ωａ）の値に対する閾値に基づく処理をさらに行う。
具体的には、まず、制御部９ａは、平均ベクトルμａが有する５つの特徴量各々の平均値のうち、例えば、特徴量ｘ１の平均値μｘ１に対し、特徴量ｘ１の標準偏差σｘ１と、所定の定数としての乗算係数αとの積を加えた値を含む、閾値ベクトルｘｂ１を決定する。なお、このような閾値ベクトルｘｂ１は、例えば、下記数式（７）として示されるものであり、また、本実施形態においては、乗算係数αの値は１．５であるとする。

ｘｂ１＝（μｘ１＋α×σｘ１，μｘ２，μｘ３，μｘ４，μｘ５） ・・・（７）

上記数式（７）により閾値ベクトルｘｂ１が決定されると、制御部９ａは、閾値ベクトルｘｂ１を上記数式（４）、数式（５）及び数式（６）のｘとして代入し、領域Ｈｊが分類されたクラスωａの閾値としての、確率密度関数ｐ（ｘｂ１｜ωａ）の値を算出する。
そして、制御部９ａは、ｐ１（ｘ｜ωａ）の値がｐ（ｘｂ１｜ωａ）の値より大きいことを検出すると、領域Ｈｊをクラスωａに分類した分類結果が正確であると判断する。
また、制御部９ａは、ｐ１（ｘ｜ωａ）の値がｐ（ｘｂ１｜ωａ）の値以下であることを検出すると、領域Ｈｊをクラスωａに分類した分類結果が不正確であると判断し、領域Ｈｊを不明クラスに分類する。
そして、制御部９ａは、分割したＮ２／Ｍ２個の領域全てについて、前述した一連の処理を行うことにより、領域Ｈｊ各々を、例えば、便及び泡等の被写体が撮像された領域群としての非生体粘膜クラスと、胃粘膜及び絨毛等の被写体が撮像された領域群としての生体粘膜クラスとに分類する。
また、制御部９ａは、前述した処理において、各領域Ｈｊのうち、不明クラスと分類した各領域を、以降に記す処理の対象から除外するものであるとする。さらに、前述した一連の処理が行われることにより、Ｎ２／Ｍ２個の領域のうち、Ｌ個（Ｌ≦Ｎ２／Ｍ２）の領域Ｈｓｋ（１≦ｋ≦Ｌ）が生体粘膜クラスに分類されたとするとともに、領域Ｈｓｋ各々が有する色調特徴量をμｇｓｋ及びμｂｓｋとして以降の説明を行う。
その後、制御部９ａは、生体粘膜クラスに分類されたＬ個の領域Ｈｓｋ各々が有する色調特徴量であるμｇｓｋを検出する（図１１のステップＳ３）。さらに、色調基準値算出手段としての制御部９ａは、領域Ｈｓｋ各々が有するμｇｓｋの値の平均値を、色調基準値ＭＧ＿Ｒとして算出する（図１１のステップＳ４）。
具体的には、μｇｓｋを横軸とし、μｂｓｋを縦軸とした場合、図１１のステップＳ３及びステップＳ４の処理により得られた各データは、例えば、模式的には図１２に示されるようなものとなる。
次に、病変検出基準算出手段としての制御部９ａは、ＭＧ＿Ｒの値と、例えば、図１３のグラフとして示される所定のテーブルデータ（あるいは所定の関数）とに基づき、μｇｓｋに関する閾値であり、画像Ｉｉにおける病変検出基準としての閾値ｔｈｒｅ１＿ｉを（例えば、ＭＧ＿Ｒ＝０．５５の場合にはｔｈｒｅ１＿ｉ＝０．３というように）算出する（図１１のステップＳ５）。なお、閾値ｔｈｒｅ１＿ｉは、前述したテーブルデータを用いて算出されるものに限らず、例えば、ＭＧ＿Ｒの値に関する所定の数式に基づいて算出されるものであっても良い。
その後、制御部９ａは、領域Ｈｓ１、Ｈｓ２、・・・、Ｈｓ（Ｌ−１）、ＨｓＬの各領域に対し、以降に記す処理を行うことにより、画像Ｉｉにおいて出血部位が撮像されている領域を検出する。
まず、制御部９ａは、ｋ＝１と設定した（図１１のステップＳ６）後、領域Ｈｓｋにおいて算出されたμｇｓｋの値が、下記数式（８）に示す関係を満たすか否かを検出する。

μｇｓｋ＜ＭＧ＿Ｒ−ｔｈｒｅ１＿ｉ ・・・ （８）

そして、制御部９ａは、μｇｓｋの値が上記数式（８）に示す関係を満たすことを検出すると（図１１のステップＳ７）、領域Ｈｓｋに、赤色を呈する病変部位としての出血部位（または発赤部位の少なくともいずれか一方）が撮像されていると判断する（図１１のステップＳ８）。また、制御部９ａは、μｇｓｋの値が上記数式（８）に示す関係を満たさないことを検出した場合（図１１のステップＳ７）、領域Ｈｓｋには、赤色を呈する病変部位としての出血部位（及び発赤部位の両部位）が撮像されていないと判断する（図１１のステップＳ９）。
なお、本実施形態において、制御部９ａは、図１１のステップＳ７、ステップＳ８及びステップＳ９の処理を行う際に、μｇｓｋの値に基づく判断のみを行うものとし、μｂｓｋの値に基づく判断を行わないものとする。
また、本実施形態において、制御部９ａは、図１１のステップＳ７、ステップＳ８及びステップＳ９の処理を行う際に、上記数式（８）に基づく判断を行うものに限らず、例えば、μｇｓｋの値とＭＧ＿Ｒの値との比を算出するとともに、該算出結果に応じて領域Ｈｓｋに出血部位が撮像されているか否かの判断を行うものであっても良い。
図１１のステップＳ８の処理において領域Ｈｓｋが有するμｇｓｋの値の範囲、すなわち、制御部９ａにより出血部位が撮像されている領域として判断される値の範囲を図示した場合、該範囲は図１４に示す範囲となる。換言すると、生体粘膜が撮像されているとして分類された各領域は、撮像条件または個人差等により、比較的広いμｇｓｋの値の分布を示すのに対し、該各領域のうち、出血部位が撮像されている領域は、略同一の色調を有する像として撮像されるため、比較的狭いμｇｓｋの値の分布を示す。そして、制御部９ａは、前述したようなμｇｓｋの値の分布に基づき、生体粘膜が撮像されているとして分類された各領域において、出血部位が撮像されている領域を検出することができる。
その後、制御部９ａは、画像ＩｉにおけるＬ個の領域全てに対し、図１１のステップＳ７からステップＳ９までに示す処理を行ったか否かを判断する。そして、制御部９ａは、Ｌ個の領域全てに対する処理が行われていないことを検出した場合（図１１のステップＳ１０）、ｋ＝ｋ＋１と設定した（図１１のステップＳ１１）後、図１１のステップＳ７からステップＳ１０までの処理を領域Ｈｓ（ｋ＋１）に対して再度行う。また、制御部９ａは、Ｌ個の領域全てに対する処理が行われたことを検出した場合（図１１のステップＳ１０）、以上に述べた、画像Ｉｉにおいて出血部位（または発赤部位の少なくともいずれか一方）が撮像された領域を検出するための一連の処理を終了する。
なお、画像Ｉｉにおける各領域Ｈｓｋのうち、出血部位が撮像されている領域を検出するための方法は、図１１のステップＳ７、ステップＳ８及びステップＳ９に示す各処理方法に限らず、例えば、ＭＧ＿Ｒの値及び領域Ｈｓｋ各々が有するμｇｓｋの値の標準偏差に基づいて構成された、マハラノビス距離を用いた識別器による方法であっても良い。そして、制御部９ａは、マハラノビス距離を用いた識別器による方法に基づいて出血部位が撮像されている領域を検出する場合、例えば、前述した閾値ｔｈｒｅ１＿ｉに相当する距離の閾値を、ＭＧ＿Ｒの値の大小に応じて適宜算出することにより、前記各処理を用いて出血部位が撮像されている領域を検出する場合と略同様の作用を得ることができる。
また、制御部９ａは、前述した、閾値ｔｈｒｅ１＿ｉの算出、及び、出血部位が撮像されているか否かの判断の各処理を行う際に、色調特徴量として、μｇｊ（μｇｓｋ）を用いるものに限らず、例えば、ｇｉｖ／（ｒｉｖ＋ｇｉｖ＋ｂｉｖ）の平均値、または、ＩＨｂ（ヘモグロビンインデックス）等のうちいずれか一を用いるものであっても良い。
さらに、前述した一連の処理において色調基準値として用いられる値は、μｇｓｋの値各々の平均値であるＭＧ＿Ｒの値に限るものではなく、例えば、画像Ｉｉ全体から算出したｇｉｖ／ｒｉｖの平均値、画像Ｉｉにおける暗部及びハレーション等の画素以外の画素から算出したｇｉｖ／ｒｉｖの値の平均値、または、μｇｊ各々の平均値のいずれであっても良い。また、前述した一連の処理において色調基準値として用いられる値は、μｇｓｋの値各々の平均値と、μｇｓｋの値各々の標準偏差との差分値であっても良い。
端末装置７は、赤色を呈する病変部位としての出血部位（及び発赤部位）を検出するための処理に用いる閾値を生体粘膜表面の色調に応じて変化させるような、以上に述べた一連の処理を行うことにより、該出血部位（及び該発赤部位）を精度良く検出することができる。具体的には、端末装置７は、図１１のフローチャートに示す一連の処理を行うことにより、例えば、赤みを帯びた正常な生体粘膜の表面に出血部位（または発赤部位のうち、少なくとも一の部位）が混在するような像の映像信号が入力された場合であっても、該出血部位（及び該発赤部位）を精度良く検出することができる。その結果、ユーザは、端末装置７を用いた場合、カプセル型内視鏡３による観察を従来に比べて効率的に行うことができる。
なお、本実施形態の画像処理動作として前述した各処理は、カプセル型内視鏡による観察の際に得られた画像に対して適用されるものに限らず、例えば、挿入部及び撮像系を具備する内視鏡等による観察の際に得られた画像に対し適用されるものであっても良い。
（第２の実施形態）
以下、図面を参照して本発明の第２の実施の形態を説明する。図１５から図２８は、本発明の第２の実施形態に係るものである。図１５は、図１の医療用画像処理装置が第２の実施形態において行う処理の手順の一例を示すフローチャートである。図１６は、図１５のフローチャートの処理を行った場合に得られる各データの模式図である。図１７は、図１６に示す各データにおいて、出血部位が撮像されているとして判断される値の範囲を示す図である。図１８は、図１５のフローチャートの処理において用いられる値である、ＭＧ＿Ｒとｔｈｒｅ１＿ｉとの間の関係の、図１３とは異なる例を示す図である。図１９は、図１の医療用画像処理装置が第２の実施形態において行う処理の手順の、図１５とは異なる例を示すフローチャートである。図２０は、図１９のフローチャートの処理において用いられる値である、ＭＫＧ＿Ｒとｔｈｒｅ３＿ｉとの間の関係の一例を示す図である。図２１は、図１の医療用画像処理装置が図１５のフローチャートに続いて行う処理の一例を示す図である。図２２は、図１５のフローチャートの処理が行われた場合の、出血部位の検出結果の一例を示す図である。図２３は、図２２の検出結果に対し、ラベリング処理が行われた場合の処理結果の一例を示す図である。図２４は、図２３のラベル１として示す領域が、図２１のフローチャートに基づく処理により拡張された場合の一例を示す図である。
また、図２５は、図２３のラベル２として示す領域が、図２１のフローチャートに基づく処理により拡張された場合の一例を示す図である。図２６は、図２３のラベル３として示す領域が、図２１のフローチャートに基づく処理により拡張された場合の一例を示す図である。図２７は、図２４から図２６までに示す各ラベルの拡張結果に応じて、再度ラベリング処理が行われた場合の処理結果の一例を示す図である。図２８は、図１５のフローチャートの処理に続いて図２１のフローチャートの処理が行われた場合に得られる、出血部位の検出結果の一例を示す図である。
なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いるカプセル型内視鏡装置１の構成は、第１の実施形態に用いるカプセル型内視鏡装置と同様である。また、本実施形態における画像処理動作は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
次に、本実施形態の画像処理動作について説明を行う。
まず、画像分割手段及び画像領域分類手段としての制御部９ａは、Ｎ×Ｎのサイズ（画素数）を有する画像Ｉｉを、所定のサイズを有する複数の矩形領域、すなわち、Ｍ×Ｍ（Ｍ＜Ｎ）のサイズを有する（Ｎ２／Ｍ２）個の（複数の）小領域Ｈｊ（１≦ｊ≦Ｎ２／Ｍ２）に分割した（図１５のステップＳ２１）後、領域Ｈｊ各々に対し、教師データに応じて得られた、例えば、ベイズの識別規則に基づく識別関数等の識別手段を用いた処理を行うことにより、該領域Ｈｊ各々における被写体の分類を行う（図１５のステップＳ２２）。
なお、説明の簡単のため、制御部９ａは、図１５のステップＳ２２に示す処理として、前述した、図１１のステップＳ２に示す処理と同様の処理を行うものであるとする。すなわち、特徴量算出手段としての制御部９ａは、図１５のステップＳ２２に示す処理において、色調特徴量としてのμｇｊ及びμｂｊの各値を算出するものであるとする。
また、制御部９ａに入力される画像のサイズ、及び該画像が分割される際の小領域のサイズは、以降に述べる処理が適用可能なサイズであれば、前述したものに限らず、例えば、画素単位（Ｍ＝１）であっても良い。
さらに、前述した一連の処理が行われることにより、Ｎ２／Ｍ２個の領域のうち、Ｌ個（Ｌ≦Ｎ２／Ｍ２）の領域Ｈｓｋ（１≦ｋ≦Ｌ）が生体粘膜クラスに分類されたとするとともに、領域Ｈｓｋ各々が有する色調特徴量をμｇｓｋ及びμｂｓｋとして以降の説明を行う。
その後、制御部９ａは、生体粘膜クラスに分類されたＬ個の領域Ｈｓｋ各々が有する色調特徴量であるμｇｓｋ及びμｂｓｋを検出する（図１５のステップＳ２３）。さらに、色調基準値算出手段としての制御部９ａは、領域Ｈｓｋ各々が有するμｇｓｋの値の平均値を、色調基準値ＭＧ＿Ｒとして算出するとともに、領域Ｈｓｋ各々が有するμｂｓｋの値の平均値を、色調基準値ＭＢ＿Ｇとして算出する（図１５のステップＳ２４）。
具体的には、μｇｓｋを横軸とし、μｂｓｋを縦軸とした場合、図１５のステップＳ２３及びステップＳ２４の処理により得られた各データは、例えば、模式的には図１６に示されるようなものとなる。
次に、病変検出基準算出手段としての制御部９ａは、ＭＧ＿Ｒの値と、例えば、第１の実施形態の説明において述べた、図１３のグラフとして示される所定のテーブルデータとに基づき、μｇｓｋに関する閾値であり、画像Ｉｉにおける病変検出基準としての閾値ｔｈｒｅ１＿ｉを算出するとともに、μｂｓｋの閾値ｔｈｒｅ２を設定する（図１５のステップＳ２５）。なお、閾値ｔｈｒｅ２は、ＭＢ＿Ｇの値に依存しない所定の値であるとする。また、閾値ｔｈｒｅ１＿ｉは、前述したテーブルデータを用いて算出されるものに限らず、例えば、ＭＧ＿Ｒの値に関する所定の数式に基づいて算出されるものであっても良い。
その後、制御部９ａは、領域Ｈｓ１、Ｈｓ２、・・・、Ｈｓ（Ｌ−１）、ＨｓＬの各領域に対し、以降に記す処理を行うことにより、画像Ｉｉにおいて出血部位が撮像されている領域を検出する。
まず、制御部９ａは、ｋ＝１と設定した（図１５のステップＳ２６）後、領域Ｈｓｋにおいて算出されたμｇｓｋ及びμｂｓｋの値が、下記数式（９）及び数式（１０）に示す関係を満たすか否かを検出する。

μｇｓｋ＜ＭＧ＿Ｒ−ｔｈｒｅ１＿ｉ ・・・ （９）
μｂｓｋ＞ＭＢ＿Ｇ＋ｔｈｒｅ２ ・・・ （１０）

そして、画像領域検出手段としての制御部９ａは、μｇｓｋの値が上記数式（９）に示す関係を満たし、かつ、μｂｓｋの値が上記数式（１０）に示す関係を満たすことを検出すると（図１５のステップＳ２７）、領域Ｈｓｋに出血部位（または発赤部位の少なくともいずれか一方）が撮像されていると判断する（図１５のステップＳ２８）。また、制御部９ａは、μｇｓｋの値が上記数式（９）に示す関係を満たさないこと、または、μｂｓｋの値が上記数式（１０）に示す関係を満たさないことのうち、少なくともいずれか一を検出した場合（図１５のステップＳ２７）、領域Ｈｓｋには出血部位（及び発赤部位の両部位）が撮像されていないと判断する（図１５のステップＳ２９）。
なお、図１５のステップＳ２８の処理において領域Ｈｓｋが有するμｇｓｋの値及びμｂｓｋの値の範囲、すなわち、制御部９ａにより出血部位が撮像されている領域として判断される値の範囲を図示した場合、該範囲は図１７に示す範囲となる。
その後、制御部９ａは、画像ＩｉにおけるＬ個の領域全てに対し、図１５のステップＳ２７からステップＳ２９までに示す処理を行ったか否かを判断する。そして、制御部９ａは、Ｌ個の領域全てに対する処理が行われていないことを検出した場合（図１５のステップＳ３０）、ｋ＝ｋ＋１と設定した（図１５のステップＳ３１）後、図１５のステップＳ２７からステップＳ３０までの処理を領域Ｈｓ（ｋ＋１）に対して再度行う。また、制御部９ａは、Ｌ個の領域全てに対する処理が行われたことを検出した場合（図１５のステップＳ３０）、以上に述べた、画像Ｉｉにおいて出血部位（または発赤部位の少なくともいずれか一方）が撮像された領域を検出するための一連の処理を終了する。
端末装置７は、出血部位（及び発赤部位）を検出するための処理に用いる閾値を生体粘膜表面の色調に応じて変化させるような、以上に述べた一連の処理を行うことにより、該出血部位（及び該発赤部位）を精度良く検出することができる。具体的には、端末装置７は、図１５のフローチャートに示す一連の処理を行うことにより、例えば、赤みを帯びた正常な生体粘膜の表面に出血部位（または発赤部位のうち、少なくとも一の部位）が混在するような像の映像信号が入力された場合であっても、該出血部位（及び該発赤部位）を精度良く検出することができる。その結果、ユーザは、端末装置７を用いた場合、カプセル型内視鏡３による観察を従来に比べて効率的に行うことができる。
なお、図１５のステップＳ２１に示す処理においてＭ＝１とした場合、図１５に示す一連の処理は、出血部位が撮像されたか否かを画素単位に判断する処理として示される。この場合、端末装置７は、画像Ｉｉにおける出血部位を、前述した領域Ｈｓｋ毎に判断する処理に比べてさらに精度良く検出することができる。
また、図１５のステップＳ２５に示す処理において、制御部９ａがｔｈｒｅ１＿ｉの値を算出する際に用いるテーブルデータは、図１３に示すグラフのように、色調基準値ＭＧ＿Ｒの値に応じて略線形的に変動してゆくものに限らず、非線形的に変動してゆくものであっても良い。具体的には、例えば、制御部９ａがｔｈｒｅ１＿ｉを算出する際に用いるテーブルデータは、図１８に示すグラフのように、ＭＧ＿Ｒの値が所定の閾値（例えば０．４５）よりも小さい場合のｔｈｒｅ１＿ｉの値が０．１となり、また、ＭＧ＿Ｒの値が該所定の閾値以上の場合のｔｈｒｅ１＿ｉの値が０．３となるようなものであっても良い。
さらに、図１５のステップＳ２５に示す処理において設定されるｔｈｒｅ２の値は、ＭＢ＿Ｇの値に依存しない所定の値に限るものではなく、例えば、ｔｈｒｅ１＿ｉが算出される際に用いられるテーブルデータとは異なるテーブルデータにより、ＭＢ＿Ｇの値に応じた値として算出及び設定されるものであっても良い。
また、制御部９ａは、図１５のステップＳ２７からステップＳ２９までに示す処理において、上記数式（９）及び数式（１０）に基づく判断を行うものに限らず、例えば、下記数式（１１）及び数式（１２）に基づく判断を行うものであっても良い。

ｌｏｇ（μｇｓｋ）＜ｌｏｇ（ＭＧ＿Ｒ）−ｌｏｇ（ｔｈｒｅ１＿ｉ） ・・・ （１１）
ｌｏｇ（μｂｓｋ）＞ｌｏｇ（ＭＢ＿Ｇ）＋ｌｏｇ（ｔｈｒｅ２） ・・・ （１２）

さらに、本実施形態において、制御部９ａは、ＭＧ＿Ｒの値及びＭＢ＿Ｇの値に基づく判断を行うものに限るものではない。具体的には、制御部９ａは、例えば、μｇｓｋに関する閾値ｔｈｒｅ１１及びμｂｓｋに関する閾値ｔｈｒｅ２２を用い、μｇｓｋ＜ｔｈｒｅ１１及びμｂｓｋ＞ｔｈｒｅ２２の各式の関係を満たした場合に、ＭＧ＿Ｒ及びＭＢ＿Ｇの各値に関係なく、領域Ｈｓｋに出血部位が撮像されていると判断するものであっても良い。
また、制御部９ａは、例えば、図１５のステップＳ２２に示す処理において、生体粘膜クラスに分類された各領域に対し、該各領域の色調に基づく分類をさらに行うことにより、胆汁等により黄みを帯びた粘膜表面の像が撮像されている領域、すなわち、黄色調が顕著に示される領域としての黄色粘膜領域と、黄色調が抑制された領域としての通常色粘膜領域とを分類するための処理を行うものであっても良い。そして、その場合、制御部９ａは、図１５のフローチャートに示す処理に代わり、以降に記すような、図１９のフローチャートに示す処理を行う。
まず、画像分割手段及び画像領域分類手段としての制御部９ａは、画像Ｉｉを複数の小領域に分割した（図１９のステップＳ４１）後、領域Ｈｊ各々に対し、教師データに応じて得られた、例えば、ベイズの識別規則に基づく識別関数等の識別手段を用いた処理を行うことにより、該領域Ｈｊ各々における被写体の分類を行う（図１９のステップＳ４２）。
なお、説明の簡単のため、制御部９ａは、図１９のステップＳ４２に示す処理として、前述した、図１１のステップＳ２に示す処理と同様の処理を行うものであるとする。すなわち、特徴量算出手段としての制御部９ａは、図１９のステップＳ４２に示す処理において、色調特徴量としてのμｇｊ及びμｂｊの各値を算出するものであるとする。
そして、制御部９ａは、前述した処理を行うことにより、領域Ｈｊ各々を、例えば、便及び泡等の被写体が撮像された領域群としての非生体粘膜クラスと、絨毛等の被写体が撮像された領域群としての生体粘膜クラスとに分類する。さらに、画像領域分類手段としての制御部９ａは、生体粘膜クラスに分類された各領域に対し、該各領域の色度に基づく分類をさらに行うことにより、胆汁等により黄みを帯びた粘膜表面の像が撮像されている領域、すなわち、黄色調が顕著に示される領域としての黄色粘膜領域と、黄色調が抑制された領域としての通常色粘膜領域とを分類する。そして、制御部９ａは、前述した各分類結果を保持しつつ以降の処理を行う。
その後、制御部９ａは、生体粘膜クラスに分類されたＬ個の領域Ｈｓｋ各々が有する色調特徴量であるμｇｓｋ及びμｂｓｋを検出する（図１９のステップＳ４３）。
さらに、色調基準値算出手段としての制御部９ａは、領域Ｈｓｋ各々が有するμｇｓｋの値の平均値を、色調基準値ＭＧ＿Ｒとして算出するとともに、領域Ｈｓｋ各々が有するμｂｓｋの値の平均値を、色調基準値ＭＢ＿Ｇとして算出する（図１９のステップＳ４４）。また、色調基準値算出手段としての制御部９ａは、画像Ｉｉが有する領域Ｈｓｋ各々のうち、黄色粘膜領域と分類された領域が有するμｇｓｋの値の平均値を、色調基準値ＭＫＧ＿Ｒとして算出するとともに、黄色粘膜領域と分類された領域が有するμｂｓｋの値の平均値をＭＫＢ＿Ｇとして算出する（図１９のステップＳ４５）。
次に、病変検出基準算出手段としての制御部９ａは、ＭＧ＿Ｒの値と、例えば、第１の実施形態の説明において述べた、図１３のグラフとして示されるテーブルデータとに基づき、μｇｓｋに関する閾値であり、画像Ｉｉにおける病変検出基準としての閾値ｔｈｒｅ１＿ｉを算出するとともに、μｂｓｋの閾値ｔｈｒｅ２を設定する（図１９のステップＳ４６）。また、病変検出基準算出手段としての制御部９ａは、ＭＫＧ＿Ｒの値と、例えば、図２０のグラフとして示されるテーブルデータとに基づき、μｇｓｋに関する閾値であり、画像Ｉｉにおける病変検出基準としての閾値ｔｈｒｅ３＿ｉを（例えば、ＭＫＧ＿Ｒ＝０．４の場合にはｔｈｒｅ３＿ｉ＝０．３というように）算出するとともに、μｂｓｋの閾値ｔｈｒｅ４を設定する（図１９のステップＳ４７）。なお、ｔｈｒｅ２の値は、ＭＢ＿Ｇの値に依存しない所定の値であるとし、また、ｔｈｒｅ４の値は、ＭＫＢ＿Ｇの値に依存しない所定の値であるとする。
その後、制御部９ａは、領域Ｈｓ１、Ｈｓ２、・・・、Ｈｓ（Ｌ−１）、ＨｓＬの各領域に対し、以降に記す処理を行うことにより、画像Ｉｉにおいて出血部位が撮像されている領域を検出する。
まず、制御部９ａは、ｋ＝１と設定した（図１９のステップＳ４８）後、領域Ｈｓｋが黄色粘膜領域に分類された領域、または、通常色粘膜領域に分類された領域のいずれであるかを検出する。
そして、制御部９ａは、領域Ｈｓｋが通常色粘膜領域に分類された領域であることを検出すると（図１９のステップＳ４９）、さらに、該領域Ｈｓｋが有するμｇｓｋの値及びμｂｓｋの値が、上記数式（９）及び数式（１０）に示す関係の両方を満たすか否かを検出する。
画像領域検出手段としての制御部９ａは、通常色粘膜領域に分類された領域Ｈｓｋが有するμｇｓｋの値が上記数式（９）に示す関係を満たし、かつ、通常色粘膜領域に分類された領域Ｈｓｋが有するμｂｓｋの値が上記数式（１０）に示す関係を満たすことを検出すると（図１９のステップＳ５０）、領域Ｈｓｋに出血部位（または発赤部位の少なくともいずれか一方）が撮像されていると判断する（図１９のステップＳ５２）。また、制御部９ａは、μｇｓｋの値が上記数式（９）に示す関係を満たさないこと、または、μｂｓｋの値が数式（１０）に示す関係を満たさないことのうち、少なくともいずれか一を検出した場合（図１９のステップＳ５０）、領域Ｈｓｋには出血部位（及び発赤部位の両部位）が撮像されていないと判断する（図１９のステップＳ５３）。
一方、制御部９ａは、領域Ｈｓｋが黄色粘膜領域に分類された領域であることを検出すると（図１９のステップＳ４９）、さらに、該領域Ｈｓｋが有するμｇｓｋの値及びμｂｓｋの値が、下記数式（１３）及び数式（１４）に示す関係の両方を満たすか否かを検出する。

μｇｓｋ＜ＭＫＧ＿Ｒ−ｔｈｒｅ３＿ｉ ・・・ （１３）
μｂｓｋ＞ＭＫＢ＿Ｇ＋ｔｈｒｅ４ ・・・ （１４）

そして、画像領域検出手段としての制御部９ａは、黄色粘膜領域に分類された領域Ｈｓｋが有するμｇｓｋの値が上記数式（１３）に示す関係を満たし、かつ、黄色粘膜領域に分類された領域Ｈｓｋが有するμｂｓｋの値が数式（１４）に示す関係を満たすことを検出すると（図１９のステップＳ５１）、領域Ｈｓｋに出血部位（または発赤部位の少なくともいずれか一方）が撮像されていると判断する（図１９のステップＳ５２）。また、制御部９ａは、μｇｓｋの値が上記数式（１３）に示す関係を満たさないこと、または、μｂｓｋの値が数式（１４）に示す関係を満たさないことのうち、少なくともいずれか一を検出した場合（図１９のステップＳ５１）、領域Ｈｓｋには出血部位（及び発赤部位の両部位）が撮像されていないと判断する（図１９のステップＳ５３）。
その後、制御部９ａは、画像ＩｉにおけるＬ個の領域全てに対し、図１９のステップＳ４９からステップＳ５３までに示す処理を行ったか否かを判断する。そして、制御部９ａは、Ｌ個の領域全てに対する処理が行われていないことを検出した場合（図１９のステップＳ５４）、ｋ＝ｋ＋１と設定した（図１９のステップＳ５５）後、図１９のステップＳ４９からステップＳ５４までの処理を領域Ｈｓ（ｋ＋１）に対して再度行う。また、制御部９ａは、Ｌ個の領域全てに対する処理が行われたことを検出した場合（図１９のステップＳ５４）、以上に述べた、画像Ｉｉにおいて出血部位（または発赤部位の少なくともいずれか一方）が撮像された領域を検出するための一連の処理を終了する。
端末装置７は、図１９のフローチャートに示す一連の処理を行うことにより、図１５のフローチャートに示す処理を行った場合の効果に加え、例えば、胆汁等に覆われて黄みを帯びた正常な生体粘膜の表面に出血部位（または発赤部位のうち、少なくとも一の部位）が混在するような像の映像信号が入力された場合であっても、該出血部位（及び該発赤部位）を精度良く検出可能であるいう効果を得ることができる。
なお、図１９に示す一連の処理は、図１５に示す一連の処理と同様に、出血部位が撮像されたか否かを画素毎に判断する処理として行われるものであっても良い。この場合、端末装置７は、画像Ｉｉにおける出血部位を、前述した領域Ｈｓｋ毎に判断する処理に比べてさらに精度良く検出することができる。
また、図１９のステップＳ４７に示す処理において、制御部９ａがｔｈｒｅ３＿ｉを算出する際に用いるテーブルデータは、図２０に示すグラフのような、ＭＫＧ＿Ｒの値に応じて略線形的に変動してゆくものに限らず、非線形的に変動してゆくものであっても良い。
さらに、本実施形態の図１９のステップＳ４７に示す処理において設定されるｔｈｒｅ４の値は、ＭＫＢ＿Ｇの値に依存しない所定の値に限るものではなく、例えば、ｔｈｒｅ１＿ｉ及びｔｈｒｅ３＿ｉが算出される際に用いられるテーブルデータとは異なるテーブルデータにより、ＭＫＢ＿Ｇの値に応じた値として算出及び設定されるものであっても良い。
また、制御部９ａは、図１９のステップＳ５０、ステップＳ５２及びステップＳ５３に示す処理において、上記数式（９）及び数式（１０）に基づく判断を行うものに限らず、上記数式（１１）及び数式（１２）に基づく判断を行うものであっても良い。さらに、制御部９ａは、図１９のステップＳ５１、ステップＳ５２及びステップＳ５３に示す処理において、上記数式（１３）及び数式（１４）に基づく判断を行うものに限らず、上記数式（１５）及び数式（１６）に基づく判断を行うものであっても良い。

ｌｏｇ（μｇｓｋ）＜ｌｏｇ（ＭＫＧ＿Ｒ）−ｌｏｇ（ｔｈｒｅ３＿ｉ）・・・ （１５）
ｌｏｇ（μｂｓｋ）＞ｌｏｇ（ＭＫＢ＿Ｇ）＋ｌｏｇ（ｔｈｒｅ４） ・・・ （１６）

さらに、カプセル型内視鏡装置１の制御部９ａは、図１５に示す処理に加え、以降に記すような、図２１のフローチャートに示す処理を行うものであっても良い。
なお、以降においては、図２１のフローチャートに示す処理が行われる事前に、図１５のフローチャートに示す処理が行われることにより、図２２に示すような画像Ｉｉにおける出血部位の検出結果、及び該出血部位を検出するために必要となる各データ（μｇｓｋ及びμｂｓｋ等）が得られているものとして説明を行う。また、以降においては、図１５のフローチャートに示す処理がＭ＝８に設定された状態として行われたものとして説明を行う。
制御部９ａは、画像Ｉｉにおける出血部位の検出結果に基づき、出血部位として検出された領域各々に対して番号等を付与することにより、近接した領域同士を同一の領域群に属する領域として扱うためのラベリング処理を行う（図２１のステップＳ６１）。具体的には、制御部９ａは、図２１のステップＳ６１に示すラベリング処理として、例えば、図２３に示すように、出血部位として検出された一の領域の隣接８領域に、出血部位として検出された他の領域が存在する場合、該一の領域及び他の領域を、同一の領域群であるラベルｐ（ｐ＝１、２・・・、Ｑ−１、Ｑ）に属する領域として扱うための処理を行う。なお、図２３は、Ｑ＝３であるとともに、ラベル１に２個の領域が属し、ラベル２に１個の領域が属し、ラベル３に１個の領域が属している例を示している図である。
その後、制御部９ａは、ｐ＝１と設定した（図２１のステップＳ６２）後、ラベルｐが有する領域数が閾値ｔｈｒｅ５より少ないか否かの判定を行う。なお、閾値ｔｈｒｅ５は、図１５のフローチャートに示す処理において用いられるＭの値に依存する、ラベルｐが有する領域数に関する閾値であり、例えば、本実施形態においてはｔｈｒｅ５＝５（領域）として設定される値である。
そして、制御部９ａは、ラベルｐが有する領域数が閾値ｔｈｒｅ５以上であることを検出した場合（図２１のステップＳ６３）、後述する図２１のステップＳ６７に示す処理を行う。また、制御部９ａは、ラベルｐが有する領域数が閾値ｔｈｒｅ５より少ないことを検出した場合（図２１のステップＳ６３）、ラベルｐに属する各領域が有するμｇｓｋの値のうち、最小となる値μｇｓｋ＿ｍｉｎを取得する（図２１のステップＳ６４）。
さらに、対象領域拡張手段としての制御部９ａは、ラベルｐに属する各領域の近傍に存在し、かつ、該各領域に類似する色調を有する領域を検出する処理を行う。具体的には、制御部９ａは、ラベルｐに属する各領域に接する領域のうち、μｇｓｋ＜（μｇｓｋ＿ｍｉｎ＋ｔｈｒｅ６）となる領域を拡張領域として検出するとともに、該拡張領域を該ラベルｐの領域群に付加する（図２１のステップＳ６５）。なお、閾値ｔｈｒｅ６は、μｇｓｋ及びμｇｓｋ＿ｍｉｎの各値に関する閾値であり、例えば、本実施形態においてはｔｈｒｅ６＝０．１として設定される値である。
そして、制御部９ａは、前述した拡張領域に該当する領域が検出されなくなるまでは、図２１のステップＳ６５に示す処理を繰り返し行う（図２１のステップＳ６６）。また、制御部９ａは、ラベルｐに属する拡張領域が検出されなくなった場合、さらに、Ｑ個のラベル全てに対し、図２１のステップＳ６３からステップＳ６５までに示す処理を行ったか否かを判断する。
そして、制御部９ａは、Ｑ個のラベル全てに対する処理が行われていないことを検出した場合（図２１のステップＳ６７）、ｐ＝ｐ＋１と設定した（図２１のステップＳ６８）後、図２１のステップＳ６３からステップＳ６７までの処理をラベル（ｐ＋１）に対して再度行う。また、制御部９ａは、Ｑ個のラベル全てに対する処理が行われたことを検出した場合（図２１のステップＳ６７）、さらに、後述する図２１のステップＳ６９に示す処理を行う。
具体的には、制御部９ａは、例えば、図２３に示すような状態の各ラベルに対し、図２１のステップＳ６２からステップＳ６８までに示す処理を行った場合、ラベル１を図２４に示すような領域群として拡張し、ラベル２を図２５に示すような領域群として拡張し、ラベル３を図２６に示すような領域群として拡張する。
さらに、対象領域拡張手段としての制御部９ａは、一のラベルに属する各領域の近傍に存在し、かつ、該各領域に類似する色調を有する領域が属する、他のラベルを検出する処理を行う。具体的には、制御部９ａは、一のラベルに属する拡張領域が他のラベルの拡張領域と接しているか否かまたは重なっているか否かを判定する処理を、画像Ｉｉに存在する各ラベルに対して行う。そして、制御部９ａは、画像Ｉｉに存在する各ラベルにおいて、一のラベルに属する拡張領域及び他のラベルに属する拡張領域が互いに接しておらず、かつ、重なってもいない状態を検出した場合（図２１のステップＳ６９）、該一のラベル及び該他のラベルの色調が類似しないと判断し、後述する図２１のステップＳ７１に示す処理を行う。また、制御部９ａは、画像Ｉｉに存在する全てのラベルのうち、少なくとも一のラベルに属する拡張領域が他のラベルの拡張領域と接している状態または重なっている状態のいずれか一の状態を検出した場合（図２１のステップＳ６９）、該一のラベル及び該他のラベルの色調が類似していると判断し、再度ラベリング処理を行う（図２１のステップＳ７０）。
制御部９ａは、図２１のステップＳ７０に示すラベリング処理に含まれる処理として、例えば、図２４、図２５及び図２７に示すように、拡張領域を含めて１２個の領域を有するラベル１と、拡張領域を含めて１１個の領域を有するラベル２との間で、６個の領域が重なっていることを検出すると、該ラベル１及び該ラベル２の色調が類似していると判断し、該６個の領域の重なりを取り除いた、１７個の領域を有する領域群を新しいラベル１として扱うための処理を行う。また、制御部９ａは、図２１のステップＳ７０に示すラベリング処理に含まれる処理として、例えば、図２６及び図２７に示すように、前記新しいラベル１が生成された後、元々ラベル３として扱っていた領域群を、今度は新しいラベル２として扱うための処理を行う。
換言すると、制御部９ａは、一のラベルに属する拡張領域が他のラベルの拡張領域と接している状態または重なっている状態のうち、いずれか一の状態を検出した場合、図２１のステップＳ７０に示すラベリング処理に含まれる処理として、該一のラベル及び該他のラベルを、同一のラベルであるラベルｑ（ｑ＝１、２、・・・、Ｔ−１、Ｔ）に属する領域として扱うための処理を行う。
そして、制御部９ａは、図２１のステップＳ６９の処理またはステップＳ７０の処理が行われた後に、画像Ｉｉ内に残っている全てのラベルのうち、図２１のステップＳ６４からステップＳ６６までの処理により付加された拡張領域を有するラベルと、該拡張領域を有さないラベルとがどのラベルであるかを各々特定するための処理を行う。
その後、制御部９ａは、前述した処理により特定した、拡張領域を有さない各ラベルを、通常の（面積の）出血部位が存在する領域として検出し、以上に述べた画像Ｉｉにおける一連の処理を終了する（図２１のステップＳ７１及びステップＳ７３）。また、対象領域判定手段としての制御部９ａは、前述した処理により特定した、拡張領域を有する各ラベルに対し、さらに、該各ラベルが有する領域数が閾値ｔｈｒｅ７以下であるか否かの判定を行う（図２１のステップＳ７１及びステップＳ７２）。なお、閾値ｔｈｒｅ７は、図１５のフローチャートに示す処理において用いられるＭの値に依存する、前記各ラベルが有する領域数に関する閾値であり、例えば、本実施形態においてはｔｈｒｅ７＝１５（領域）として設定される値である。
そして、制御部９ａは、領域数が閾値ｔｈｒｅ７以下の各ラベルを、（通常に比べて小さな面積の）出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群として検出し、以上に述べた画像Ｉｉにおける一連の処理を終了する（図２１のステップＳ７２及びステップＳ７４）。また、制御部９ａは、領域数が閾値ｔｈｒｅ７より大きい各ラベルを、出血部位とは異なる被写体としての、例えば、ひだまたは溝等が存在する領域群として検出するとともに、該各ラベルが有する領域群を、図１５のフローチャートに示す処理による出血部位の検出結果から除外した後、以上に述べた画像Ｉｉにおける一連の処理を終了する（図２１のステップＳ７２及びステップＳ７５）。
具体的には、制御部９ａは、図２７に示す新しいラベル１に対し、図２１に示すステップＳ７１からステップＳ７５までに示す処理を行うことにより、拡張領域が付加された該新しいラベル１が有する１７個の領域を、出血部位とは異なる被写体が存在する領域群として、図１５のフローチャートに示す処理による出血部位の検出結果から除外する。また、制御部９ａは、図２７に示す新しいラベル２に対し、図２１に示すステップＳ７１からステップＳ７５までに示す処理を行うことにより、拡張領域が付加された該新しいラベル２が有する５個の領域を、（通常に比べて小さな面積の）出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群として検出する。そして、制御部９ａは、最終的な検出結果として、図２８に示すような検出結果を得る。
なお、図２１のフローチャートに示す処理は、図１５のフローチャートに示す処理がＭ＝１に設定された状態として行われた場合であっても、閾値ｔｈｒｅ５及び閾値ｔｈｒｅ７の値を（Ｍの値に応じて）適宜変更することにより適用することが可能である。
また、制御部９ａは、図２１のステップＳ７２、ステップＳ７４及びステップＳ７５に示す処理において、一のラベルに属する各領域が有するμｇｓｋの値に基づく判断を行うものであっても良い。
具体的には、制御部９ａは、図２１のステップＳ７２、ステップＳ７４及びステップＳ７５に示す処理において、一のラベルに属する各領域のμｇｓｋの値の分布に極小値が存在するか否かに基づき、該極小値が存在する場合には、該各領域を（通常に比べて小さな面積の）出血部位または発赤部位の少なくともいずれか一方が撮像されている領域であるとして判定し、該極小値が存在しない場合には、該各領域を出血部位とは異なる被写体が存在する領域であるとして判定するものであっても良い。
また、制御部９ａは、図２１のステップＳ７２、ステップＳ７４及びステップＳ７５に示す処理において、一のラベルに属する各領域が有するμｇｓｋの値の平均値を算出し、該平均値が所定の値以下である場合には、該各領域を（通常に比べて小さな面積の）出血部位または発赤部位の少なくともいずれか一方が撮像されている領域であるとして判定し、該平均値が所定の値より大きい場合には、該各領域を出血部位とは異なる被写体が存在する領域であるとして判定するものであっても良い。
端末装置７は、図２１のフローチャートに示す一連の処理を行うことにより、図１５のフローチャートに示す処理を行った場合の効果に加え、例えば、通常に比べて小さな面積の出血部位（または発赤部位のうち、少なくとも一の部位）の像を有する映像信号が入力された場合であっても、該出血部位（及び該発赤部位）を精度良く検出可能であるいう効果を得ることができる。
なお、本実施形態の画像処理動作として前述した各処理は、カプセル型内視鏡による観察の際に得られた画像に対して適用されるものに限らず、例えば、挿入部及び撮像系を具備する内視鏡等による観察の際に得られた画像に対し適用されるものであっても良い。
また、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本発明の第１の実施形態である画像処理動作が行われる医療用画像処理装置および周辺機器の外観を示した外観正面図。 本実施形態の医療用画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図。 本実施形態の医療用画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図。 本実施形態の医療用画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図。 図２に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャート。 図２に示すカプセル型内視鏡の位置検出を説明する説明図。 図３に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図。 図３に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図。 図３に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図。 図２に示すカプセル型内視鏡の電気的な構成を示すブロック図。 図１の医療用画像処理装置が第１の実施形態において行う処理の手順の一例を示すフローチャート。 図１１のフローチャートの処理を行った場合に得られる各データの模式図。 図１１のフローチャートの処理において用いられる値である、ＭＧ＿Ｒとｔｈｒｅ１＿ｉとの間の関係の一例を示す図。 図１１のフローチャートの処理を行った場合に、出血部位が撮像されているとして判断される値の範囲を示す図。 図１の医療用画像処理装置が第２の実施形態において行う処理の手順の一例を示すフローチャート。 図１５のフローチャートの処理を行った場合に得られる各データの模式図。 図１６に示す各データにおいて、出血部位が撮像されているとして判断される値の範囲を示す図。 図１５のフローチャートの処理において用いられる値である、ＭＧ＿Ｒとｔｈｒｅ１＿ｉとの間の関係の、図１３とは異なる例を示す図。 図１の医療用画像処理装置が第２の実施形態において行う処理の手順の、図１５とは異なる例を示すフローチャート。 図１９のフローチャートの処理において用いられる値である、ＭＫＧ＿Ｒとｔｈｒｅ３＿ｉとの間の関係の一例を示す図。 図１の医療用画像処理装置が図１５のフローチャートに続いて行う処理の一例を示す図。 図１５のフローチャートの処理が行われた場合の、出血部位の検出結果の一例を示す図。 図２２の検出結果に対し、ラベリング処理が行われた場合の処理結果の一例を示す図。 図２３のラベル１として示す領域が、図２１のフローチャートに基づく処理により拡張された場合の一例を示す図。 図２３のラベル２として示す領域が、図２１のフローチャートに基づく処理により拡張された場合の一例を示す図。 図２３のラベル３として示す領域が、図２１のフローチャートに基づく処理により拡張された場合の一例を示す図。 図２４から図２６までに示す各ラベルの拡張結果に応じて、再度ラベリング処理が行われた場合の処理結果の一例を示す図。 図１５のフローチャートの処理に続いて図２１のフローチャートの処理が行われた場合に得られる、出血部位の検出結果の一例を示す図。
符号の説明
１・・・カプセル型内視鏡装置、２・・・患者、３・・・カプセル型内視鏡、３Ｄ・・・カプセル本体、４・・・アンテナユニット、５・・・外部装置、５Ｄ・・・本体部、６・・・クレードル、７・・・端末装置、８ａ・・・キーボード、８ｂ・・・マウス、８ｃ・・・ディスプレイ、９・・・端末本体、９ａ・・・制御部、１０・・・ジャケット、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ・・・受信アンテナ、１２・・・液晶モニタ、１３・・・操作部、１４・・・外装部材、１４ａ・・・カバー部材、１５・・・対物レンズ、１６・・・レンズ枠、１７・・・電荷結合素子、１７Ａ・・・ＣＣＤドライバ、１８・・・ＬＥＤ、１８Ａ・・・ＬＥＤドライバ、１９，１９Ａ・・・処理回路、１９Ｂ・・・タイミングジェネレータ、１９Ｃ，１９Ｄ，１９Ｅ・・・スイッチ、２０・・・通信処理回路、２１・・・電池、２３・・・送信アンテナ、 ３３・・・受信回路、３５・・・信号処理回路、３７・・・送信器、４３・・・撮像装置、４５・・・アンテナ切換スイッチ、４６・・・アンテナ選択回路、４７・・・メモリ、７２・・・シールドジャケット、７３・・・ベルト、７４・・・鍵穴、７５・・・鍵

Claims (24)

  1. 医療用撮像装置が撮像した被写体の像に応じた画像を、少なくとも１以上の画素からなる複数の領域に分割する画像分割手段と、
    前記画像の色調に基づく特徴量である色調特徴量を前記複数の領域各々において算出する特徴量算出手段と、
    前記複数の領域各々が有する前記色調特徴量に基づき、第１の色調基準値を算出する第１の色調基準値算出手段と、
    病変所見を検出するための第１の病変検出基準を、前記第１の色調基準値に応じて適宜算出する第１の病変検出基準算出手段と、
    前記第１の病変検出基準と、前記複数の領域各々が有する前記色調特徴量とに基づき、前記複数の領域各々のうち、前記病変所見が撮像されている領域である、第１の対象領域を検出する第１の画像領域検出手段と、
    を有することを特徴とする医療用画像処理装置。
  2. さらに、前記医療用画像処理装置は、前記複数の領域のうち、前記被写体として生体粘膜の像が撮像された各領域を生体粘膜クラスとして分類する第１の画像領域分類手段を有することを特徴とする請求項１に記載の医療用画像処理装置。
  3. 前記病変所見は、出血部位または発赤部位の少なくともいずれか一方であることを特徴とする請求項２に記載の医療用画像処理装置。
  4. 前記第１の色調基準値は、前記生体粘膜クラスとして分類された各領域が有する、前記色調特徴量の平均値であることを特徴とする請求項３に記載の医療用画像処理装置。
  5. 前記第１の病変検出基準算出手段は、前記第１の色調基準値に関する所定のテーブルデータに基づき、前記第１の病変検出基準を適宜算出することを特徴とする請求項３または請求項４に記載の医療用画像処理装置。
  6. 前記第１の病変検出基準算出手段は、前記第１の色調基準値に応じた所定の関数を用い、前記第１の病変検出基準を適宜算出することを特徴とする請求項３または請求項４に記載の医療用画像処理装置。
  7. 前記第１の病変検出基準算出手段は、前記第１の色調基準値に応じて構成された識別器に基づき、前記第１の病変検出基準を適宜算出することを特徴とする請求項３または請求項４に記載の医療用画像処理装置。
  8. 前記画像分割手段は、前記画像を所定の画素数を有する複数の矩形領域に分割することを特徴とする請求項１乃至請求項７のいずれか一に記載の医療用画像処理装置。
  9. 前記画像分割手段は、前記画像を画素単位に分割することを特徴とする請求項１乃至請求項７のいずれか一に記載の医療用画像処理装置。
  10. さらに、前記第１の画像領域分類手段の分類結果に基づき、前記生体粘膜クラスに分類された各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第２の画像領域分類手段と、
    前記黄色粘膜領域として分類された各領域が有する前記色調特徴量に基づき、第２の色調基準値を算出する第２の色調基準値算出手段と、
    前記黄色粘膜領域として分類された各領域における第２の病変検出基準を、前記第２の色調基準値に応じて算出する第２の病変検出基準算出手段と、
    前記第２の病変検出基準と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量とに基づき、前記黄色粘膜領域として分類された各領域のうち、出血部位または発赤部位の少なくともいずれか一方が撮像されている領域である、第２の対象領域を検出する第２の画像領域検出手段と、
    を有することを特徴とする請求項３または請求項４に記載の医療用画像処理装置。
  11. さらに、前記第１の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段と、
    前記一の対象領域群が有する領域数に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段と、
    を有することを特徴とする請求項３または請求項４に記載の医療用画像処理装置。
  12. さらに、前記第１の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段と、
    前記一の対象領域群が有する前記色調特徴量の平均値に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段と、
    を有することを特徴とする請求項３または請求項４に記載の医療用画像処理装置。
  13. 医療用撮像装置が撮像した被写体の像に応じた画像を、少なくとも１以上の画素からなる複数の領域に分割する画像分割手段が、当該画像を、少なくとも１以上の画素からなる複数の領域に分割する画像分割ステップと、
    前記画像の色調に基づく特徴量である色調特徴量を前記複数の領域各々において算出する特徴量算出手段が、当該色調特徴量を前記複数の領域各々において算出する特徴量算出ステップと、
    前記複数の領域各々が有する前記色調特徴量に基づき、第１の色調基準値を算出する第１の色調基準値算出手段が、当該第１の色調基準値を算出する第１の色調基準値算出ステップと、
    病変所見を検出するための第１の病変検出基準を、前記第１の色調基準値に応じて適宜算出する第１の病変検出基準算出手段が、当該第１の病変検出基準を、前記第１の色調基準値に応じて適宜算出する第１の病変検出基準算出ステップと、
    前記第１の病変検出基準と、前記複数の領域各々が有する前記色調特徴量とに基づき、前記複数の領域各々のうち、前記病変所見が撮像されている領域である、第１の対象領域を検出する第１の画像領域検出手段が、当該第１の対象領域を検出する第１の画像領域検出ステップと、
    を有することを特徴とする医療用画像処理装置の作動方法。
  14. さらに、前記複数の領域のうち、前記被写体として生体粘膜の像が撮像された各領域を生体粘膜クラスとして分類する第１の画像領域分類手段が、当該各領域を生体粘膜クラスとして分類する第１の画像領域分類ステップを有することを特徴とする請求項１３に記載の医療用画像処理装置の作動方法。
  15. 前記病変所見は、出血部位または発赤部位の少なくともいずれか一方であることを特徴とする請求項１４に記載の医療用画像処理装置の作動方法。
  16. 前記第１の色調基準値は、前記生体粘膜クラスとして分類された各領域が有する、前記色調特徴量の平均値であることを特徴とする請求項１５に記載の医療用画像処理装置の作動方法。
  17. 前記第１の病変検出基準算出ステップにおける前記第１の病変検出基準算出手段は、前記第１の色調基準値に関する所定のテーブルデータに基づき、前記第１の病変検出基準を適宜算出することを特徴とする請求項１５または請求項１６に記載の医療用画像処理装置の作動方法。
  18. 前記第１の病変検出基準算出ステップにおける前記第１の病変検出基準算出手段は、前記第１の色調基準値に応じた所定の関数を用い、前記第１の病変検出基準を適宜算出することを特徴とする請求項１５または請求項１６に記載の医療用画像処理装置の作動方法。
  19. 前記第１の病変検出基準算出ステップにおける前記第１の病変検出基準算出手段は、前記第１の色調基準値に応じて構成された識別器に基づき、前記第１の病変検出基準を適宜算出することを特徴とする請求項１５または請求項１６に記載の医療用画像処理装置の作動方法。
  20. 前記画像分割ステップにおける前記画像分割手段は、前記画像を所定の画素数を有する複数の矩形領域に分割することを特徴とする請求項１３乃至請求項１９のいずれか一に記載の医療用画像処理装置の作動方法。
  21. 前記画像分割ステップにおける前記画像分割手段は、前記画像を画素単位に分割することを特徴とする請求項１３乃至請求項１９のいずれか一に記載の医療用画像処理装置の作動方法。
  22. さらに、前記第１の画像領域分類ステップの分類結果に基づき、前記生体粘膜クラスに分類された各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第２の画像領域分類手段が、当該各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第２の画像領域分類ステップと、
    前記黄色粘膜領域として分類された各領域が有する前記色調特徴量に基づき、第２の色調基準値を算出する第２の色調基準値算出手段が、当該第２の色調基準値を算出する第２の色調基準値算出ステップと、
    前記黄色粘膜領域として分類された各領域における第２の病変検出基準を、前記第２の色調基準値に応じて算出する第２の病変検出基準算出手段が、当該第２の病変検出基準を、前記第２の色調基準値に応じて算出する第２の病変検出基準算出ステップと、
    前記第２の病変検出基準と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量とに基づき、前記黄色粘膜領域として分類された各領域のうち、出血部位または発赤部位の少なくともいずれか一方が撮像されている領域である、第２の対象領域を検出する第２の画像領域検出手段が、当該第２の対象領域を検出する第２の画像領域検出ステップと、
    を有することを特徴とする請求項１５または請求項１６に記載の医療用画像処理装置の作動方法。
  23. さらに、前記第１の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段が、当該各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張ステップと、
    前記一の対象領域群が有する領域数に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段が、当該一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定ステップと、
    を有することを特徴とする請求項１５または請求項１６に記載の医療用画像処理装置の作動方法。
  24. さらに、前記第１の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段が、当該各領域のうち、前記第１の対象領域の近傍に存在し、かつ、前記第１の対象領域に類似する色調を有する各領域を、前記第１の対象領域と合わせて一の対象領域群を設定する対象領域拡張ステップと、
    前記一の対象領域群が有する前記色調特徴量の平均値に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段が、当該一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定ステップと、
    を有することを特徴とする請求項１５または請求項１６に記載の医療用画像処理装置の作動方法。
JP2006216250A 2006-08-08 2006-08-08 医療用画像処理装置及び医療用画像処理装置の作動方法 Expired - Fee Related JP4912787B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006216250A JP4912787B2 (ja) 2006-08-08 2006-08-08 医療用画像処理装置及び医療用画像処理装置の作動方法
PCT/JP2007/063483 WO2008018259A1 (fr) 2006-08-08 2007-07-05 dispositif de traitement d'image médicale et procédé de traitement d'image médicale
EP07768232A EP2052674A4 (en) 2006-08-08 2007-07-05 MEDICAL PICTURE PROCESSING DEVICE AND MEDICAL PICTURE PROCESSING METHOD
US12/366,116 US8160329B2 (en) 2006-08-08 2009-02-05 Medical image processing device and medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006216250A JP4912787B2 (ja) 2006-08-08 2006-08-08 医療用画像処理装置及び医療用画像処理装置の作動方法

Publications (2)

Publication Number Publication Date
JP2008036243A JP2008036243A (ja) 2008-02-21
JP4912787B2 true JP4912787B2 (ja) 2012-04-11

Family

ID=39032795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006216250A Expired - Fee Related JP4912787B2 (ja) 2006-08-08 2006-08-08 医療用画像処理装置及び医療用画像処理装置の作動方法

Country Status (4)

Country Link
US (1) US8160329B2 (ja)
EP (1) EP2052674A4 (ja)
JP (1) JP4912787B2 (ja)
WO (1) WO2008018259A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005000101A2 (en) * 2003-06-12 2005-01-06 University Of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
JP2009268591A (ja) 2008-05-01 2009-11-19 Olympus Corp 生体観察システム及び生体観察システムの駆動方法
EP2335554A4 (en) * 2008-10-14 2013-08-28 Olympus Medical Systems Corp MEDICAL SYSTEM, DEVICE OF MEDICAL SYSTEM OUTSIDE BODY, MEDICAL DEVICE OF CAPSULE TYPE OF MEDICAL SYSTEM, AND METHOD OF SWITCHING ANTENNA OF MEDICAL DEVICE OF CAPSULE TYPE
KR100996050B1 (ko) 2008-11-07 2010-11-22 주식회사 인트로메딕 캡슐 내시경 영상을 이용한 Ｕ－Ｈｅａｌｔｈ 기반의 자동병변 검출 시스템
JP2012509715A (ja) * 2008-11-21 2012-04-26 メイヨ・ファウンデーション・フォー・メディカル・エデュケーション・アンド・リサーチ 大腸内視鏡検査追跡および評価システム
JP5806448B2 (ja) * 2009-05-13 2015-11-10 株式会社東芝 核医学イメージング装置、画像処理装置および画像処理方法
US8644608B2 (en) * 2009-10-30 2014-02-04 Eiffel Medtech Inc. Bone imagery segmentation method and apparatus
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5576711B2 (ja) * 2010-05-14 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5620194B2 (ja) * 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5658945B2 (ja) * 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5015363B2 (ja) * 2010-09-24 2012-08-29 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
US8922633B1 (en) 2010-09-27 2014-12-30 Given Imaging Ltd. Detection of gastrointestinal sections and transition of an in-vivo device there between
US8965079B1 (en) 2010-09-28 2015-02-24 Given Imaging Ltd. Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween
JP5800626B2 (ja) * 2011-07-29 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
EP2877116B1 (en) * 2012-07-25 2019-09-18 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
JP6176978B2 (ja) * 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP5622903B2 (ja) * 2013-08-05 2014-11-12 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
JP6335007B2 (ja) * 2014-04-18 2018-05-30 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム
JP6249867B2 (ja) * 2014-04-18 2017-12-20 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム
US9633276B2 (en) * 2014-07-14 2017-04-25 Sony Corporation Blood detection system with real-time capability and method of operation thereof
CN107835654B (zh) * 2015-05-21 2020-03-13 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
US10314514B2 (en) * 2016-05-29 2019-06-11 Ankon Medical Technologies (Shanghai) Co., Ltd. System and method for using a capsule device
US10594931B2 (en) 2017-12-12 2020-03-17 Verily Life Sciences Llc Reducing smoke occlusion in images from surgical systems
JP6945493B2 (ja) * 2018-05-09 2021-10-06 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
US20220028547A1 (en) 2020-07-22 2022-01-27 Iterative Scopes, Inc. Systems and methods for analysis of medical images for scoring of inflammatory bowel disease
JPWO2023067922A1 (ja) * 2021-10-20 2023-04-27
WO2023119795A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2302596A1 (en) * 1998-11-25 2011-03-30 Wake Forest University Virtual endoscopy with improved image segmentation and lesion detection
US6297044B1 (en) * 1999-02-23 2001-10-02 Oralscan Laboratories, Inc. Minimally invasive apparatus for testing lesions of the oral cavity and similar epithelium
WO2002073507A2 (en) 2001-03-14 2002-09-19 Given Imaging Ltd. Method and system for detecting colorimetric abnormalities
US7613335B2 (en) * 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP2006216250A (ja) 2005-02-01 2006-08-17 Toyota Motor Corp 燃料電池モジュールの製造方法及び燃料電池モジュール
US7474775B2 (en) * 2005-03-31 2009-01-06 University Of Iowa Research Foundation Automatic detection of red lesions in digital color fundus photographs
US8467583B2 (en) * 2005-04-04 2013-06-18 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Medical imaging method and system

Also Published As

Publication number Publication date
JP2008036243A (ja) 2008-02-21
WO2008018259A1 (fr) 2008-02-14
EP2052674A4 (en) 2010-05-19
US8160329B2 (en) 2012-04-17
US20090196476A1 (en) 2009-08-06
EP2052674A1 (en) 2009-04-29

Similar Documents

Publication Publication Date Title
JP4912787B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
JP4624841B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
US8363962B2 (en) Image processing device and image processing method in image processing device for identifying features in an image
JP4472631B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
JP4652694B2 (ja) 画像処理方法
US7953261B2 (en) Image processing apparatus and image processing method
EP1806091B1 (en) Image processing method
JP4520405B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
US8711205B2 (en) Image display device and capsule endoscope system
JP4624842B2 (ja) 画像処理方法、画像処理装置及びプログラム
US20220218181A1 (en) Processing apparatus, processing method, and computer readable recording medium
WO2021176708A1 (ja) アンテナシステム、カプセル型内視鏡システム及びアンテナシステムの作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120118

R151 Written notification of patent or utility model registration

Ref document number: 4912787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees