Nothing Special   »   [go: up one dir, main page]

JP5881916B1 - 固体撮像素子、内視鏡および内視鏡システム - Google Patents

固体撮像素子、内視鏡および内視鏡システム Download PDF

Info

Publication number
JP5881916B1
JP5881916B1 JP2015542508A JP2015542508A JP5881916B1 JP 5881916 B1 JP5881916 B1 JP 5881916B1 JP 2015542508 A JP2015542508 A JP 2015542508A JP 2015542508 A JP2015542508 A JP 2015542508A JP 5881916 B1 JP5881916 B1 JP 5881916B1
Authority
JP
Japan
Prior art keywords
unit
light
filter
filters
wavelength band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015542508A
Other languages
English (en)
Other versions
JPWO2015170515A1 (ja
Inventor
洋彦 松澤
洋彦 松澤
河内 昌宏
昌宏 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015542508A priority Critical patent/JP5881916B1/ja
Application granted granted Critical
Publication of JP5881916B1 publication Critical patent/JP5881916B1/ja
Publication of JPWO2015170515A1 publication Critical patent/JPWO2015170515A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明にかかる固体撮像素子は、受光した光量に応じた電荷を蓄積する光電変換素子が配列されてなる受光部(244e)と、受光部(244e)が蓄積した電荷に基づく撮像信号を読み出す読み出し部(244f)と、カラーフィルタ(244g)と、を備え、カラーフィルタ(244g)は、緑色フィルタの数が6個以上、青色フィルタの数が6個以上、かつ赤色フィルタの数が2個以上4個以下となるように選択される16個のフィルタを4行4列で配置してなるフィルタユニットを格子状に配置してなり、フィルタユニットは、同一色の波長帯域の光を透過する2つのフィルタが一方向で隣接する読み出しユニットで区分され、読み出し部(244f)は、読み出しユニットに応じた2つの光電変換素子が蓄積した電荷を一括して読み出す。

Description

本発明は、光を光電変換して撮像信号を生成する固体撮像素子、該固体撮像素子が生成した撮像信号を取得する内視鏡および内視鏡システムに関する。
従来、医療分野および工業分野において、各種検査のために内視鏡が広く用いられている。このうち、医療用の内視鏡は、患者等の被検体の体腔内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても体腔内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。
このような内視鏡の観察方式として、白色の照明光(白色照明光)を用いた白色光観察(WLI:White Light Imaging)方式と、例えば青色光および緑色光の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光(狭帯域照明光)を用いた狭帯域光観察(NBI:Narrow Band Imaging)方式とが広く知られている。このうち、狭帯域光観察方式は、生体の粘膜表層(生体表層)に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができる。このような狭帯域光観察方式によれば、生体の粘膜表層における病変部をより的確に発見することができる。内視鏡では、白色照明光観察方式と、狭帯域光観察方式とを切り替えて観察することが望まれている。
上述した観察方式でカラー画像を生成して表示するため、単板の固体撮像素子により撮像画像を取得すべく、当該固体撮像素子の受光面上には、一般的にベイヤ配列と呼ばれるフィルタ配列を一つの単位(ユニット)として画素毎に配列されてなるカラーフィルタが設けられている(例えば、特許文献1を参照)。この場合、各画素は、フィルタを透過した波長帯域の光を受光し、その波長帯域の光に応じた色成分の電気信号を生成する。このため、カラー画像を生成する処理では、各画素においてフィルタを透過せずに欠落した色成分の信号値を補間する補間処理が行われる。
特許文献2には、狭帯域光観察方式により適した観察を行うためのカラーフィルタの配列が開示されている。特許文献2によれば、ベイヤ配列における緑色の波長帯域の光を透過する二つのフィルタのうちの一方のフィルタを青色の波長帯域の光を透過するフィルタに代えることで、狭帯域光観察方式で得られる画像を明瞭にすることができる。
特開2005−334257号公報 特開2007−54113号公報
しかしながら、上述した特許文献2は、同一のカラーフィルタを用いて白色照明光観察方式と狭帯域光観察方式とを両立しようとすると、緑色の波長帯域の光を透過するフィルタが少ないために、白色照明光観察方式において補間処理時に輝度成分として用いられる緑色成分の信号が十分に得られず、狭帯域観察方式に比べて白色照明光観察方式では明瞭な画像を得ることができなかった。
白色照明光観察方式と狭帯域観察方式のどちらか一方で明瞭な画像が得られないと、術者にとって診断上のストレスとなるため、白色照明光観察方式で得られる画像と、狭帯域観察方式で得られる画像とが、同等レベルの明瞭な画像になる必要がある。
本発明は、上記に鑑みてなされたものであって、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができる固体撮像素子、内視鏡および内視鏡システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる固体撮像素子は、受光した光量に応じた電荷を蓄積する複数の光電変換素子が格子状に配列されてなる受光部と、前記受光部が蓄積した電荷に基づく撮像信号を読み出す読み出し部と、前記受光部の受光面上に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタが前記光電変換素子の配置に応じて配列されてなるカラーフィルタと、を備え、前記カラーフィルタは、赤色の波長帯域の光を透過する赤色フィルタ、緑色の波長帯域の光を透過する緑色フィルタおよび青色の波長帯域の光を透過する青色フィルタから、前記緑色フィルタの数が6個以上、前記青色フィルタの数が6個以上、かつ前記赤色フィルタの数が2個以上4個以下となるように選択される16個のフィルタを4行4列で配置してなるフィルタユニットを格子状に配置してなり、前記フィルタユニットは、同一色の波長帯域の光を透過する2つのフィルタが一方向で隣接する読み出しユニットで区分され、前記読み出し部は、前記読み出しユニットに応じた2つの前記光電変換素子が蓄積した電荷を一括して読み出すことを特徴とする。
また、本発明にかかる固体撮像素子は、上記発明において、前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが行方向で隣接し、前記読み出し部は、外部からの指示に応じて奇数行または偶数行の前記光電変換素子が蓄積する電荷を読み出すことを特徴とする。
また、本発明にかかる固体撮像素子は、上記発明において、前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが列方向で隣接し、前記読み出し部は、外部からの指示に応じて奇数列または偶数列の前記光電変換素子が蓄積する電荷を読み出すことを特徴とする。
また、本発明にかかる固体撮像素子は、上記発明において、前記フィルタユニットは、同一のフィルタ配列をなすことを特徴とする。
また、本発明にかかる内視鏡は、上記発明にかかる固体撮像素子を挿入部の先端に備えたことを特徴とする。
また、本発明にかかる内視鏡システムは、上記発明にかかる固体撮像素子を挿入部の先端に備えた内視鏡と、赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記青色および前記緑色の波長帯域にそれぞれ含まれる狭帯域の光からなる狭帯域照明光を出射する照明部と、前記内視鏡と接続し、該内視鏡から得られた前記撮像信号をもとに、画像表示するための画像信号を生成する画像処理部と、を備え、前記フィルタユニットは、前記一方向と直交する方向で隣接する2つの前記読み出しユニットに応じた4つのフィルタが2行2列で配置された基本ユニットで区分され、前記画像処理部は、前記読み出しユニットに応じた光電変換素子の信号値をもとに、前記基本ユニットを単位として色成分ごとに単一の色成分の画像情報を生成し、該生成した画像情報をもとに画像表示するための画像信号を生成することを特徴とする。
また、本発明にかかる内視鏡システムは、上記発明において、前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが行方向で隣接し、前記読み出し部は、前記照明部が出射する照明光に応じて奇数行または偶数行の前記光電変換素子が蓄積する電荷を読み出し、前記画像処理部は、前記読み出し部によって読み出された奇数行または偶数行の前記光電変換素子が蓄積する電荷に基づく撮像信号を用いて前記画像情報を生成することを特徴とする。
また、本発明にかかる内視鏡システムは、上記発明において、前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが列方向で隣接し、前記読み出し部は、前記照明部が出射する照明光に応じて奇数列または偶数列の前記光電変換素子が蓄積する電荷を読み出し、前記画像処理部は、前記読み出し部によって読み出された奇数列または偶数列の前記光電変換素子が蓄積する電荷に基づく撮像信号を用いて前記画像情報を生成することを特徴とする。
本発明によれば、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができるという効果を奏する。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。 図2は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。 図3は、本発明の実施の形態1にかかるセンサ部の構成を示す模式図である。 図4は、本発明の実施の形態1にかかるカラーフィルタの構成の一例を示す模式図である。 図5は、本発明の実施の形態1にかかる内視鏡システムが行う信号処理を示すフローチャートである。 図6は、本発明の実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、R画素からの赤成分の取得について説明する図である。 図7は、本発明の実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、G画素からの緑成分の取得について説明する図である。 図8は、本発明の実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、B画素からの青成分の取得について説明する図である。 図9は、本発明の実施の形態1にかかる抽出部における抽出処理を説明する図であって、抽出領域を説明する図である。 図10は、本発明の実施の形態1にかかる抽出部における抽出処理を説明する図であって、赤色成分についての抽出画像を示す図である。 図11は、本発明の実施の形態1にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。 図12は、本発明の実施の形態1にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。 図13は、本発明の実施の形態1の変形例にかかるカラーフィルタの構成の一例を示す模式図である。 図14は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。 図15は、本発明の実施の形態2にかかるカラーフィルタの構成の一例を示す模式図である。 図16は、本発明の実施の形態2にかかる内視鏡システムが行う信号処理を示すフローチャートである。 図17は、本発明の実施の形態2にかかるセンサ部における電荷の読み出し態様を説明する図であって、奇数行の画素の読み出しを説明する図である。 図18は、本発明の実施の形態2にかかる抽出部における抽出処理を説明する図であって、赤色成分についての抽出画像を示す図である。 図19は、本発明の実施の形態2にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。 図20は、本発明の実施の形態2にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。 図21は、本発明の実施の形態2にかかるセンサ部における電荷の読み出し態様を説明する図であって、偶数行の画素の読み出しを説明する図である。 図22は、本発明の実施の形態2にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。 図23は、本発明の実施の形態2にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。 図24は、本発明の実施の形態2の変形例1にかかるカラーフィルタの構成の一例を示す模式図である。 図25は、本発明の実施の形態2の変形例2にかかるカラーフィルタの構成の一例を示す模式図である。 図26は、本発明の実施の形態2の変形例3にかかるカラーフィルタの構成の一例を示す模式図である。 図27は、本発明の実施の形態3にかかるカラーフィルタの構成の一例を示す模式図である。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。
図1および図2に示す内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を取得する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源装置3と、内視鏡2が取得した体内画像に所定の画像処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置4と、処理装置4が画像処理を施した体内画像を表示する表示装置5と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、光源装置3および処理装置4にそれぞれ着脱自在であって、光源装置3および処理装置4とそれぞれ電気的に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、光を受光して光電変換を行うことにより電気信号(撮像信号)を生成する画素が2次元状に配列された固体撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。先端部24に設けられる固体撮像素子244としては、例えばCMOSイメージセンサが挙げられる。
先端部24は、ライトガイド241、照明レンズ242、撮像光学系243(対物光学系)、固体撮像素子244と、を有する。
ライトガイド241は、グラスファイバ等を用いて構成されて光源装置3が発光した光の導光路をなす。
照明レンズ242は、ライトガイド241の先端に設けられ、ライドガイド241からの光を外部に出射する。
撮像光学系243は、先端部24の先端面とカラーフィルタ244gとの間に設けられ、一または複数のレンズからなる。
固体撮像素子244は、撮像光学系243を介して受光した光を光電変換して撮像信号を生成し、デジタル化した撮像信号をパラレル/シリアル変換して出力する。固体撮像素子244は、センサ部244aと、アナログフロントエンド部244b(以下、「AFE部244b」という)と、P/S変換部244cと、撮像制御部244dと、を有する。
センサ部244aは、受光部244eと、読み出し部244fと、カラーフィルタ244gと、を有する。
受光部244eは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素(光電変換素子)が格子(マトリックス)状に配列され、光電変換により生じた電荷を蓄積する。
読み出し部244fは、受光部244eの複数の画素が蓄積した電荷に応じた撮像信号として読み出して、該撮像信号をAFE部244bに出力する。
カラーフィルタ244gは、受光部244eの受光面上に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタを有する。
図3は、本実施の形態1にかかるセンサ部の構成を示す模式図である。受光部244eには、外部からの光を受光する複数の画素が、マトリックス状に配列されている。受光部244eでは、それぞれの画素が受光した光に対して光電変換を行うことにより電荷を蓄積する。各画素で蓄積された電荷は、読み出し部244fにより電圧に変換されて撮像信号として読み出される。この撮像信号には、各画素の画素値(輝度値)や画素の位置情報などが含まれる。図3では、i行j列目に配置されている画素を画素Pijと記している。
図4は、本実施の形態1にかかるカラーフィルタの構成の一例を示す模式図である。カラーフィルタ244gは、本実施形態1では、例えば、4×4のマトリックス状に並べられた16個のフィルタからなるフィルタユニットC11を画素Pijの配置に応じて二次元的(マトリックス状)に並べて配置したものである。フィルタが設けられた画素Pijは、フィルタが透過する波長帯域の光を受光する。例えば、青色の波長帯域の光を透過するフィルタが設けられた画素Pijは、青色の波長帯域の光を受光する。以下、青色の波長帯域の光を受光する画素PijをB画素という。同様に、緑色の波長帯域の光を受光する画素をG画素、赤色の波長帯域の光を受光する画素をR画素という。
フィルタユニットC11は、2行×2列で分割した4つの領域である基本ユニットC21〜C24に区分される。また、基本ユニットC21〜C24は、各基本ユニットを1行×2列で分割することにより形成される読み出しユニットC31〜C38に区分される。具体的には、基本ユニットC21は1行×2列で分割した読み出しユニットC31,C32を有し、基本ユニットC22は1行×2列で分割した読み出しユニットC33,C34を有し、基本ユニットC23は1行×2列で分割した読み出しユニットC35,C36を有し、基本ユニットC24は1行×2列で分割した読み出しユニットC37,C38を有する。
フィルタユニットC11は、青色(B)の波長帯域H、緑色(G)の波長帯域Hおよび赤色(R)の波長帯域Hの光を透過する。加えて、フィルタユニットC11は、16個のフィルタのうち、波長帯域Hの光を透過するフィルタの数が6個以上、かつ波長帯域Hの光を透過するフィルタの数が6個以上、波長帯域Hの光を透過するフィルタの数が2個以上4個以下となるように複数のフィルタが選択され、配置される。青色、緑色および赤色の波長帯域H,HおよびHは、例えば、波長帯域Hが390nm〜500nm、波長帯域Hが500nm〜600nm、波長帯域Hが600nm〜700nmである。
図4に示すとおり、本実施の形態1にかかるフィルタユニットC11は、波長帯域Hの光を透過するGフィルタが六つ(6/16)と、波長帯域Hの光を透過するBフィルタが八つ(8/16)と、波長帯域Hの光を透過するRフィルタが二つ(2/16)と、で構成されている。以下、画素Pijに対応する位置にGフィルタが設けられる場合、このGフィルタをGijと記す。同様に、画素Pijに対応する位置にBフィルタが設けられる場合、Bij、Rフィルタが設けられる場合、Rijと記す。
読み出しユニットC31,C32は、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31は、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC32は、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC21は、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33〜C38についても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33は、波長帯域Hの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34は、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC22は、行方向で隣接する二つのRフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC35は、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC36は、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC23は、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37は、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC38は、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC24は、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11では、読み出しユニットC31,C33,C35,C37が奇数行に配置され、読み出しユニットC32,C34,C36,C38が偶数行に配置されている。各基本ユニットは、読み出しユニットのフィルタの配列方向(行方向)と直交する方向(列方向)で隣り合う読み出しユニットからなる。
読み出し部244fは、読み出しユニットC31〜C38に応じた2つの画素が蓄積した電荷を一括して読み出すことによって、受光部244eの複数の画素がそれぞれ蓄積した電荷を撮像信号として出力する。例えば、読み出し部244fは、読み出しユニットC31に応じたG11画素,G12画素が各々蓄積している電荷を合算して電圧(合算値)に変換し、撮像信号を生成する。
撮像光学系243は、対物光学系のFナンバーをFno、受光部244eの画素の一辺の長さをQ(μm)としたとき、4.5(/μm)≦Fno/Q≦6.5(/μm)を満たしている。なお、Fナンバーは、レンズの明るさを示す指標であって、レンズの焦点距離を有効口径で割った値である。
図1および図2の説明に戻り、AFE部244bは、センサ部244aが出力した撮像信号に対してノイズ除去やA/D変換などを行う。具体的には、AFE部244bは、撮像信号(アナログ)に含まれるノイズ成分の低減や、出力レベルの維持のための信号の増幅率(ゲイン)の調整、アナログの撮像信号のA/D変換を行う。
P/S変換部244c(出力部)は、AFE部244bが出力したデジタルの撮像信号をパラレル/シリアル変換する。P/S変換部244cは、撮像制御部244dの制御のもと、撮像信号を処理装置4に出力する。
撮像制御部244dは、処理装置4から受信した設定データに従って先端部24の各種動作を制御する。撮像制御部244dは、CPU(Central Processing Unit)等を用いて構成される。撮像制御部244dは、内視鏡2を動作させるための各種プログラム、内視鏡2の動作に必要な各種パラメータおよび当該内視鏡2の識別情報やカラーフィルタ244gにかかるフィルタの配列情報等を記憶する。
操作部22は、湾曲部26を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置4、光源装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、上述したライトガイド241と、一または複数の信号線をまとめた集合ケーブルと、を少なくとも内蔵している。
つぎに、光源装置3の構成について説明する。光源装置3は、照明部31と、照明制御部32と、を備える。
照明部31は、照明制御部32の制御のもと、波長帯域が互いに異なる複数の照明光を切り替えて出射する。照明部31は、光源33、光源ドライバ34、切替フィルタ35、駆動部36および駆動ドライバ37を有する。
光源33は、照明制御部32の制御のもと、赤色、緑色および青色の波長帯域H,HおよびHの光を含む白色照明光を出射する。光源33が発生した白色照明光は、切替フィルタ35やライトガイド241を経由して先端部24から外部に出射される。光源33は、白色LEDや、キセノンランプなどの白色光を発する光源を用いて実現される。
なお、光源33は、単一のランプに限らず、例えばR色を発するLEDとG色を発するLEDとB色を発するLEDを用い、各色の光を合成して出力する光源でもかまわない。また、励起光を発する例えばレーザーダイオード等の固体発光素子とこの励起光により蛍光を発する蛍光体との組み合わせにより所望の光を発する光源を用いてもよい。
光源ドライバ34は、照明制御部32の制御のもと、光源33に対して電流を供給することにより、光源33に白色照明光を出射させる。
切替フィルタ35は、光源33が出射した白色照明光のうち青色の狭帯域光および緑色の狭帯域光のみを透過する。切替フィルタ35は、照明制御部32の制御のもと、光源33が出射する白色照明光の光路上に挿脱自在に配置されている。切替フィルタ35は、白色照明光の光路上に配置されることにより、二つの狭帯域光のみを透過する。具体的には、切替フィルタ35は、波長帯域Hに含まれる狭帯域T(例えば、390nm〜445nm)の光と、波長帯域Hに含まれる狭帯域T(例えば、530nm〜550nm)の光と、からなる狭帯域照明光を透過する。この狭帯域T,Tは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。なお、狭帯域Tとして少なくとも405nm〜425nmが含まれていればよい。この帯域に制限されて射出される光を狭帯域光(狭帯域照明光)といい、当該狭帯域光による画像の観察をもって狭帯域光観察(NBI)方式という。
駆動部36は、ステッピングモータやDCモータ等を用いて構成され、切替フィルタ35を光源33の光路から挿脱動作させる。
駆動ドライバ37は、照明制御部32の制御のもと、駆動部36に所定の電流を供給する。
照明制御部32は、光源ドライバ34を制御して光源33をオンオフ動作させ、および駆動ドライバ37を制御して切替フィルタ35を光源33の光路に対して挿脱動作させることによって、照明部31により出射される照明光の種類(波長帯域)を制御する。
具体的には、照明制御部32は、切替フィルタ35を光源33の光路に対して挿脱動作させることによって、照明部31から出射される照明光を、白色照明光および狭帯域照明光のいずれかに切り替える制御を行う。換言すれば、照明制御部32は、波長帯域H,HおよびHの光を含む白色照明光を用いた白色照明光観察(WLI)方式と、狭帯域T,Tの光からなる狭帯域照明光を用いた狭帯域光観察(NBI)方式とのいずれかの観察方式に切り替える制御を行う。
次に、処理装置4の構成について説明する。処理装置4は、S/P変換部401、画像処理部402、入力部403、記録部404および制御部405を備える。
S/P変換部401は、先端部24から出力されたシリアル形態の撮像信号をシリアル/パラレル変換して画像処理部402に出力する。
画像処理部402は、S/P変換部401から出力された撮像信号をもとに、表示装置5が表示する画像信号(体内画像情報)を生成する。画像処理部402は、撮像信号に対して、所定の信号処理を実行して画像信号を生成する。信号処理としては、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理や、エッジ強調を含むエンハンス処理等が挙げられる。また、画像処理部402は、S/P変換部401から入力された撮像信号を制御部405へ出力する。
また、画像処理部402は、色成分分離部402a、抽出部402bを有する。色成分分離部402aは、内視鏡2から出力される電気信号から、青色(B)の波長帯域H、緑色(G)の波長帯域Hおよび赤色(R)の波長帯域Hの各波長帯域の光成分を分離する。具体的には、色成分分離部402aは、指定された色の光を透過(受光)する画素の画素値を取得して、単一の色成分の画素値からなる色成分情報を分離する。
抽出部402bは、撮像信号に対して所定の抽出処理を施す。具体的には、抽出部402bは、読み出しユニットC31〜C38に応じた画素Pijからの撮像信号(合算値)をもとに、赤色、緑色および青色の色ごとに基本ユニットC21〜C24を一単位として抽出値を有する画像情報を生成する。
入力部403は、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。入力部403は、受け付けた信号を制御部405に出力する。
記録部404は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記録する。記録部404は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。
制御部405は、CPU等を用いて構成され、内視鏡2および光源装置3を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部405は、撮像制御のための設定データを、集合ケーブルに含まれる所定の信号線を介して先端部24へ送信する。また、制御部405は、先端部24による撮像処理の露光タイミングと読み出しタイミングを含む同期信号を先端部24に出力するとともに、この同期信号を光源装置3に出力する。
表示装置5は、映像ケーブルを介して処理装置4が生成した体内画像情報に対応する体内画像を受信して表示する。表示装置5は、液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイを用いて構成される。
次に、内視鏡システム1が行う信号処理について説明する。図5は、本実施の形態1にかかる内視鏡システムが行う信号処理を示すフローチャートである。まず、内視鏡2において、撮像制御部244dの制御のもと、読み出し部244fによる読み出し処理が行われる(ステップS101)。読み出し部244fは、格子状に配列された複数の画素が蓄積した電荷を行(ライン)ごとに読み出す。その後、制御部405は、AFE部244bなどを介して内視鏡2から撮像信号を受信すると、観察方式が白色照明光観察方式および狭帯域光観察方式のいずれであるかを判断する(ステップS102)。制御部405は、例えば切替フィルタ35の挿脱状態や、撮像信号に付与されている照明光の情報などをもとに、観察方式を判断する。
制御部405によって観察方式が白色照明光観察方式であると判断された場合(ステップS102:WLI)、色成分分離部402aは、赤色成分、緑色成分および青色成分(RGB成分)の各色の色成分情報を分離する(ステップS103)。一方で、制御部405によって観察方式が狭帯域光観察方式であると判断された場合(ステップS102:NBI)、色成分分離部402aは、緑色成分および青色成分(GB成分)の各色の色成分情報を分離する(ステップS104)。
図6は、本実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、R画素からの赤成分の取得について説明する図である。図7は、本実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、G画素からの緑成分の取得について説明する図である。図8は、本実施の形態1にかかるセンサ部における色成分の取得態様を説明する図であって、B画素からの青成分の取得について説明する図である。
図6〜8に示すように、受光部244eでは、カラーフィルタ244gのフィルタが透過する波長帯域の光に応じた光を受光する。このため、受光部244eの各画素は、フィルタに応じて受光する光の波長帯域が異なる。例えば、図6に示すように、赤色成分の光を受光するのは、R13画素、R14画素、R17画素、R18画素などのR画素(ハッチング処理された画素)である。また、図7に示すように、緑色成分の光を受光するのは、G11画素、G12画素、G15画素、G16画素などのG画素(ハッチング処理された画素)である。また、図8に示すように、青色成分の光を受光するのは、B21画素、B22画素、B23画素、B24画素などのB画素(ハッチング処理された画素)である。
色成分分離部402aは、分離する色成分に応じてR画素、G画素およびB画素のそれぞれの画素値(合算値)を色ごとに分離し、分離した画素値を画素の位置(画素ij)と対応付けて色成分情報として出力する。
色成分分離部402aにより、観察方式に応じて色成分が分離されると、抽出部402bが抽出処理を行う(ステップS105)。図9は、本実施の形態1にかかる抽出部における抽出処理を説明する図であって、抽出領域を説明する図である。抽出部402bは、読み出しユニットC31〜C38に応じた画素Pijからの撮像信号に基づいて、基本ユニットC21〜C24を単位として抽出値を有する画像情報を生成する。具体的には、図9に示すように、四つの画素からなる領域(基本ユニットC21〜C24にそれぞれ対応する領域)を一つの色成分領域(抽出領域)として、色成分に応じて合算値を抽出する。図9では、m行n列目に配置されている抽出領域をSmnと記している。例えば、抽出領域S11は基本ユニットC21に対応し、抽出領域S12は基本ユニットC22に対応し、抽出領域S21は基本ユニットC23に対応し、抽出領域S22は基本ユニットC24に対応する。
抽出部402bは、色成分分離部402aによって抽出された各色の色成分情報をもとに、抽出領域ごとに抽出値を設定した抽出画像情報を生成する。抽出部402bは、観察方式が白色照明光観察方式である場合、赤色、緑色および青色の各色成分の抽出画像情報を生成し、狭帯域光観察方式である場合、緑色および青色の各色成分の抽出画像情報を生成する。抽出部402bは、例えば赤色成分の抽出画像情報を生成する場合、色成分分離部402aが分離した赤色の色成分情報を取得する。ここで、色成分分離部402aによって分離される色成分情報は、R画素の画素値と配置とにかかる情報である(図6参照)。抽出部402bは、抽出領域Smn内にR画素からなる読み出しユニットを有する場合、読み出しユニットで得られた合算値を当該抽出領域の抽出値とする。具体的には、抽出部402bは、例えば、抽出領域S12が、R13画素およびR14画素からなる読み出しユニットC33を有するため、読み出しユニットC33で得られた合算値を、抽出領域S12の抽出値として設定する。
図10は、本実施の形態1にかかる抽出部における抽出処理を説明する図であって、赤色成分についての抽出画像を示す図である。上述したように、抽出部402bが、R画素を有する読み出しユニットが存在する抽出領域Smnについて抽出処理を行うと、赤色成分の抽出値が設定された抽出画像を含む抽出画像情報が生成される(図10参照)。図10では、m行n列目に配置されている抽出領域Smnを色成分(図10では赤色)に応じてRsmnと記している。
図11は、本実施の形態1にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。図12は、本実施の形態1にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。抽出部402bは、緑色成分、青色成分についても、赤色成分と同様に抽出処理を行い、抽出画像情報を生成する。なお、青色成分については、すべての基本ユニットがB画素からなる読み出しユニットを有しているため、全抽出領域Smnが、B画素の合算値に置き換えられている(図12参照)。図11,12では、m行n列目に配置されている抽出領域を緑色成分または青色成分に応じてGsmnまたはBsmnと記している。
抽出部402bにより各色成分について抽出画像情報が生成されると、画像処理部402は、該抽出画像情報をもとに、表示装置5に表示されるための画像信号を生成する(ステップS106)。画像処理部402は、観察方式に応じて、各色成分の抽出画像情報をもとに、それぞれの色成分の抽出値を抽出領域Smnごとに補間処理することにより、すべての抽出領域に抽出値、または補間処理によって補間された抽出値(補間値)が付与された単色画像を生成する。画像処理部402は、白色光観察方式では緑色を輝度成分として補間処理し、狭帯域光観察方式では青色を輝度成分として補間処理を行う。
その後、画像処理部402は、各単色画像の抽出値または補間値を用いることによってカラー画像に応じたカラー画像信号を生成する。上述した信号処理によって、白色照明光観察方式および狭帯域光観察方式により取得された信号に基づいて、それぞれの画像を得ることができる。
上述した信号処理では、白色照明光観察方式において、赤色、緑色および青色成分の各色成分情報を得ることができ、かつ狭帯域光観察方式において、緑色および青色成分の各色成分情報を得るとともに、青色成分の色成分情報を多く取得することができるため、特に狭帯域光観察方式による画像を明瞭にすることが可能である。
上述した本実施の形態1によれば、フィルタユニットC11が、波長帯域Hの光を透過するGフィルタが六つと、波長帯域Hの光を透過するBフィルタが八つと、波長帯域Hの光を透過するRフィルタが二つとで構成され、色成分分離部402aが抽出した色成分情報をもとに、抽出部402bが、基本ユニットC21〜C24に応じた四つの画素からなる抽出領域で抽出画像情報を生成して、画像処理部402によりカラー画像信号を生成するようにしたので、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができる。
また、上述した実施の形態1によれば、読み出しユニットを構成する二つの画素から得られる電荷を合算して読み出すようにしたので、全画素から得られる電荷に基づく撮像信号を伝送する場合と比して、内視鏡2から処理装置4に伝送する情報量を少なくすることができる。例えば、受光部244eが、8×8の64個の画素を用いて構成される場合、32画素分の情報量を伝送すればよい。これにより、内視鏡2と処理装置4とを接続するケーブルを細径化し、内視鏡システム1の小型化を実現することができる。また、合算対象の画素は、同一の波長帯域の光を受光するため、情報が色成分間で混在することはない。
(実施の形態1の変形例)
図13は、本発明の実施の形態1の変形例にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11aは、2行×2列で分割した4つの領域である基本ユニットC21a〜C24aに区分される。また、基本ユニットC21a〜C24aは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31a〜C38aに区分される。具体的には、基本ユニットC21aは1行×2列で分割した読み出しユニットC31a,C32aを有し、基本ユニットC22aは1行×2列で分割した読み出しユニットC33a,C34aを有し、基本ユニットC23aは1行×2列で分割した読み出しユニットC35a,C36aを有し、基本ユニットC24aは1行×2列で分割した読み出しユニットC37a,C38aを有する。
本変形例にかかるフィルタユニットC11aは、図13に示すように、波長帯域Hの光を透過するGフィルタが八つ(8/16)と、波長帯域Hの光を透過するBフィルタが六つ(6/16)と、波長帯域Hの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31a,C32aは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31aは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC32aは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC21aは、行方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC33a〜C38aについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33aは、波長帯域Hの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34aは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC22aは、行方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35aは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC36aは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC23aは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37aは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC38aは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC24aは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11aでは、読み出しユニットC31a,C33a,C35a,C37aが奇数行に配置され、読み出しユニットC32a,C34a,C36a,C38aが偶数行に配置されている。
本変形例にかかるフィルタユニットにおいても、上述した実施の形態1のように、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができるという効果を奏する。
(実施の形態2)
次に、本発明の実施の形態2について説明する。図14は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態2にかかる内視鏡システム1aは、上述した実施の形態1の内視鏡2に代えて内視鏡2aを備え、内視鏡2aは、上述した内視鏡2の構成に対し、読み出し制御部244hをさらに有する。
読み出し制御部244hは、観察方式に応じて読み出し対象画素の行を選択し、該選択した行の画素(読み出しユニット)の読み出しを読み出し部244fに行わせる。読み出し部244fは、読み出し制御部244hの制御のもと、指定された行(具体的には、奇数行または偶数行)の画素(読み出しユニット)が蓄積する電荷の読み出しを行う。
図15は、本実施の形態2にかかるカラーフィルタの構成の一例を示す模式図である。カラーフィルタ244gは、本実施形態2では、例えば、4×4のマトリックス状に並べられた16個のフィルタからなるフィルタユニットC11bを画素Pijの配置に応じて二次元的(マトリックス状)に並べて配置したものである。
フィルタユニットC11bは、2行×2列で分割した4つの領域である基本ユニットC21b〜C24bに区分される。また、基本ユニットC21b〜C24bは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31b〜C38bに区分される。具体的には、基本ユニットC21bは1行×2列で分割した読み出しユニットC31b,C32bを有し、基本ユニットC22bは1行×2列で分割した読み出しユニットC33b,C34bを有し、基本ユニットC23bは1行×2列で分割した読み出しユニットC35b,C36bを有し、基本ユニットC24bは1行×2列で分割した読み出しユニットC37b,C38bを有する。
図15に示すとおり、本実施の形態2にかかるフィルタユニットC11bは、波長帯域Hの光を透過するGフィルタが八つ(8/16)と、波長帯域Hの光を透過するBフィルタが六つ(6/16)と、波長帯域Hの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31b,C32bは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31bは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC32bは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC21bは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33b〜C38bについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33bは、波長帯域Hの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34bは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC22bは、行方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35bは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC36bは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC23bは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37bは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC38bは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC24bは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11bでは、読み出しユニットC31b,C33b,C35b,C37bが奇数行に配置され、読み出しユニットC32b,C34b,C36b,C38bが偶数行に配置されている。
読み出し部244fは、読み出しユニットC31b〜C38bごとに一括して読み出すことによって、受光部244eの複数の画素が蓄積した電荷を撮像信号として出力する。例えば、読み出し部244fは、読み出しユニットC31bに応じたG11画素,G12画素にそれぞれ蓄積された電荷を合算して電圧(合算値)に変換し、撮像信号を生成する。読み出し部244fは、読み出し制御部244hの制御のもと、奇数行または偶数行のいずれかの行に配置された読み出しユニットの画素の電荷を読み出す。
図16は、本実施の形態2にかかる内視鏡システムが行う信号処理を示すフローチャートである。まず、制御部405は、観察方式が白色照明光観察方式および狭帯域光観察方式のいずれであるかを判断し、判断結果を撮像制御部244d(読み出し制御部244h)に出力する(ステップS201)。読み出し制御部244hは、受信した判断結果が白色照明光観察方式である場合(ステップS201:WLI)、読み出し部244fに奇数行の画素の読み出し処理を実行させる(ステップS202)。図17は、本実施の形態2にかかるセンサ部における電荷の読み出し態様を説明する図であって、奇数行の画素の読み出しを説明する図である。読み出し部244fは、奇数行の画素(図17のハッチング画素)の電荷の読み出し処理を行う。
読み出し部244fによる奇数行の画素の電荷の読み出し処理が終了すると、生成された撮像信号がAFE部244bなどを介して内視鏡2aから処理装置4に出力される。処理装置4が、AFE部244bなどを介して内視鏡2aから撮像信号を受信すると、色成分分離部402aは、赤色成分、緑色成分および青色成分(RGB成分)の各色の色成分情報を分離する(ステップS203)。
図18は、本実施の形態2にかかる抽出部における信号変換処理を説明する図であって、赤色成分についての抽出画像を示す図である。図19は、本実施の形態2にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。図20は、本実施の形態2にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。
色成分分離部402aにより色成分(RGB成分)が抽出されると、抽出部402bが抽出処理を行う(ステップS204)。抽出部402bは、上述したステップS105と同様に、抽出領域Smnに対して色成分ごとに抽出処理を行う。抽出部402bによる抽出処理により、図18〜20に示すような色成分ごとの抽出画像情報が生成される。
一方、読み出し制御部244hは、受信した判断結果が狭帯域光観察方式である場合(ステップS201:NBI)、読み出し部244fに偶数行の画素の読み出し処理を実行させる(ステップS205)。図21は、本実施の形態2にかかるセンサ部における電荷の読み出し態様を説明する図であって、偶数行の画素の読み出しを説明する図である。読み出し部244fは、偶数行の画素(図21のハッチング画素)の電荷の読み出し処理を行う。
読み出し部244fによる偶数行の画素の電荷の読み出し処理が終了すると、生成された撮像信号がAFE部244bなどを介して内視鏡2aから処理装置4に出力される。処理装置4が、AFE部244bなどを介して内視鏡2aから撮像信号を受信すると、色成分分離部402aは、緑色成分および青色成分(GB成分)の各色の色成分情報に分離する(ステップS206)。
図22は、本実施の形態2にかかる抽出部における抽出処理を説明する図であって、緑色成分についての抽出画像を示す図である。図23は、本実施の形態2にかかる抽出部における抽出処理を説明する図であって、青色成分についての抽出画像を示す図である。
ステップS206において色成分分離部402aにより色成分(GB成分)が抽出されると、抽出部402bが抽出処理を行う(ステップS204)。抽出部402bは、抽出領域Smnに対して色成分ごとに抽出処理を行う。抽出部402bによる抽出処理により、図22,23に示すような色成分ごとの抽出画像情報が生成される。
抽出部402bにより各色成分について抽出画像情報が生成されると、画像処理部402は、該抽出画像情報をもとに、表示装置5に表示されるための画像信号を生成する(ステップS207)。画像処理部402は、観察方式に応じて、各色成分の抽出画像信号をもとに、それぞれの色成分の抽出値を抽出領域ごとに補間処理することにより、すべての抽出領域に抽出値または補間値が付与された単色画像を生成する。画像処理部402は、白色光観察方式では緑色を輝度成分として補間処理し、狭帯域光観察方式では青色を輝度成分として補間処理を行う。
その後、画像処理部402は、各単色画像の抽出値または補間値を用いることによってカラー画像に応じたカラー画像信号を生成する。上述した信号処理によって、白色照明光観察方式および狭帯域光観察方式により取得された信号に基づいて、それぞれの画像を得ることができる。
上述した信号処理では、白色照明光観察方式において、赤色、緑色および青色成分の各色成分情報を得ることができ、かつ狭帯域光観察方式において、緑色および青色成分の各色成分情報を得るとともに、青色成分の色成分情報を多く取得することができるため、特に狭帯域光観察方式による画像を明瞭にすることが可能である。
上述した本実施の形態2によれば、実施の形態1と同様、フィルタユニットC11bが、波長帯域Hの光を透過するGフィルタが八つと、波長帯域Hの光を透過するBフィルタが六つと、波長帯域Hの光を透過するRフィルタが二つとで構成され、色成分分離部402aが抽出した色成分情報をもとに、抽出部402bが、基本ユニットC21b〜C24bに応じた四つの画素からなる抽出領域で抽出画像情報を生成して、画像処理部402によりカラー画像信号を生成するようにしたので、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができる。
また、上述した実施の形態2によれば、読み出しユニットを構成する二つの画素から得られる電荷を合算して読み出すようにしたので、全画素から得られる電荷に基づく電気信号を伝送する場合と比して、内視鏡2aから処理装置4に伝送する情報量を少なくすることができる。例えば、受光部244eが、8×8の64個の画素を用いて構成される場合、32画素分の情報量を伝送すればよい。これにより、内視鏡2aと処理装置4とを接続するケーブルを細径化し、内視鏡システム1aの小型化を実現することができる。また、合算対象の画素は、同一の波長帯域の光を受光するため、情報が色成分間で混在することはない。
また、上述した実施の形態2によれば、観察方式に応じて読み出し対象の画素の行を制御するようにしたので、全画素から得られる電荷に基づく電気信号を伝送する場合や、上述した実施の形態1と比して、内視鏡2aから処理装置4に伝送する情報量を少なくすることができる。これにより、内視鏡2aと処理装置4とを接続するケーブルを細径化し、内視鏡システム1aの小型化を実現することができる。
なお、上述した実施の形態2において、読み出し部244fが全画素について読み出しを行い、色成分分離部402aが、観察方式に応じて奇数行または偶数行の輝度値(信号)を分離するものであってもよい。これにより、画像処理部402が行う画像信号生成処理の負荷を軽減することができる。
(実施の形態2の変形例1)
図24は、本発明の実施の形態2の変形例1にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11cは、2行×2列で分割した4つの領域である基本ユニットC21c〜C24cに区分される。また、基本ユニットC21c〜C24cは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31c〜C38cに区分される。具体的には、基本ユニットC21cは1行×2列で分割した読み出しユニットC31c,C32cを有し、基本ユニットC22cは1行×2列で分割した読み出しユニットC33c,C34cを有し、基本ユニットC23cは1行×2列で分割した読み出しユニットC35c,C36cを有し、基本ユニットC24cは1行×2列で分割した読み出しユニットC37c,C38cを有する。
図24に示すとおり、本変形例1にかかるフィルタユニットC11cは、波長帯域Hの光を透過するGフィルタが六つ(6/16)と、波長帯域Hの光を透過するBフィルタが八つ(8/16)と、波長帯域Hの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31c,C32cは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31cは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC32cは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC21cは、行方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC33c〜C38cについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33cは、波長帯域Hの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34cは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC22cは、行方向で隣接する二つのRフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC35cは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC36cは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC23cは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37cは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC38cは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC24cは、行方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
フィルタユニットC11cでは、読み出しユニットC31c,C33c,C35c,C37cが奇数行に配置され、読み出しユニットC32c,C34c,C36c,C38cが偶数行に配置されている。
(実施の形態2の変形例2)
図25は、本発明の実施の形態2の変形例2にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11dは、2行×2列で分割した4つの領域である基本ユニットC21d〜C24dに区分される。また、基本ユニットC21d〜C24dは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31d〜C38dに区分される。具体的には、基本ユニットC21dは1行×2列で分割した読み出しユニットC31d,C32dを有し、基本ユニットC22dは1行×2列で分割した読み出しユニットC33d,C34dを有し、基本ユニットC23dは1行×2列で分割した読み出しユニットC35d,C36dを有し、基本ユニットC24dは1行×2列で分割した読み出しユニットC37d,C38dを有する。
図25に示すとおり、本変形例2にかかるフィルタユニットC11dは、波長帯域Hの光を透過するGフィルタが八つ(8/16)と、波長帯域Hの光を透過するBフィルタが六つ(6/16)と、波長帯域Hの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31d,C32dは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31dは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC32dは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC21dは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33d〜C38dについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33dは、波長帯域Hの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34dは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC22dは、行方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35dは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。読み出しユニットC36dは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC23dは、行方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC37dは、波長帯域Hの光を透過する二つのBフィルタが列方向に配列されてなる。読み出しユニットC38dは、波長帯域Hの光を透過する二つのGフィルタが列方向に配列されてなる。したがって、基本ユニットC24dは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11dでは、読み出しユニットC31d,C33d,C35d,C37dが奇数行に配置され、読み出しユニットC32d,C34d,C36d,C38dが偶数行に配置されている。
(実施の形態2の変形例3)
図26は、本発明の実施の形態2の変形例3にかかるカラーフィルタの構成の一例を示す模式図である。本変形例にかかるフィルタユニットC11eは、2行×2列で分割した4つの領域である基本ユニットC21e〜C24eに区分される。また、基本ユニットC21e〜C24eは、各基本ユニットにおいて1行×2列で分割することにより形成される読み出しユニットC31e〜C38eに区分される。具体的には、基本ユニットC21eは1行×2列で分割した読み出しユニットC31e,C32eを有し、基本ユニットC22eは1行×2列で分割した読み出しユニットC33e,C34eを有し、基本ユニットC23eは1行×2列で分割した読み出しユニットC35e,C36eを有し、基本ユニットC24eは1行×2列で分割した読み出しユニットC37e,C38eを有する。
図26に示すとおり、本変形例3にかかるフィルタユニットC11eは、波長帯域Hの光を透過するGフィルタが六つ(6/16)と、波長帯域Hの光を透過するBフィルタが六つ(6/16)と、波長帯域Hの光を透過するRフィルタが四つ(4/16)と、で構成されている。
読み出しユニットC31e,C32eは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31eは、波長帯域Hの光を透過する二つのGフィルタが列方向に配列されてなる。読み出しユニットC32eは、波長帯域Hの光を透過する二つのBフィルタが列方向に配列されてなる。したがって、基本ユニットC21eは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33e〜C38eについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33eは、波長帯域Hの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC34eは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC22eは、行方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35eは、波長帯域Hの光を透過する二つのRフィルタが行方向に配列されてなる。読み出しユニットC36eは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。したがって、基本ユニットC23eは、行方向で隣接する二つのRフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC37eは、波長帯域Hの光を透過する二つのBフィルタが行方向に配列されてなる。読み出しユニットC38eは、波長帯域Hの光を透過する二つのGフィルタが行方向に配列されてなる。したがって、基本ユニットC24eは、行方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11eでは、読み出しユニットC31e,C33e,C35e,C37eが奇数行に配置され、読み出しユニットC32e,C34e,C36e,C38eが偶数行に配置されている。
なお、変形例3の配置は、変形例2の読み出しユニットC35dのGフィルタをRフィルタに置き換えたものであるが、このほか、奇数列であって上述したフィルタの数を満たしていればRフィルタに置き換えることが可能である。例えば、変形例1の読み出しユニットC35cのBフィルタをRフィルタに置き換えたものであってもよい。
本変形例1〜3にかかるフィルタユニットにおいても、上述した実施の形態2のように、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができるという効果を奏する。
また、上述した実施の形態1において、実施の形態2および変形例1〜3にかかるカラーフィルタを用いて信号処理を行うものであってもよい。
(実施の形態3)
次に、本発明の実施の形態3について説明する。図27は、本発明の実施の形態3にかかるカラーフィルタの構成の一例を示す模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態1,2では、読み出し部244fが、格子状に配列された複数の画素が蓄積した電荷を行(ライン)ごとに読み出すものとして説明したが、本実施の形態3では、列ごとに読み出すものとして説明する。
本実施の形態3にかかるカラーフィルタ244gは、4×4のマトリックス状に並べられた16個のフィルタからなるフィルタユニットC11fを画素Pijの配置に応じて二次元的(マトリックス状)に並べて配置したものである。
フィルタユニットC11fは、2行×2列で分割した4つの領域である基本ユニットC21f〜C24fに区分される。また、基本ユニットC21f〜C24fは、各基本ユニットにおいて2行×1列で分割することにより形成される読み出しユニットC31f〜C38fに区分される。具体的には、基本ユニットC21fは2行×1列で分割した読み出しユニットC31f,C32fを有し、基本ユニットC22fは2行×1列で分割した読み出しユニットC33f,C34fを有し、基本ユニットC23fは2行×1列で分割した読み出しユニットC35f,C36fを有し、基本ユニットC24fは2行×1列で分割した読み出しユニットC37f,C38fを有する。
図27に示すとおり、本実施の形態3にかかるフィルタユニットC11fは、波長帯域Hの光を透過するGフィルタが八つ(8/16)と、波長帯域Hの光を透過するBフィルタが六つ(6/16)と、波長帯域Hの光を透過するRフィルタが二つ(2/16)と、で構成されている。
読み出しユニットC31f,C32fは、同一の波長帯域の光を透過する二つのフィルタを有する。具体的には、読み出しユニットC31fは、波長帯域Hの光を透過する二つのGフィルタが列方向に配列されてなる。読み出しユニットC32fは、波長帯域Hの光を透過する二つのBフィルタが列方向に配列されてなる。したがって、基本ユニットC21fは、列方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
読み出しユニットC33f〜C38fについても同様に、同一の波長帯域の光を透過する二つのフィルタをそれぞれ有する。具体的には、読み出しユニットC33fは、波長帯域Hの光を透過する二つのBフィルタが列方向に配列されてなる。読み出しユニットC34fは、波長帯域Hの光を透過する二つのGフィルタが列方向に配列されてなる。したがって、基本ユニットC22fは、列方向で隣接する二つのBフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC35fは、波長帯域Hの光を透過する二つのRフィルタが列方向に配列されてなる。読み出しユニットC36fは、波長帯域Hの光を透過する二つのGフィルタが列方向に配列されてなる。したがって、基本ユニットC23fは、列方向で隣接する二つのRフィルタおよび二つのGフィルタにより構成される。
読み出しユニットC37fは、波長帯域Hの光を透過する二つのGフィルタが列方向に配列されてなる。読み出しユニットC38fは、波長帯域Hの光を透過する二つのBフィルタが列方向に配列されてなる。したがって、基本ユニットC24fは、列方向で隣接する二つのGフィルタおよび二つのBフィルタにより構成される。
フィルタユニットC11fでは、読み出しユニットC31f,C33f,C35f,C37fが奇数列に配置され、読み出しユニットC32f,C34f,C36f,C38fが偶数列に配置されている。各基本ユニットは、読み出しユニットのフィルタの配列方向(列方向)と直交する方向(行方向)で隣り合う読み出しユニットからなる。
本実施の形態3では、例えば図5のフローチャートにしたがって信号処理を行う場合、ステップS101において、読み出し部244fは、行方向を列方向に読み替えて列ごとの読み出し処理を行う。読み出し部244fは、読み出しユニットC31f〜C38fごとに一括して読み出すことによって、受光部244eの複数の画素が蓄積した電荷を撮像信号として出力する。例えば、読み出し部244fは、読み出しユニットC31fに応じたG11画素,G21画素にそれぞれ蓄積された電荷を合算して電圧(合算値)に変換し、撮像信号を生成する。
また、例えば図16のフローチャートにしたがって信号処理を行う場合、ステップS202において、読み出し部244fは、奇数行を奇数列に読み替えて奇数列の読み出し処理を行う。同様に、ステップS205において、読み出し部244fは、偶数行を偶数列に読み替えて偶数列の読み出し処理を行う。読み出し部244fは、読み出し制御部244hの制御のもと、奇数列または偶数列のいずれかの行に配置された読み出しユニットの画素の電荷を読み出す。
上述した本実施の形態3によれば、実施の形態1,2と同様、フィルタユニットC11fが、波長帯域Hの光を透過するGフィルタが八つと、波長帯域Hの光を透過するBフィルタが六つと、波長帯域Hの光を透過するRフィルタが二つとで構成され、色成分分離部402aが抽出した色成分情報をもとに、抽出部402bが、基本ユニットC21f〜C24fに応じた四つの画素からなる抽出領域で抽出画像情報を生成して、画像処理部402によりカラー画像信号を生成するようにしたので、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得ることができる。
なお、上述した実施の形態1〜3および変形例では、同じ配列のフィルタユニットをマトリックス状に配置するものとして説明したが、異なる配列のフィルタユニットをマトリックス状に配置するものであってもよい。例えば、実施の形態1にかかるフィルタユニットC11と、実施の形態2にかかるフィルタユニットC11bとを用いて、該フィルタユニットC11,C11bをマトリックス状に配置するものであってもよい。
以上のように、本発明にかかる固体撮像素子、内視鏡および内視鏡システムは、白色照明光観察方式および狭帯域光観察方式のいずれにおいても明瞭な画像を得るのに有用である。
1,1a 内視鏡システム
2,2a 内視鏡
3 光源装置
4 処理装置
5 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 照明部
32 照明制御部
33 光源
34 光源ドライバ
35 切替フィルタ
36 駆動部
37 駆動ドライバ
241 ライトガイド
242 照明レンズ
243 撮像光学系
244 固体撮像素子
244a センサ部
244b アナログフロントエンド部(AFE部)
244c P/S変換部
244d 撮像制御部
244e 受光部
244f 読み出し部
244g カラーフィルタ
244h 読み出し制御部
401 S/P変換部
402 画像処理部
402a 色成分分離部
402b 抽出部
403 入力部
404 記録部
405 制御部

Claims (8)

  1. 受光した光量に応じた電荷を蓄積する複数の光電変換素子が格子状に配列されてなる受光部と、
    前記受光部が蓄積した電荷に基づく撮像信号を読み出す読み出し部と、
    赤色の波長帯域の光を透過する赤色フィルタ、緑色の波長帯域の光を透過する緑色フィルタ、および青色の波長帯域の光を透過する青色フィルタで構成され、各色の複数のフィルタが前記受光部の受光面上に前記光電変換素子の配置に応じて配列されてなるカラーフィルタと、
    を備え、
    前記カラーフィルタは、前記赤色フィルタ、前記緑色フィルタおよび前記青色フィルタを4行4列で配置してなるィルタユニットを格子状に配置してなり、
    前記フィルタユニットは、前記緑色フィルタの数が6個以上8個以下、前記青色フィルタの数が6個以上8個以下記赤色フィルタの数が2個以上4個以下であり、かつフィルタの総数が16個になるように設定され、同一色の波長帯域の光を透過する2つのフィルタが一方向で隣接する読み出しユニットで区分されており、
    前記読み出し部は、前記読み出しユニットに応じた2つの前記光電変換素子が蓄積した電荷を一括して読み出すことを特徴とする固体撮像素子。
  2. 前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが行方向で隣接しており、
    前記読み出し部は、外部からの指示に応じて奇数行または偶数行の前記光電変換素子が蓄積する電荷を読み出すことを特徴とする請求項1に記載の固体撮像素子。
  3. 前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが列方向で隣接しており、
    前記読み出し部は、外部からの指示に応じて奇数列または偶数列の前記光電変換素子が蓄積する電荷を読み出すことを特徴とする請求項1に記載の固体撮像素子。
  4. 複数の前記フィルタユニットは、同一のフィルタ配列をなすことを特徴とする請求項1に記載の固体撮像素子。
  5. 請求項1に記載の固体撮像素子を挿入部の先端に備えたことを特徴とする内視鏡。
  6. 請求項1に記載の固体撮像素子を挿入部の先端に備えた内視鏡と、
    赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記青色および前記緑色の波長帯域にそれぞれ含まれる狭帯域の光からなる狭帯域照明光を出射する照明部と、
    前記内視鏡と接続し、該内視鏡から得られた前記撮像信号をもとに、画像表示するための画像信号を生成する画像処理部と、
    を備え、
    前記フィルタユニットは、前記一方向と直交する方向で隣接する2つの前記読み出しユニットに応じた4つのフィルタが2行2列で配置された基本ユニットで区分されており、
    前記画像処理部は、前記読み出しユニットに応じた光電変換素子の信号値をもとに、前記基本ユニットを単位として色成分ごとに単一の色成分の画像情報を生成し、該生成した画像情報をもとに画像表示するための画像信号を生成することを特徴とする内視鏡システム。
  7. 前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが行方向で隣接しており、
    前記読み出し部は、前記照明部が出射する照明光に応じて奇数行または偶数行の前記光電変換素子が蓄積する電荷を読み出し、
    前記画像処理部は、前記読み出し部によって読み出された奇数行または偶数行の前記光電変換素子が蓄積する電荷に基づく撮像信号を用いて前記画像情報を生成することを特徴とする請求項6に記載の内視鏡システム。
  8. 前記読み出しユニットは、同一色の波長帯域の光を透過する2つのフィルタが列方向で隣接しており、
    前記読み出し部は、前記照明部が出射する照明光に応じて奇数列または偶数列の前記光電変換素子が蓄積する電荷を読み出し、
    前記画像処理部は、前記読み出し部によって読み出された奇数列または偶数列の前記光電変換素子が蓄積する電荷に基づく撮像信号を用いて前記画像情報を生成することを特徴とする請求項6に記載の内視鏡システム。
JP2015542508A 2014-05-09 2015-03-18 固体撮像素子、内視鏡および内視鏡システム Expired - Fee Related JP5881916B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015542508A JP5881916B1 (ja) 2014-05-09 2015-03-18 固体撮像素子、内視鏡および内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014097785 2014-05-09
JP2014097785 2014-05-09
PCT/JP2015/058110 WO2015170515A1 (ja) 2014-05-09 2015-03-18 固体撮像素子、内視鏡および内視鏡システム
JP2015542508A JP5881916B1 (ja) 2014-05-09 2015-03-18 固体撮像素子、内視鏡および内視鏡システム

Publications (2)

Publication Number Publication Date
JP5881916B1 true JP5881916B1 (ja) 2016-03-09
JPWO2015170515A1 JPWO2015170515A1 (ja) 2017-04-20

Family

ID=54392369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015542508A Expired - Fee Related JP5881916B1 (ja) 2014-05-09 2015-03-18 固体撮像素子、内視鏡および内視鏡システム

Country Status (3)

Country Link
US (1) US9517002B2 (ja)
JP (1) JP5881916B1 (ja)
WO (1) WO2015170515A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449137A (zh) * 2020-11-02 2022-05-06 北京小米移动软件有限公司 滤光片结构、拍摄方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007010709A1 (ja) * 2005-07-15 2007-01-25 Olympus Medical Systems Corp. 内視鏡及び内視鏡装置
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置
JP2008085807A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 画像処理装置、内視鏡装置、及び画像処理プログラム
JP2012005512A (ja) * 2010-06-22 2012-01-12 Olympus Corp 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
JP2014076375A (ja) * 2013-11-27 2014-05-01 Fujifilm Corp 内視鏡システムおよび内視鏡システムの作動方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002056604A1 (fr) * 2001-01-09 2002-07-18 Sony Corporation Dispositif de traitement d'images
JP2005334257A (ja) 2004-05-26 2005-12-08 Fuji Film Microdevices Co Ltd 内視鏡
JP4694310B2 (ja) 2005-08-22 2011-06-08 Hoya株式会社 電子内視鏡、内視鏡光源装置、内視鏡プロセッサ、および内視鏡システム
US8111286B2 (en) 2006-09-28 2012-02-07 Fujifilm Corporation Image processing apparatus, endoscope, and computer readable medium
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5259882B2 (ja) * 2010-09-30 2013-08-07 オリンパスメディカルシステムズ株式会社 撮像装置
CN103079454B (zh) * 2010-10-08 2015-09-30 奥林巴斯医疗株式会社 摄像装置
CN103250406B (zh) * 2010-12-14 2017-03-01 奥林巴斯株式会社 摄像装置
WO2012153533A1 (ja) * 2011-05-11 2012-11-15 国立大学法人東京工業大学 カラーフィルタアレイ及び撮像素子
WO2013008517A1 (ja) * 2011-07-08 2013-01-17 オリンパス株式会社 撮像装置及び画像生成方法
EP2636359B1 (en) * 2011-08-15 2018-05-30 Olympus Corporation Imaging apparatus
JP5687676B2 (ja) * 2012-10-23 2015-03-18 オリンパス株式会社 撮像装置及び画像生成方法
US9042674B2 (en) * 2013-03-15 2015-05-26 Digitalglobe, Inc. Automated geospatial image mosaic generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007010709A1 (ja) * 2005-07-15 2007-01-25 Olympus Medical Systems Corp. 内視鏡及び内視鏡装置
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置
JP2008085807A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 画像処理装置、内視鏡装置、及び画像処理プログラム
JP2012005512A (ja) * 2010-06-22 2012-01-12 Olympus Corp 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
JP2014076375A (ja) * 2013-11-27 2014-05-01 Fujifilm Corp 内視鏡システムおよび内視鏡システムの作動方法

Also Published As

Publication number Publication date
US20160235283A1 (en) 2016-08-18
US9517002B2 (en) 2016-12-13
WO2015170515A1 (ja) 2015-11-12
JPWO2015170515A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
JP6196900B2 (ja) 内視鏡装置
JP6435275B2 (ja) 内視鏡装置
US8643710B2 (en) Image pickup apparatus
JP6471173B2 (ja) 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
JP5670264B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
US10070771B2 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
JP5769892B2 (ja) 内視鏡
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
EP3085299A1 (en) Endoscopic device
WO2016084257A1 (ja) 内視鏡装置
JPWO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
JP6137892B2 (ja) 撮像システム
JP6346501B2 (ja) 内視鏡装置
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP5881916B1 (ja) 固体撮像素子、内視鏡および内視鏡システム
JP5815162B2 (ja) 撮像装置
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP6396717B2 (ja) 感度調整方法および撮像装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
WO2019180983A1 (ja) 内視鏡システム、画像処理方法およびプログラム
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP2011059408A (ja) カラーフィルタ及び電子内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160202

R151 Written notification of patent or utility model registration

Ref document number: 5881916

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees