WO2018154661A1

WO2018154661A1 - 内視鏡のための画像処理装置及び内視鏡システム

Info

Publication number: WO2018154661A1
Application number: PCT/JP2017/006645
Authority: WO
Inventors: 俊彰三上
Original assignee: オリンパス株式会社
Priority date: 2017-02-22
Filing date: 2017-02-22
Publication date: 2018-08-30
Also published as: US20190374087A1; US11045071B2

Abstract

内視鏡のための画像処理装置（１００）は、内視鏡（２００）を用いて撮影された画像を取得する画像取得部（１１０）と、妨害領域設定部（１３０）と、妨害領域補正部（１４０）とを備える。妨害領域設定部（１３０）は、画像において観察対象とは異なる特徴を有する妨害領域を画像上に設定する。妨害領域補正部（１４０）は、妨害領域の輝度を抑制することを含む補正を画像に対して施す。

Description

内視鏡のための画像処理装置及び内視鏡システム

　本発明は、内視鏡のための画像処理装置及び内視鏡システムに関する。

　内視鏡による観察下で種々の処置具を用いて処置が行われることがある。このような処置において、撮影が行われる内視鏡の先端部と処置を行う処置具との距離が近いと、処置具によって視界が遮られたり、撮影のための照明光が処置具で強く反射し画像上で処置具の輝度が極端に高くなったりすることがある。高輝度の領域は目を引きやすいため、ユーザの視線は高輝度領域に向かいやすい。また、近年では、両眼視を利用した３次元内視鏡が用いられる場合がある。３次元内視鏡から取得された被写体像は、３Ｄディスプレイなどの３次元立体表示装置を用いて表示される。３次元内視鏡での撮影時に、内視鏡の先端部と処置を行う処置具との距離が近いと、３次元立体表示装置で表示される画像は立体視が不可能である場合があり、そのような場合にユーザは不快感を覚える。したがって、内視鏡の先端部と処置を行う処置具との距離が近い場合、不快感が発生した領域は、ユーザの目を引きやすくなる。また、視差を得るために取得される左右一対の画像のうち一方にのみ含まれる画像領域が生じ得る。３次元内視鏡では、使用される空間が管腔状のものである場合が多く、左右一対の画像のうち一方にのみ含まれる画像領域に存在する被写体は内視鏡の先端部との距離が近い場合が多いため、高輝度になりやすい。さらに、左右一対の画像のうち一方にのみ含まれるため立体視ができず、３次元内視鏡によって取得された画像を見ているユーザは、不快感を覚えることがある。

　３次元内視鏡を用いた際にユーザが受けることがある不快感を軽減することに係る技術が、例えば日本国特開２０１４－６４６５７号公報に開示されている。この技術では、処置具が写っている画像と写っていない画像とを取得する。処置具が写っている画像において、処置具が写っている領域を検出し、当該領域内の画像を、処置具が写っていない画像における当該領域に対応する領域の画像に置換する。両画像における領域の対応は、両画像を用いた領域ベースのマッチングを取ることで取得され得る。

　内視鏡を用いて取得された画像において、ユーザに不快感などを与える画像を表示することはできるだけ避けることが望ましい。

　本発明は、ユーザにとってより好ましい画像を提示する内視鏡のための画像処理装置及び内視鏡システムを提供することを目的とする。

　本発明の一態様によれば、内視鏡のための画像処理装置は、内視鏡を用いて撮影された画像を取得する画像取得部と、前記画像において観察対象とは異なる特徴を有する妨害領域を前記画像上に設定する妨害領域設定部と、前記妨害領域の輝度を抑制することを含む補正を前記画像に対して施す妨害領域補正部とを備える。

　本発明の一態様によれば、内視鏡システムは、上述の画像処理装置と、前記内視鏡とを備える。

　本発明によれば、ユーザにとってより好ましい画像を提示する内視鏡のための画像処理装置及び内視鏡システムを提供することができる。

図１は、実施形態に係る内視鏡システムの構成例の概略を示すブロック図である。図２は、実施形態に係る内視鏡システムの使用態様について説明するための図である。図３は、実施形態に係る画像処理装置による画像処理の一例の概略を示すフローチャートである。図４は、実施形態に係る妨害候補領域抽出処理の一例の概略を示すフローチャートである。図５は、実施形態に係る画像処理を説明するための図であり、内視鏡により取得された画像を示す模式図である。図６は、実施形態に係る画像処理を説明するための図であり、抽出された妨害候補領域を示す模式図である。図７は、実施形態に係る画像処理を説明するための図であり、ラベリングされた妨害候補領域を示す模式図である。図８は、第１の実施形態に係る妨害領域選択処理の一例の概略を示すフローチャートである。図９は、実施形態に係る画像処理を説明するための図であり、選択された妨害領域を示す模式図である。図１０Ａは、実施形態に係る画像処理を説明するための図であり、補正処理前の画像例である。図１０Ｂは、実施形態に係る画像処理を説明するための図であり、補正処理後の画像例である。図１１Ａは、非対応領域について説明するための図であり、左画像を示す模式図である。図１１Ｂは、非対応領域について説明するための図であり、右画像を示す模式図である。図１２Ａは、第２の実施形態に係る妨害領域選択処理の一例の概略を示すフローチャートである。図１２Ｂは、第２の実施形態に係る妨害領域選択処理の一例の概略を示すフローチャートである。

　［第１の実施形態］
　本発明の第１の実施形態について説明する。本実施形態は、３次元（３Ｄ）内視鏡システムに関する。本実施形態に係る内視鏡システムでは、撮影により得られた動画に対して特徴的な画像処理が行われる。この画像処理は、ユーザに視覚的にある種の不快感を与える画像領域を検出し、当該画像領域にその不快感を低減させる補正を施すものである。

　３Ｄ内視鏡は、左右一組の光学系及び撮像素子を含むステレオカメラを備え、左右一組の被写体像を撮像する。左の光学系及び撮像素子で撮影された左画像と、右の光学系及び撮像素子で撮影された右画像とは、人間が両眼視を行った場合と類似した視差のある被写体像として得られる。内視鏡システムは、左画像及び右画像に基づく画像を３次元表示装置に表示させる事で、ユーザに被写体の立体的な像を知覚させる。

　〈内視鏡システムの構成〉
　本実施形態に係る内視鏡システム１の構成例の概略を図１のブロック図に示す。内視鏡システム１は、画像処理装置１００と内視鏡２００とディスプレイ３００と光源装置３５０とを備える。本実施形態では、内視鏡２００は、３Ｄ内視鏡であるものとして説明するがこれに限らない。内視鏡２００は、その一部が被検体の内部に挿入されることにより被検体の内部を撮像し、被検体の内部の画像データを生成する。画像処理装置１００は、内視鏡２００により生成された画像データに対して各種画像処理等を施す。ディスプレイ３００は、画像処理装置１００により処理された画像を表示する。光源装置３５０は、内視鏡２００による撮像する範囲を照明するための照明光の光源である。

　内視鏡２００は、例えば外科手術用の硬性鏡であり、被検体に挿入されるように構成された細長形状をした挿入部を有する。また、内視鏡２００と画像処理装置１００及び光源装置３５０とは、ケーブルを介して接続されている。例えば挿入部の先端部には、能動的に湾曲する湾曲部が設けられており、ユーザの操作に応じてユーザが希望する方向に先端部が湾曲するように構成されていてもよい。

　挿入部の先端部には、撮像部２１０と撮像光学系２２０と照明部２３０とが設けられている。撮像部２１０及び撮像光学系２２０は、３Ｄ画像を取得するために左右２つの光学系を有する。撮像部２１０は、例えばＣＣＤイメージセンサといった撮像素子をそれぞれ備える左画像取得部２１１と右画像取得部２１２とを有する。撮像光学系２２０は、左画像取得部２１１の撮像素子の撮像面に合焦するように被写体像を形成する左光学系２２１と、右画像取得部２１２の撮像素子の撮像面に合焦するように被写体像を形成する右光学系２２２とを備える。照明部２３０は、光源装置３５０から放射され、光ファイバによって導かれた照明光を被写体の方向に放射する光学系を備える。

　照明部２３０から放射された照明光によって照明された被写体の像は、撮像光学系２２０を介して撮像部２１０の撮像素子の撮像面に合焦する。撮像部２１０は、撮像動作によって被写体像に基づく画像のデータを生成する。この画像データには、左画像取得部２１１で生成される左画像と、右画像取得部２１２で生成される右画像とが含まれる。画像データは、ケーブルを介して画像処理装置１００へと送信される。

　画像処理装置１００は、画像取得部１１０と、画像保存部１２０と、妨害領域設定部１３０と、妨害領域補正部１４０と、表示画像生成部１５０とを備える。

　画像取得部１１０は、内視鏡２００から画像データを取得する。画像保存部１２０は、画像取得部１１０で取得された画像データについて、左画像データと右画像データとを分けてそれぞれ保存する。画像保存部１２０は、例えばＤＲＡＭといった半導体メモリを含む。画像保存部１２０に保存された画像を用いて各種処理が行われる。

　妨害領域設定部１３０は、画像保存部１２０に保存された左画像データと右画像データとのそれぞれに対して、妨害領域を設定する。ここで、妨害領域は、観察においてユーザに不快感などを与える画像領域である。妨害領域設定部１３０は、妨害候補領域抽出部１３１、ラベリング部１３２及び妨害領域選択部１３３としての機能を有する。妨害候補領域抽出部１３１は、画像保存部１２０から取得した画像の特徴に基づいて、妨害領域の候補を妨害候補領域として抽出する。ラベリング部１３２は、抽出された１つ又は複数の妨害候補領域のそれぞれに対してラベリングを行う。妨害領域選択部１３３は、ラベリング部１３２から取得したラベリングされた各々の妨害候補領域のうちから、画像保存部１２０から取得した画像の特徴に基づいて、妨害領域以外の例えば輝点の領域などを除外して、妨害領域を選択する。

　妨害領域補正部１４０は、画像保存部１２０から画像を取得し、妨害領域選択部１３３から妨害領域のデータを取得して、画像の設定された妨害領域に対して、補正を施す。この補正は、妨害領域に関するユーザの不快感などを低減させるための画像処理である。この補正には、例えば妨害領域の輝度を低下させる処理が含まれ得る。表示画像生成部１５０は、妨害領域補正部１４０で補正された画像データに対して、その他の画像処理を施す。この画像処理には、ディスプレイ３００への表示に適した画像とするための各種処理が含まれ、例えば３次元画像を表示するための画像処理も含まれる。表示画像生成部１５０で処理された表示用の画像データは、ディスプレイ３００へと出力される。

　妨害領域設定部１３０、妨害領域補正部１４０、表示画像生成部１５０等は、例えば、Application Specific Integrated Circuit（ＡＳＩＣ）、Field Programmable Gate Array（ＦＰＧＡ）、Graphics Processing Unit（ＧＰＵ）、又はCentral Processing Unit（ＣＰＵ）等の集積回路等を含む。妨害領域設定部１３０、妨害領域補正部１４０、表示画像生成部１５０等は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、妨害領域設定部１３０、妨害領域補正部１４０、表示画像生成部１５０等のうち２つ以上が１つの集積回路等で構成されてもよい。これら集積回路の動作は、図示しない画像処理装置１００に設けられた記録装置又は集積回路内の記録領域に記録されたプログラムに従って行われる。

　ディスプレイ３００は、３Ｄディスプレイである。ディスプレイ３００は、画像処理装置１００から取得した表示用の画像データに基づいて、３次元画像を表示する。ディスプレイ３００は、例えば偏光を利用した３Ｄディスプレイである。この場合、ユーザは、偏光メガネをかけてディスプレイ３００に表示された画像を見ることで、表示画像を３次元画像として認識することができる。

　〈内視鏡システムの使用態様〉
　内視鏡システム１の使用状況について説明する。図２は、内視鏡システム１を用いた処置の状況の一例を示す模式図である。内視鏡２００の挿入部２４０は、被検体４２０の内部に挿入されている。図２に示すように、挿入部２４０の先端部には、撮像光学系２２０の左光学系２２１と右光学系２２２とが設けられている。これら２つの光学系を介して取得される左画像及び右画像に基づいて、ディスプレイ３００には３次元画像が表示される。また、挿入部２４０の先端部には、照明部２３０が設けられている。図２において照明部２３０には照明光を放射する２つの照明窓が描かれているが、照明窓の数は１つであっても３つ以上であってもよい。また、左光学系２２１、右光学系２２２及び照明部２３０の位置関係などは、任意でよい。例えば、照明部２３０の照明窓は、左光学系２２１及び右光学系２２２を囲むようなリング形状であってもよい。

　内視鏡２００の挿入部２４０とは別に被検体４２０の内部には、鉗子４１０などが挿入され、処置対象である組織４２２の処置が行われる。図２には、１つの鉗子４１０が描かれているが、複数の鉗子が被検体４２０に挿入されてもよいし、高周波電力、超音波振動、又は熱エネルギー等を用いて組織４２２の処置を行う処置具が被検体４２０の内部に挿入されてもよい。ユーザは、内視鏡２００で取得された画像であってディスプレイ３００に表示された画像を見ながら、鉗子４１０などを用いて処置対象である組織４２２の処置を行う。

　〈画像処理装置の動作〉
　画像処理装置で行われる画像処理について、図３に示すフローチャートを参照して説明する。

　ステップＳ１０１において、画像取得部１１０は、内視鏡２００の撮像部２１０から撮像により得られた画像データを取得する。ここで取得される画像データは、左画像取得部２１１で得られた左画像データと右画像取得部２１２で得られた右画像データとを含む。ステップＳ１０２において、画像保存部１２０は、取得された画像データを一時記憶する。この際、左画像データと右画像データとは分けて保存される。

　ステップＳ１０３において、妨害領域設定部１３０は、以降で処理を施す画像を選択する。具体的には、妨害領域設定部１３０は、左画像データと右画像データとのうちから一方を選択する。

　ステップＳ１０４において、妨害候補領域抽出部１３１は、妨害候補領域抽出処理を行う。妨害候補領域抽出処理において妨害候補領域抽出部１３１は、画像保存部１２０に保存された画像データにおいて、画像の特徴、例えば生体としての色の特徴を持つ部分以外を妨害候補領域として抽出する。例えば、妨害候補領域抽出部１３１は、画像の彩度情報又は色相情報といった色に係る特徴を用いて妨害候補領域を抽出する。妨害候補領域抽出処理の一例について、図４を参照して説明する。

　ステップＳ２０１において、妨害候補領域抽出部１３１は、以降のステップＳ２０２乃至ステップＳ２０７の処理の対象となる領域を選択する。ここで選択される領域は、例えば１画素以上の矩形領域である。なお、選択される領域は矩形でなくてもよい。ステップＳ２０２において、妨害候補領域抽出部１３１は、ステップＳ２０１で選択された対象となっている領域の彩度を算出する。妨害候補領域抽出部１３１は、例えばＲＧＢ信号をＹＣｂＣｒ信号に変換して彩度の算出を行う。ＹＣｂＣｒ信号のうちＣｂ信号及びＣｒ信号をＹ信号で正規化することで、被写体の反射強度が除外され、色の特徴のみが扱われ得る。例えば、Ｙ信号で正規化されたＣｂ及びＣｒを軸とする空間における、Ｙ信号で正規化されたＣｂ信号値及びＣｒ信号値が表す点の原点から距離に基づいて、彩度の特徴値が算出され得る。具体的には、例えば下記式（１）で算出され得る。

ここで、Satは領域内の彩度、ｘ及びｙは画素位置、SizeX及びSizeYは、ステップＳ２０１で設定された領域のサイズ、NormCb及びNormCrはＹ信号で正規化されたＣｂ信号値及びＣｒ信号値を表す。

　なお、ここでは彩度の算出にＹＣｂＣｒ空間が用いられる例を挙げたが、ＨＬＳ空間等が用いられてもよい。

　ステップＳ２０３において、妨害候補領域抽出部１３１は、ステップＳ２０２で算出された彩度が生体の特徴と一致するか否かを判定する。ここで、比較対象とされる生体の特徴は、予め設定されていてもよい。例えば無彩色又はそれに近いとき、生体の特徴と一致しないと判定される。彩度が生体の特徴と一致しないとき、処理は後述するステップＳ２０６に進む。一方、彩度が生体の特徴と一致するとき、処理はステップＳ２０４に進む。

　ステップＳ２０４において、妨害候補領域抽出部１３１は、対象となっている領域の色相を算出する。色相の算出は、彩度の算出と同様に、Ｙ信号で正規化されたＣｂ信号値及びＣｒ信号値を用いて行われてもよい。例えば、Ｙ信号で正規化されたＣｂ及びＣｒを軸とする空間における、Ｙ信号で正規化されたＣｂ信号値及びＣｒ信号値で表される点の角度に基づいて、色相の特徴値が算出され得る。具体的には、例えば下記式（２）で算出され得る。

ここで、Ｈは色相、arctan(a,b)はaとｂのアークタンジェントの値である。アークタンジェントでなくても、Ｙ信号で正規化したＣｂ，Ｃｒ空間における符号と傾きが算出されてもよい。

　なお、ここでは色相の算出にＹＣｂＣｒ空間が用いられる例を挙げたが、ＨＬＳ空間等が用いられてもよい。

　ステップＳ２０５において、妨害候補領域抽出部１３１は、ステップＳ２０４で算出された色相が生体の特徴と一致するか否かを判定する。ここで、比較対象とされる生体の特徴は、予め設定されていてもよい。例えば、赤みがかっているとき、生体の特徴と一致すると判定される。色相が生体の特徴と一致しないとき、処理はステップＳ２０６に進む。一方、色相が生体の特徴と一致するとき、処理はステップＳ２０７に進む。

　ステップＳ２０６において、妨害候補領域抽出部１３１は、当該領域を妨害候補領域として抽出する。その後、処理はステップＳ２０７に進む。このように、彩度が生体の特徴と一致していないとき、又は、彩度が生体の特徴と一致しているが色相が生体の特徴と一致していないとき、当該領域は妨害候補領域として抽出される。一方、その他の場合には、妨害候補領域として抽出されない。

　ステップＳ２０７において、妨害候補領域抽出部１３１は、画像内の全ての領域が対象領域として処理されたか否かを判定する。全ての領域が対象領域として処理されていないとき、処理はステップＳ２０１に戻る。一方、全ての領域が対象領域として処理されたとき、妨害候補領域抽出処理は終了し、処理は画像処理に戻る。

　模式図を使って妨害候補領域抽出処理について説明する。例えば、図５に示すような画像７１０が内視鏡２００によって取得された場合を考える。図５に示す画像７１０には、生体である臓器７１１と、鉗子７１２とが写っている。鉗子７１２は、一般的に観察対象である臓器７１１等と異なる色特徴を有し、また、内視鏡２００の撮像部２１０に近い部分は、他の部位よりも輝度が高くなっている。また、画像７１０には、鉗子７１２以外の例えば臓器７１１等の生体においても輝点７１６が存在する。輝点７１６は、ＲＧＢ信号値それぞれが飽和値付近であるため、ステップＳ２０２の処理で算出される彩度は無彩色又はそれに近い値となり得る。この場合、輝点７１６は、彩度が生体の特徴と一致しないとして妨害候補領域として抽出され得る。また、ステップＳ２０２の処理で算出される彩度が生体の特徴と一致すると判定された場合でも、輝点７１６の色相は、臓器７１１等と異なる場合がある。この場合、輝点７１６は、色相が生体の特徴と一致しないとして妨害候補領域として抽出され得る。以上のように、例えば画像７１０に対して上述の妨害候補領域抽出処理を行うと、鉗子７１２及び輝点７１６等が妨害候補領域として抽出され得る。抽出された妨害候補領域データ７２０の模式図を図６に示す。図６において、白抜きの領域が抽出された妨害候補領域を示す。すなわち、妨害候補領域データ７２０には、鉗子７１２に対応する第１の領域７２２と、輝点７１６に対応する第２の領域７２６とを表す情報が含まれる。

　なお、ここでは、彩度情報と色相情報とを用いて妨害候補領域を抽出する例を示したが、これに限らない。彩度情報と色相情報とのうち何れか一方を用いて妨害候補領域が抽出されてもよい。また、彩度情報又は色相情報以外の色に係る特徴を用いて妨害候補領域が抽出されてもよい。また、色以外の観察対象と妨害領域とで異なる値を示す画像の特徴を用いて妨害候補領域が抽出されてもよい。

　図３に戻って説明を続ける。本実施形態では、鉗子７１２に対応する第１の領域７２２の内部については輝度を低下させる補正を行い、輝点７１６に対応する第２の領域７２６については補正を行わない。このため、以降の処理で第１の領域７２２と第２の領域７２６とを区別する必要がある。

　ステップＳ１０５において、ラベリング部１３２は、妨害候補領域抽出処理で抽出された各妨害候補領域に対してラベル付けを行うラベリング処理を実行する。ラベリング処理において、ラベリング部１３２は、まず１画素以上の領域を順に設定する。設定した領域が妨害候補領域であり、当該領域の周囲８近傍内にラベル付けされた領域が存在しない場合、設定した領域に対して新しい番号のラベル付けを行う。設定した領域が妨害候補領域であり、当該領域の８近傍内に既にラベル付けされた領域が存在した場合、既に存在するラベルと同じ番号をラベル付けする。妨害候補領域以外には、ラベル付けは行われない。ここで説明した方法は、ラベリング処理の一例であり、ラベル付けは、一般に用いられている種々の方法を含めて他のどのような方法によって行われてもよい。

　一例として、図６に示す妨害候補領域データに対して行ったラベリング処理の結果を図７に示す。図７に示すように、ラベリングデータ７３０において、鉗子７１２に対応する第１の領域７２２には、ラベル「１」が付され、輝点７１６に対応する第２の領域７２６には、ラベル「２」「３」「４」が付される。

　ステップＳ１０６において、妨害領域選択部１３３は、画像保存部１２０に保存された画像データと、ラベリング部１３２で処理されたラベリングデータとに基づいて、妨害領域を選択する妨害領域選択処理を行う。図２に示すように、一般的に、鉗子４１０等の処置具は内視鏡２００の挿入部２４０の撮像光学系２２０における画角の外側から、組織４２２に向かって挿入される。そのため、図５において、鉗子７１２は画像端が最も内視鏡２００の撮像光学系２２０と近く、立体視不可能となる可能性が高い。また、鉗子７１２は画像端が最も照明部２３０に近いために輝度が高くなり、目を引きやすくなる。本実施形態では、鉗子７１２のように内視鏡２００と近接する領域を妨害領域として抽出するために、妨害候補領域のうち画像７１０の周縁から画像７１０の内部へと延びる領域が妨害領域として選択される。すなわち、妨害候補領域に係る位置情報に基づいて妨害領域が選択される。妨害領域選択処理について図８を参照して説明する。

　ステップＳ３０１において、妨害領域選択部１３３は、ステップＳ３０２乃至ステップＳ３０６の処理の対象となるラベルを選択する。例えば、図７に示す例では、ラベル１乃至４が順に選択される。

　ステップＳ３０２において、妨害領域選択部１３３は、対象とするラベルの領域内の画素のうち、ｘ座標の最小値minXとｙ座標の最小値minYとを決定する。minXは、例えば画像内において当該ラベルの領域のうち最も左側の画素を示す。minYは、例えば画像内において当該ラベルの領域のうち最も上側の画素を示す。

　ステップＳ３０３において、妨害領域選択部１３３は、minX≠０かつminY≠０であるか否かを判定する。minXが０であるとき、当該ラベルの領域が画像７１０の左端に接していることを示す。minYが０であるとき、当該ラベルの領域が画像７１０の上端に接していることを示す。minX＝０又はminY＝０であるとき、処理は後述するステップＳ３０６に進む。一方、minX≠０かつminY≠０であるとき、処理はステップＳ３０４に進む。

　ステップＳ３０４において、妨害領域選択部１３３は、対象とするラベルの領域内の画素のうち、ｘ座標の最大値maxXとｙ座標の最大値maxYとを決定する。maxXは、例えば画像内において当該ラベルの領域のうち最も右側の画素を示す。maxYは、例えば画像内において当該ラベルの領域のうち最も下側の画素を示す。

　ステップＳ３０５において、妨害領域選択部１３３は、maxX≠画像７１０の幅かつminY≠画像７１０の高さであるか否かを判定する。maxXが画像７１０の幅であるとき、当該ラベルの領域が画像７１０の右端に接していることを示す。maxYが画像７１０の高さであるとき、当該ラベルの領域が画像７１０の下端に接していることを示す。maxX＝画像７１０の幅又はmaxY＝画像７１０の高さであるとき、処理はステップＳ３０６に進む。一方、maxX≠画像７１０の幅かつminY≠画像７１０の高さであるとき、処理はステップＳ３０７に進む。

　ステップＳ３０６において、妨害領域選択部１３３は、当該ラベルに係る妨害候補領域を妨害領域として選択する。その後、処理はステップＳ３０７に進む。すなわち、妨害候補領域が画像７１０の端部に接しているとき、当該領域が妨害領域として選択される。

　ステップＳ３０７において、妨害領域選択部１３３は、全てのラベルについて、上述の処理が終了したか否かを判定する。全てのラベルの処理が終了していないとき、処理はステップＳ３０１に戻る。一方、全てのラベルの処理が終了しているとき、妨害領域選択処理は終了し、処理は画像処理に戻る。

　妨害領域選択処理によって作成された妨害領域データの模式図を図９に示す。妨害領域データ７４０には、鉗子７１２に対応する領域７４２のみが選択されている。

　図３に戻って説明を続ける。ステップＳ１０７において、妨害領域補正部１４０は、妨害領域補正処理を行う。すなわち、妨害領域補正部１４０は、画像保存部１２０から処理対象とする画像のデータを取得し、妨害領域選択部１３３から妨害領域を示す妨害領域データを取得する。妨害領域補正部１４０は、画像において妨害領域に対応する画素を決定し、当該画素について画像の輝度値を低下させる補正処理を行う。

　輝度値を低下させる量は、テーブルなどに保存されていてもよいし、輝度値に応じて算出してもよい。例えば、妨害領域内にある画素の輝度の最大値が３分の２以下になるように輝度値を低下させることが好ましいこともある。輝度値の調整は、例えばγ補正によって行われてもよい。

　補正処理で妨害領域について輝度値が低下すると、例えば鉗子７１２に生体の映り込みがある場合等で色の知覚が強まることがある。そこで、妨害領域に係る画素について、輝度値の抑制量に例えば比例させて彩度を低下させる補正処理も併せて行われてもよい。このように、画像において妨害領域を目立たなくさせる補正処理が行われる。その結果、処理後の画像では、画像を見たときの妨害感が減少する。

　ステップＳ１０８において、画像処理装置１００は、画像保存部１２０に保存された左画像と右画像とが共に処理されたか否かを判定する。共に処理されているとき、処理はステップＳ１０９に進み、それ以外の場合は、処理はステップＳ１０３に戻る。

　ステップＳ１０９において、表示画像生成部１５０は、補正処理後の画像データを取得し、３次元表示のための画像処理を含む表示のためのその他の画像処理を行い、表示画像を生成する。表示画像生成部１５０は、生成した表示画像のデータをディスプレイ３００へと出力し、ディスプレイ３００に表示画像を表示させる。

　本実施形態に係る画像処理を行わない場合の第１の画像７５０の例を図１０Ａに示し、画像処理を行った場合の第２の画像７６０の例を図１０Ｂに示す。図１０Ａに示す第１の画像７５０では鉗子７５１が白飛びしているのに対して、図１０Ｂに示す第２の画像７６０では鉗子７６１の輝度が抑制されている。一方、第１の画像７５０において、生体７５５に表れている輝点７５６は、第２の画像７６０においても生体７６５に表れている輝点７６６として維持されている。

　〈内視鏡システムの特長〉
　本実施形態に係る内視鏡システム１によれば、例えば鉗子といた画面の外部から入って来る処置具の高輝度領域などの妨害領域の輝度が抑制される。その結果、ユーザが感じる不快感は低減する。

　［変形例］
　左画像７７０の模式図を図１１Ａに示し、対応する右画像７８０の模式図を図１１Ｂに示す。一般に、一対をなす左画像７７０と右画像７８０とでは、視野が異なる。このため、左画像７７０には、左画像７７０には写っており右画像７８０には写っていない第１の非対応領域７７９が含まれる。同様に、右画像７８０には、右画像７８０には写っており左画像７７０には写っていない第２の非対応領域７８９が含まれる。

　第１の非対応領域７７９及び第２の非対応領域７８９は、立体視が不可能となる領域であり、第１の非対応領域７７９及び第２の非対応領域７８９が目立つと、ユーザは不快感を覚える。そこで、妨害領域設定部１３０は、上述の実施形態に係る妨害領域に加えて、又は、上述の実施形態に係る妨害領域に代えて、第１の非対応領域７７９及び第２の非対応領域７８９を妨害領域として設定してもよい。すなわち、妨害領域設定部１３０は、３次元内視鏡が用いられて撮影された一対の画像のうち、一方の画像にのみ写っている領域を含む妨害領域を画像上に設定してもよい。その結果、妨害領域補正部１４０は、上述の実施形態において妨害領域に施す画像処理と同様の画像処理を、第１の非対応領域７７９及び第２の非対応領域７８９に対して施すことになる。このようにすれば、ユーザの視線は非対応領域に向きにくくなり、ユーザが覚える不快感は低減する。

　また、妨害領域設定部１３０は、上述の実施形態のようにして選択された妨害領域のうち非対応領域に含まれる範囲を妨害領域として設定し、妨害領域補正部１４０は当該領域に対して補正を行ってもよい。

　また、上述の実施形態では、鉗子７１２の全体が妨害領域として設定される例を示したが、これに限らない。例えば、妨害領域設定部１３０は、鉗子７１２のうち、輝度が所定の値よりも高い領域を妨害領域として設定してもよい。

　このように、上述の実施形態で示した妨害領域は一例であり、妨害領域は、ユーザにとって不快感等を与える種々の領域であり得る。

　［第２の実施形態］
　第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。第１の実施形態では、妨害領域は画像７１０の端部に接していることを手がかりとして決定されている。しかしながらこの方法では、輝点７１６が画像７１０の端部に接して存在する場合、当該輝点７１６が妨害領域として抽出されるおそれがある。そこで、本実施形態では、処置具の領域がより安定的に選択されるように、次のように妨害領域が決定される。すなわち、一般的な処置具は柄の部分が円柱状になっているものが多いため、処置具の柄では輝度が広く分布する。一方、生体の輝点では輝度の分布は偏りが大きい。本実施形態では、ラベル内の輝度分布及びラベルのサイズを用いて妨害領域を決定する。本実施形態に係る妨害領域選択処理を図１２Ａ及び図１２Ｂに示すフローチャートを参照して説明する。

　本実施形態に係る妨害領域選択処理において、ステップＳ４０１乃至ステップＳ４０６の処理は、第１の実施形態に係る妨害領域処理のステップＳ３０１乃至ステップＳ３０６と同様である。簡単に説明すると、ステップＳ４０１において、妨害領域選択部１３３は、以降の処理の対象となるラベルを選択する。ステップＳ４０２において、妨害領域選択部１３３は、対象とするラベルの領域内の画素のうち、ｘ座標の最小値minXとｙ座標の最小値minYとを決定する。ステップＳ４０３において、妨害領域選択部１３３は、minX≠０かつminY≠０であるか否かを判定する。minX＝０又はminY＝０であるとき、処理は後述するステップＳ４０６に進む。一方、minX≠０かつminY≠０であるとき、処理はステップＳ４０４に進む。ステップＳ４０４において、妨害領域選択部１３３は、対象とするラベルの領域内の画素のうち、ｘ座標の最大値maxXとｙ座標の最大値maxYとを決定する。ステップＳ４０５において、妨害領域選択部１３３は、maxX≠画像７１０の幅かつminY≠画像７１０の高さであるか否かを判定する。maxX＝画像７１０の幅又はmaxY＝画像７１０の高さであるとき、処理はステップＳ４０６に進む。一方、maxX≠画像７１０の幅かつminY≠画像７１０の高さであるとき、処理はステップＳ４１３に進む。ステップＳ４０６において、妨害領域選択部１３３は、当該ラベルに係る妨害候補領域を妨害領域として選択する。その後、処理はステップＳ４０７に進む。すなわち、妨害候補領域が画像７１０の端に接しているとき、当該領域が妨害領域として選択され、処理はステップＳ４０７に進む。

　ステップＳ４０７乃至ステップ４０９の処理は、ラベル内の輝度分布を用いて生体の輝点７１６を示す領域を抽出する処理である。妨害候補領域として抽出される輝点７１６の領域内では、輝度値が飽和している領域が多く存在する。一方で、一般的な処置具は柄の部分が円柱状になっているものが多いため、輝度値の分布は広くなる。したがって、輝度値の分布に着目し、生体の輝点７１６を妨害領域から除外する。

　ステップＳ４０７において、妨害領域選択部１３３は、ラベル内の各領域において輝度値を算出する。ここで、各領域とは例えば１画素以上の矩形領域である。なお、領域は矩形でなくてもよい。また、輝度値は、例えばＲＧＢ信号に基づいて作成される輝度信号値であってもよい。

　ステップＳ４０８において、妨害領域選択部１３３は、最大輝度値を持つ領域がラベル内で占める割合を算出する。ここで、最大輝度値を持つ領域がラベル内で占める割合とは、最大輝度値又は最大輝度値と比較して所定の範囲内の輝度値を持つ領域の数をラベル内の領域数で除した値である。最大輝度値又は最大輝度値と比較して所定の範囲内の輝度値を持つ領域がラベル内で占める割合に代えて、輝度の飽和値又は飽和値と比較して所定の範囲内の輝度値を持つ領域がラベル内で占める割合が用いられてもよい。また、他の所定の輝度値を持つ領域がラベル内で占める割合が用いられてもよい。例えば、輝度のヒストグラムに基づいて所定の閾値が決定され、当該閾値以上の輝度を持つ領域がラベル内で占める割合が用いられてもよい。

　ステップＳ４０９において、妨害領域選択部１３３は、算出された最大輝度値を持つ領域のラベル内での割合に対して閾値判定を行う。すなわち、妨害領域選択部１３３は、割合が所定の閾値以下であるか否かを判定する。ここで用いられる閾値は、これに限らないが例えば７０％程度であることが好ましい。最大輝度値を持つ領域のラベル内での割合が閾値より大きいとき、処理はステップＳ４１２に進み、当該領域は妨害領域から除外される。一方、割合が閾値以下であるとき、処理はステップＳ４１０に進む。

　ステップＳ４１０乃至ステップＳ４１１の処理は、ラベルのサイズを用いて生体の輝点７１６を示す領域を抽出する処理である。妨害候補領域として抽出される輝点７１６には、非常に小さい輝点が存在する。非常に小さい輝点７１６では、最大輝度値を持つ領域のラベル内での割合が小さくなるため、輝度分布に基づいては生体の輝点７１６が正しく選択されない。そこで、ラベルのサイズに着目し、非常に小さい生体の輝点７１６を妨害領域から除外する。

　ステップＳ４１０において、妨害領域選択部１３３は、同一ラベル内の画素数を算出する。ステップＳ４１１において、妨害領域選択部１３３は、同一ラベル内の画素数が所定の閾値以下であるか否かを判定する。ここで、閾値は、これに限らないが例えば、ハイビジョン画像に対して１００画素程度であってもよい。同一ラベル内の画素数が所定の閾値以下であるとき、処理はステップＳ４１２に進む。ステップＳ４１２において、妨害領域選択部１３３は、妨害領域として選択された対象のうち、上述の判定で輝点７１６などであると判定されたラベルの領域を妨害領域から除外し、当該領域は妨害領域ではないと決定する。その後、処理はステップＳ４１３に進む。

　ステップＳ４１１で画素数が閾値以下でないと判定されたとき、処理はステップＳ４１３に進む。すなわち、妨害領域と選択され対象とされているラベルは、妨害領域から除外されず、妨害領域であると決定される。

　ステップＳ４１３において、妨害領域選択部１３３は、全てのラベルについて、上述の処理が終了したか否かを判定する。全てのラベルの処理が終了していないとき、処理はステップＳ４０１に戻る。一方、全てのラベルの処理が終了しているとき、妨害領域選択処理は終了し、処理は画像処理に戻る。

　本実施形態に係る妨害領域選択処理によれば、第１の実施形態に係る妨害領域選択処理と比較してより高い精度で妨害領域が選択され得る。

　なお、本実施形態も当然に上述の変形例と組み合わせて用いられ得る。

　［変形例］
　上述の２つの実施形態では、内視鏡２００は、３Ｄ内視鏡であるものとして説明したが、本実施形態に係る技術は、３Ｄ内視鏡に限らず、撮像系が１つである２次元の内視鏡に対しても広く同様に適用され得る。

　また、上述の２つの実施形態及び変形例では、内視鏡２００が医療用の硬性鏡の場合を例に挙げて説明したが、医療用の軟性内視鏡に対しても同様に適用され得る。また、内視鏡２００は医療用の内視鏡に限らず、工業用内視鏡にも適用され得る。この場合、観察対象と工業用内視鏡と共に用いられる器具とが画像上で色等の特徴に基づいて区別されるような状態で用いられ得る。

　以上、各実施形態で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得る。このプログラムは、ＦＰＧＡ等の回路に実装され得る。また、ＣＰＵ等において動作する場合、プログラムは、例えば記録媒体や記録部に収められてもよい。この記録媒体又は記録部への記録の方法は様々であり、製品出荷時に記録されてもよく、配布された記録媒体が利用されて記録されてもよく、インターネットを介したダウンロードが利用されてもよい。

　また、画像処理における例えば妨害候補領域の抽出、妨害領域の選択等、各種判定の方法についても上述の実施形態は一例であり、これらについても様々な方法が採用され得る。ここで、各種判定の方法において、上述の実施形態のような閾値等に基づく単純な判断に限らず、例えば、ディープラーニングといった機械学習により構築した人工知能などに基づく判断が用いられてもよい。

　また、各実施形態に係る画像処理装置は、内視鏡に限らず、顕微鏡、検査用等の産業用機器、各種医療用の観察装置等にも適用され得る。

Claims

　内視鏡を用いて撮影された画像を取得する画像取得部と、
　前記画像において観察対象とは異なる特徴を有する妨害領域を前記画像上に設定する妨害領域設定部と、
　前記妨害領域の輝度を抑制することを含む補正を前記画像に対して施す妨害領域補正部と
　を備える内視鏡のための画像処理装置。
　前記妨害領域設定部は、
　　前記観察対象とは異なる特徴に基づいて妨害候補領域を抽出する妨害候補領域抽出部と、
　　前記画像における前記妨害候補領域の位置情報に基づいて前記妨害候補領域から前記妨害領域を選択する妨害領域選択部と
　を備える、請求項１に記載の画像処理装置。
　前記妨害領域選択部は、前記画像の端部に接している前記妨害候補領域を前記妨害領域として選択する、請求項２に記載の画像処理装置。
　前記妨害候補領域抽出部は、前記観察対象とは異なる特徴として色に係る特徴に基づいて、前記妨害候補領域を設定する、請求項２に記載の画像処理装置。
　前記妨害候補領域抽出部は、前記色に係る特徴として、彩度情報と色相情報とのうち少なくとも何れか一方を用いる、請求項４に記載の画像処理装置。
　前記妨害領域選択部は、前記妨害候補領域における輝度分布と前記妨害候補領域のサイズとのうち少なくとも何れか一方を用いて前記妨害領域を選択する、請求項３に記載の画像処理装置。
　前記妨害領域補正部は、さらに前記妨害領域の彩度を抑制することを含む前記補正を前記画像に対して施す、請求項１乃至６のうち何れか１項に記載の画像処理装置。
　前記画像取得部は、前記内視鏡として３次元内視鏡が用いられて撮影された一対の画像を取得し、
　前記妨害領域設定部は、一対の画像のうち、一方の画像にのみ写っている領域を含む前記妨害領域を前記画像上に設定する、
　請求項１乃至７のうち何れか１項に記載の画像処理装置。
　請求項１乃至８のうち何れか１項に記載の画像処理装置と、
　前記内視鏡と
　を備える内視鏡システム。