JP2018108274A - 内視鏡装置及び内視鏡装置の画像生成方法 - Google Patents

Abstract

【課題】高解像、高精度な奥行情報の取得と、内視鏡先端の細径化を同時に満たすこと。【解決手段】被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える、内視鏡装置が提供される。この構成により、高解像、高精度な奥行情報の取得と、内視鏡先端の細径化を同時に満たすことが可能となる。【選択図】図１

Description

本開示は、内視鏡装置及び内視鏡装置の画像生成方法に関する。

従来、例えば下記の特許文献１には、照明光を供給するための光源ランプと、照明光を伝達する光伝達手段及びこの光伝達手段により伝達される照明光で照明された被写体を撮像する撮像装置を有する内視鏡装置が記載されている。

特開２００２−１１９４６８号公報

内視鏡画像において、観察画像に加えて奥行情報を取得できると、奥行情報は多くのアプリケーションに適用可能で、その精度と解像度が高いほど有用になる。奥行情報は、例えば、臓器のセグメンテーション・レジストレーションや物体認識などへの多くの応用が考えられる。奥行情報を取得する測距用技術として、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式、２眼視差方式、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）方式、ストラクチャードライト(構造化光)方式などがある。しかしながら、ＴＯＦ方式は、ＴＯＦの解像度がＶＧＡレベルであり、高精細な画像を得ることができない。２眼視差方式は、硬性鏡先端にレンズ孔が２つ必要になり、細径化が困難であり、レンズ径を小さくしようとすると、解像度や画質の点で難点がある。ＳＬＡＭは、被写体やカメラが静止していることが前提となり、生体内は軟性物体の動きや輝点などの照明条件が厳しく、画像間の特徴点の変化を追跡するのは困難が伴う。ストラクチャードライト方式は、通常の照明とストラクチャードライト用の照明とで独立した照明口が硬性鏡先端の先端に必要となるため、細径化が困難であるとともに、通常照明と構造化照明を時分割で切り替るため、構造化画像を取得するためには、通常画像のフレームレートが半分になる問題がある。

近年の医療では低侵襲性のニーズが高まりっており、術後のＱｏＬにも影響することから、切開創の最小化が求められている。そのため、人体内部に挿入される内視鏡をより細径化することが求められている。

上記特許文献１に記載された技術は、光伝達手段により伝達される照明光で照明された被写体を撮像する撮像装置を有する内視鏡装置に関するものであるが、奥行情報を取得しようとすると、奥行情報を取得するために被写体に照明を照射する照射口を設ける必要があり、内視鏡先端を細径化することが困難となる。立体視画像のように複数視点の画像を取得することで奥行情報を取得する方法もあるが、この場合においても、複数視点の画像を取得するためには内視鏡先端を細径化することが困難となる。

そこで、高解像、高精度な奥行情報の取得と、内視鏡先端の細径化を同時に満たすことが求められていた。

本開示によれば、被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える、内視鏡装置が提供される。

また、本開示によれば、被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える内視鏡装置における画像生成方法であって、前記反射光を撮像して撮像画像を取得することと、前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成することと、を備える、内視鏡装置の画像生成方法が提供される。

本開示によれば、高解像、高精度な奥行情報の取得と、内視鏡先端の細径化を同時に満たすことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステムの構成を示す模式図である。 硬性鏡の先端を示す模式図である。 被写体に構造化パターンを照射し、被写体に写った構造化パターンの変化から被写体の構造（距離情報）を推定する方法を示す模式図である。 通常の照明口とストラクチャードライト用の照明口の双方を硬性鏡１００の先端に設けた例を示す模式図である。 左右画像を取得するために硬性鏡の先端に２つのカメラ口を設けた例を示す模式図である。 本実施形態における照射パターンを示す模式図である。 撮像画像から測距用画像と観察画像とを分離する手法を示す模式図である。 図６に基づいて測距用画像と観察画像とを分離する処理を示すフローチャートである。 肝臓の表層に特徴的な網目状の模様を示す模式図である。 構造化パターンを直線状のパターンとした場合を示す模式図である。 構造化パターンを同心円状のパターンとした場合を示す模式図である。 臓器の境界と想定される部分の構造化パターンの密度を高くした例を示す模式図である。 定常的に一様に疎な構造化パターンを示す模式図である。 図１０に示すような定常的な構造化パターンを照射した場合に、測距用画像と観察画像とを分離する手法を示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．硬性鏡先端の構成
３．本実施形態のシステムによる具体的な処理について
４．構造化パターンのバリエーション

１．システムの構成例
図１は、本開示の一実施形態に係るシステム１０００の構成を示す模式図である。図１に示すように、システム１０００は、硬性鏡１００、カメラヘッド２００、カメラコントロールユニット３００、モニタ４００を有して構成されている。硬性鏡１００は、リレーレンズ１０２とファイバー１０４を有している。カメラヘッド２００は、イメージセンサ（撮像素子）２０２を有している。イメージセンサ２０２は、ＣＭＯＳセンサ等から構成されている。なお、本実施形態では硬性鏡１００を例示するが、本実施形態は軟性鏡など他の内視鏡にも適用可能である。

ファイバー１０４は、硬性鏡１００内に照明光を伝搬させ、被写体に光を照射する。ファイバー１０４から被写体に光が照射されると、被写体からの反射光はリレーレンズ１０２を介してイメージセンサ２０２の撮像面に到達し、画像信号が取得される。図１に示すように、ファイバー１０４とリレーレンズ１０２の光軸は平行には配置されておらず、後述する構造化パターン５１０をファイバー１０４から照射した際に、構造化パターン５１０の位置が被写体の形状に応じて変化するように、ファイバー１０４とリレーレンズ１０２は所定の角度を有して配置されている。なお、硬性鏡１００から被写体までの距離が小さい場合は、ファイバー１０４とリレーレンズ１０２が平行であっても良い。

カメラコントロールユニット３００は、画像信号処理部３２０、ＤＭＤ駆動制御部３０４、ＤＭＤ３０６、ファイバー３０８、光源３１０を有して構成されている。ＤＭＤ駆動制御部３０４、ＤＭＤ３０６は、観察照明と構造化パターン照明を適宜に切り替えることが可能なＤＬＰ方式の光源（照射パターン出力部３３０）を構成する。一例として、ＤＭＤ３０６の解像度は２５６０×１６００画素程度であり、ファイバー３０８の直径は９６６画素程度である。このため、ＤＭＤ３０６とファイバー３０８の間には集光レンズが設けられる。ＤＬＰ方式は、応答時間が短く、且つ光源が明るいという特色があるため、本実施形態へ適用して好適である。一方、透過型、反射型液晶方式などの他の方式においても、応答時間と明るさの要件を満たしていれば本実施形態に適用可能である。

画像信号処理部３２０は、観察画像生成部３１２、測距用画像抽出部３１４、被写体認識部３１６、照射パターン生成部３１８を備えている。

２．硬性鏡先端の構成
図２は、硬性鏡１００の先端を示す模式図である。図２に示すように、硬性鏡１００の先端には、リレーレンズ１０２に光を伝播するカメラ口（取得部）１０６と、ファイバー１０４からの光を被写体に照射する照明口（照射部）１０８とが設けられている。照明口（照射部）１０８は、被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する。カメラ口（取得部）１０６は、照明口（照射部）１０８により照射された光の反射光を取得する。

硬性鏡１００を人体内部に挿入して内臓などの被写体を撮像した際に、被写体の距離情報を取得したいといった要望がある。本実施形態では、図３に示すように、ファイバー１０４から被写体に構造化パターン５１０を照射し、被写体に写った構造化パターン５１０の変化から、被写体の凹凸に応じた構造化パターン５１０のずれを検出し、被写体の構造（距離情報）を推定する。このような手法は、ストラクチャードライト(構造化光)方式として知られている。一方、構造化パターン５１０を撮影した画像（構造化画像）は、被写体に幾何模様が重畳されているので、観察画像としては適切ではない。

一方、通常の観察用の観察照明と、ストラクチャードライト用に独立した照明の双方を行う場合、図４Ａに示すように、通常の照明口１０８ａとストラクチャードライト用の照明口１０８ｂの双方を硬性鏡１００の先端に設けることになる。この場合、構造化パターン５１０から距離情報を得ることができるが、図２に比べて照明口の数が多くなるため、硬性鏡１００の先端を細径化することが困難になる。更に、通常照明と構造化パターン５１０の照明を時分割で切り替える必要があるため、構造化画像を取得するためには、通常画像のフレームレートが半分になる。

また、カメラヘッド２００を立体視可能な構成にした場合は、図４Ｂに示すように、左右画像を取得するために硬性鏡１００の先端に２つのカメラ口１０６ａ，１０６ｂを設けることになる。この場合、左右画像の視差から被写体の距離情報を得ることができるが、図２に比べてカメラ口の数が多くなるため、硬性鏡１００の先端を細径化することはやはり困難である。

本実施形態では、硬性鏡１００の先端に１つの照明口１０８を設け、カメラコントロールユニット３００側で観察照明と構造化パターン５１０の照明を切り替えて被写体に照射する。そして、イメージセンサ２０２で取得した画像から、信号処理により観察画像と構造化画像を分離する。これにより、構造化パターン５１０から距離情報を得ることができるとともに、構造化パターン５１０を照射するための照明口を別途設ける必要がないため、硬性鏡１００の先端の細径化を達成することが可能である。

３．本実施形態のシステムによる具体的な処理について
以下では、構造化パターン５１０の切り替えについて説明する。本実施形態では、構造化パターン５１０を時系列で切り換える。より詳細には、構造化パターン５１０と観察照明の位相をフレーム単位で反転させた照射パターン５００を被写体に照射し、イメージセンサ２０２で被写体を撮像する。撮像により得られた撮像画像５３０には、構造化パターン５１０の位置が被写体の形状に倣って変化した構造化画素５３２が含まれている。画像信号処理部３２０は、撮像画像５３０から構造化画素５３２を分離した測距用画像５４０を抽出するとともに、構造化画素５３２を含まない観察画像５５０を生成する。

図５は、本実施形態における照射パターン５００を示す模式図である。図５の最上段の「照射パターン」の図に示すように、照射パターン５００として、構造化パターン５１０と観察照明５２０の位相がフレーム（ｆｒａｍｅ ０〜３）の単位で反転されたパターンを照射する。そして、各フレーム（ｆｒａｍｅ ０〜３）でイメージセンサ２０２により画像を撮像する。

図５では、照射パターン５００の下に各フレームにおける撮像画像５３０を示している。図５に示すように、撮像画像５３０には、被写体の形状に倣って、構造化パターン５１０が歪んで撮像された構造化画素５３２が含まれている。そして、フレーム０とフレーム１の撮像画像５３０から、構造化画素５３２と観察画像５５０とを分離する。同様に、フレーム１とフレーム２の撮像画像５３０から、構造化画素５３２と観察画像５５０とを分離する。測距用画像５４０は、構造化画素５３２を分離して得られた画像である。

図６は、撮像画像５３０から測距用画像５４０と観察画像５５０とを分離する手法を示す模式図である。ここでは、フレーム０とフレーム１の撮像画像５３０から、構造化パターン５１０に起因する測距用画像５４０と、観察画像５５０とを分離する場合について説明する。図６に示すように、先ずフレーム０の撮像画像５３０とフレーム１の撮像画像５３０とから測距用画像５４０を抽出する。次に、フレーム０の撮像画像５３０、フレーム１の撮像画像５３０、及び測距用画像５４０から、観察画像５５０を生成する。

図７は、図６に基づいて測距用画像５４０と観察画像５５０とを分離する処理を示すフローチャートである。図７の処理は、画像信号処理部３２０に入力された個々の画素の画素値について行われる。先ず、ステップＳ１０では、画像信号処理部３２０に入力された任意の１の画素について、構造化パターン５１０の画素（構造化画素５３２）であるか否かを判定する。そして、ステップＳ１０の判定の結果、構造化パターン５１０の画素であればステップＳ１２へ進み、補間画素値を出力画素値として出力する。一方、ステップＳ１０の判定の結果、構造化パターン５１０の画素でない場合はステップＳ１４へ進み、入力画素値を出力画素値とする。

ステップＳ１０において、構造化画素５３２であるか否かの判定は、当該画素の色に基づいて行うことができる。当該画素の色が通常は人体内に存在しない色（例えば、青色）である場合は、構造化画素５３２と判定できる。また、構造化画素５３２であるか否かの判定は、前フレームの判定結果に基づいて行うこともできる。上述のように構造化パターン５１０と観察照明５２０の位相がフレーム単位で反転しているため、前フレームで構造化画素５３２でなかった画素は、現フレームで構造化画素５３２であると判定できる。

ステップＳ１２において、補間画素値の算出は、以下の方法により行う。第１の方法は、入力されたフレームの画素において、構造化画素５３２ではない周辺画素値を補間画素値とする。例えば、図６のフレーム１における画素６００の画素値は、周辺の構造化パターン５１０ではない画素６０２の画素値により補間することで得られる。補間の際は、各画素６０２からの距離に応じて画素値を配分し、平均するなど一般的な手法を用いることができる。第２の方法では、１フレーム前の撮像画像５３０における同位相の画素の画素値を用いる。例えば、図６のフレーム１における画素６００の画素値として、１フレーム前のフレーム０における画素６０４の画素値を用いる。フレーム間で画素値に大きな変化がなければ、１フレーム前の撮像画像５３０における同位相の画素の画素値を用いることが可能である。第３の方法では、１フレーム前の観察合成画像の同位相画素等を使って生成する。この場合、１フレーム前が構造化画素５３２であれば、この構造化画素５３２を補間した画素は構造化画素５３２ではないため、１フレーム前が構造化画素５３２を補間した画素を用いて現フレームの構造化画素５３２を補間する。

以上のような処理を行うため、画像信号処理部３２０の観察画像生成部３１２は、撮像画像５３０から構造化パターン５１０による構造化画素５３２を分離して観察画像５５０を生成する。測距用画像抽出部３１４は、撮像画像５３０から構造化パターン５１０による構造化画素５３２を抽出して測距用画像５４０を取得する。

４．構造化パターンのバリエーション
構造化パターン５１０について、以下のバリエーションが考えられる。第１のバリエーションでは、構造化パターン５１０を空間的に均一な幾何パターンとし、臓器７００に照射する。第２のバリエーションでは、図８Ａ〜図８Ｃに示すように、臓器のテクスチャを認識し、そのテクスチャと大きく異なる形状をもつパターンとする。図８Ａ〜図８Ｃは、一例として、臓器が肝臓７１０の場合を示している。図８Ａに示すように、肝臓７１０の表層は特徴的な網目状の模様があるため、この模様と、構造化パターン５１０が重ならないようにする。図８Ｂは、構造化パターン５１０を直線状のパターンとした場合を示している。構造化パターン５１０を直線状のパターンとした場合、構造化パターン５１０が肝臓７１０の表層の網目状の模様と重なり、測距用画像５４０（構造化画素５３２）を検出できない可能性がある。図８Ｃは、構造化パターン５１０を同心円状のパターンとした場合を示している。構造化パターン５１０を同心円状のパターンとすることで、肝臓７１０の表面の網目上の模様と構造化パターン５１０が重なる確率を軽減し、構造化画素５３２の検出率を向上することができる。以上により、臓器のテクスチャに起因する形状の誤認識を確実に抑止することができる。

第３のバリエーションでは、図９に示すように、臓器７００の境界と想定される部分の構造化パターン５１０の密度を高くする。臓器７００の境界を予め画像処理（エッジ検出等）で取得し、境界に相当する領域で構造化パターン５１０の密度が高くなるように配置する。これにより、臓器７００の境界部における奥行きの形状を高精度に取得することができる。

このため、画像信号処理部３２０の被写体認識部３１６は、撮像画像５３０から被写体を認識する。照射パターン生成部３１８は、被写体認識部３１６による被写体の認識結果に基づいて適応的に構造化パターン５１０を配置して、照射パターン５００を生成する。より具体的には、被写体認識部３１６は、撮像画像５３０から被写体の輪郭を認識し、照射パターン生成部３１８は、輪郭の位置に構造化パターン５１０を配置して照射パターン５００を生成する。また、被写体認識部３１６は、撮像画像５３０から被写体の表面の模様を認識し、照射パターン生成部３１８は、模様と重ならないように構造化パターン５１０を配置して照射パターン５００を生成する。照射パターン５００の情報は、ＤＭＤ駆動制御部３０４、ＤＭＤ３０６から構成される照射パターン出力部３３０に送られて、照射パターン５００がファイバー１０４，３０８を経て被写体に照射される。

また、構造化パターン５１０の色については、以下のバリエーションを想定する。第１のバリエーションでは、構造化パターン５１０の色を単色とする。例えば、生体内で存在確率の小さい(分光分布の小さい)青色とする。これにより、図７のステップＳ１０において、構造化パターン５１０と観察画像５５０を確実に分離することができる。第２のバリエーションでは、被写体の臓器７００の色に応じて構造化パターン５１０の色を適応的に切り替える。例えば、被写体が臓器の場合は構造化パターン５１０を青色とし、被写体が鉗子の場合は構造化パターン５１０を黄色とすることにより、測距用画像５４０と観察画像５５０の画素の分離性が向上する。第３のバリエーションとして、赤外線（ＩＲ）の光源を追加し、構造化パターン５１０を赤外線による照射することもできる。赤外光を用いることにより、測距用画像５４０と観察画像５５０を確実に分離することが可能である。

測距用画像５４０と観察画像５５０を分離した後、測距用画像５４０から奥行情報を推定する。奥行情報の推定は、公知のストラクチャードライト方式により行うことができる。

次に、定常的に一様に疎な構造化パターン５１０を照射する例について説明する。図５では、フレーム単位で構造化パターン５１０と観察照明５２０の位相を反転させたが、ここでは、図１０に示す構造化パターン５１０を定常的に照射する。図１０は、定常的に一様に疎な構造化パターン５１０を示す模式図である。図１０では、青色の構造化パターン５１０を一様に、画素単位で疎に照射している。構造化パターン５１０は、１画素単位、または複数の画素（例えば、４画素程度）からなるドット単位で構成される。

図１１は、図１０に示すような定常的な構造化パターン５１０を照射した場合に、測距用画像５４０と観察画像５５０とを分離する手法を示す模式図である。図１１に示すように、任意のフレームの撮像画像５３０から測距用画像５４０を抽出する。測距用画像５４０の抽出は、撮像画像５３０の色に基づいて行うことができる。構造化パターン５１０の色を人体内に存在しない青色などとすることで、撮像画像５３０に人体内に存在しない画素があれば、その画素が構造化画素５３２であると判断できる。測距用画像５４０が抽出できれば、測距用画像５４０中の構造化パターン５１０に対応する構造化画素５３２を周囲の画素の補間することで、観察画像５５０を得ることができる。

観察画像５５０を生成する基本的な処理は、図７と同様である。すなわち、ステップＳ１０において、撮像画像５３０の任意の画素について、構造化パターン５１０の画素（構造化画素５３２）であるか否かを判定する。そして、ステップＳ１０の判定の結果、構造化パターン５１０の画素であればステップＳ１２へ進み、補間画素値を出力画素値として出力する。一方、ステップＳ１０の判定の結果、構造化パターン５１０の画素でない場合はステップＳ１４へ進み、入力画素値を出力画素値とする。

構造化パターン５１０の照射による測距モードは、適応的にオン／オフを切り換えてもよい。例えば、観察画像５５０内に大きな動きを検出した場合は、誤検出による弊害を回避するために測距モードがオフにされる。これにより、構造化パターン５１０の照射は行われない。また、被写体にミストが発生した場合は、光の反射等により測距の誤検出が行われる可能性があるため、測距モードがオフにされ、構造化パターン５１０の照射は行われない。これにより、誤検出による弊害を回避することができる。また、通常は測距モードをオフにしておき、スーチャリングなどの精密な手技が必要なシーンのみ測距モードをオンにして構造化パターン５１０を照射するようにしても良い。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、
前記照射部により照射された光の反射光を取得する取得部と、
を備える、内視鏡装置。
（２） 前記反射光を撮像する撮像素子と、
前記撮像素子により撮像された撮像画像の画像信号を処理する画像信号処理部と、を備え、
前記画像信号処理部は、
前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成する観察画像生成部を有する、前記（１）に記載の内視鏡装置。
（３） 前記画像信号処理部は、前記撮像画像から前記構造化パターンによる構造化画素を抽出して測距用画像を取得する測距用画像抽出部を有する、前記（２）に記載の内視鏡装置。
（４） 前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を補間して前記観察画像を生成する、前記（２）に記載の内視鏡装置。
（５） 前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を周辺画素の画像情報で補間する、前記（４）に記載の内視鏡装置。
（６） 前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を別フレームの対応する画素の画像情報で補間する、前記（４）に記載の内視鏡装置。
（７） 前記照明光及び前記構造化パターンを含む照射パターンを前記照射部に出力する照射パターン出力部を備える、前記（２）に記載の内視鏡装置。
（８） 前記照射パターン出力部は、前記構造化パターンを出力する画素と前記構造化パターンを出力しない画素をフレーム単位で反転させて前記照射パターンを出力する、前記（７）に記載の内視鏡装置。
（９） 前記照射パターン出力部は、前記構造化パターンを出力する画素をフレーム毎に変化しない定常的な画素として前記照射パターンを出力する、前記（７）に記載の内視鏡装置。
（１０） 前記照射パターン出力部は、所定の色の前記構造化パターンを含む前記照射パターンを出力する、前記（７）に記載の内視鏡装置。
（１１） 前記所定の色は、人体内部に存在しない色である、前記（１０）に記載の内視鏡装置。
（１２） 前記所定の色は、青色又は黄色を含む、前記（１１）に記載の内視鏡装置。
（１３） 前記画像信号処理部は、前記撮像画像から被写体を認識する被写体認識部と、
前記被写体認識部による被写体の認識結果に基づいて前記構造化パターンを配置して、前記照射パターンを生成する照射パターン生成部と、を有する、前記（７）に記載の内視鏡装置。
（１４） 前記被写体認識部は、前記撮像画像から被写体の輪郭を認識し、
前記照射パターン生成部は、前記輪郭の位置に前記構造化パターンを配置して前記照射パターンを生成する、前記（１３）に記載の内視鏡装置。
（１５） 前記被写体認識部は、前記撮像画像から被写体の表面の模様を認識し、
前記照射パターン生成部は、前記模様と重ならないように前記構造化パターンを配置して前記照射パターンを生成する、前記（１３）に記載の内視鏡装置。
（１６） 被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える内視鏡装置における画像生成方法であって、
前記反射光を撮像して撮像画像を取得することと、
前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成することと、
を備える、内視鏡装置の画像生成方法。

１０６ カメラ口
１０８ 照明口
３１２ 観察画像生成部
３１４ 測距用画像抽出部
３１６ 被写体認識部
３１８ 照射パターン生成部
３２０ 画像信号処理部
３３０ 照射パターン出力部

Claims (16)

1. 被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、
   前記照射部により照射された光の反射光を取得する取得部と、
   を備える、内視鏡装置。
2. 前記反射光を撮像する撮像素子と、
   前記撮像素子により撮像された撮像画像の画像信号を処理する画像信号処理部と、を備え、
   前記画像信号処理部は、
   前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成する観察画像生成部を有する、請求項１に記載の内視鏡装置。
3. 前記画像信号処理部は、前記撮像画像から前記構造化パターンによる構造化画素を抽出して測距用画像を取得する測距用画像抽出部を有する、請求項２に記載の内視鏡装置。
4. 前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を補間して前記観察画像を生成する、請求項２に記載の内視鏡装置。
5. 前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を周辺画素の画像情報で補間する、請求項４に記載の内視鏡装置。
6. 前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を別フレームの対応する画素の画像情報で補間する、請求項４に記載の内視鏡装置。
7. 前記照明光及び前記構造化パターンを含む照射パターンを前記照射部に出力する照射パターン出力部を備える、請求項２に記載の内視鏡装置。
8. 前記照射パターン出力部は、前記構造化パターンを出力する画素と前記構造化パターンを出力しない画素をフレーム単位で反転させて前記照射パターンを出力する、請求項７に記載の内視鏡装置。
9. 前記照射パターン出力部は、前記構造化パターンを出力する画素をフレーム毎に変化しない定常的な画素として前記照射パターンを出力する、請求項７に記載の内視鏡装置。
10. 前記照射パターン出力部は、所定の色の前記構造化パターンを含む前記照射パターンを出力する、請求項７に記載の内視鏡装置。
11. 前記所定の色は、人体内部に存在しない色である、請求項１０に記載の内視鏡装置。
12. 前記所定の色は、青色又は黄色を含む、請求項１１に記載の内視鏡装置。
13. 前記画像信号処理部は、前記撮像画像から被写体を認識する被写体認識部と、
    前記被写体認識部による被写体の認識結果に基づいて前記構造化パターンを配置して、前記照射パターンを生成する照射パターン生成部と、を有する、請求項７に記載の内視鏡装置。
14. 前記被写体認識部は、前記撮像画像から被写体の輪郭を認識し、
    前記照射パターン生成部は、前記輪郭の位置に前記構造化パターンを配置して前記照射パターンを生成する、請求項１３に記載の内視鏡装置。
15. 前記被写体認識部は、前記撮像画像から被写体の表面の模様を認識し、
    前記照射パターン生成部は、前記模様と重ならないように前記構造化パターンを配置して前記照射パターンを生成する、請求項１３に記載の内視鏡装置。
16. 被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える内視鏡装置における画像生成方法であって、
    前記反射光を撮像して撮像画像を取得することと、
    前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成することと、
    を備える、内視鏡装置の画像生成方法。
    

Images