JP7036923B2 - 撮像システム、処理装置および内視鏡 - Google Patents

Description

本発明は、撮像システム、処理装置および内視鏡に関する。

被写界深度は、撮像システムにおけるレンズ系の特性のひとつであり、合焦部分の前後のピントが合っているかのように見える範囲をいう。被写界深度は、（i）絞り値（Ｆ値）、（ii）レンズの焦点距離、（iii）カメラから被写体までの距離（撮影距離）で定まる。レンズの絞り値に関して言えば、絞り値が小さくなるほど、被写界深度は浅くなり（ピントが合っているように見える範囲が小さくなり）、絞り値が大きくなるほど、被写界深度は深くなる（ピントが合っているように見える範囲が大きくなる）。被写界深度の深い画像は、パンフォーカス画像とも呼ばれる。

顕微鏡や内視鏡の画像では、観察のために深い被写界深度が好まれることが多い。また、たとえば人物と風景を撮像装置で撮影する際に、それらの両方にピントを合わせたいといったニーズもある。

撮像システムにおいて、被写界深度を拡大する技術がいくつか提案されている。非特許文献１は、露光期間中に撮像素子を光軸に沿ってシフトするフォーカルスイープ撮影に関する技術を開示する。フォーカルスイープ撮影により得られる画像は、シフト中の各位置での像を積算したものとなる。

Sujit Kuthirummal, Hajime Nagahara, Changyin Zhou, and Shree K. Nayar, ""Flexible Depth of Field Photography", IEEE Transactions on Pattern Recognition and Machine Intelligence, Vol.33, No.1, pp.58 - 71, 2011.01

非特許文献１に開示される技術によると、被写界深度の拡大量と解像力の関係は固定され、撮影距離に応じて解像力を調整することはできない。また従来は、照明を利用してフォーカルスイープ撮影した画像の復元について十分な検討がされていない。

本発明はかかる状況においてなされたものであり、そのある態様の例示的な目的のひとつは、好適なフォーカルスイープ画像を取得するための技術を提供することにある。

上記課題を解決するために、本発明のある態様の撮像システムは、撮像光学系と、２次元画素アレイを有する撮像素子と、フォーカスレンズおよび撮像素子の少なくとも一方を駆動する駆動部と、複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するＩＰＳＦ選択部と、選択した積算点広がり関数を用いて画像を生成する画像生成部とを備える。

本発明の別の態様は、処理装置である。この装置は、複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するＩＰＳＦ選択部と、選択した積算点広がり関数を用いて画像を生成する画像生成部とを備える。

本発明のさらに別の態様は、内視鏡である。この内視鏡は、撮像光学系と、２次元画素アレイを有する撮像素子と、撮像素子の露光期間中に、フォーカスレンズおよび撮像素子の少なくとも一方を駆動可能な駆動部とを備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。

本発明のある態様によれば、好適なフォーカルスイープ画像を取得するための技術を提供できる。

フォーカルスイープ撮影を説明するための図である。 （ａ）～（ｃ）はＰＳＦの例を示し、（ｄ）はＩＳＰＦの例を示す図である。 撮像素子の駆動パターンの例を示す図である。 被写界深度の例を示す図である。 実施形態の撮像システムの構成を示す図である。 実施例１における撮像素子の駆動パターンを示す図である。 被写界深度の例を示す図である。 実施例２における撮像素子の駆動パターンを示す図である。 被写界深度の例を示す図である。 実施例３における撮像素子の駆動パターンを示す図である。 被写界深度の例を示す図である。 実施例４における撮像素子の駆動パターンを示す図である。 被写界深度の例を示す図である。

はじめに、実施形態の前提となる技術を説明する。
点広がり関数（Point Spread Function、以下「ＰＳＦ」とも呼ぶ）を利用して、ぼけた画像にデコンボリューションによる逆フィルタをかけ、画像を復元する技術が知られている。ＰＳＦは光学系の点光源に対する応答を表す関数であり、撮像装置の光学系に応じて決定される。

図１は、フォーカルスイープ撮影を説明するための図である。フォーカルスイープ撮像システムは、露光期間中に、撮像光学系に含まれるフォーカスレンズ１０および撮像素子１２の少なくとも一方を光軸（Ｚ軸）に沿って動かすことで、多重焦点を重畳したフォーカルスイープ画像を撮影する。図１は、撮像素子１２を光軸方向に動かして、点光源である物点Ｍをフォーカルスイープ撮影する様子を示す。レンズ系から物点Ｍまでの距離（撮影距離）はＺobjであり、撮像素子１２がＺ軸上の位置ｚ２にあるとき、物点Ｍがフォーカスレンズ１０を通過して、撮像素子１２の撮像面で結像している。

図２（ａ）は、撮像素子１２が位置ｚ１にあるときのＰＳＦの例を示し、図２（ｂ）は、撮像素子１２が位置ｚ２にあるときのＰＳＦを示し、図２（ｃ）は、撮像素子１２が位置ｚ３にあるときのＰＳＦを示す。図２（ａ）～（ｃ）では理解の容易のため、ＰＳＦを１次元で表現しているが、実際には２次元の関数となる。図１の例では、撮像素子１２が位置ｚ２にあるとき、物点Ｍにピントが合っているため、図２（ｂ）のＰＳＦは高いピーク強度をもつ。

フォーカルスイープ撮影された画像は、露光期間中に撮像素子１２が移動した各位置におけるＰＳＦを積算した積算点広がり関数（Integrated Point Spread Function、以下「ＩＰＳＦ」とも呼ぶ）を利用して復元される。復元画像は、被写界深度を拡大された画像となる。図２（ｄ）は、複数のＰＳＦを積算したＩＰＳＦの一例を示す。ＩＰＳＦは計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって取得される。

撮影条件が同一であれば、ＩＰＳＦは、物点位置に依存しないことが知られている。撮影条件は、フォーカスレンズ１０および撮像素子１２の少なくとも一方の駆動速度を含む。撮像システムは、ＩＰＳＦ取得時の撮影条件と同じ撮影条件で被写体を撮影することで、当該ＩＰＳＦを用いて被写界深度を拡大した画像を得ることができる。

図３は、撮像素子１２の駆動パターンＤＰ１を示す。図３の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。駆動パターンＤＰ１によると、撮像素子１２は、被写界深度の近点（近端）位置と遠点（遠端）位置との間で光軸に沿って等速で動かされる。ここで近点位置は、拡大した被写界深度の近端の被写体が合焦する撮像素子１２の位置を、遠点位置は、拡大した被写界深度の遠端の被写体が合焦する撮像素子１２の位置である。なお上記したように、フォーカスレンズ１０を光軸方向に動かすことでも、フォーカルスイープ画像は撮影される。

時間軸上に、撮像素子１２を露光して画像信号を生成する「露光」期間と、撮像素子１２から画像信号を読み出す「読出」期間とを示す。撮像素子１２が連続的に等速で動かされることで、撮像素子１２の移動区間の各位置における画像情報量は一様に積算される。

図４は、駆動パターンＤＰ１で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図４の横軸は、撮像装置から物点までの距離（撮影距離）を示し、縦軸は、解像力を示す。閾値ＴＨは、ピントが合っていると人が判断する解像力であり、閾値ＴＨを超えている撮影距離の範囲が被写界深度（合焦範囲）である。

解像力特性Ｆは、通常のピントを合わせた撮影における解像力と撮影距離との関係を示す。解像力特性ＥＤ１は、図３に示す駆動パターンＤＰ１を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。解像力特性Ｆと解像力特性ＥＤ１を比較すると、フォーカルスイープ撮影により、一様の解像力で被写界深度が拡大することが示される。

被写界深度の拡大は、特に観察目的の画像に好適である。たとえば内視鏡にフォーカルスイープ撮影機能をもたせることで、被写界深度が拡大した画像を医師に提供し、体内画像の観察を支援できる。

内視鏡検査における観察対象は、患者の消化管内部である。そのため内視鏡検査では、検査の種類や目的に応じて、特定の撮影距離にある部位をより詳細に観察したいというニーズが存在する。そこで、特定の撮影距離の解像力を他の撮影距離の解像力よりも高めた体内画像の提供が望まれている。

以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。また本明細書において参照するグラフの縦軸および横軸は、理解を容易とするために適宜拡大、縮小したものであり、また示されるグラフ、波形も、理解の容易のために簡略化され、あるいは誇張もしくは強調されている。

図５は、実施形態の撮像システム１の構成を示す。撮像システム１は、撮像装置である内視鏡３０、処理装置６０および表示装置７０を備える。内視鏡検査の開始前、内視鏡３０の連結部３２が、処理装置６０に連結される。検査中、内視鏡３０は患者の体内に挿入され、処理装置６０は、内視鏡３０により所定の周期でフォーカルスイープ撮影された体内画像をＩＰＳＦを用いて復元し、表示装置７０に表示させる。医師は、表示装置７０に表示された体内画像を観察し、病変の有無を調べる。

内視鏡３０は、フォーカスレンズ１０を含む撮像光学系、撮像素子１２、読出回路１４、駆動部１６および照明レンズ１８を備える。フォーカスレンズ１０および照明レンズ１８は、内視鏡３０の先端に設けられる。照明レンズ１８は、処理装置６０に設けられた照明部４４から光ファイバで導光される照明光を患者体内に出射する。

撮像素子１２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、マトリクス状に複数の画素を配置した２次元画素アレイを有する。フォーカスレンズ１０は、他の撮影レンズ（図示せず）とともに、被写体の像を撮像素子１２の撮像面に結像する撮像光学系を構成する。読出回路１４は、所定の周期で撮像素子１２から画像信号を読み出す。

駆動部１６は、撮像素子１２の露光期間中に、フォーカスレンズ１０および撮像素子１２の少なくとも一方を駆動可能なアクチュエータを有する。露光期間中に、フォーカスレンズ１０および撮像素子１２の少なくとも一方を駆動することで、内視鏡３０におけるフォーカルスイープ撮影が実現される。実施形態では、駆動部１６が撮像素子１２を駆動するが、フォーカスレンズ１０を駆動してもよく、またフォーカスレンズ１０および撮像素子１２の双方を駆動してもよい。なお実施形態では、内視鏡３０の撮像光学系がフォーカスレンズ１０を含むが、撮像光学系がフォーカスレンズ１０を含まない場合、駆動部１６は撮像素子１２を駆動して、フォーカルスイープ撮影を実現する。

処理装置６０は、画像生成部４０、駆動パターン選択部４２、照明部４４、照明光選択部４６、選択操作受付部４８、ＩＰＳＦ選択部５０、駆動パターン記憶部５２およびＩＰＳＦ記憶部５４を備える。照明部４４は、少なくとも１つの波長の光を出射して被写体を照明する光源を有する。通常の内視鏡検査では、照明光として白色光が用いられるが、特殊な内視鏡検査では、特定の波長の光が照明光として用いられる。照明光選択部４６は、内視鏡検査の観察モードに応じて、照明部４４から出射する光の波長を選択し、照明部４４は、選択された波長の照明光を体内に出射する。

選択操作受付部４８は、医師による選択操作を受け付ける。検査中、医師は、必要に応じて内視鏡３０に設けられたスイッチやボタンなどの操作部を操作して、観察モードを選択する。なお操作部は処理装置６０に設けられて、看護師が医師からの指示にしたがって観察モードを選択してもよい。選択操作受付部４８は、観察モードの選択操作を受け付けると、照明光選択部４６に供給し、照明光選択部４６は、観察モードに応じて照明部４４から出射する光の波長を選択する。

また検査中、医師は、内視鏡３０に設けられた操作部を操作して、被写界深度拡大モードを選択する。選択操作受付部４８は、被写界深度拡大モードの選択操作を受け付けると、駆動パターン選択部４２に供給する。

駆動パターン記憶部５２は、撮像素子１２の複数の駆動パターンを記憶する。駆動パターンは、近点位置と遠点位置との間の移動範囲内で撮像素子１２を光軸に沿って駆動する速度を、移動範囲における位置に応じて定義した周期波形である。駆動パターンの周期は、露光期間および読出期間を含むフィールド周期の整数倍であってよい。実施形態では、撮像素子１２の読出期間中に、撮像素子１２が近点位置および遠点位置に移動する駆動パターンを採用するが、これに限るものではない。複数の駆動パターンのそれぞれは、撮像素子１２の露光期間中に、少なくとも１回は駆動速度を変化させる。

ＩＰＳＦ記憶部５４は、駆動パターン記憶部５２に記憶された駆動パターンに対応するＩＰＳＦを記憶する。ＩＰＳＦは駆動パターンごとに、計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって取得され、ＩＰＳＦ記憶部５４に記憶される。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、画像生成に使用するＩＰＳＦを選択する。画像生成部４０は、ＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、被写界深度を拡大した画像を生成する。

実施形態の撮像システム１では、駆動パターンにより露光期間中の撮像素子１２の駆動速度を変化させ、撮像素子１２の移動区間の各位置で取得する画像情報量に偏りを生じさせることで、特定の撮影距離にある被写体の解像力を高める。具体的には、解像力を高めたい撮影距離に対応する位置における駆動速度を遅くすることで、撮像素子１２が取得する画像情報量を多くし、当該撮影距離にある被写体の解像力を高める。

＜実施例１＞
図６は、実施例１における撮像素子１２の駆動パターンＤＰ２を示す。図６の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。三角波形である駆動パターンＤＰ１と比較すると、駆動パターンＤＰ２は、撮像素子１２の駆動速度を、被写界深度の近点側および遠点側の位置で遅く、被写界深度の中央付近の位置で速く設定している。このため撮像素子１２は露光期間中、中央位置と比べて、近点側および遠点側の位置でゆっくり移動し、近点側および遠点側でより多くの画像情報を取得する。駆動パターンＤＰ２は、近点側と遠点側で同じ速度変化のパターンを含んでよい。駆動パターンＤＰ２は、典型的には正弦波形で表現されてよいが、別の波形で表現されてもよい。駆動部１６は、近点および遠点で撮像素子１２の駆動方向を切り替えるため、近点および遠点での駆動速度が遅い駆動パターンＤＰ２によると、切り替え時の駆動負荷を低減できる利点がある。

医師は、被写界深度の両端近傍の画像を詳細に観察したいとき、内視鏡３０の操作部を操作して、駆動パターンＤＰ２を用いる被写界深度拡大モードを選択する。選択操作受付部４８は、被写界深度拡大モードの選択操作を受け付けると、駆動パターン選択部４２に選択操作情報を供給する。駆動パターン選択部４２は、駆動パターン記憶部５２に記憶された複数の駆動パターンの中から駆動パターンＤＰ２を選択し、駆動部１６に供給する。これにより駆動部１６は、駆動パターンＤＰ２で撮像素子１２を駆動する。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、選択された駆動パターンＤＰ２に対応するＩＰＳＦを選択し、画像生成部４０に供給する。画像生成部４０はＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、読出回路１４から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置７０に表示させる。

図７は、駆動パターンＤＰ２で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図７の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ＥＤ２は、図６に示す駆動パターンＤＰ２を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンＤＰ１による解像力特性ＥＤ１と比較すると、解像力特性ＥＤ２では、被写界深度の近点側および遠点側の位置で、解像力が向上している様子が示される。

実施例１では、被写界深度の近点側および遠点側の駆動速度を遅くする駆動パターンＤＰ２を用いることで、被写界深度の両端付近の解像力を向上できる。なお近点側および遠点側の解像力を上げた代償として、中央側の解像力は下がっている。医師は、消化管内の近い部位と遠い部位の両方を同時に詳細に観察したい場合に、駆動パターンＤＰ２を用いる被写界深度拡大モードを選択する。

＜実施例２＞
図８は、実施例２における撮像素子１２の駆動パターンＤＰ３を示す。図８の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。三角波形である駆動パターンＤＰ１と比較すると、駆動パターンＤＰ３は、撮像素子１２の駆動速度を、被写界深度の近点側および遠点側の位置で速く、被写界深度の中央付近の位置で遅く設定している。このため撮像素子１２は露光期間中、近点側および遠点側の位置と比べて、中央位置付近でゆっくり移動し、中央位置付近でより多くの画像情報を取得する。駆動パターンＤＰ３は、近点側と遠点側で同じ速度変化のパターンを含んでよい。

医師は、被写界深度の中央近傍の画像を詳細に観察したいとき、内視鏡３０の操作部を操作して、駆動パターンＤＰ３を用いる被写界深度拡大モードを選択する。駆動パターン選択部４２は、駆動パターン記憶部５２に記憶された複数の駆動パターンの中から駆動パターンＤＰ３を選択し、駆動部１６に供給する。これにより駆動部１６は、駆動パターンＤＰ３で撮像素子１２を駆動する。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、選択された駆動パターンＤＰ３に対応するＩＰＳＦを選択し、画像生成部４０に供給する。画像生成部４０はＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、読出回路１４から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置７０に表示させる。

図９は、駆動パターンＤＰ３で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図９の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ＥＤ３は、図８に示す駆動パターンＤＰ３を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンＤＰ１による解像力特性ＥＤ１と比較すると、解像力特性ＥＤ３では、被写界深度の中央側の位置で、解像力が向上している様子が示される。

実施例２では、被写界深度の中央の駆動速度を遅くする駆動パターンＤＰ３を用いることで、被写界深度の中央付近の解像力を向上できる。なお中央付近の解像力を上げた代償として、両端側の解像力は下がっている。医師は、消化管内の被写界深度中央付近の部位を詳細に観察したい場合に、駆動パターンＤＰ３を用いる被写界深度拡大モードを選択する。

＜実施例３＞
図１０は、実施例３における撮像素子１２の駆動パターンＤＰ４を示す。図１０の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。三角波形である駆動パターンＤＰ１と比較すると、駆動パターンＤＰ４は、撮像素子１２の駆動速度を、被写界深度の遠点側の位置で速く、被写界深度の近点側の位置で遅く設定している。このため撮像素子１２は露光期間中、遠点側の位置と比べて、近点側の位置でゆっくり移動し、近点側でより多くの画像情報を取得する。駆動パターンＤＰ４は、折れ線ではなく、曲線で表現されてもよい。

医師は、被写界深度の近点側の画像を詳細に観察したいとき、内視鏡３０の操作部を操作して、駆動パターンＤＰ４を用いる被写界深度拡大モードを選択する。駆動パターン選択部４２は、駆動パターン記憶部５２に記憶された複数の駆動パターンの中から駆動パターンＤＰ４を選択し、駆動部１６に供給する。これにより駆動部１６は、駆動パターンＤＰ４で撮像素子１２を駆動する。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、選択された駆動パターンＤＰ４に対応するＩＰＳＦを選択し、画像生成部４０に供給する。画像生成部４０はＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、読出回路１４から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置７０に表示させる。

図１１は、駆動パターンＤＰ４で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図１１の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ＥＤ４は、図１０に示す駆動パターンＤＰ４を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンＤＰ１による解像力特性ＥＤ１と比較すると、解像力特性ＥＤ４では、被写界深度の近点側の位置で、解像力が向上している様子が示される。

実施例３では、被写界深度の近点側の駆動速度を遅くする駆動パターンＤＰ４を用いることで、被写界深度の近点側の解像力を向上できる。なお近点側の解像力を上げた代償として、遠点側の解像力は下がっている。医師は、消化管内の被写界深度の近点側の部位を詳細に観察したい場合に、駆動パターンＤＰ４を用いる被写界深度拡大モードを選択する。

＜実施例４＞
図１２は、実施例４における撮像素子１２の駆動パターンＤＰ５を示す。図１２の横軸は時間を示し、縦軸は撮像素子１２の位置を示す。三角波形である駆動パターンＤＰ１と比較すると、駆動パターンＤＰ５は、撮像素子１２の駆動速度を、被写界深度の近点側の位置で速く、被写界深度の遠点側の位置で遅く設定している。このため撮像素子１２は露光期間中、近点側の位置と比べて、遠点側の位置でゆっくり移動し、遠点側でより多くの画像情報を取得する。駆動パターンＤＰ５は、折れ線ではなく、曲線で表現されてもよい。

医師は、被写界深度の遠点側の画像を詳細に観察したいとき、内視鏡３０の操作部を操作して、駆動パターンＤＰ５を用いる被写界深度拡大モードを選択する。駆動パターン選択部４２は、駆動パターン記憶部５２に記憶された複数の駆動パターンの中から駆動パターンＤＰ５を選択し、駆動部１６に供給する。これにより駆動部１６は、駆動パターンＤＰ５で撮像素子１２を駆動する。ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、選択された駆動パターンＤＰ５に対応するＩＰＳＦを選択し、画像生成部４０に供給する。画像生成部４０はＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、読出回路１４から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置７０に表示させる。

図１３は、駆動パターンＤＰ５で撮像素子１２を駆動して画像復元したときの被写界深度を示す。図１３の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ＥＤ５は、図１２に示す駆動パターンＤＰ５を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンＤＰ１による解像力特性ＥＤ１と比較すると、解像力特性ＥＤ５では、被写界深度の遠点側の位置で、解像力が向上している様子が示される。

実施例４では、被写界深度の遠点側の駆動速度を遅くする駆動パターンＤＰ５を用いることで、被写界深度の遠点側の解像力を向上できる。なお遠点側の解像力を上げた代償として、近点側の解像力は下がっている。医師は、消化管内の被写界深度の遠点側の部位を詳細に観察したい場合に、駆動パターンＤＰ５を用いる被写界深度拡大モードを選択する。

＜実施例５＞
実施例１～４では、ＩＰＳＦ選択部５０が、駆動パターン選択部４２により選択された駆動パターンに対応するＩＰＳＦを選択し、画像生成部４０が、選択されたＩＰＳＦを用いて復元画像を生成した。実施例５では、画像生成部４０が、撮像素子１２におけるカラーフィルタの特性を加味したＩＰＳＦを用いて、カラーフィルタごとに被写界深度を拡大した復元画像を生成する。

上記したように、通常の内視鏡検査では、白色光が照明光として用いられるが、特殊な内視鏡検査では、特定の波長の光が照明光として用いられる。たとえばＮＧＩ（Narrow Band Imaging：狭帯域光観察）では、粘膜内の血管などをより鮮明に観察しやすくするために、血液中のヘモグロビンが吸収しやすい特殊な照明光（緑色の波長と青色の波長）が用いられる。検査中、医師が、内視鏡３０に設けられた操作部を操作して観察モードを選択すると、選択操作受付部４８は、観察モードの選択操作を受け付け、照明光選択部４６に供給する。照明光選択部４６は、観察モードに応じて照明部４４から出射する光の波長を選択する。

ＩＰＳＦ記憶部５４は、照明部４４から出射される光の波長に対応するＩＰＳＦを、撮像素子１２のカラーフィルタごとに記憶する。ＩＰＳＦは、照明部４４から出射される照射光ごとに、計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって、カラーフィルタごとに取得され、ＩＰＳＦ記憶部５４に記憶される。白色光、特殊光の例でいえば、赤色、緑色、青色の波長をもつ白色光が出射されるときのＩＰＳＦと、緑色、青色の波長をもつ特殊光が出射されるときのＩＳＰＦとが、それぞれカラーフィルタごとに取得され、ＩＰＳＦ記憶部５４に記憶される。さらに別の観察モードにおいて使用される特殊光があれば、その特殊光の波長に対応するＩＰＳＦも、ＩＰＳＦ記憶部５４に記憶される。

ＩＰＳＦ選択部５０は、ＩＰＳＦ記憶部５４に記憶された複数のＩＰＳＦの中から、照明部４４から出射される光の波長に対応するＩＰＳＦを、カラーフィルタごとに選択する。画像生成部４０は、ＩＰＳＦ選択部５０が選択したＩＰＳＦを用いて、被写界深度を拡大した画像を生成する。

内視鏡検査において、照明部４４は、２つ以上の波長の光を出射して被写体を照明する。ＩＰＳＦ選択部５０は、照明部４４から出射された光の２つ以上の波長に対応するＩＰＳＦを選択する。実施例５では、照明部４４からの照明光の波長に対応したＩＰＳＦを用意することで、内視鏡検査の観察モードに応じて、被写界深度を好適に拡大した画像を生成することが可能となる。

以上、本発明を実施形態および複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施形態では、フォーカルスイープ撮影を実現するために、駆動部１６が撮像素子１２を駆動することを説明したが、フォーカスレンズ１０を駆動してもよく、またフォーカスレンズ１０および撮像素子１２の双方を駆動してもよい。

また実施形態では、内視鏡３０を撮像装置の例として示したが、撮像装置は、内視鏡３０に限定されず、顕微鏡であってもよい。また撮像装置は、デジタルカメラやデジタルビデオカメラであってもよく、スマートフォンやタブレット端末、ラップトップコンピュータなど、撮像機能を備える電子機器であってもよい。なお撮像装置の撮像光学系は、フォーカスレンズ１０を有しなくてもよい。

１・・・撮像システム、１０・・・フォーカスレンズ、１２・・・撮像素子、１６・・・駆動部、３０・・・内視鏡、４０・・・画像生成部、４２・・・駆動パターン選択部、４４・・・照明部、４６・・・照明光選択部、５０・・・ＩＰＳＦ選択部、６０・・・処理装置。

本発明は、フォーカルスイープ撮影の技術分野に利用できる。

Claims (10)

1. 撮像光学系と、
   ２次元画素アレイを有する撮像素子と、
   前記撮像光学系に含まれるフォーカスレンズおよび前記撮像素子の少なくとも一方を駆動する駆動部と、
   複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するＩＰＳＦ選択部と、
   選択した積算点広がり関数を用いて画像を生成する画像生成部と、
   ２つ以上の波長の光を出射して被写体を照明する照明部と、を備え、
   前記ＩＰＳＦ選択部は、前記照明部から出射される光の２つ以上の波長に対応する積算点広がり関数を選択する、
   ことを特徴とする撮像システム。
2. 前記照明部から出射する光の波長を選択する照明光選択部をさらに備え、
   前記ＩＰＳＦ選択部は、選択された光の波長に対応する積算点広がり関数を選択する、
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記撮像素子の露光期間中の前記駆動部による駆動パターンを、複数の駆動パターンの中から選択する駆動パターン選択部をさらに備え、
   前記ＩＰＳＦ選択部は、選択された駆動パターンに対応する積算点広がり関数を選択する、
   ことを特徴とする請求項１または２に記載の撮像システム。
4. 選択された駆動パターンは、前記撮像素子の露光期間中に、駆動速度を変化させる、
   ことを特徴とする請求項３に記載の撮像システム。
5. 複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するＩＰＳＦ選択部と、
   選択した積算点広がり関数を用いて画像を生成する画像生成部と、
   ２つ以上の波長の光を出射して被写体を照明する照明部と、を備え、
   前記ＩＰＳＦ選択部は、前記照明部から出射される光の２つ以上の波長に対応する積算点広がり関数を選択する、
   を備えることを特徴とする処理装置。
6. 前記ＩＰＳＦ選択部は、露光期間中のフォーカスレンズおよび撮像素子の少なくとも一方を駆動する駆動パターンに対応する積算点広がり関数を選択する、
   ことを特徴とする請求項５に記載の処理装置。
7. 駆動パターンは、露光期間中に、駆動速度を変化させる、
   ことを特徴とする請求項６に記載の処理装置。
8. 前記画像生成部は、内視鏡で撮影された内視鏡画像を、積算点広がり関数により復元した画像を生成する、
   ことを特徴とする請求項５から７のいずれかに記載の処理装置。
9. 撮像光学系と、
   ２次元画素アレイを有する撮像素子と、
   前記撮像素子の露光期間中に、前記撮像光学系に含まれるフォーカスレンズおよび前記撮像素子の少なくとも一方を駆動可能な駆動部と、
   を備えることを特徴とする内視鏡。
10. 前記駆動部は、前記撮像素子の露光期間中に駆動速度を変化させる駆動パターンで、前記フォーカスレンズおよび前記撮像素子の少なくとも一方を駆動可能である、
    ことを特徴とする請求項９に記載の内視鏡。

Images