Nothing Special   »   [go: up one dir, main page]

JP2019154717A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2019154717A
JP2019154717A JP2018044561A JP2018044561A JP2019154717A JP 2019154717 A JP2019154717 A JP 2019154717A JP 2018044561 A JP2018044561 A JP 2018044561A JP 2018044561 A JP2018044561 A JP 2018044561A JP 2019154717 A JP2019154717 A JP 2019154717A
Authority
JP
Japan
Prior art keywords
image
blood vessel
motion contrast
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018044561A
Other languages
English (en)
Inventor
裕之 今村
Hiroyuki Imamura
裕之 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018044561A priority Critical patent/JP2019154717A/ja
Publication of JP2019154717A publication Critical patent/JP2019154717A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】 血管領域を特定する精度を向上させる。【解決手段】 画像処理装置は、眼底の同一位置を示す複数のモーションコントラスト画像を合成することで得られた合成画像に対して線状構造を強調する処理を行うことで強調画像を取得し、前記合成画像に対して鮮鋭化処理を行うことで鮮鋭化画像を取得する取得手段と、前記強調画像の2値化画像と前記鮮鋭化画像の2値化画像とに基づいて血管領域を特定する特定手段と、を備える。【選択図】 図5

Description

本明細書の開示は、画像処理装置、画像処理方法及びプログラムに関する。
光干渉断層計(OCT;Optical Coherence Tomography)を用いて非侵襲に眼底血管を3次元で描出するOCT Angiography(以下、OCTAと表記)が用いられるようになってきている。
非特許文献1は、ヘシアンフィルタによる強調画像に基づく2値画像とOCTA画像の2値画像との論理積演算により血管領域を特定し、血管密度を計測する技術について開示している。
しかしながら、血管領域の特定精度は十分ではなく更なる精度向上が求められている。
本明細書の開示は、血管領域の特定精度を向上させることを目的の1つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
本明細書に開示の画像処理装置は、眼底の同一位置を示す複数のモーションコントラスト画像を合成することで得られた合成画像に対して線状構造を強調する処理を行うことで強調画像を取得し、前記合成画像に対して鮮鋭化処理を行うことで鮮鋭化画像を取得する取得手段と、前記強調画像の2値化画像と前記鮮鋭化画像の2値化画像とに基づいて血管領域を特定する特定手段と、を備える。
本明細書の開示によれば、血管領域を特定する精度を向上させることができる。
実施形態に係る画像処理装置の構成の一例を示すブロック図である。 実施形態に係る画像処理システムの一例や、該画像処理システムを構成する断層画像撮影装置に含まれる測定光学系の一例を説明する図である。 実施形態に係る画像処理システムが実行可能な処理の一例を示すフローチャートである。 実施形態におけるOCTA撮影の走査方法の一例を説明する図である。 実施形態のS307で実行される処理の一例を説明する図である。 実施形態のS308で実行される処理の一例を説明する図である。 実施形態において表示手段に表示する撮影画面の一例を説明する図である。 実施形態のS304における画像処理内容の一例及びS305において表示手段に表示するレポート画面の一例を説明する図である。 実施形態において表示手段に表示する計測操作画面の一例とS310において表示する計測レポート画面の一例を説明する図である。 実施形態において特定された血管領域をユーザが手動修正する場合の操作手順の一例と実行される画像処理内容の一例を説明する図である。
[実施形態]
非特許文献1の方法を視神経乳頭部や広い無血管領域を含むOCTA画像に対して適用すると、以下の(1)〜(4)に示すような課題があった。
(1)OCTA画像の2値画像との論理積演算を行っても、該演算後の2値画像に含まれる血管領域がOCTA画像に含まれる血管領域よりも少し太めになる場合がある
(2)ヘシアンフィルタによる強調画像の平均値を閾値として2値化する場合、視神経乳頭部では大血管の高輝度領域の影響を受けて閾値が高くなり、毛細血管の抽出不足が生じやすい
(3)視神経乳頭部のOCTA画像を局所閾値(中央値)で2値化する場合、大血管領域に対して閾値が高くなりすぎ、2値画像上の大血管領域内に多数の未抽出領域が生じる
(4)ユーザが無血管領域内で局所領域を複数手動で指定し、該指定した領域における輝度統計値に基づいてあらかじめ所定値未満の画素値を0にしておく必要がある。もしこのような処理を実施しない場合、網膜の深層や外層のように画像中に広い無血管領域がある状態で局所閾値(中央値)により2値化すると、局所領域内のヒストグラムの上位50%に含まれる輝度値の画素が血管領域と判定され、多数の誤抽出領域が生じる。
本実施形態では上記の課題を解決することを目的の一つとする。
本実施形態に係る画像処理装置は、重ね合わせOCTA画像(複数のOCTA画像の合成画像)から生成した網膜表層及び網膜深層の正面モーションコントラスト画像に対して例えば2種類の強調処理を行う。該強調画像の輝度値に応じて該2種類の強調画像の2値化法を変更して血管領域を特定し、正確に血管密度を計測する場合について説明する。
以下、図面を参照しながら、第1実施形態に係る画像処理装置を備える画像処理システムについて説明する。
図2は、本実施形態に係る画像処理装置101を備える画像処理システム10の構成を示す図である。図2に示すように、画像処理システム10は、画像処理装置101が、インタフェースを介して断層画像撮影装置100(OCTとも言う)、外部記憶部102、入力部103、表示部104と接続されることにより構成されている。なお、入力部103はタッチパネルであってもよく、この場合入力部103は表示部104と一体として構成される。また、画像処理装置101は断層画像撮影装置100の内部に備えれることとしてもよい。
断層画像撮影装置100は、眼部の断層画像を撮影する装置である。本実施形態においては、断層画像撮影装置100としてSD(Spectral Domain)−OCTを用いるものとする。これに限らず、例えばSS(Swept Source)−OCTを用いて構成しても良い。
図2(a)において、測定光学系100−1は前眼部像、被検眼のSLO(Scanning Laser Ophthalmoscophy)眼底像、断層画像を取得するための光学系である。なお、眼底像を取得するための光学系はSLO光学系に限定されるものではなく、眼底カメラであってもよい。ステージ部100−2は、測定光学系100−1を前後左右に移動可能にする。ベース部100−3は、後述の分光器を内蔵している。
画像処理装置101は、ステージ部100−2の制御、アラインメント動作の制御、断層画像の再構成などを実行するコンピュータである。外部記憶部102は、断層撮像用のプログラム、患者情報、撮影データ、過去検査の画像データや計測データなどを記憶する。
入力部103はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部104は、例えばモニタからなる。
(断層画像撮影装置の構成)
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。
まず、測定光学系100−1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによってOCT光学系の光路250、SLO光学系と固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。
SLO光学系と固視灯用の光路251は、SLO走査手段204、レンズ205及び206、ミラー207、第3ダイクロイックミラー208、APD(Avalanche Photodiode)209、SLO光源210、固視灯211を有している。
ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー208はSLO光源210の光路と固視灯211の光路とに波長帯域ごとに分離する。
SLO走査手段204は、SLO光源210から発せられた光を被検眼200上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーで、Yスキャナはガルバノミラーによって構成されている。なお、スキャナの構成は上記の例に限定されるものではなく、例えばXスキャナもガルバノミラーによって構成されることとしてもよい。
レンズ205はSLO光学系及び固視灯211の焦点合わせのため、不図示のモータによって駆動される。SLO光源210は例えば780nm付近の波長の光を発生する。なお、本明細書において波長等の数値は例示であり他の数値に変更してもよい。APD209は、被検眼からの戻り光を検出する。固視灯211は可視光を発生して被検者の固視を促すものである。
SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206及び205を通ってSLO走査手段204によって被検眼200上で走査される。被検眼200からの戻り光は、照明光と同じ経路を戻った後、ミラー207によって反射され、APD209へと導かれ、SLO眼底像が得られる。
固視灯211から発せられた光は、第3ダイクロイックミラー208、ミラー207を透過し、レンズ206及び205を通り、SLO走査手段204によって被検眼200上の任意の位置に所定の形状を作り、被検者の固視を促す。
前眼観察用の光路252には、レンズ212及び213、スプリットプリズム214、赤外光を検知する前眼部観察用のCCD215が配置されている。このCCD215は、不図示の前眼部観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されており、被検眼200に対する測定光学系100−1のZ軸方向(光軸方向)の距離を、前眼部のスプリット像として検出できる。
OCT光学系の光路250は前述の通りOCT光学系を構成しており、被検眼200の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。XYスキャナ216は光を被検眼200上で走査するためのものであり、図2(b)では1枚のミラーとして図示されているが、実際はXY2軸方向の走査を行うガルバノミラーである。
レンズ217及び218のうち、レンズ217については光カプラー219に接続されているファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼200からの戻り光は同時にファイバー224の先端に、スポット状に結像されて入射されることとなる。次に、OCT光源220からの光路と参照光学系、分光器の構成について説明する。220はOCT光源、221は参照ミラー、222は分散補償硝子、223はレンズ、219は光カプラー、224から227は光カプラーに接続されて一体化しているシングルモードの光ファイバー、230は分光器である。
これらの構成によってマイケルソン干渉計を構成している。OCT光源220から出射された光は、光ファイバー225を通じ、光カプラー219を介して光ファイバー224側の測定光と、光ファイバー226側の参照光とに分割される。測定光は前述のOCT光学系光路を通じ、観察対象である被検眼200に照射され、被検眼200による反射や散乱により同じ光路を通じて光カプラー219に到達する。
一方、参照光は光ファイバー226、レンズ223、測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス222を介して参照ミラー221に到達し反射される。そして同じ光路を戻り、光カプラー219に到達する。
光カプラー219によって、測定光と参照光は合波され干渉光となる。
ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー221は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー227を介して分光器230に導かれる。
また、偏光調整部228、229は、各々光ファイバー224、226中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。
分光器230はレンズ232、234、回折格子233、ラインセンサ231から構成される。光ファイバー227から出射された干渉光はレンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。
次に、OCT光源220の周辺について説明する。OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長は855nmとした。
本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いても良い。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。
(画像処理装置の構成)
本実施形態の画像処理装置101の構成について図1を用いて説明する。
画像処理装置101は断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、画像取得部101−01、記憶部101−02、撮影制御部101−03、画像処理部101−04、表示制御部101−05を備える。また、画像処理装置101は演算処理装置CPUが画像取得部101−01、撮影制御部101−03、画像処理部101−04および表示制御部101−05を実現するソフトウェアモジュールを実行することで機能を実現する。例えば、画像処理装置101が備えるCPU等のプロセッサがメモリを含む記憶部101−02に記憶されたプログラムを実行することで、画像取得部101−01、撮影制御部101−03、画像処理部101−04および表示制御部101−05として機能する。なお、本発明はこれに限定されず、例えば画像処理部101−04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101−05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。また断層画像撮影装置100と画像処理装置101との接続はネットワークを介した構成であってもよい。
画像取得部101−01は断層画像撮影装置100により撮影されたSLO眼底像や断層画像の信号データを取得する。また画像取得部101−01は断層画像生成部101−11及びモーションコントラストデータ生成部101−12を有する。断層画像生成部101−11は断層画像撮影装置100により撮影された断層画像の信号データ(干渉信号)を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部101−02に格納する。モーションコントラストデータ生成部101−12は、複数の断層画像(断層データ)からモーションコントラストデータを生成する。
撮影制御部101−03は、断層画像撮影装置100に対する撮影制御を行う。撮影制御には、断層画像撮影装置100に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。
画像処理部101−04は、位置合わせ部101−41、合成部101−42、補正部101−43、画像特徴取得部101−44、投影部101−45、解析部101−46を有する。先に述べた画像取得部101−01及び合成部101−42は、本発明に係る取得手段の一例である。合成部101−42はモーションコントラストデータ生成部101−12により生成された複数のモーションコントラストデータを位置合わせ部101−41により得られた位置合わせパラメータに基づいて合成し、合成モーションコントラスト画像を生成する。補正部101−43はモーションコントラスト画像内に生じるプロジェクションアーチファクトを2次元もしくは3次元的に抑制する処理を行う(プロジェクションアーチファクトについてはS304で説明する)。画像特徴取得部101−44は断層画像から網膜や脈絡膜の層境界、中心窩や視神経乳頭中心の位置を取得する。投影部101−45は画像特徴取得部101−44が取得した層境界の位置に基づく深度範囲でモーションコントラスト画像を投影し、正面モーションコントラスト画像((OCTAのEnFace画像))を生成する。解析部101−46は強調部101−461、抽出部101−462、計測部101−463を有し、3次元もしくは正面モーションコントラスト画像から血管領域の抽出や計測処理を行う。すなわち、解析部101−46は、2次元のモーションコントラスト画像から血管領域の抽出等を行う。強調部101−461は正面モーションコントラスト画像に対して血管領域もしくは血管のエッジを強調する処理を実行することで、血管強調画像を生成する。抽出部101−462は血管強調画像に基づいて血管領域を抽出する。また、計測部101−463は抽出された該血管領域や該血管領域を細線化することで取得した血管中心線データを用いて血管密度等の計測値を算出する。さらに、変更部101−464は強調部101−461が血管強調する際に用いる平滑化パラメータσの適用範囲を眼部上の位置に基づいて変更したり、抽出部101−462が血管領域を抽出する際の2値化法を2値化対象画像の輝度値に基づいて変更したりする。
外部記憶部102は、被検眼の情報(患者の氏名、年齢、性別など)と、撮影した画像(断層画像及びSLO画像・OCTA画像)や合成画像、撮影パラメータ、血管領域や血管中心線の位置データ、計測値、操作者が設定したパラメータを関連付けて保持している。入力部103は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部103を介して、画像処理装置101や断層画像撮影装置100へ指示を行う。
次に、図3を参照して本実施形態の画像処理装置101の処理手順を示す。図3は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。
<ステップ301>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。撮影条件の具体例を(1)〜(7)に示す。なお、以下に示す撮影条件は一例であり適宜変更可能である。
(1)検査セットの選択もしくは登録
(2)選択した検査セットにおけるスキャンモードの選択もしくは追加
(3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してS302において適宜休憩を挟みながら(同一撮像条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
(1)Macular Disease検査セットを登録
(2)OCTAスキャンモードを選択
(3)以下の撮影パラメータを設定
(3−1)走査パターン:Small Square
(3−2)走査領域サイズ:3x3mm
(3−3)主走査方向:水平方向
(3−4)走査間隔:0.01mm
(3−5)固視灯位置:中心窩
(3−7)1クラスタあたりのBスキャン数:4
(3−6)コヒーレンスゲート位置:硝子体側
(3−7)既定表示レポート種別:単検査用レポート
また、上記(3−7)に記載されているクラスタとはモーションコントラスト画像を生成する単位である。OCTAにおいて同一位置で複数回走査することをクラスタ走査と呼ぶ。なお、異なるクラスタ間の断層画像を用いて脱相関は計算しない。また、瞬き等で再走査を行う単位はクラスタ単位である。モーションコントラストデータ生成部101−12は、クラスタ単位でモーションコントラストデータを生成する。1クラスタあたりの断層画像数(同一位置での走査回数)を増やすと、モーションコントラストデータから得られる画像であるOCTA画像のコントラストが向上する。なお、本明細書における同一位置とは完全に同一な位置となる場合および被検眼の動きおよび追尾機能の不完全さにより完全に同一な眼底の位置とはならず略同一位置となる場合を含むものである。
なお、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、各スキャンモードで取得したOCT画像やOCTA画像の既定の表示法を指す。
これにより、黄斑疾患眼向けの設定がなされたOCTAスキャンモードを含む検査セットが「Macular Disease」という名前で登録される。登録された検査セットは外部記憶部102に記憶される。
本実施形態においては、図7の撮影画面710に示すように、検査セットとして「Maucular Disease」(711)、スキャンモードとして「OCTA」モード712を選択する。
<ステップ302>
操作者は入力部103を操作して図7に示す撮影画面710中の撮影開始(Capture)ボタン713を押下することにより、S301で指定した撮影条件による繰り返しOCTA撮影を開始する。ここで、図4は走査パターンの一例を示す図である。図4では主走査方向が水平(x軸)方向で、副走査(y軸)方向の各位置(yi;1≦i≦n)においてr回連続でBスキャンを行うOCTA撮影の例を示している。
撮影制御部101−03は断層画像撮影装置100に対してS301で操作者が指示した設定に基づいて繰り返しOCTA撮影を実施することを指示する。し、断層画像撮影装置100は、撮影制御部101−03による指示に対応するOCT断層画像を取得する。
なお、本実施形態では本ステップにおける繰り返し撮像回数を3回とする。これに限らず、繰り返し撮像回数は任意の回数に設定してよい。また、本発明は繰り返し撮影間の撮影時間間隔が各繰り返し撮影内の断層像の撮影時間間隔よりも長い場合に限定されるものではなく、両者が略同一である場合も本発明に含まれる。
また断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。本実施形態において繰り返しOCTA撮影における追尾処理に用いる基準SLO画像は複数回行われるOCTA撮影のうち1回目のOCTA撮影において設定した基準SLO画像とし、全ての繰り返しOCTA撮影において共通の基準SLO画像を用いる。
またOCTA繰り返し撮影中は、S301で設定した撮影条件に加えて「左右眼の選択」および「追尾処理の実行有無」
についても繰り返しOCTA撮影の中で同じ設定値を用いる(変更しない)ものとする。
<ステップ303>
画像取得部101−01及び画像処理部101−04は、S302で取得されたOCT断層画像に基づいてモーションコントラスト画像を生成する。
まず断層画像生成部101−11は画像取得部101−01が取得した干渉信号に対して例えば波数変換及び高速フーリエ変換(FFT)、絶対値変換(振幅の取得)を行うことで1クラスタ分の断層画像を生成する。
次に位置合わせ部101−41は同一クラスタに属する断層画像同士を位置合わせし、重ねあわせ処理(加算平均処理)を行う。画像特徴取得部101−44が該重ね合わせ断層画像から層境界データを取得する。本実施形態では層境界の取得法として可変形状モデルを用いるが、任意の公知の層境界取得手法を用いてよい。なお層境界の取得処理は必須ではなく、例えばモーションコントラスト画像の生成を3次元のみで行い、深度方向に投影した2次元のモーションコントラスト画像を生成しない場合には層境界の取得処理は省略できる。モーションコントラストデータ生成部101−12が同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。本実施形態では、モーションコントラストとして脱相関値Mxyを以下の式(1)に基づき求める。
ここで、Axyは断層画像データAの位置(x,y)における(FFT処理後の複素数データの)振幅、Bxyは断層データBの同一位置(x,y)における振幅を示している。0≦Mxy≦1であり、両振幅値の差異が大きいほど1に近い値をとる。モーションコントラストデータ生成部101−12は、式(1)のような脱相関演算処理を(同一クラスタに属する)任意の時間的に隣接する断層画像間で行う。モーションコントラストデータ生成部101−12は、得られた(1クラスタあたりの断層画像数−1)個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。
なお、ここではFFT処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば、モーションコントラストデータ生成部101−12は、複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。
また、本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算しても良いし、二つの値の比に基づいてモーションコントラストを計算してもよい。
さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成しても良い。
<ステップ304>
画像処理部101−04は、繰り返しOCTA撮影を通して得られたモーションコントラスト画像群を3次元的に位置合わせし、加算平均する。複数のクラスタから得られた複数のモーションコントラスト画像の加算平均を行うことで図8(b)に示すように高コントラストな合成モーションコントラスト画像を生成する。図8(a)は、図8(b)との対比のため1つのクラスタから得られるモーションコントラスト画像を示している。なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよいし、中央値をはじめとする任意の統計値を算出してもよい。また位置合わせ処理をEnFace画像の状態で行う場合、すなわち位置合わせ処理を2次元的に行う場合も本発明に含まれる。
なお、合成部101−42が合成処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて合成処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値(例えば脱相関値の平均値や、fSNR)が所定の範囲外である場合に、合成処理に不適と判定すればよい。
本実施形態では合成部101−42がモーションコントラスト画像を3次元的に合成した後、補正部101−43がモーションコントラスト画像内に生じるプロジェクションアーチファクトを3次元的に抑制する処理を行う。
ここで、プロジェクションアーチファクトは網膜表層血管内のモーションコントラストが深層側(網膜深層や網膜外層・脈絡膜)に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象を指す。図8(c)に、3次元OCT断層画像上に3次元モーションコントラストデータを重畳表示した例を示す。網膜表層血管領域に対応する高い脱相関値を持つ領域801の深層側(視細胞層)に、高い脱相関値を持つ領域802が生じている。本来視細胞層に血管は存在しないにもかかわらず、網膜表層で生じている血管影の明滅が視細胞層に映り込み、視細胞層の輝度値が変化することでアーチファクト802が生じる。
補正部101−43は、3次元の合成モーションコントラスト画像上に生じたプロジェクションアーチファクト802を抑制する処理を実行する。任意の公知のプロジェクションアーチファクト抑制手法を用いてよいが、本実施形態ではStep−down Exponential Filteringを用いる。Step−down Exponential Filteringでは、3次元モーションコントラスト画像上の各Aスキャンデータに対して式(2)で表される処理を実行することにより、プロジェクションアーチファクトを抑制する。
ここで、γは負の値を持つ減衰係数、D(x,y,z)はプロジェクションアーチファクト抑制処理前の脱相関値、D(x,y,z)は該抑制処理後の脱相関値を表す。
図8(d)にプロジェクションアーチファクト抑制処理後の3次元合成モーションコントラストデータ(灰色)を断層画像上に重畳表示した例を示す。プロジェクションアーチファクト抑制処理前(図8(c))に視細胞層上に見られたアーチファクトが、該抑制処理によって除去されたことがわかる。
次に、投影部101−45はS303で画像特徴取得部101−44が取得した層境界の位置に基づく深度範囲でモーションコントラスト画像を投影し、正面モーションコントラスト画像を生成する。任意の深度範囲で投影してよいが、本実施形態においては網膜表層及び網膜深層の深度範囲で2種類の正面合成モーションコントラスト画像を生成する。また、投影部101−45は、投影法としては最大値投影(MIP; Maximum Intensity Projection)・平均値投影(AIP; Average Intensity Projection)のいずれかを選択でき、本実施形態では最大値投影で投影するものとする。
最後に、画像処理装置101は取得した画像群(SLO画像や断層画像)と該画像群の撮影条件データや、生成した3次元及び正面モーションコントラスト画像と付随する生成条件データを検査日時、披検眼を同定する情報と関連付けて外部記憶部102へ保存する。
<ステップ305>
表示制御部101−05は、S303で生成した断層画像や、S304で合成した3次元及び正面モーションコントラスト画像、撮影条件や合成条件に関する情報を表示部104に表示させる。
図8(e)にレポート画面803の例を示す。本実施形態ではSLO画像及び断層画像、S304で合成及び投影することにより生成した異なる深度範囲の正面モーションコントラスト画像、対応する正面OCT画像を表示する。図8(e)では上段に網膜表層、下段に網膜深層を各々投影深度範囲として生成した正面モーションコントラスト画像を表示している。
なお、表示部104に表示するモーションコントラスト画像は正面モーションコントラスト画像に限定されるものではなく、3次元的にレンダリングした3次元モーションコントラスト画像を表示してもよい。
正面モーションコントラスト画像の投影範囲はリストボックスに表示された既定の深度範囲セット(805及び809)から操作者が選択することで変更できる。図8(e)の例では、リストボックス805では網膜表層が選択され、リストボックス809では網膜深層が選択されている。804は網膜表層のEnFace画像、808は網膜深層のEnFace画像である。また、投影範囲の指定に用いる層境界の種類とオフセット位置を806や810のようなユーザインターフェースから変更したり、断層像上に重畳された層境界データ(807及び811)を入力部103から操作して移動させたりすることで投影範囲を変更できる。
さらに、画像投影法やプロジェクションアーチファクト抑制処理の有無を例えばコンテキストメニューのようなユーザインターフェースから選択することにより変更してもよい。また、プロジェクションアーチファクト抑制処理後のモーションコントラスト画像は正面画像もしくは3次元画像として表示部104に表示してもよい。
<ステップ306>
操作者が入力部103を用いてOCTA計測処理の開始を指示する。
本実施形態では図8(e)のレポート画面803のモーションコントラスト画像上をダブルクリックすることで、図9(a)のようなOCTA計測画面に移行する。モーションコントラスト画像が拡大表示され、適宜画像投影法の種類(最大値投影(MIP)もしくは平均値投影(AIP))や投影深度範囲、プロジェクションアーチファクト除去処理の実施の有無を選択する。次に、図9(a)右側のMapボタン群902、Sectorボタン群903、Measurementボタン904経由で表示される選択画面905、の中から操作者が適切な項目を選択することで計測の種類と対象領域を選択し、解析部101−46が計測処理を開始する。なお、OCTA計測画面を表示させた時点では、いずれの計測対象領域も設定されていない(Mapボタン群902、Sectorボタン群ともNoneが選択され、選択画面905が表示されていない状態)。
計測処理の種類として本実施形態ではMapボタン群902、Sectorボタン群903の各々から以下の(i)〜(iii)のいずれかを選択する。
(i) None(計測しない)
(ii) VAD(血管が占める面積に基づいて算出される血管密度)
(iii)VLD(血管の長さの総和に基づいて算出される血管密度)
これに限らず任意の種類の計測を実施してよい。
例えば2次元モーションコントラスト画像上で特定した血管領域(例えば脈絡膜毛細血管)の面積を計測する場合も本発明に含まれる。
また、Measurementボタン904経由で表示される選択画面905からは以下の(i)〜(iv)のいずれかを選択できる。
(i) Distance(任意の2点間の距離計測)
(ii) Area(無血管領域の面積計測)
(iii)VAD
(iv) VLD
これに限らず、例えば2次元モーションコントラスト画像上で特定した血管領域(例えば脈絡膜毛細血管)の面積を計測してもよい。
計測処理の対象領域として、本実施形態ではMapボタン群902の中からNone以外を選択することにより画像全体を設定でき、Sectorボタン群903の中からNone以外を選択することによりセクタ領域(固視位置を中心とし、半径の異なる複数の同心円と該固視位置を通る角度の異なる複数の直線で規定される最小円領域及び扇形領域)を設定できる。またMeasurementボタン904経由で表示される選択画面905から所望の計測の種類を選択した上で入力部103を用いてモーションコントラスト画像上で任意形状の境界位置(図10(b)の灰色線部1001)を指定し、OKボタンを押下すると任意形状の計測対象領域を設定できる。該領域内に示された数値は該領域内で計測した値(この場合はVAD値)を示している。なお、関心領域の手動設定時には指定された境界位置(灰色線部1001)上に該境界位置が編集可能であることを示す丸い制御点が重畳表示され、OKボタンを押下した時点で該丸い制御点は消えて灰色線部1001のみとなり、該境界位置は編集不可の状態になる。
本実施形態ではMapボタン群902、Sectorボタン群903から各々VADを選択することで、VADマップ(計測の種類がVAD、計測対象領域が画像全体)とVADセクタマップ(計測の種類がVAD、計測対象領域がETDRSグリッドに対応するセクタ領域)を選択する場合について説明する。
ここで、VADはVessel Area Densityの略であり、計測対象に含まれる血管領域の割合で定義される血管密度(単位:%)である。また、VLDはVessel Length Density の略であり、単位面積あたりに含まれる血管の長さの総和(単位:mm−1)で定義される血管密度である。
血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、VADが最もよく用いられている。ただし、VADでは計測値に占める大血管領域の寄与分が大きくなるため、糖尿病網膜症のように毛細血管の病態に注目して計測したい場合には(より毛細血管の閉塞に敏感な指標として)VLDが用いられる。
これに限らず、例えば血管構造の複雑さを定量化するFractal Dimensionや、血管径の分布(血管の瘤や狭窄の分布)を表すVessel Diameter Indexを計測してもよい。
なお、同一のモーションコントラスト画像に対して複数の計測対象領域を設定してもよい。複数の計測対象領域としては、例えば画像全体、セクタ領域、任意形状領域のうちの少なくとも2つや、2以上の深度範囲、あるいはそれらの組み合わせが挙げられる。該複数の計測対象領域に対して異なる種類の計測が選択された場合には、最後に(指定された解析対象領域に対して)選択された解析の種類を他の計測対象領域に対しても連動して適用した上で計測し、該計測結果を表示するように構成してもよい。例えば、VADマップとVADセクタマップが選択された状態でVLDマップに変更する指示を行うと、VLDセクタマップが自動で選択され、画像全体に対するVLD計測とETDRSセクタ領域に対するVLD計測が実行される。このような連動選択操作により、同一画像に対して異なる種類の計測値が重畳されて操作者が表示内容について誤解・混乱することを防止できる。なお、計測の種類のうちNone(計測しない)に関しては、各計測対象領域で独立に選択する(ある計測対象領域に対して「None」が選択された場合に、該「None」の選択は他の計測対象領域に対して連動して適用されない)。また、本発明は最後に選択された解析の種類を全ての解析対象領域に対して連動して適用し、計測・表示することに限定されるものではない。例えば面内方向の複数の計測対象領域に対しては連動させて深度方向の複数の対象領域(網膜表層と網膜深層)に対しては連動させない、あるいはその逆(面内方向の複数の計測対象領域に対しては連動させず、深度方向の複数の対象領域に対しては連動させる)になるように適応的に適用して計測し、対応する計測結果を表示するよう構成してもよい。
次に、解析部101−46は計測処理の前処理を行う。任意の公知の画像処理を前処理として適用できるが、本実施形態では、前処理として画像拡大及びモルフォロジー演算(トップハットフィルタ処理)を行う。トップハットフィルタを適用することにより、背景成分の輝度ムラを軽減できる。具体的には、合成モーションコントラスト画像の画素サイズが約3μmになるように3次元Bicubic補間を用いて画像拡大し、球形の構造要素を用いてトップハットフィルタ処理を行うものとする。
<ステップ307>
解析部101−46が血管領域の特定処理を行う。本実施形態では、強調部101−461がヘシアンフィルタに基づく血管強調処理及びエッジ選択鮮鋭化処理を行う。次に抽出部101−462が2種類の血管強調画像を用いて2値化処理を行い、整形処理を行うことで血管領域を特定する。なおステップ307の処理対象は合成されたモーションコントラスト画像であれば2次元画像であっても3次元画像であってもよい。
血管領域特定処理の詳細はS510〜S560で説明する。
<ステップ308>
計測部101−463が、操作者により指定された計測対象領域に関する情報に基づいて単検査の画像に対する血管密度の計測を行う。引き続いて表示制御部101−05が、計測結果を表示部104に表示する。
血管密度としてはVADとVLDの2種類の指標があり、本実施形態ではVADを計算する場合の手順を例に説明する。なお、VLDを計算する場合の手順についても後述する。
操作者が入力部103から血管領域もしくは血管中心線データを手動修正するよう指示を入力した場合には、解析部101−46が操作者から入力部103を介して指定された位置情報に基づいて血管領域もしくは血管中心線データを手動修正し、計測値を再計算する。
なお、本ステップで所定の条件を満たさずに計測が実施された場合には、表示制御部101−05が所定の計測条件を満たした状態で計測すべき旨のメッセージ(警告表示)を表示部104に出力する。ここで、所定の条件とは、例えばOCTA画像の重ね合わせが行われていることなどである。
網膜表層におけるVAD計測についてはS810〜S820、網膜深層におけるVLD計測についてはS830〜S850で各々説明する。
<ステップ309>
解析部101−46は、S307で特定した血管領域や血管中心線のデータを手動修正するか否かの指示を外部から取得する。この指示は例えば入力部103を介して操作者により入力される。手動修正処理が指示された場合はS308へ、手動修正処理が指示されなかった場合はS310へと処理を進める。
<ステップ310>
表示制御部101−05は、S308で実施した計測結果に関するレポートを表示部104に表示する。
本実施形態では、図9(b)に示す単検査(Single)計測レポートの上段に網膜表層において計測したVADマップとVADセクタマップを重畳表示し、下段に網膜深層において計測したVADマップとVADセクタマップを重畳表示する。これにより異なる深度位置の血管病態を一覧して把握できる。
また各計測対象画像に関して、眼底の同一位置における断層画像数やOCTA重ね合わせ処理の実施条件に関する情報、OCT断層画像もしくはモーションコントラスト画像の評価値(画質指標)に関する情報を表示部104に表示させてもよい。図9(b)ではOCTA重ね合わせ処理実施済であることを示す印(左上の「Averaged OCTA」)が表示されている。
なお、本実施形態では異なる深度範囲として網膜表層及び網膜深層の画像及び計測値を表示したが、これに限らず例えば網膜表層・網膜深層・網膜外層・脈絡膜の4種類の深度範囲の画像及び計測値を表示してもよい。
また特定された血管領域もしくは血管中心線の2値画像は正面画像として表示部104に表示してもよい。あるいはモーションコントラスト画像上に特定された血管領域もしくは血管中心線の2値画像を適宜色や透明度を変えて表示部104に重畳表示してもよい。さらに、モーションコントラスト画像や特定された血管領域もしくは血管中心線の2値画像は表示部104に正面画像として投影(重畳)表示することに限定されるものではない。適宜色や透明度を調整した上で、該正面画像に直交する方向で生成した画像として断層画像上に重畳表示してもよいし、3次元的にレンダリングして3次元画像として表示してもよい。また、適宜該正面画像(906や908)に断層画像の表示位置を示す線を表示しておき、該線を操作者が入力部103を用いて移動させることにより、対応する断層画像上に強調画像、血管領域の2値画像、スケルトンのうちの少なくとも1つを重畳表示させるよう構成してもよい。
あるいは、異なる指標の計測結果を並置して表示してもよい。例えば、上段にVADマップ、下段にVLDマップ(もしくは無血管領域の面積や形状値)を表示してもよい。
また、同様に投影方法(MIP/AIP)やプロジェクションアーチファクト抑制処理についても例えばコンテキストメニューから選択するなどの方法により変更してもよい。
さらに、表示部104に表示されたモーションコントラスト画像やS307で特定した血管領域や血管中心線に関する2値画像や、S308で算出した計測値や計測マップを、外部記憶部102にファイルとして保存・出力してもよい。
なお、比較観察を容易にするため、ファイル出力するモーションコントラスト画像、血管領域や血管中心線に関する2値画像、計測値マップの画像サイズや画素サイズは同一にすることが望ましい。
本実施形態では図9(b)において実施する計測の推奨条件として(i)〜(iv)を設定するものとする。なお、推奨条件は(i)〜(iv)のうち少なくとも1つを用いればよく、下記の条件に限定されるものではない。
(i) 選択した計測対象画像の中に同一位置における取得断層画像数が所定値以上のモーションコントラスト画像であること。もしくは該所定値以上相当の合成モーションコントラスト画像であること。あるいは画質指標値(Quality Index)が所定値以上のモーションコントラスト画像に対する計測であること。
(ii) 最大値投影で生成されたモーションコントラスト画像に対する計測であること。
(iii) プロジェクションアーチファクト除去処理が実施済であること。
(iv) 計測対象とする投影深度範囲内で生成されたモーションコントラスト画像に対する計測であること。
表示制御部101−05は、上記(i)〜(iv)の少なくとも一つを満たさない状態で実施された計測結果を計測レポート画面に表示する際には、表示制御部101−05は、図9(b)の例えば右下部に「Averaged OCTA is recommended in calculating VAD or VLD.」のように警告メッセージを表示部104に表示させればよい。
また(ii)を満たさない状態で計測された結果を表示する際には、表示制御部101−05は、図9(b)の例えば右下部に「MIP is recommended in calculating VAD or VLD.」のように警告メッセージを表示部104に表示させればよい。
同様に、(iii)を満たさない状態で計測された結果を表示する際には、表示制御部101−05は、図9(b)の例えば右下部に「PAR is recommended in calculating VAD or VLD.」のように警告メッセージを表示部104に表示させればよい。
さらに、(iv)を満たさない状態で計測された結果を表示する際には表示制御部101−05は、「Superficial Capillary, Deep Capillary, RPC can be analyzed in calculating VAD or VLD.」のように警告メッセージを表示部104に表示させる。該警告メッセージを表示することで、推奨する計測条件を満たさない計測により得られた計測結果は信頼性の低い計測結果となるリスクがあることを周知するとともに、推奨する計測条件を示すことで、より信頼性の高い計測を実施しやすくする。
なお、レポート画面を多数の警告メッセージが占めるのを避けるために上記推奨条件に優先順位を付け(例えば(i)を最優先、(ii)を2番目、(iii)を3番目、(iv)を4番目に重要な条件とし)満たされていない計測条件のうち最も優先度の高い条件に関する警告表示を行うよう構成してもよい。また図9(b)のように複数の計測結果を表示する場合には、個別の計測に対して各々警告メッセージを表示してもよいし、表示対象の警告メッセージのうち最も優先度の高い警告メッセージのみ表示させるようにしてもよい。あるいは、表示制御部101−05は、計測結果の信頼性に影響が大きい条件を理解しやすくしつつ満たされていない条件に関する警告を漏れなく表示するために、満たされていない計測条件に関する警告を優先順位が識別可能な態様で(色や大きさ等を変えて)表示部104に表示させてもよい。複数の計測結果を表示する場合の例として、レポート画面の上下段に各々計測結果を表示する場合や、同一画像に対し複数の計測対象領域を設定して計測した結果を表示する場合が挙げられる。
なお、警告メッセージは同一のレポート画面内に表示してもよいし、別画面として表示してもよい。また警告メッセージは文字列に限定されるものではなく静止画像や動画像を表示部104に表示したり、音声として出力したりしてもよい。該警告メッセージが表示されたレポート画面をファイル出力したり、印刷出力したりする場合も本発明に含まれる。
さらに、表示部104に表示された警告メッセージのうち消去する警告メッセージを操作者が入力部103を用いて選択可能にしたり、警告の優先順位の変更や表示対象外とする警告メッセージの指定を行うためのユーザインターフェースを備えたりしてもよい。
<ステップ311>
画像処理装置101はS301からS311に至る一連の処理を終了するか否かの指示を外部から取得する。この指示は入力部103を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS302に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理)を行う。
さらに、図5(a)に示すフローチャートを参照しながら、S307で実行される処理の詳細について説明する。
<ステップ510>
強調部101−461は、ステップ306の前処理を実施されたモーションコントラスト画像に対してヘッセ行列の固有値に基づく血管強調フィルタ処理を行う。このような強調フィルタはヘシアンフィルタと総称され、例えばVesselness filterやMulti−scale line filterが挙げられる。本実施形態ではMulti−scale line filterを用いるが、任意の公知の血管強調フィルタを用いてよい。
ヘシアンフィルタは強調したい血管の径に適したサイズで画像を平滑化した上で、該平滑化画像の各画素において輝度値の2次微分値を要素として持つヘッセ行列を算出し、該行列の固有値の大小関係に基づいて局所構造を強調する。ヘッセ行列は式(3)で与えられるような正方行列であり、該行列の各要素は例えば式(4)に示すような画像の輝度値Iを平滑化した画像の輝度値Isの2次微分値で表される。ヘシアンフィルタでは、このようなヘッセ行列の「固有値(λ1、λ2)の一方が0に近く、他方が負かつ絶対値が大きい」場合に線状構造とみなして強調する。これはモーションコントラスト画像上の血管領域が持つ特徴、すなわち「走行方向では輝度変化が小さく、走行方向に直交する方向では輝度値が大きく低下する」が成り立つ画素を線状構造とみなして強調することに相当する。すなわち、ヘシアンフィルタは線状構造強調フィルタの一例に相当する。
またモーションコントラスト画像には毛細血管から細動静脈まで様々な径の血管が含まれることから、複数のスケールでガウスフィルタにより平滑化した画像に対してヘッセ行列を用いて線強調画像を生成する。すなわち、強調部101−461は、合成画像に対して異なるスケールの平滑化フィルタを適用して得られた複数の画像とヘッセ行列とを用いることで強調画像を取得する。
例えば、毛細血管の血管径に対応するスケールおよび視神経乳頭付近の血管径に対応するスケールを用いることとしてもよい。すなわち、ガウスフィルタのスケールは血管径に対応するスケールである。強調部101−461は、次に式(5)に示すようにガウスフィルタの平滑化パラメータσの二乗を補正係数として乗じた上で最大値演算により合成し、該合成画像Ihessianをヘシアンフィルタの出力とする。
なお、本発明は正面モーションコントラスト画像に対して2次元ヘシアンフィルタを適用することに限定されるものではなく、例えば3次元モーションコントラスト画像に対して3次元ヘシアンフィルタを適用し、3次元強調画像を生成してもよい。
ヘシアンフィルタはノイズに強く、血管の連続性が向上するという利点がある。一方で実際には事前に画像に含まれる血管の最大径が不明の場合が多いため、特に平滑化パラメータが画像中の血管の最大径に対して大きすぎる場合に強調された血管領域が太くなりやすいという欠点がある。
そこで、本実施形態ではS530で述べる別の手法で血管のエッジを強調した画像と演算することにより、血管領域が太くなりすぎることを防止する。
このように、強調部101−461は、眼底の同一位置を示す複数のモーションコントラスト画像を合成することで得られた合成画像に対して線状構造を強調する処理を行うことで強調画像を取得する取得手段の一例に相当する。
<ステップ520>
抽出部101−462は、S510で生成したヘシアンフィルタによる血管強調画像(以下、ヘシアン強調画像と表記)を2値化する。
ヘシアン強調画像の輝度統計値(平均値や中央値等)を閾値として2値化する場合、例えば視神経乳頭部では大血管の高輝度領域の影響を受けて閾値が高くなり、乳頭周囲毛細血管(RPC; Radial Peripapillary Capillary)の抽出不足が生じる場合がある。また、網膜深層のような無血管領域の拡大が生じやすい領域においては、閾値が低すぎて無血管領域を血管として誤検出する場合がある。
そこで、本実施形態では低スケール(複数のフィルタのスケールのうち閾値以下の一部のスケール)の強調画像のみで合成したヘシアン強調画像の平均値を閾値として2値化することで、視神経乳頭部において閾値が高くなりすぎて毛細血管領域の抽出不足が生じることを防ぐ。なお、視神経乳頭部で閾値が高くなりすぎるのを防止する方法としては、低スケールの強調画像の統計値を閾値として2値化することに限定されない。例えば、ヘシアン強調画像上の輝度値が所定値以上である場合に所定値であるとみなした場合の平均値を閾値として2値化しても同等の効果が期待できる。あるいは、例えばM−estimatorのようなロバスト推定値を閾値として2値化してもよい。
また無血管領域における誤検出を抑制するために、変更部101−464は該強調画像を2値化する際に用いるパラメータ(閾値)の決定法(該強調画像の平均値を閾値とする)に関し、該平均値が所定値未満の場合に2値化パラメータの決定法を次のように変更する。すなわち、2値化パラメータである閾値を、該所定値(下限値)に変更する。下限値は、あらかじめ設定した固定値であってもよいし、3次元強調画像のヒストグラムのピーク位置や統計値、パーセンタイル値に基づいて決定してもよい。
本実施形態では合成モーションコントラスト画像をヘシアンフィルタで強調しているため、単独のモーションコントラスト画像をヘシアンフィルタで強調する場合に比べて2値化した血管領域の連続性がさらに向上する。
なお本ステップの処理は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法によって2値化してよい。
<ステップ530>
強調部101−461は、S306で生成したトップハットフィルタ適用後の合成モーションコントラスト画像に対してエッジ選択鮮鋭化処理を行うことで鮮鋭化画像を取得する。すなわち、強調部101−461は、眼底の同一位置を示す複数のモーションコントラスト画像を合成することで得られた合成画像に対して鮮鋭化処理を行うことで鮮鋭化画像を取得する取得手段の一例に相当する。
ここで、エッジ選択鮮鋭化処理とは画像のエッジ部分(輝度差が大きい部分)に重みを大きく設定した上で重みづけ鮮鋭化処理を行うことを指し、該処理により血管のエッジが強調される。すなわち、 強調部101−461は、合成画像における輝度差が所定閾値以上の部分に対する重みを輝度差が所定閾値未満の部分に対する重みよりも大きくする鮮鋭化処理を行う。本実施形態では、前記合成モーションコントラスト画像に対してSobelフィルタを適用した画像を重みとしてアンシャープマスク処理を行うことにより、エッジ選択鮮鋭化処理を実施する。
小さなフィルタサイズで鮮鋭化処理を実施すると、細い血管のエッジが強調され2値化した際により正確に血管領域を特定できる(血管領域が太くなる現象を防止できる)。一方で特に同一撮影位置での断層像数が少ないモーションコントラスト画像の場合にはノイズが多いため、単に鮮鋭化フィルタを適用するだけだと血管内のノイズも一緒に強調してしまう恐れがある。そこで、エッジ選択鮮鋭化を行うことによってノイズの強調を抑制する。
なお、本発明は正面モーションコントラスト画像に対して2次元で鮮鋭化することに限定されるものではなく、例えば3次元モーションコントラスト画像に対して3次元でエッジ選択鮮鋭化を行い、3次元鮮鋭化画像を生成してもよい。
<ステップ540>
抽出部101−462は、S530で生成したエッジ選択鮮鋭化処理を適用した鮮鋭化画像を2値化する。任意の公知の2値化法を用いてよいが、本実施形態では該鮮鋭化画像上の各局所領域内で算出した輝度統計値(平均値もしくは中央値)を閾値として2値化する。
ただし、視神経乳頭部の大血管領域においては設定される閾値が高すぎて2値画像上の血管領域内に多数の穴が空いたり、無血管領域では局所領域内で算出される閾値が低すぎて無血管領域の一部を血管として誤検出したりする場合が生じる。そこで、これらを防止するために変更部101−464が該鮮鋭化画像を2値化する際に用いるパラメータの決定法(該鮮鋭化画像の局所領域内の輝度の中央値を閾値とする)を変更する。すなわち、2値化パラメータである閾値が第1の所定値以上の場合には該閾値を該第1の所定値(上限値)に変更する。また該閾値が第2の所定値未満の場合には該閾値を該第2の所定値(下限値)に変更する。ここで、上限値や下限値はあらかじめ設定した固定値であってもよし、3次元鮮鋭化画像のヒストグラムのピーク位置や統計値、パーセンタイル値に基づいて決定してもよい。
なお、S520の場合と同様に合成モーションコントラスト画像をエッジ選択鮮鋭化しているため、単独のモーションコントラスト画像をエッジ選択鮮鋭化する場合に比べて2値化した場合のノイズ状の誤検出領域をより減らすことができる。
また本ステップの処理は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法を用いて2値化してよい。
<ステップ550>
抽出部101−462は、S520で生成したヘシアン強調画像の2値画像の輝度値と、S540で生成したエッジ選択鮮鋭化画像の2値画像の輝度値の双方が0より大きい場合に血管候補領域として抽出(セグメンテーション)する。すなわち、抽出部101−462は、S520で生成したヘシアン強調画像の2値画像の輝度値と、S540で生成したエッジ選択鮮鋭化画像の2値画像の輝度値との論理積を演算することで血管領域を特定する。すなわち、抽出部101−462は、強調画像の2値化画像と鮮鋭化画像の2値化画像とに基づいて血管領域を特定する特定手段の一例に相当する。
当該演算処理により、ヘシアン強調画像に見られる血管径を過大評価している領域と、エッジ選択鮮鋭化画像上に見られるノイズ領域がともに抑制され、血管の境界位置が正確かつ血管の連続性が良好な2値画像を取得できる。
また双方の2値画像とも合成モーションコントラスト画像に基づく2値画像であることから、単独のモーションコントラスト画像に基づく2値画像に比べて2値化した場合のノイズ状の誤検出領域が減少するとともに、特に毛細血管領域の連続性が向上する。
<ステップ560>
抽出部101−462は、血管領域の整形処理として2値画像のオープニング処理(収縮処理後に膨張処理を行うこと)及びクロージング処理(膨張処理後に収縮処理を行うこと)を実施する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。なお、本処理は必須の処理ではない。
上記のS510〜S560により血管領域の2値画像を得ることができる。2値画像は血管と血管以外の部位に異なるラベルが付けられた画像でありセグメンテーションの結果ということができる。
なお、様々な径の血管が含まれるモーションコントラスト画像において血管抽出する方法はS510〜S560に述べた方法に限定されない。例えば、図5(b)のS610〜S650に示すように、抽出部101−462は、ヘシアン強調画像の輝度値とエッジ選択鮮鋭化による血管強調画像の輝度値を乗じる演算(S630)を行う。そして抽出部101−462は、乗算の結果得られる画像に対する輝度統計値(例えば平均値)を閾値として乗算結果の画像を2値化(S640)することによって血管領域を特定してもよい。該閾値には下限値や上限値を設定できる。抽出部101−462は、強調画像と鮮鋭化画像とを乗算する手段の一例であり、乗算の結果を示す画像を2値化することで血管領域を特定する特定手段の一例に相当する。なお、S610,620は、S510,530と同様の処理であり、S650はS560と同様の処理である。
あるいは、図5(c)のS710〜S740に示すように、眼部の位置(固視位置や深度範囲等で指定される画像内の画素位置もしくは領域)に応じてヘシアンフィルタ適用時の平滑化パラメータσ(ガウシアンフィルタのスケール)の範囲を適応的に変えて(S710)ヘシアンフィルタを適用する(S720)。えら得複数の画像の合成画像を2値化(S730)することで血管を特定する。例えば、乳頭部網膜表層ではσ=1〜10、黄斑部網膜表層ではσ=1〜8、黄斑部網膜深層ではσ=1〜6のように撮影部位に応じてスケールを設定できる。S740の処理はS560と同様である。
また、2値化処理は閾値処理に限定されるものではなく任意の公知のセグメンテーション手法を用いてよい。
さらに、図6(a)に示すフローチャートを参照しながら、S308で実行される処理の詳細について説明する。
<ステップ810>
操作者は、入力部103を介して計測処理における関心領域を設定する。本実施形態ではS306で計測内容(計測の種類と対象領域)としてVADマップとVADセクタマップが選択されている。
従って、関心領域として(i)画像全体(ii)固視灯位置を中心とするセクタ領域(直径1mmの内円と直径3mmの外円で規定される環状領域内をSuperior・Inferior・Nasal・Temporalの4つの扇形に分割した領域及び該内円領域)を選択する。
<ステップ820>
計測部101−463は、S307で得られた血管領域の2値画像に基づいて計測処理を行う。本実施形態では、該2値画像の各画素位置において当該画素を中心とした近傍領域内に占める非0画素(白画素)の割合を当該画素における血管密度(VAD)として算出する。さらに、各画素で算出した血管密度(VAD)の値を持つ画像(VADマップ)を生成する。
また、該2値画像上の(S810で設定した)各セクタ領域における非0画素(白画素)の割合を当該セクタにおける血管密度(VAD)として算出する。さらに、各セクタ領域で算出した血管密度(VAD)の値を持つマップ(VADセクタマップ)を生成する。
上記では血管密度としてVADを計測する場合の手順を例に説明したが、計測値としてVLDマップやVLDセクタマップを生成する場合は、上記S810〜820の代わりに図6(b)に示すS830〜850を実行する。
<ステップ830>
計測部101−463は、S307で生成した血管領域の2値画像を細線化処理することにより、血管の中心線に相当する線幅1画素の2値画像(以下、スケルトン画像と表記)を生成する。任意の細線化法もしくはスケルトン処理を用いてよいが、本実施形態では細線化法としてHilditchの細線化法を用いる。
<ステップ840>
操作者は、入力部103を介してS810と場合と同様の関心領域を設定する。本実施形態では計測内容(計測の種類と対象領域)としてVLDマップとVLDセクタマップを算出するものとし、S810ではVADが選択されていたのを本ステップではVLDが選択されていることが異なるだけである。なお、VLDマップもしくはVLDセクタマップをモーションコントラスト画像上に重畳表示したくない場合は、図9(a)のMapもしくはSectorの項目を「None」に設定すればよい。
<ステップ850>
計測部101−463はS840で得られたスケルトン画像に基づいて計測処理を行う。本実施形態では、該スケルトン画像の各画素位置において当該画素を中心とした近傍領域における単位面積当たりの非0画素(白画素)の長さの総和[mm−1]を当該画素における血管密度(VLD)として算出する。さらに、各画素で算出した血管密度(VLD)の値を持つ画像(VLDマップ)を生成する。
また、該スケルトン画像上の(S850で設定した)各セクタ領域における単位面積当たりの非0画素(白画素)の長さの総和[mm−1]を当該セクタにおける血管密度(VLD)として算出する。さらに、各セクタ領域で算出した血管密度(VLD)の値を持つマップ(VLDセクタマップ)を生成する。
以上述べた構成によれば、画像処理装置101はOCTA重ね合わせ画像から生成した網膜表層及び網膜深層の正面モーションコントラスト画像に対して2種類の強調処理を行う。該強調画像の輝度値に応じて該2種類の強調画像の2値化法を変更して血管領域を特定し、正確に血管密度を計測する。
これにより、血管の径や分布の疎密に関わらず正確に血管領域を特定し、計測できる。すなわち、血管領域の特定精度を向上させることが可能となる。
[変形例1]
本実施形態では網膜表層及び網膜深層の正面モーションコントラスト画像に対して血管強調もしくはセグメンテーションして計測を行う場合の計測部位として黄斑部の場合について説明したが、本発明はこれに限られるものではない。
例えば、視神経乳頭部の動静脈及び毛細血管に対してS306〜S307に示した手順で強調・セグメンテーションし、解析部101−46が特定された血管領域の径や長さ、曲率、血管密度等を計測してもよい。
また正面モーションコントラスト画像を生成する深度範囲は層境界位置に限定されるものではなく、例えば平面でもよいし、あるいは任意の種類の層境界位置に対して任意のオフセット値を加えた位置の範囲で投影した血管領域に対してS306〜S307に示した手順で強調・セグメンテーションし、面積や径、長さ、数、曲率、血管密度等を計測してもよい。
[変形例2]
本実施形態では正面画像におけるセクタ単位の血管密度計測を黄斑部に対して行ったが、本発明はこれに限定されない。例えば、視神経乳頭部に対してセクタ状の関心領域を設定し、該関心領域内で計測値を算出する場合も本発明に含まれる。
[変形例3]
S309操作者が入力部103から血管領域もしくは血管中心線データを手動修正するよう指示を入力した場合に、以下のような手順で手動修正する場合も本発明に含まれる。
例えば、図10(a)に示すような合成モーションコントラスト画像に対して同図(c)に示すような過抽出領域を含む2値画像が得られた場合に、操作者が入力部103を経由して指定した位置の白画素を解析部101−46が削除する。追加・移動・削除手順として、例えば「d」キーを押しながらマウスで指定した位置の白画素を削除する、「a」キーを押しながらマウスで指定した位置に白画素を追加する、「s」キーを押しながらマウスで指定した白画素をドラッグして移動させる等の方法がある。あるいは、同図(d)に示すようにモーションコントラスト画像に基づく画像上に手動修正対象である2値画像(血管領域もしくは血管中心線)の色や透明度を適宜調整して重畳表示し、過抽出もしくは抽出不足の領域が判別しやすい状態にしておく。同図(d)の矩形領域1002内を拡大した画像を同図(e)に示す。灰色が過抽出した領域で、白色が元のモーションコントラスト画像の脱相関値を示す。該過抽出(もしくは抽出不足)の領域を操作者が入力部103を用いて指定することにより、正確かつ効率的に2値画像上の血管もしく血管中心線領域を手動修正するよう構成してもよい。なお、2値画像の手動修正処理は正面画像に限定されない。例えば図9(a)の910に示すような任意のスライス位置のBスキャン断層像上にモーションコントラストデータや血管領域の2値データもしくは血管中心線領域を色や透明度の調整後に重畳する。このように過抽出もしくは抽出不足の領域が判別しやすい状態にした上で、操作者が手動修正(追加・移動・削除)する2値データの3次元位置(x,y,z座標)を、入力部103を用いて指定して手動修正してもよい。さらに、手動修正した2次元もしくは3次元の2値データを表示部104に表示したり、外部記憶部102に保存したりしてもよい。
さらに、2値画像(血管領域の2値画像もしくはスケルトン画像)が手動修正済であることを示す情報もしくは手動修正位置に関する情報を該2値画像と関連付けて外部記憶部102に保存しておき、S870で血管特定結果及び計測結果を表示部104に表示する際に該手動修正済であることを示す情報もしくは手動修正位置に関する情報を表示部104に表示してもよい。
[変形例4]
本実施形態では合成部101−42が繰り返しOCTA撮影終了時に合成モーションコントラスト画像を生成する場合について説明したが、合成モーションコントラスト画像の生成手順はこれに限定されない。例えば図8(e)のレポート画面803上に合成モーションコントラスト画像生成指示ボタン812を配置しておく。OCTA撮影完了後(撮影日より後の日でもよい)に操作者が明示的に該生成指示ボタン812を押下した場合に合成部101−42が合成モーションコントラスト画像を生成するよう画像処理装置101を構成してもよい。操作者が明示的に合成画像生成指示ボタン812を押下して合成画像を生成する場合、図8(e)に示すようなレポート画面803上に合成モーションコントラスト画像804や合成条件データ、検査画像リスト上に合成画像に関する項目を表示させる。
また操作者が明示的に該生成指示ボタン812を押下する場合は、表示制御部101−05が以下の処理を行う。すなわち、合成対象画像選択画面を表示させ、操作者が入力部103を操作して合成対象画像群を指定し、許容ボタンを押下した場合に合成部101−42が合成モーションコントラスト画像を生成し、表示部104に表示させる。なお、生成済の合成モーションコントラスト画像を選択して合成する場合も本発明に含まれる。
また操作者が合成画像生成指示ボタン812を押下した場合、2次元モーションコントラスト画像同士を合成してもよいし、3次元モーションコントラスト画像を投影した2次元画像同士を合成することにより2次元合成画像を生成してもよい。あるいは、3次元合成画像を生成後に投影することで2次元合成画像を生成してもよい。
[変形例5]
上記の実施形態では、図5におけるS530の処理を必ず実行することとしていたが、これに限定されるものではなく、VADを算出せずVLDのみを算出する場合には実行しないこととしてもよい。また、合成モーションコントラスト画像の画質または重ね合わせ枚数が所定値以上の場合にはS510の処理を省略することとしてもよい。
[変形例6]
上記の実施形態では、合成モーションコントラスト画像を前提としていたが、合成されていないモーションコントラスト画像に対して上記の実施形態を適用することとしてもよい。
[その他の実施形態]
以上、実施形態例を詳述したが、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
なお、上述した実施例および変形例は適宜組み合わせて実施してもよい。
101−01 画像取得部
101−12 モーションコントラストデータ生成部
101−42 合成部
101−46 解析部
101−464 変更部

Claims (12)

  1. 眼底の同一位置を示す複数のモーションコントラスト画像を合成することで得られた合成画像に対して線状構造を強調する処理を行うことで強調画像を取得し、前記合成画像に対して鮮鋭化処理を行うことで鮮鋭化画像を取得する取得手段と、
    前記強調画像の2値化画像と前記鮮鋭化画像の2値化画像とに基づいて血管領域を特定する特定手段と、を備えることを特徴とする画像処理装置。
  2. 前記特定手段は、前記強調画像の2値化画像と前記鮮鋭化画像の2値化画像との論理積を算出することで血管領域を特定することを特徴とする請求項1記載の画像処理装置。
  3. 前記取得手段は、前記線状構造を強調する処理としてヘッセ行列を用いることで前記強調画像を取得することを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. 前記取得手段は、前記合成画像に対して異なるスケールの平滑化フィルタを適用して得られた複数の画像と前記ヘッセ行列とを用いることで前記強調画像を取得することを特徴とする請求項3記載の画像処理装置。
  5. 前記平滑化フィルタはガウスフィルタであることを特徴とする請求項4記載の画像処理装置。
  6. 前記スケールは血管径に対応するスケールであることを特徴とする請求項4記載の画像処理装置。
  7. 前記取得手段は、前記合成画像における輝度差が所定閾値以上の部分に対する重みを輝度差が所定閾値未満の部分に対する重みよりも大きくする鮮鋭化処理を行うことで前記鮮鋭化画像を取得することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  8. 眼底の同一位置を示す複数のモーションコントラスト画像を合成することで得られた合成画像に対して線状構造を強調する処理を行うことで強調画像を取得し、前記合成画像に対して鮮鋭化処理を行うことで鮮鋭化画像を取得する取得工程と、
    前記強調画像の2値化画像と前記鮮鋭化画像の2値化画像とに基づいて血管領域を特定する特定工程とを、備えることを特徴とする画像処理方法。
  9. 請求項8に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
  10. 眼底のモーションコントラスト画像に対して線状構造を強調する処理を行うことで強調画像を取得し、前記モーションコントラスト画像に対して鮮鋭化処理を行うことで鮮鋭化画像を取得する取得手段と、
    前記強調画像の2値化画像と前記鮮鋭化画像の2値化画像とに基づいて血管領域を特定する特定手段とを、備えることを特徴とする画像処理装置。
  11. 眼底の同一位置を示す複数のモーションコントラスト画像を合成することで得られた合成画像に対して線状構造を強調する処理を行うことで強調画像を取得し、前記合成画像に対して鮮鋭化処理を行うことで鮮鋭化画像を取得する取得手段と、
    前記強調画像と前記鮮鋭化画像とを乗算する手段と、
    前記乗算の結果を示す画像を2値化することで血管領域を特定する特定手段と、を備えることを特徴とする画像処理装置。
  12. 眼底の同一位置を示す複数のモーションコントラスト画像を合成することで得られた合成画像に対して異なるスケールの平滑化フィルタを適用して得られた複数の画像と、ヘッセ行列と、を用いることで複数の強調画像を取得する取得手段と、
    前記複数の強調画像の合成画像を2値化することで血管領域を特定する特定手段と、を備える画像処理装置。
JP2018044561A 2018-03-12 2018-03-12 画像処理装置、画像処理方法及びプログラム Pending JP2019154717A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018044561A JP2019154717A (ja) 2018-03-12 2018-03-12 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018044561A JP2019154717A (ja) 2018-03-12 2018-03-12 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2019154717A true JP2019154717A (ja) 2019-09-19

Family

ID=67994294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018044561A Pending JP2019154717A (ja) 2018-03-12 2018-03-12 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2019154717A (ja)

Similar Documents

Publication Publication Date Title
US11935241B2 (en) Image processing apparatus, image processing method and computer-readable medium for improving image quality
US10973406B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP7195745B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7106304B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7009265B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020137678A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020163100A (ja) 画像処理装置および画像処理方法
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015160105A (ja) 画像処理装置、画像処理方法及びプログラム
WO2020050308A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021122559A (ja) 画像処理装置、画像処理方法及びプログラム
WO2019230643A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020054812A (ja) 画像処理装置、画像処理方法及びプログラム
WO2017069019A1 (ja) 血流計測装置
US20190274538A1 (en) Image processing device, image processing method, and program
WO2019203056A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7387812B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6646021B2 (ja) 眼科画像処理装置
JP7297952B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018057828A (ja) 画像処理装置及び画像処理方法
JP2018191761A (ja) 情報処理装置、情報処理方法及びプログラム
JP2018047084A (ja) 眼科検査装置
JP7204345B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019154717A (ja) 画像処理装置、画像処理方法及びプログラム