JP5979904B2 - 画像処理装置、眼科撮影システム、及び画像処理方法 - Google Patents

Description

本明細書の開示は、被検体の血管を含む画像を処理して組織の情報を出力する画像処理装置、眼科撮影システム及び画像処理方法に関する。

人体の組織を非侵襲で撮影し画像診断する際に、測定光が血管領域にて影響を受け血管下の領域でその他の領域と比べて画質や解像度等が低下することが知られている。例えば補償光学系を用いて眼部の収差を補正しつつ眼部を測定光で走査する補償光学走査型レーザ検眼鏡（ＡＯ−ＳＬＯ）では測定光が血管領域の影響を受け、血管下の領域の画像は輝度が低くなってしまう。
このような血管領域内における組織の特定について、特許文献１はＯＣＴ断層画像における血管下の層構造を、血管下の領域とそれ以外の領域とで処理方法を変えて抽出することが開示している。特許文献２は眼底画像における背景の画像情報に基づいて特定領域の病変を判定することを開示している。

特開２０１０−２７９４４０号公報 特表２００５−５０４５９５号公報 特開２００１−０７０２４７号公報

Ａ． Ｕｊｉ ｅｔ ａｌ； "Ｔｈｅ Ｓｏｕｒｃｅ ｏｆ Ｍｏｖｉｎｇ Ｐａｒｔｉｃｌｅｓ ｉｎ Ｐａｒａｆｏｖｅａｌ Ｃａｐｉｌｌａｒｉｅｓ Ｄｅｔｅｃｔｅｄ ｂｙ Ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｙ"， ＩＯＶＳ， ｖｏｌ．５３， ｎｏ．１， ｐｐ．１７１−１７８， Ｊａｎ． ２０１２．

本発明は血球の移動情報を用い眼部の血管下における組織を精度良く特定できるようにすることを目的とする。

本発明のある実施形態に係る画像処理装置は、
補償光学系を有する眼科撮影装置により得られた眼底画像から血球の移動に基づく領域を特定する特定手段と、
前記領域と前記領域とは異なる領域とで異なる画像処理を適用し前記眼底の組織に関する情報を取得する取得手段と、
を有する。
また、本発明のある実施形態に係る画像処理装置は、補償光学系を有する眼科撮影装置により得られた眼底画像から血球の移動に基づく領域を特定する特定手段と、前記領域と前記領域とは異なる領域とで異なる方法を用いて前記眼底画像から視細胞を検出する検出手段と、を有する
さらに、本発明のある実施形態に係る画像処理装置は、補償光学系を有する眼科撮影装置により得られた眼底画像から血球の移動に基づく領域を特定する特定手段と、前記眼底画像に対して前記領域と前記領域とは異なる領域とで異なる画像処理を適用することで画像を生成する生成手段とを有する。

このように、適用する画像処理を領域ごとに変更することで、血管領域における組織の情報を容易にユーザに確認させることができる。

第１の実施形態に係るシステムの構成を示す図である。 第１の実施形態に係る補償光学ＳＬＯ撮影装置の構成を示す図である。 画像処理装置１０その他のハードウェア構成と、実施形態の処理を実現するためのソフトウェアプログラムを記録する記録媒体を示す図である。 第１の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。 第１の実施形態での画像処理を説明する図である。 第２の実施形態に係る画像処理装置１０の構成を示す図である。 第２の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。 欠損領域の判定処理を説明する図である。 第３の実施形態に係る画像処理装置１０の構成を示す図である。 第３実施形態に係る画像処理装置１０が実行する処理のフローチャートである。 第３の実施形態での画像処理を説明する図である。 組織に関する情報の計測処理の詳細を示すフローチャートである。 第４の実施形態に係る画像処理装置１０の構成を示す図である。 第４の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。 第５の実施形態に係る画像処理装置１０の構成を示す図である。 第５の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。 ＡＯＳＬＯ動画像の位置合わせ処理の詳細を示すフローチャートである。 第６の実施形態に係る画像処理装置１０の構成を示す図である。 第６の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。 第６の実施形態での画像処理内容を説明する図である。 血球領域の特定処理の詳細を示すフローチャートである。

以下、添付図面に従い実施形態を説明する。

［第１の実施形態］
本実施形態に係る画像処理装置は、ＳＬＯ動画像から血球領域を特定した上で高輝度血球領域における輝度値を選択して画像補正し、血球による影が軽減されたＳＬＯ画像を生成する場合について説明する。

図１は本実施形態に係る画像処理装置１０を含む眼科撮影システムの構成図である。当システムは画像処理装置１０、補償光学ＳＬＯ２０、ＬＡＮ３０、データサーバ４０、操作部５０、表示部６０を有する。画像処理装置１０は、データサーバ４０や表示部６０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ）３０を介して接続されている。なお補償光学ＳＬＯ２０や操作部５０とＬＡＮ３０で接続されていても良い。これらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。

補償光学ＳＬＯ２０は眼部の収差を補償光学系により補償しつつ眼底部の平面画像（ＳＬＯ動画像Ｄ）を撮像する装置である。補償光学ＳＬＯ２０はＳＬＯ動画像Ｄを撮像し、前記ＳＬＯ動画像Ｄ及びその撮影時に用いた固視標位置Ｆの情報を画像処理装置１０、データサーバ４０へ送信する。

データサーバ４０は被検眼のＳＬＯ動画像Ｄや固視標位置Ｆのような撮像条件データ、眼部の画像特徴、眼部の画像特徴の分布に関する正常値などを保持する。眼部の画像特徴として、本発明では視細胞Ｃや篩状板孔に関する画像特徴を扱う。補償光学ＳＬＯが出力する前記ＳＬＯ動画像Ｄ、固視標位置Ｆ、画像処理装置１０が出力する眼部の画像特徴を該サーバに保存する。また画像処理装置１０からの要求に応じ、ＳＬＯ動画像Ｄ、眼部の画像特徴及び該画像特徴の正常値データを画像処理装置１０に送信する。操作部５０はユーザによる操作を受付け、入力された情報を画像処理装置１０へと入力する。表示部６０は画像処理装置１０より出力された情報を表示する。

画像処理装置１０は画像取得部１１０、記憶部１２０、特定部１３１、制御部１３２、画像処理部１３３、出力部１３４、指示取得部１４０を有する。

特定部１３１は補償光学系を有する眼科撮影装置により得られた眼底画像から血球の移動に基づく領域を特定する。特定部１３１は、黄斑部の網膜外層を撮像したＳＬＯ動画像Ｄに対して特定部１３１が差分処理を行うことで高輝度血球領域を特定する。

制御部１３２は特定された領域とそれ以外の領域とで画像処理方法を変更する。この点で、当該領域と当該領域とは異なる眼底画像の領域とで異なる処理を適用させる制御をする制御部として機能する。ここでは画像処理法決定部１３２１がＳＬＯ動画像Ｄ上の各ｘ−ｙ位置で前記高輝度血球領域の輝度値を選択するよう指示する。

画像処理部１３３は移動に基づく領域と前記領域とは異なる領域とで異なる画像補正処理を適用し眼底の組織に関する情報を取得する。この点で、画像処理部１３３は取得部として機能する。画像処理部１３３は各ｘ−ｙ位置において高輝度血球領域が存在するフレームの輝度値を選択することで赤血球による影が補正されたＳＬＯ画像を生成する。

出力部１３４は補正済ＳＬＯ画像を眼底の組織の情報として出力し、表示部６０に表示させる。この点で出力部１３４は表示制御部として機能する。これにより、血管が走行する部位においても視細胞Ｃが視認しやすいＳＬＯ画像を生成・表示できる。

図２を用いて補償光学ＳＬＯ２０または補償光学走査型レーザ検眼鏡（ＡＯ−ＳＬＯ）の構成を説明する。補償光学ＳＬＯ２０はＳＬＤ２０１、シャックハルトマン波面センサ２０６、補償光学系２０４、ビームスプリッタ（２０２、２０３）、Ｘ−Ｙ走査ミラー２０５、フォーカスレンズ２０９、絞り２１０、光センサ２１１、画像形成部２１２、出力部２１３を有する。

光源であるＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）２０１から照射された光は眼底で反射され、一部が第二のビームスプリッタ２０３経由でシャックハルトマン波面センサ２０６へ、それ以外は第一のビームスプリッタ２０２経由で光センサ２１１へ入力される。シャックハルトマン波面センサ２０６は眼の収差を測定するためのデバイスであり、レンズアレイ２０７にＣＣＤ２０８が接続されている。入射光がレンズアレイ２０７を透過するとＣＣＤ２０８に輝点群が現れ、該投影された輝点の位置ずれに基づき波面収差が測定される。補償光学系２０４はシャックハルトマン波面センサ２０６で測定された波面収差に基づき、収差補正デバイス（可変形状ミラーもしくは空間光位相変調器）を駆動して収差を補正する。該収差補正された光はフォーカスレンズ２０９、絞り２１０を経由し光センサ２１１にて受光される。Ｘ／Ｙ走査ミラー２０５を動かすことで眼底上の走査位置を制御でき、操作者が予め指定した撮影対象領域、時間（フレームレート×フレーム数）のデータを取得する。該データを画像形成部２１２へ伝送し、走査速度のばらつきに起因する画像歪みの補正や、輝度値の補正を行って画像データ（動画像もしくは静止画像）を形成する。出力部２１３は画像形成部２１２が形成した画像データを出力する。眼底上の特定の深さ位置にフォーカスを合わせるためには、補償光学系２０４内の収差補正デバイスを用いた調整か、光学系内に不図示のフォーカス調整用レンズを設置し、該レンズを移動することによる調整かの少なくともいずれかを用いることができる。

図３を用いて画像処理装置１０および操作部５０のハードウェア構成について説明する。図３において、３０１は中央演算処理装置（ＣＰＵ）、３０２はメモリ（ＲＡＭ）、３０３は制御メモリ（ＲＯＭ）、３０４は外部記憶装置、３０５はモニタ、３０６はキーボード、３０７はマウス、３０８はインターフェースである。図４に示す画像処理を実現するための制御プログラム３１０や、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に説明する各部として機能する。

画像処理装置１０を構成する各部については、図４のフローチャートに示す画像処理装置１０の具体的な実行手順と関連付けて説明する。

図５に補償光学ＳＬＯ２０により得られるＳＬＯ動画像Ｄと、画像処理装置１０による処理の概要を示す。図５（ａ）はＯＣＴ撮影装置等により得られる網膜の断層画像である。網膜は層構造をなしており、内境界膜（ＩＬＭ）Ｂ１、神経線維層（ＮＦＬ）の下側境界Ｂ２、神経節細胞（ＧＣＬ）の下側境界Ｂ３、内網状層（ＩＰＬ）の下側境界Ｂ４、視細胞内節外節接合部（ＩＳ／ＯＳ）Ｂ５、網膜色素上皮（ＲＰＥ）Ｂ６がそれぞれ図示されている。補償光学ＳＬＯ２０を用いて視細胞Ｃを観察したり視細胞Ｃの分布を計測する場合にはフォーカス位置を網膜外層（図５（ａ）の境界Ｂ５）付近に設定して図５（ｂ）のようなＳＬＯ画像を撮影する。一方、網膜内層（図５（ａ）の境界Ｂ２から境界Ｂ４）には網膜血管や分岐した毛細血管が走行している。血管内に存在する血液の４５％が血球成分であり、そのうち約９６％を赤血球、約３％を白血球が占める。網膜血管内の赤血球が存在する位置では入射光が反射されるためにＳＬＯ画像に濃い影（図５（ｂ）のＱや図５（ｃ）のＳＡ２）が生じ、白血球が存在する位置（図５（ｃ）のＳＡ１）では入射光が透過されるために影が生じにくい。

血管が走行する部位についてはＳＬＯ動画像の大半のフレームでは赤血球に反射されて低輝度となるが、白血球が通過するフレームにおいては視細胞Ｃの輝度値を直接取得できることになる。例えば、時刻ｔ＝ｎの時（図５（ｃ））には、小領域ＳＡ１上に白血球が存在するために入射光が透過し、視細胞Ｃを視認できる。一方、小領域ＳＡ２上には赤血球が存在するため入射光が網膜血管で反射され、影が生じている。次に、時刻Ｔ＝ｎ＋１の時には白血球がＳＡ２上に移動し、ＳＡ１上には赤血球が移動するためにＳＡ１では低輝度、ＳＡ２では高輝度（視細胞Ｃの持つ輝度値）となる。血管が走行する各位置において白血球が存在するフレームの輝度値を選択して合成できれば、図５（ｆ）のように血球の影を補正できる可能性がある。

なお、血球による影は網膜外層以外、例えば視神経乳頭部の篩状板を撮影した場合にも生じ、視神経乳頭部における細い血管（分岐血管）では白血球が存在する位置で入射光が篩状板に到達し、観察や形状計測が可能となる。

これまで視細胞Ｃや篩状板を観察したり計測する場合には、血管領域内の各画素では大半のフレームにおいて赤血球による影が生じて低輝度となるため、視細胞Ｃや篩状板を視認したり検出しにくいという問題があった。そこで血球による影が生じている領域において、ｉ）血球の影響が少ない（細胞や組織を視認・計測しやすい）画像を生成する。

＜ステップＳ４１０＞
画像取得部１１０は補償光学ＳＬＯ２０に対して、ＳＬＯ動画像Ｄ、固視標位置Ｆの取得を要求する。この点で、画像取得部１１０は撮影制御部としての機能を有する。本実施形態では、黄斑部の傍中心窩に固視標位置を設定し、深さ方向のフォーカス位置を網膜外層に設定してＳＬＯ動画像Ｄを取得する。なお、撮影部位の設定方法はこれに限定されず、例えば後述するように固視灯位置を視神経乳頭部に、深さ方向のフォーカス位置を網膜下の篩状板の位置に設定することができる。また、ユーザの設定に応じて撮影部位を設定し、これに応じて後段の特定部１３１、制御部１３２及び画像処理部１３３の処理を切り替えることとすれば、設定の手間が省けユーザの利便性が向上する。

補償光学ＳＬＯ２０は該取得要求に応じてＳＬＯ動画像Ｄ、固視標位置Ｆを取得し送信するので、画像取得部１１０は補償光学ＳＬＯからＬＡＮ３０を介して当該ＳＬＯ動画像Ｄ、固視標位置Ｆを受信する。画像取得部１１０は受信したＳＬＯ動画像Ｄ、固視標位置Ｆを記憶部１２０に格納する。なお、本実施形態では前記ＳＬＯ動画像Ｄは既にフレーム間位置合わせ済の動画像とする。

＜ステップＳ４２０＞
特定部１３１は、前記ＳＬＯ動画像Ｄから血球領域及び血球の移動範囲を特定する処理を行う。具体的には、以下の手順で特定処理が実行される。

ステップＳ４２１にて、特定部１３１はＳＬＯ動画像Ｄの各位置で画素値の時間的なばらつき度合いを算出する。

まず、ＳＬＯ動画像Ｄの隣接する第一のフレームと第二のフレームとの間で差分動画像を生成する。これは、図５（ｃ）から図５（ｄ）を差し引き図５（ｅ）の画像を得る処理に該当する。差分画像を得ることで、動画像から血球の移動に関する情報を抽出することができるため、血球の移動領域の特定精度が向上する。なお、必ずしも隣接フレームでなくてもよく、例えばフレームレートが十分に高い場合等には所定数のフレームごとに差分動画像を生成することで処理を効率化することができる。次に差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量を算出する。例えば、ＳＬＯ動画像Ｄにおける画素値の時間的なばらつき度合いを示す値として分散値を用いることで血球の移動に起因する情報を抽出することができる。

ステップＳ４２２にて、特定部はばらつき度合いが閾値より大きい領域を血球移動領域として特定する。これは、前記差分動画像の各ｘ−ｙ位置において輝度分散が閾値Ｔｖ以上の領域を血球移動領域として特定することによりおこなわれる。

また特定部１３１は、血球が移動する領域の特定の位置における画素値が特定の値より大きいフレーム画像を、該特定の位置における血球の位置を示すフレームとして特定する。この処理では特定部１３１はＳＬＯ動画像Ｄの血球移動領域内の各ｘ−ｙ位置に対して、輝度値が最大値のフレームを白血球が存在するフレーム（入射光が透過され、影のない領域）として特定する。この処理により、後段の画像処理において、白血球が存在する部分領域を各フレームから抽出し、１つの画像を形成するためのデータが得られる。

なお血球の特定処理はステップＳ４２０の方法に限定されるものではなく、例えば前記差分動画像上の高輝度領域のうち、血球移動領域内に含まれるものを血球領域として特定することとすれば処理は効率化される。また、フレーム間で輝度値の割り算をすることで血球の移動に基づく領域を特定することができる。

＜ステップＳ４３０＞
画像処理法決定部１３２１がＳＬＯ画像Ｄ上の各ｘ−ｙ位置における画像補正法を決定し、画像処理部１３３が画像処理法決定部１３２１の指示に従って補正済ＳＬＯ画像を生成する。具体的には、まず、画像処理法決定部１３２１がｉ）視細胞領域におけるノイズ低減処理を行い、ｉｉ）血球影の除去又は低減処理、画像処理部１３３は画像処理部決定部１３２１に指示された方法で画像補正を行う。

ステップＳ４３１で画像処理部１３３は、ｉ）Ｓ４２０で特定されたＳＬＯ動画像Ｄの血球移動領域内の各ｘ−ｙ位置における画像補正法として、フレーム方向における最大輝度のフレームの輝度を選択し、選択された輝度値（画素値）を用いて画像を形成する。つまりは、血球移動領域内で時間方向の最大値投影（ＭＩＰ）を行う。なお必ずしも最大値を選択する必要はなく、外れ値を除去する処理を含めることとしてもよい。

ステップＳ４３２で画像処理部１３３は、ｉｉ）ＳＬＯ動画像Ｄの血球領域外の各ｘ−ｙ位置における画像補正法として、フレーム方向または時間方向における輝度平均値を選択する。つまりは、血球移動領域外での加算平均を行う。

なお画像補正法はこれに限定されるものではなく、少なくとも血球影が発生している位置で血球影を除去する効果を持つ方法であれば任意の補正法を用いることができる。例えば画像処理部１３３はＳＬＯ動画像Ｄの各ｘ−ｙ位置において、閾値Ｔｐ以上の輝度値を持つフレーム集合Ｓｔについて時間方向に加算平均した輝度値を選択し、得られた輝度値（画素値）を用いて画像を形成する。閾値Ｔｐは視細胞Ｃを撮影した場合の標準的な輝度値を設定するものとする。Ｓ４３０のようにフレーム方向に関する最大輝度値を選択する場合に比べ、フレーム間の位置ずれの影響を受けにくいＳＬＯ画像を生成することができる。

＜ステップＳ４４０＞
出力部１３４は、ＳＬＯ動画像ＤとＳ４３０で生成した補正済ＳＬＯ画像とを並べてモニタ３０５に表示する。
ここで別の実施形態では、異なる補正法で補正したＳＬＯ画像を数種類用意しておき、リスト等のＧＵＩで補正法を選択して切り替え表示するように構成する例えば、以下のｉ）〜ｉｉｉ）のような補正法を選択して切り替え表示する。ｉ）血球移動領域内で最大値投影、血球移動領域外で加算平均し画像を得る。ｉｉ）血球移動領域内で閾値Ｔｐ以上の輝度値の加算平均、血球移動領域外で加算平均し画像を得る。ｉｉｉ）画像全面についての時間方向の最大値投影画像を得る。これにより、ユーザが補正方法を選択することで所望の画像を得ることができる。

＜ステップＳ４５０＞
指示取得部１４０は、ＳＬＯ動画像Ｄ、Ｓ４３０において補正されたＳＬＯ画像、固視標位置Ｆをデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やマウス３０７を介して操作者により入力される。保存が指示された場合はＳ４６０へ、保存が指示されなかった場合はＳ４７０へと処理を進める。

＜ステップＳ４６０＞
画像処理装置１０は、検査日時、披検眼を同定する情報の書誌情報、固視標位置Ｆ等の書誌情報、補正済ＳＬＯ画像、をＳＬＯ動画像Ｄに関連付ける。関連付けられた画像情報を出力部１３４がＬＡＮ３０を介してデータサーバ４０へ送信する。

＜ステップＳ４７０＞
指示取得部１４０は画像処理装置１０によるＳＬＯ動画像Ｄに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は解析処理を終了する。一方、処理継続の指示を取得した場合にはＳ４１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

以上述べた構成によれば、画像処理装置１０は、ＳＬＯ動画像Ｄから血球領域を特定し、特定された血球領域の各ｘ−ｙ位置において高輝度血球領域が存在するフレームの輝度値を選択することで画像補正し、血球による影の影響が軽減された画像を生成する。
これにより、血球により入射光がブロックされて影が生じる血管下の領域でも細胞や組織が視認しやすいＳＬＯ画像を生成、表示できる。

なお、本実施形態では黄斑部網膜における視細胞Ｃを撮影したＳＬＯ画像に生じた血球による影領域の画像補正を行ったが、本発明はこれに限定されるものではない。例えば、視神経乳頭部の網膜下に存在する篩状板のような組織を撮影した場合に生じる血球による影領域の画像補正を行うことができる。

篩状板（図２０（ｂ）及び（ｃ）のＬＣ）は視神経乳頭部の網膜下に存在する円盤状の組織であり、篩状板内部には篩状板孔（図２０の（ｃ）のＬＰ）と呼ばれる小さな穴が多数存在する。円盤部からの反射光により篩状板自体はＡＯ−ＳＬＯ画像上で高輝度領域になるが、血球による影が存在する領域や篩状板孔では低輝度になる。ただし視神経乳頭部における細い血管では白血球が存在する位置で入射光が篩状板に到達するため、篩状板の観察や形状計測が可能となる。

［第２の実施形態］
本実施形態では、ＳＬＯ動画像Ｄのフレーム間位置合わせを行い、特定部１３１により特定された血球領域の輝度値を用いて画像補正を行う。さらに、画像補正前後の輝度値の変化量に基づいて血球による影領域と視細胞Ｃの欠損領域とを判別し、出力部１３４が補正済ＳＬＯ画像と、検出された病変領域を表示する場合について説明する。

ＳＬＯ画像上の血管が走行する領域に発生している低輝度領域が、血球の影響により生じた低輝度領域であるのか、（血球による反射はなく）細胞や組織が欠損した領域であるために低輝度であるのか判別することは難しかった。

そこで、血球による影なのか、細胞や組織が欠損しているのか判別することにより細胞・組織・病変の視認性や計測性能を向上させる。

これにより、より正確に血球領域を特定した上で白血球領域の輝度値を用いた画像補正ができる。さらに視細胞Ｃが欠損した低輝度領域を検出して表示することで、細胞や組織、病変の分布を把握しやすくなる。

次に、本実施形態に係る画像処理装置１０の機能ブロック図を図６に示す。実施形態１とは位置合わせ部１３５、制御部１３２に判定部１３２２を有する点が異なっている。判定部１３２２は、領域と領域とは異なる眼底画像の領域とにそれぞれ適用された画像処理により得られる眼底の画像に基づいて、組織の欠損領域を判定する欠損判定部として機能する。

また本実施形態での画像処理フローは図７に示す通りであり、Ｓ７２０、Ｓ７５０、Ｓ７６０以外は実施形態１の場合と同様である。そこで、本実施形態ではＳ７２０、Ｓ７５０、Ｓ７６０における処理を中心に説明する。

＜ステップＳ７２０＞
位置合わせ部１３５は、記憶部１２０からＳＬＯ動画像Ｄを読み込んでＳＬＯ動画像Ｄにおけるフレーム間位置合わせを行う。具体的には、下記のｉ）乃至ｉｉｉ）の処理を行う。

ｉ）位置合わせ部１３５は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、例えば、ユーザが指定した基準フレーム番号を指示取得部１４０から取得して基準フレームを設定することができる。
ｉｉ）位置合わせ部１３５は、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。
ｉｉｉ）位置合わせ部１３５は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。

本実施形態ではｉｉ）で得られた粗位置合わせ済動画像に対し、非剛体位置合わせ手法の一種であるＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）法を用いてフレーム間の精密位置合わせを行う。

なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。

本実施形態では、画素値ベースの画像間類似度を用いて、ＳＬＯ動画像Ｄのフレーム全体が基準フレームに最も類似する位置合わせパラメータの組み合わせを求めたが、これに限定されるものではない。例えば、ＳＬＯ動画像Ｄの各フレームにおいて観察対象の画像特徴（中心窩や血管分岐等）を検出する。さらに該画像特徴の位置が最も精密に合うようにＳＬＯ動画像Ｄのフレーム間で位置合わせを行っても良い。

＜ステップＳ７５０＞
判定部１３２２はＳＬＯ動画像Ｄの重ね合わせ画像と、Ｓ７４０で生成した画像補正済ＳＬＯ画像との輝度の差分情報を得る。ここで、重ね合わせ画像とは、ＳＬＯ動画像の各ｘ−ｙ位置における各フレームの輝度値の時間方向の平均値を画素値として持つ２次元画像のことを指す。重ね合わせ画像は判定部１３２２で位置合わせされたＳＬＯ動画像Ｄの各フレームを加算処理することにより得られる。判定部１３２２は重ね合わせ画像と補正済ＳＬＯ画像との差分処理により得られる、各ｘ−ｙ位置における輝度の変動量を求めて血球による影領域か、視細胞Ｃの欠損領域かの判定を行う。

血管中の血球成分の大半は赤血球であるので、重ね合わせ画像（図８（ａ））上では、血管が走行する領域の輝度値は全て低くなる。そのため該低輝度領域（図８（ａ）のＤＡ１・ＤＡ２）において視細胞Ｃの欠損があるか否かの判定は難しい。一方、図８（ｂ）のように血球による影の補正が行われた画像では視細胞Ｃの欠損領域ＤＬの判定が容易であり、図８（ａ）のＤＡ２に視細胞Ｃの欠損領域が隠れていることがわかる。

そこで判定部１３２２は、重ね合わせ画像に基づいて血管領域を特定する。また、血管領域において、輝度値（画素値）のばらつきが大きくかつ時間方向の画素値の最大値（ピーク値）が時間方向の画素値の平均値（平均レベル）と大きく離れている位置を、血球による影領域に含まれると判定する。また、血管領域において時間方向の画素値の最大値が時間方向の画素値の平均値が近い位置を欠損領域に含まれると判定する。なお、上述の通り最大値としては外れ値等を除去した後の最大値を採用しても良い。また、平均値としては中央値やその他平均的な画素値のレベルを示す値が採用されればよい。

判定部１３２２は重ね合わせ画像上の輝度値が閾値Ｔａ未満、かつ重ね合わせ画像と補正済ＳＬＯ画像との差分を行った際の輝度値の変動量が閾値Ｔｓ以上であれば、血球による影領域と判定する。また、重ね合わせ画像上の輝度値が閾値Ｔａ未満かつ該輝度値の変動量が閾値Ｔｓ未満であれば、視細胞Ｃの欠損領域ＤＬと判定する。

＜ステップＳ７６０＞
出力部１３４は、補正済のＳＬＯ画像と、Ｓ７５０にて検出された視細胞Ｃの欠損候補領域をモニタ３０５に表示する。

本実施形態では、補正済ＳＬＯ画像の隣に、補正済ＳＬＯ画像上に視細胞欠損候補領域を色付けして重畳した画像を並べて表示する。なお、表示方法はこれに限定されるものではなく、任意の表示方法を用いて良い。例えば、補正済ＳＬＯ画像上に欠損領域を色枠で囲ったり、欠損領域の近傍に矢印を付加したりしても良い。あるいは、欠損領域を示す色枠や矢印の表示・非表示を補正済ＳＬＯ画像上で切り替え可能なように構成しても良い。
なお、本実施形態では黄斑部網膜における視細胞Ｃを撮影したＳＬＯ画像に生じた血球による影領域の画像補正を行い、視細胞欠損領域を検出して表示したが、本発明はこれに限定されるものではない。例えば、視神経乳頭部の網膜下に存在する篩状板のような組織を撮影した場合に生じる血球による影領域の画像補正を行い、欠損領域を検出して表示しても良い。

以上の構成より、画像処理装置１０は、位置合わせ部１３５がフレーム間位置合わせを行った上で、画像処理部１３３が血球による影領域の画像補正を行う。さらに画像補正前後の輝度値の変化量に基づいて血球による影領域と視細胞Ｃの欠損領域とを判別し、出力部１３４が補正済ＳＬＯ画像と、検出された病変領域を表示する。

これにより、位置合わせ結果を用いて正確に血球領域を特定した上で白血球領域の輝度値を用いた画像補正ができる。さらに視細胞Ｃが欠損した低輝度領域を検出して表示することで、細胞や組織、病変の分布を把握しやすくなる。

［第３の実施形態］
本実施形態では、ＳＬＯ動画像Ｄのフレーム間位置合わせを行い、特定部１３１により特定された血球領域の輝度値を用いて画像補正を行う。さらに、補正済ＳＬＯに対して視細胞Ｃの検出及び視細胞分布の計測を行い、算出した視細胞分布の統計量を正常値と比較することで病変候補（分布異常領域）を検出する場合について説明する。

これにより、位置合わせ結果を用いて正確に血球領域を特定した上で白血球領域の輝度値を用いた画像補正ができる。さらに血球による影領域においても細胞や組織の分布を計測することや、病変候補（分布異常領域）を検出することができる。

次に、本実施形態に係る画像処理装置１０の機能ブロック図を図９に示す。実施形態１とは位置合わせ部１３５、計測部１３６を有する点が異なっている。

計測部１３６は、眼底画像から組織に関する情報を計測し該計測された情報を前記組織の情報として得る。この点で、計測部１３６は本実施形態における組織情報の取得部として機能する。また制御部１３２は、特定された領域の位置、輝度、形状の少なくとも一つに基づき細胞もしくは組織の検出方法、形状計測方法、分布計測方法の少なくとも一つを変更する変更部として機能する。

また本実施形態での画像処理フローは図１０に示す通りであり、Ｓ１０４０、Ｓ１０５０、Ｓ１０６０以外は実施形態１の場合と同様である。そこで、本実施形態ではＳ１０４０、Ｓ１０５０、Ｓ１０６０における処理を中心に説明する。

＜ステップＳ１０４０＞
ステップＳ１０４０では、画像処理部１３３が制御部１３２の制御に応じて血球領域内外で異なる画像処理を適用し 視細胞を強調する処理を行う。ステップＳ１０４０の処理は、下記のステップＳ１０４１乃至Ｓ１０４４の処理を含む。

ステップＳ１０４１で画像処理部１３３は血球領域外についてノイズ低減処理を適用する。この処理は第一の実施形態におけるステップＳ４３１の処理と同様である。

ステップＳ１０４２で制御部１３２は、血球領域内の処理を選択する。本ステップでは、血球領域内について動画像の位置ずれの影響を考慮した画像処理とするか否かを選択する。位置ずれの影響を補正するか否かは種々の情報を基準とすることができる。例えばユーザの操作に応じて操作部５０から入力された設定情報を用いることで、ユーザが所望の画像を得ることができる。また、制御部１３２で動画像についてフレーム間差分を算出し、動き成分が所定以上あると判定された場合に制御部１３２が位置ずれの影響を補正する画像処理を選択する。それ以外の場合には通常の処理を選択する。これによりことで、ユーザの手間を要さずに適切な画像を得ることができる。

ステップＳ１０４３では、位置ずれの影響を補正しない画像処理が選択された場合に、画像処理部１３３が血球領域内について画像処理を適用する。この処理は、実施形態１におけるステップＳ４３２の処理と同様である。

ステップＳ１０４４では画像処理装置が位置ずれの影響を考慮した画像処理を行う。画像処理部１３３は、ＳＬＯ動画像Ｄの各ｘ−ｙ位置において、閾値Ｔｐ以上の輝度値を持つフレーム集合Ｓｔの平均輝度値を選択する。閾値Ｔｐは視細胞Ｃを撮影した場合の標準的な輝度値を設定するものとする。このようにすることで、Ｓ４３０のようにフレーム方向に関する最大輝度値を選択する場合に比べ、フレーム間の位置ずれの影響を受けにくいＳＬＯ画像を生成することができる。

＜ステップＳ１０５０＞
計測部１３６は、Ｓ１０４０で補正されたＳＬＯ画像から視細胞Ｃを検出し、視細胞Ｃの分布を計測する。また視細胞Ｃの分布に関して正常値と比較することで、分布異常領域を検出する。詳細は図１２のフローチャートを用いて後述する。

＜ステップＳ１０６０＞
出力部１３４は、ｉ）補正済ＳＬＯ画像、ｉｉ）視細胞Ｃの検出結果（視細胞位置のマップ）、ｉｉｉ）ボロノイ図、ｉｖ）小領域ごとの視細胞分布の統計値に関するマップ、をモニタ３０５に表示する。なお、ボロノイ図については個々のボロノイ領域ごとの面積に応じて色づけして表示する。

またｉｉｉ）のボロノイ図やｉｖ）の統計値マップについて、個々のボロノイ領域に関する計測値や小領域ごとの統計値が正常値の範囲から外れているものについては、あらかじめ分布異常を表す色として指定された色で領域を色づけして表示する。
次に図１１及び図１２に示すフローチャートを参照しながら、Ｓ１０５０で実行される処理の詳細について説明する。

＜ステップＳ１２１０＞
計測部１３６は、補正済ＳＬＯ画像における視細胞以外のピーク成分（ノイズや視細胞以外の眼底組織から反射光）を除去するために、高周波成分の除去を行う。本実施形態では、高速フーリエ変換（ＦＦＴ）を用いて周波数変換を行い、低域通過フィルタを適用して高周波成分の信号値をカットする。該フィルタ済ＳＬＯ画像を逆フーリエ変換することで空間領域に戻し、高周波成分が除去された補正済ＳＬＯ画像を生成する。

＜ステップＳ１２２０＞
Ｓ１２１０で生成された補正済ＳＬＯ画像に対して閾値Ｔｂで二値化することにより、視細胞Ｃを検出する。

＜ステップＳ１２３０＞
Ｓ１２２０で検出された視細胞Ｃの二値画像に対し、以下の手順でボロノイ図を生成する。すなわち、視細胞Ｃの二値画像に対し、個々の視細胞領域の中心点（図１１（ｃ）のＭＰ）を算出し、隣り合う中心点ＭＰを結ぶ線分に対して垂直二等分線を描画する。描画された垂直二等分線のうち、中心点ＭＰ同士を結ぶ線分の中点から垂直二等分線同士の交点ＶＰまでを残し、残りを消去することでボロノイ境界ＶＢが得られる。ボロノイ図において、個々の視細胞Ｃが占める面積や形状はボロノイ境界ＶＢで囲まれた領域ＶＲで表される。

＜ステップＳ１２４０＞
Ｓ１２３０で生成したボロノイ図に基づき、視細胞Ｃの分布に関する統計量を算出する。具体的には、検出された視細胞Ｃの密度、隣接する視細胞間の距離の平均、１視細胞が占める面積の平均値、ボロノイ図において視細胞Ｃが六角形で表される領域の割合を算出する。なお、上記統計量は画像全体に対してだけでなく、小領域ごとに求めておく。

＜ステップＳ１２５０＞
データサーバ４０に対して、視細胞Ｃの分布に関する正常値データの送信を要求し、画像取得部１１０が該正常値データを取得して記憶部１２０に保存する。

計測部１３６は、Ｓ１２４０で算出した視細胞分布に関する各統計量に関して、該正常値データと比較し、正常値の範囲外である場合に視細胞分布異常領域として検出する。

なお、本実施形態では黄斑部網膜における視細胞Ｃの形状及び分布を計測したが、本発明はこれに限定されるものではない。例えば、視神経乳頭部の網膜下に存在する篩状板のような組織を撮影した場合に生じる血球による影領域の画像補正を行い、篩状板孔の形状や分布を計測することができる。

以上の構成より、画像処理装置１０は、ＳＬＯ動画像Ｄのフレーム間位置合わせを行い、特定部１３１により特定された血球領域の輝度値を用いて画像補正を行う。さらに、補正済ＳＬＯに対して視細胞Ｃの検出及び視細胞分布の計測を行い、算出した視細胞分布の統計量を正常値と比較することで、病変候補領域を検出する。

これにより、位置合わせ結果を用いて正確に血球領域を特定した上で白血球領域の輝度値を用いた画像補正ができる。さらに血球による影領域においても細胞や組織の分布を計測し、また病変候補を検出することができる。

さらには、計測部１３６は実施形態２における細胞の欠損領域を計測し計測するように構成することも可能である。

［第４の実施形態］
本実施形態は、血球による影領域に対して画像補正を行うのではなく画像処理パラメータを変更して視細胞Ｃの形状や分布を計測するように構成したものである。

具体的には、計測法設定部１３２３がＳＬＯ画像Ｄ上の血球による影領域の輝度値に基づいて血球影領域内の画像処理パラメータを設定し、計測部１３６が視細胞Ｃの形状や分布を計測する場合について説明する。

これにより、血球による影領域において画像処理パラメータを変更して計測することができる。また血球による影領域においても細胞や組織の形状や分布を計測できる。

次に、本実施形態に係る画像処理装置１０の機能ブロック図を図１３に示す。画像処理法決定部１３２１や画像処理部１３３がなく、代わりに制御部１３２に計測法設定部１３２３を備える点が実施形態３の場合と異なっている。

また本実施形態での画像処理フローは図１４に示す通りであり、Ｓ１４３０、Ｓ１４４０、Ｓ１４５０以外は実施形態３の場合と同様である。そこで、本実施形態ではＳ１４３０、Ｓ１４４０、Ｓ１４５０における処理のみ説明する。

＜ステップＳ１４３０＞
特定部１３１は、ＳＬＯ動画像Ｄから血球の移動領域を特定する処理を行う。具体的には、実施形態１のＳ４２０におけるｉ）からｉｉｉ）の処理と同様であるので詳細は省略する。

＜ステップＳ１４４０＞
制御部１３２は、計測部１３６が組織を検出する際の閾値を、血管の移動に基づく領域と該領域とは異なる領域とで異なるように画像処理パラメータを設定する。具体的には、視細胞検出の際に用いる閾値Ｔｂを以下のように変更する。すなわち、制御部１３２は、Ｔｂに対して
（血球の移動領域における輝度値）／（視細胞領域の平均輝度値）
を乗じた閾値Ｔｃを視細胞検出の際に用いるよう計測部１３６に対して変更を指示する。

＜ステップＳ１４５０＞
計測部１３６は、Ｓ１４４０で設定された画像処理パラメータを用いて、血球による影領域での視細胞Ｃの形状及び分布を計測する。

具体的には、Ｓ１４４０で検出された視細胞Ｃに対してボロノイ分割を行い、視細胞Ｃの分布に関する統計量を算出する。ボロノイ分割や視細胞Ｃの分布に関する統計量の算出法については実施形態３の場合と同様であるので、詳細は省略する。

ステップＳ１４６０で出力部１３４は表示部６０に対して計測された情報を表示する。

なお、本実施形態では黄斑部網膜における視細胞Ｃの形状及び分布を計測したが、本発明はこれに限定されるものではない。

例えば、視神経乳頭部の網膜下に存在する篩状板を撮影した場合に生じる血球による影領域において、画像処理パラメータを変更して篩状板孔の形状や分布を計測してもよい。
以上の構成より、画像処理装置１０は、血球による影領域に対して画像処理パラメータを変更して視細胞Ｃの形状や分布を計測する。

これにより、血球による影領域において画像処理パラメータを変更して計測することで、血球による影領域においても細胞や組織の形状や分布を計測できる。

［第５の実施形態］
本実施形態は、先述の実施形態に対して、瞬目や固視ずれのような例外フレームを除外して画像補正した上で、視細胞Ｃの分布・形状を計測するように構成したものである。

画像処理部１０は、ＳＬＯ動画像Ｄ処理対象となるフレーム画像を画像情報に基づいて判定する例外フレーム判定部１３５１を有する。具体的には、例外フレーム判定部１３５１がＳＬＯ画像Ｄのフレーム間位置合わせ時に各フレームの輝度値・画像歪み量・Ｓ／Ｎ比、基準フレームに対する変位量に基づき例外フレームを判定する。画像処理法制御部１３２１は例外フレーム以外の高輝度血球領域の輝度値を用いて画像補正するよう指示し、画像処理部１３３が補正済ＳＬＯ画像を生成する。計測部１３６が補正済ＳＬＯ画像に対して視細胞Ｃの形状及び分布を計測する場合について説明する。

これにより、例外フレームが含まれたＳＬＯ画像に対しても正確に血球領域を特定して高輝度血球領域の輝度値を用いた画像補正を行った上で、細胞や組織の形状や分布を計測できる。

次に、本実施形態に係る画像処理装置１０の機能ブロック図を図１５に示す。位置合わせ部１３５に例外フレーム判定部１３５１を備える点が実施形態３の場合と異なっている。

また本実施形態での画像処理フローは図１６に示す通りであり、Ｓ１６２０以外は実施形態３の場合と同様である。そこで、本実施形態ではＳ１６２０における処理のみ説明する。

＜ステップＳ１６２０＞
位置合わせ部１３５は、ＳＬＯ動画像Ｄに対してフレーム間位置合わせを行う。

まず例外フレーム判定部１３５１が単独フレームで例外フレーム判定を行い、位置合わせ部１３５が基準フレームを選択する。次にＡｆｆｉｎｅ変換を用いて粗位置合わせを行った後、公知の非剛体位置合わせ手法を用いて精密位置合わせを行う。最後に、例外フレーム判定部１３５１が位置合わせ済ＳＬＯ動画像に対して例外フレーム判定を行う。

次に図１７に示すフローチャートを参照しながら、Ｓ１６２０で実行される処理の詳細について説明する。

なお、Ｓ１７２０、Ｓ１７３０、Ｓ１７４０については実施形態２におけるＳ７２０の場合と同様であるので、詳細は省略する。

＜ステップＳ１７１０＞
例外フレーム判定部１３５１は、単独フレームでの例外判定を行う。

ＳＬＯ画像Ｄから画像特徴として各フレームＤｉにおける平均輝度値Ａｉ及び血管領域Ｖｉを取得する。血管領域の取得方法は任意の公知の血管抽出法を用いることができ、本実施形態では輝度値が閾値Ｔ１以下の領域とする。また、前記血管領域Ｖｉを細線化して得られる点列Ｂｉｍ（ｍ＝１，２，．．．，ｎ３）の交差部Ｃｉｎ（ｎ＝１，．．．，ｎ４≧３）も取得する。

ＳＬＯ動画像Ｄの各フレームＤｉに対し、瞬目により輝度が極端に低いフレームや固視微動により画像歪みが生じているフレーム、収差補正不良によりＳ／Ｎ比が低いフレームを例外フレームとして検出する。

本実施形態では、前記平均輝度値Ａｉが閾値Ｔ２以下であれば、各ＳＬＯ動画像ＤのフレームＤｉを瞬目による輝度異常とみなし例外フレームと判定する。また前記血管交差部Ｃｉｎ間の距離の二乗和の値が隣接フレーム間で閾値Ｔ３以上異なっていれば、固視微動による画像歪みとみなして例外フレームと判定する。さらに、Ｓ／Ｎ比が閾値Ｔ４以下であれば収差補正不良とみなして例外フレームと判定する。

なお例外フレームの判定法はこれに限るものではなく、任意の例外判定法を用いて良い。例えば、各フレームに対し微分処理を行うことにより得られる微分画像の輝度統計量（平均値、最頻値、もしくは最大値）を算出し、閾値Ｔ５以下であれば被写体の動きによるボケが発生しているとみなして例外フレームと判定しても良い。

＜ステップＳ１７５０＞
例外フレーム判定部１３５１は、Ｓ１７４０で生成した精密位置合わせＳＬＯ画像に対して例外フレーム判定を行う。

具体的には、Ｓ１７２０で設定した基準フレームにおける画像特徴（血管交差部Ｃｉｎ）と非基準フレームにおける画像特徴との変位量を算出し、変位量が許容値より大きいフレームを例外フレームとして判定する。本実施形態では基準フレームに対する変位量として並進（ｘ、ｙ）、回転θ、拡大率（ｓｘ、ｓｙ）を成分として持つ変位量ベクトル（ｘ，ｙ，θ，ｓｘ、ｓｙ）を定義する。ｘ＞Ｔｘ、ｙ＞Ｔｙ、θ＞Ｔθ、ｓｘ＞Ｔｓｘ、ｓｙ＞Ｔｓｙの少なくとも一つが成り立つ場合に例外フレームと判定する。

なお、変位量の定義はこれに限らず、変位の程度を示唆する量（スカラ量またはベクトル量）であれば任意の値を用いてよい。例えば、観察・計測対象となる基準領域が各フレームにおいて含まれる割合（例えば、（基準領域全体の面積） ／（各フレームＤｉに含まれる基準領域の面積））を変位量として定義しても良い。

後段のステップＳ１６４０で特定部１３１は、ＳＬＯ動画像Ｄにおいて画素値の時間的な分散が特定の閾値より大きい領域を血球の移動に基づく領域として特定する際に、処理対象にならないと判定されたフレーム画像を除いて前記分散を測定する。これにより、測定される分散値では血球の移動以外の要因による影響が低減されるため、血球の移動領域を精度良く特定することができる。

また、後段のステップＳ１６４０で画像処理部１３３は、血球の移動領域外の領域と血球の移動領域のそれぞれについて適用する画像処理において、処理に用いるフレーム画像から例外フレームが除去されることとなる。これにより、より鮮明な視細胞の画像を得ることができる。

なお、本実施形態では黄斑部網膜における視細胞Ｃの形状及び分布を計測したが、本発明はこれに限定されるものではない。例えば、視神経乳頭部の網膜下に存在する篩状板を撮影した場合に生じる血球による影領域において、例外フレームを判定して除外し、篩状板孔の形状や分布を計測してもよい。

以上の構成より、画像処理装置１０は、瞬目や固視ずれのような例外フレームを除外して画像補正した上で、視細胞Ｃの分布・形状を計測する。これにより、例外フレームが含まれたＳＬＯ画像に対しても正確に血球領域を特定して高輝度血球領域の輝度値を用いた画像補正を行った上で、細胞や組織の形状や分布を計測できる。

［第６の実施形態］
眼 底画像において、太い血管では白血球の全周囲を赤血球が囲んで入射光が反射されやすくなったり、血管の交差部で赤血球によって反射される確率が交差回数倍に上昇するため赤血球による影が生じて細胞や組織を直接視認したり形状計測しにくくなりやすい。そこで、本実施形態では、細胞や組織の形状や分布に関する計測値の信頼性を低下させないため、血管径の大きい領域や交差部のような計測誤りが生じやすい領域を計測対象領域から除外した上で篩状板孔の分布・形状を計測するように構成したものである。

具体的には、画像取得部１１０がフォーカス位置を網膜内層付近に設定して撮影したＳＬＯ画像ＤＩと、フォーカス位置を網膜下に設定して撮影したＳＬＯ画像ＤＯを取得しておく。例外フレーム判定部１３５１がＳＬＯ画像ＤＩ・ＤＯのフレーム間位置合わせ時に例外フレームを判定する。特定部１３１は両画像（ＤＩ、ＤＯ）に対して各々血球の移動領域を特定し、形状特徴取得部１３２４がＳＬＯ画像ＤＩに対して血管径ＶＷの大きい領域ＭＳや交差部を特定する。制御部１３２は、特定された領域の位置もしくは形状に基づき、特定された領域における細胞もしくは組織の、検出もしくは形状計測もしくは分布計測の少なくとも一つを行うか否かを決定する。

画像処理部１３３は例外フレーム以外の高輝度血球領域の輝度値を用いてＳＬＯ画像ＤＯを補正する。さらに、制御部１３２が形状特徴取得部１３２４によって特定された血管径ＶＷの大きい領域ＭＳや交差部を計測対象から除外するよう指示した上で、計測部１３６が補正済ＳＬＯ画像に対して篩状板孔ＬＰの検出及び形状・分布計測を行う場合について説明する。

これにより、計測誤りが発生しやすい領域を計測対象から除外して計測を行うことで、正確に細胞や組織の形状や分布を計測できる。

篩状板ＬＣは、図２０（ｂ）及び（ｃ）に示すように、視神経乳頭部の網膜下に存在する高輝度な円盤状の組織である。篩状板ＬＣの内部には篩状板孔ＬＰと呼ばれる小さな穴が多数存在し、篩状板孔ＬＰの内部を神経線維が走行している。篩状板ＬＣに凹凸が生じると、結果として神経線維の障害を引き起こすため、緑内障を誘発すると考えられている。そこで、篩状板ＬＣ及び篩状板孔ＬＰの形状や分布を計測し、該計測値の異常を検出することは緑内障の早期発見につながることが期待される。

ただし、視神経乳頭部の乳頭陥凹の鼻側には血管径ＶＷの大きい血管ＭＳが走行している。篩状板ＬＣ上で該領域ＭＳと同じｘ−ｙ位置を持つ領域では赤血球による影が生じており篩状板孔ＬＰの観察は難しい。血管径ＶＷは白血球の大きさよりも大きく、血管内部を白血球が通過しても周囲を赤血球に囲まれる可能性が高くなる。また血管の交差部においても、交差回数分白血球が存在して初めて入射光が篩状板ＬＣに到達することになるので、このような領域においては、画像補正をするよりも計測対象から除外して計測した方が計測値の信頼性を確保できる。

（深層部の細胞や組織が欠損しているのではなく）血球による影が生じているために低輝度となっている領域の位置や形状をより確実に取得するために、本実施形態では網膜血管ＭＶ付近にフォーカス位置を設定して撮影したＳＬＯ動画像ＤＩを用いる。もともとフォーカス位置が表層付近であるので、深層部の細胞や組織は画像に映らない。ＳＬＯ動画像ＤＩから血管径ＶＷの大きな領域ＭＳと、交差部を検出して計測対象から除外することで、細胞や組織の形状や分布の計測値の信頼性を確保する。

次に、本実施形態に係る画像処理装置１０の機能ブロック図を図１８に示す。制御部１３２に形状特徴取得部１３２４を備える点が実施形態５の場合と異なっている。

また本実施形態での画像処理フローは図１９に示す通りであり、処理の内容について説明する。ただし、Ｓ１９８０、Ｓ１９９０、Ｓ１９９５の説明については実施形態５の場合と同様であるので省略する。

＜ステップＳ１９１０＞
画像取得部１１０は、補償光学ＳＬＯに対して網膜血管ＭＶにフォーカス位置が設定されたＳＬＯ動画像ＤＩと篩状板ＬＣ付近にフォーカス位置が設定されたＳＬＯ動画像ＤＯの撮像を指示する。補償光学ＳＬＯからＳＬＯ動画像ＤＩとＳＬＯ動画像ＤＯを取得し、記憶部１２０に格納する。

＜ステップＳ１９２０＞
位置合わせ部１３５は、ＳＬＯ動画像ＤＩとＳＬＯ動画像ＤＯに対してフレーム間位置合わせを行う。個々のＳＬＯ動画像に対する位置合わせ方法については、実施形態２のＳ７２０で述べた方法と同じであるので、詳細は省略する。

＜ステップＳ１９３０＞
特定部１３１は、深さ方向のフォーカス位置を網膜内層に設定して撮影した画像と、網膜下の篩状板に設定して撮影した画像を用いて前記血球もしくは血球の移動領域を特定する。ＳＬＯ動画像ＤＩにおける血管領域と、ＳＬＯ動画像ＤＯにおける血球領域を特定する。特定部１３１は下記のｉ）乃至ｉｖ）の処理を行うことにより血球領域を特定する。

ｉ）ＳＬＯ動画像ＤＩに対して赤血球領域を含む血管領域の特定を行う。
ｉｉ）形状特徴取得部１３２４がＳＬＯ動画像ＤＩに対し血管径ＶＷの大きい領域ＭＳと公知の交差検出フィルタを用いた交差部の特定を行う。
ｉｉｉ）ＳＬＯ動画像ＤＯに対して、フレーム間差分を行い、血球移動領域を特定する。
ｉｖ）ＳＬＯ動画像ＤＯのフレーム間差分画像上の各ｘ−ｙ位置において、フレーム方向に関して輝度統計量を算出して白血球が存在するフレームを特定する。
本ステップにおける処理の詳細については、Ｓ２１１０からＳ２１９０で説明する。

＜ステップＳ１９４０＞
画像処理法決定部１３２１は、Ｓ１９３０で特定された高輝度血球領域の輝度値を用いて画像補正を行うように画像処理部１３３に対して指示し、画像処理部１３３がＳＬＯ動画像ＤＯにおける血球による影領域を補正する。図２０（ｃ）に示すような血球による影領域のうち、図２０（ｄ）のように細い血管に相当する領域の影が補正される。

＜ステップＳ１９５０＞
制御部１３２は、血管径の大きさまたは血管の交差状態の少なくともいずれかに基づいて、血球の移動に基づく領域についての計測対象とする領域を制限する。形状特徴取得部１３２４によって特定された血管径ＶＷの大きい領域ＭＳ及び交差部を計測対象から除外するよう計測部１３６に対して指示する。

＜ステップＳ１９６０＞
計測部１３６は、制御部１３２によって指示された領域における篩状板ＬＣ及び篩状板孔ＬＰの検出、篩状板孔ＬＰの形状や分布の計測を行う。更に計測部１３６は、特定された領域における画像補正前後の輝度変化量、計測パラメータ変更前後の計測値の変化量が閾値よりも大きいと判定された場合に病変候補領域と判定する。また計測部１３６は、特定された領域の交差位置や血管径が閾値より大きい領域については病変候補領域から除く。

まず補正済ＳＬＯ画像に対し閾値Ｔｌｃで二値化し、篩状板ＬＣ領域を検出する。さらにモルフォロジ―フィルタを適用して検出された篩状板ＬＣ領域の整形処理を行う。ＳＬＯ画像上では篩状板ＬＣの形状異常が、ｉ）篩状板孔ＬＰの面積、ｉｉ）篩状板孔ＬＰを楕円近似した場合の長軸と短軸の長さの比、ｉｉｉ）篩状板孔ＬＰの中心位置、ｉｖ） 篩状態0板孔ＬＰ間の最近傍距離、の計測値の変化として現れる。そこで計測部１３６は篩状板孔ＬＰの形状や分布の計測項目としてｉ）乃至ｉｖ）を算出する。

＜ステップＳ１９７０＞
出力部１３４は、画像補正済ＳＬＯ画像と、計測部１３６によって計測された篩状板孔ＬＰの形状及び分布の計測結果をモニタ３０５に表示する。本実施形態では、ＳＬＯ動画像ＤＩを用いて特定された血管径の大きな領域ＭＳと交差部については計測対象領域から除外された領域であることを示す色を付ける。計測対象外である領域を示す方法はこれに限らず、任意の表示法を用いてよい。
次に図２０及び図２１に示すフローチャートを参照しながら、Ｓ１９３０で実行される処理の詳細について説明する。

＜ステップＳ２１１０＞
ステップＳ２１１０で特定部１３１は、複数の血管領域特定処理のうちいずれを選択するかを示す設定情報を取得する。第一の血管領域特定処理を選択する旨の設定情報がある場合にはステップＳ２１２０を、当該設定情報がない場合にはステップＳ２１４０に進む。

ステップＳ２１２０で特定部１３１は網膜血管ＭＶ付近にフォーカス位置を設定して撮影されたＳＬＯ動画像ＤＩに対して、血管領域を特定する。具体的には、図２０（ａ）に示すような閾値Ｔｈ以上の領域を赤血球が通過する領域Ｒｈとして設定する。ステップＳ２１３０で特定部１３１はＲｈとＲｈ近傍に存在する閾値Ｔｌ未満の低輝度な血管壁Ｒｌとの和集合を血管領域として特定する。

ステップＳ２１４０で特定部１３１は、閾値Ｔｌ以下の低輝度領域Ｒｌを求める。ＲｌとＲｌ近傍の高輝度領域Ｒｈとの和集合を血管領域として特定する。ステップＳ２１５０で特定部１３１は低輝度領域をラベリングする。ステップＳ２１６０で特定部１３１は、面積小のラベルは神経線維内の小領域とみなし、血管領域には該当しないとして削除する。

＜ステップＳ２１７０＞
上述の処理で特定された血管領域の各位置において、特定部１３１は血管径ＶＷを算出する。例えば、Ｒｈを血管の中心軸と見なせるので、Ｒｈに直交する方向で血管径ＶＷを計測して閾値Ｔｗ以上となる領域を血管径ＶＷの大きい領域ＭＳとして特定する。

＜ステップＳ２１７５＞
特定部１３１は交差検出フィルタを用いて、交差部を検出する。本実施形態では特許文献３に示すような交差検出フィルタを用いる。具体的には、フィルタ外周部における血管領域数が４以上で、かつフィルタ中心部に血管領域が存在する場合に交差部と判定する。

＜ステップＳ２１８０＞
篩状板ＬＣ付近にフォーカス位置を設定して撮影されたＳＬＯ動画像ＤＯに対して、フレーム間差分を行う。

＜ステップＳ２１９０＞
Ｓ２１８０で得られたＳＬＯ動画像ＤＯのフレーム間差分画像の各ｘ−ｙ位置においてフレーム方向の輝度統計量（分散）を算出し、分散値が閾値以上の領域を血球の移動範囲として特定する。次に、該血球移動領域内の各ｘ−ｙ位置において、フレーム方向に輝度の最大値を算出し、最大値を示すフレーム番号に白血球が存在すると見なす。なお、本実施形態では視神経乳頭部の篩状板ＬＣにおける篩状板孔ＬＰの形状及び分布を計測したが、本発明はこれに限定されるものではない。

例えば、黄斑部網膜に生じる血球による影領域において、血管径の大きい領域や交差部のような計測誤りが発生しやすい領域を計測対象領域から除外した上で視細胞Ｃの形状や分布を計測してもよい。

以上の構成より、画像処理装置１０は、血管径ＶＷの大きい領域ＭＰや交差部を計測対象領域から除外した上で篩状板孔ＬＣの形状・分布を計測する。

これにより、計測誤りが発生しやすい領域を計測対象から除外して計測を行うことで、正確に細胞や組織の形状や分布を計測できる。

［その他の実施形態］
上述の実施形態６では、前記血球の移動に基づく領域から計測対象の領域を一部除外することとしたが、これに限らない。１つの実施形態では、計測部１３６による計測は全領域について行うが、出力部１３４による計測結果の出力について、当該除外する領域を出力対象から除外することとする。これにより計測部１３６による処理を簡略化することができる。また、実施形態１乃至５において、血管径の大きさまたは血管の交差状態の少なくともいずれかに基づいて、制御部１３２が血球の移動に基づく領域についての画像処理部１３３による画像補正を適用する領域を制限することができる。これにより補正処理を高速化することができる。また、制御部１３２が前記組織の情報について出力部１３４による出力対象とする領域を制限することで、ユーザに対して信頼性の高い情報を提供することができる。

上述の実施形態６では血管径の大きさが閾値以上である場合には計測対象または出力対象や画像処理補正の対象からはずすこととしている。この閾値をユーザからの入力を受けつける操作部５０からの入力に応じて決定することとすれば、ユーザが所望の画像や出力結果を得ることができる。この点で、操作部５０及び操作部５０からの入力を受け付け、結果を画像処理部１３３や計測部１３６にフィードバックする制御部１３２がフレーム画像内における処理対象外の領域を定める特定部として機能する。

このユーザによる閾値設定は、実施形態６に限らず実施形態１乃至５にも適用することができる。１つの実施例としては、この閾値をユーザによる操作部５０への操作を介して０に設定することができる。具体的には、以下のｉ）またはｉｉ）のような方法で計測対象外領域を指定する。ｉ）計測部１３６は、血球移動領域の径をパラメータとし、ユーザが指定した値以上の血球移動領域を計測対象から除外する。パラメータに０を指定することで全血球移動領域を計測対象から除外できる。ｉｉ）画像処理部１３３は、血球移動領域における画像補正後の輝度値をパラメータとし、ユーザが指定した値以下の領域を計測対象から除外する。なお、パラメータに最高輝度値（８ｂｉｔであれば２５５、１６ｂｉｔであれば６５５３５）を指定することで、全血球移動領域を計測対象から除外できる。

この場合、画像処理装置１０の画像処理部１３３はユーザの要求に合わせて血球の移動領域を除いて画像処理を施したり、計測部１３６は計測値を算出したりすることができる。これにより、血球の移動領域以外の領域における処理後の画像や計測結果の情報を得ることができる。

また別の実施形態としては、ユーザによる操作部５０への操作入力に応じて、血球の移動領域のみについて画像処理部１３３が画像処理補正を施したり、計測部１３６が計測値を算出したりすることができる。これは特定部１３１が血球の移動領域とその他の領域をラベリングすることにより達成される。さらには、出力部１３４は血球の移動領域とそれ以外の領域とで別々に計測値を出力することで、ユーザは計測値を比較することができる。さらには、出力部１３４が計測値の差分を計算し、既定の閾値に対する当該差分値の大小を報知することができる。

実施形態６では内層にフォーカスしたＳＬＯ動画像と篩状板にフォーカスしたＳＬＯ動画像の２つを用いて血管領域を特定している。この応用で実施例１乃至５においても内層にフォーカスしたＳＬＯ動画像と外層にフォーカスしたＳＬＯ動画像の２つを用いて血球の移動領域を特定することとすれば精度良く血管領域を特定することができる。

上述の実施形態１乃至６を適宜組み合わせることができる。

上述の実施形態では走査型レーザ検眼鏡により眼底画像を撮影することをしたが、これに限らず補償光学系を有する眼底カメラにより撮影された眼底画像を用いることとしてもよい。また上述の実施形態で補償光学系を用いる眼科撮影装置を用いることとしたのは、眼底網膜の血球移動や視細胞、篩状板を撮影するためである。そのため、この限りにおいて補償光学系を用いた撮影装置でない撮影装置を用いる場合も本発明の実施形態に含まれる。

上述の実施形態では、黄斑部の視細胞、視神経乳頭の篩状板を撮影する例について述べたが、これに限らず黄斑部以外、例えば視神経乳頭周辺の視細胞を撮影し、上述の処理により補正画像を得ることができる。

本発明の実施形態には、上述の画像処理装置の各機能を複数の装置に分散した画像処理システムとして実現する場合も含まれる。例えばコンピュータのＣＰＵにより実行されるソフトウェアとして実現しても良い。また、本ソフトウェアを記憶した記憶媒体も本発明を構成する。

１０ 画像処理装置
２０ 補償光学ＳＬＯ
１３１ 特定部
１３２ 制御部
１３３ 画像処理部
１３４ 出力部

Claims (25)

1. 補償光学系を有する眼科撮影装置により得られた眼底画像から血球の移動に基づく領域を特定する特定手段と、
   前記眼底画像に対して前記領域と前記領域とは異なる領域とで異なる画像処理を適用し前記眼底の組織に関する情報を取得する取得手段と、
   を有することを特徴とする画像処理装置。
2. 前記特定手段は、動画像である前記眼底画像の第一のフレームと第二のフレームの画素値の差または比率のいずれかに基づいて前記血球の移動に基づく領域を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記動画像の画素値の時間的なばらつき度合いが特定の閾値より大きい領域を前記血球が移動する領域として特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、前記血球が移動する領域の特定の位置における画素値が特定の値より大きいフレーム画像を、該特定の位置における血球の位置を示すフレームとして特定することを特徴とする請求項２に記載の画像処理装置。
5. 前記特定手段は、白血球の位置に基づく領域を特定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記特定手段は、前記眼科撮影装置により視細胞を撮影して得られる画像か、前記眼科撮影装置により視神経乳頭部の篩状板を撮影して得られる画像のいずれかを前記眼底画像として前記血球の移動に基づく領域を特定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段は、前記処理により前記眼底画像を補正し、該補正された画像を前記組織の情報として得る画像処理手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像処理手段は、前記血球の移動に基づく領域において血球影の情報を低減する低減処理を適用することを特徴とする請求項７に記載の画像処理装置。
9. 前記画像処理手段は、前記血球の移動に基づく領域とは異なる領域においてノイズを低減する処理を適用することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記画像処理手段は、前記血球の移動に基づく領域における時間方向の画素値の分布に基づいて特定の画素値よりも大きい画素値を各フレーム画像から選択することにより画像を形成することを特徴とする請求項７に記載の画像処理装置。
11. 前記画像処理手段は、前記血球の移動に基づく領域の各位置において、特定の画素値より大きい画素値を時間方向に加算平均した値により画像を形成することを特徴とする請求項１０に記載の画像処理装置。
12. 前記領域と前記領域とは異なる前記眼底画像の領域とにそれぞれ適用された前記画像処理により得られる眼底の画像に基づいて、組織の欠損領域を判定する欠損判定手段を更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記欠損判定手段は、血管領域を特定し、該血管領域において時間方向の画素値のピーク値と時間方向の画素値の平均レベルとの違いに基づいて視細胞の欠損領域を判定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記取得手段は、前記眼底画像から組織に関する情報を計測し該計測された情報を前記組織の情報として得る計測手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記計測手段は、血管下の視細胞または篩状板についての分布、異常または欠損に関する情報を前記組織の情報として得ることを特徴とする請求項１４に記載の画像処理装置。
16. 前記領域と前記領域とは異なる前記眼底画像の領域とで異なる処理を適用させる制御をする制御手段を更に有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記取得手段は、前記眼底画像から組織に関する情報を計測し該計測された情報を前記組織の情報として得る計測手段を有し、
    前記制御手段は、前記計測手段が前記眼底画像における組織を検出する際の閾値を、前記血球の移動に基づく領域と該領域とは異なる領域とで異ならせることを特徴とする請求項１６に記載の画像処理装置。
18. 前記処理が適用され得られた眼底の組織の情報を出力する出力手段を更に有し、
    前記制御手段は、血管の径の大きさまたは血管の交差状態の少なくともいずれかに基づいて、前記血球の移動に基づく領域についての前記画像処理を適用する領域または前記組織の情報について前記出力手段による出力対象とする領域を制限することを特徴とする請求項１６に記載の画像処理装置。
19. 動画像である前記眼底画像から処理対象となるフレーム画像を画像情報に基づいて判定するフレーム判定手段を更に更に有し、
    前記特定手段は、動画像である前記眼底画像において画素値の時間的なばらつき度合いが特定の閾値より大きい領域を血球の移動に基づく領域として特定する際に、前記処理対象にならないと判定されたフレーム画像を除いて前記分散を測定することを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。
20. 請求項１乃至１９のいずれか１項に記載の画像処理装置と、
    眼部の収差を補償光学系により補償しつつ眼底画像を撮影する眼科撮影装置と、
    前記画像処理装置の前記取得手段により得られる前記組織に関する情報を表示する表示手段と、
    を有することを特徴とする眼科撮影システム。
21. 補償光学系を有する眼科撮影装置により得られた眼底画像を取得するステップと、前記眼底画像から血球の移動に基づく領域を特定するステップと、
    前記眼底画像に対して前記領域と前記領域とは異なる領域とで異なる画像処理を適用し前記眼底の組織に関する情報を取得するステップと、
    を有することを特徴とする画像処理方法。
22. 補償光学系を有する眼科撮影装置により得られた眼底画像から血球の移動に基づく領域を特定する特定手段と、
    前記領域と前記領域とは異なる領域とで異なる方法を用いて前記眼底画像から視細胞を検出する検出手段と、
    を有することを特徴とする画像処理装置。
23. 補償光学系を有する眼科撮影装置により得られた眼底画像から血球の移動に基づく領域を特定する特定手段と、
    前記眼底画像に対して前記領域と前記領域とは異なる領域とで異なる画像処理を適用することで画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
24. 前記特定手段は、複数の前記眼底画像から前記領域特定し、
    前記生成手段は、前記複数の画像に対して前記領域と前記領域とは異なる領域とで異なる画像処理を適用することで画像を生成することを特徴とする請求項２３に記載の画像処理装置。
25. 前記血球の移動に基づく領域は、血球の移動領域であることを特徴とする請求項１乃至１９および請求項２２乃至２４のいずれか１項に記載の画像処理装置。

Images