JP6465930B2 - 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム - Google Patents
情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム Download PDFInfo
- Publication number
- JP6465930B2 JP6465930B2 JP2017134948A JP2017134948A JP6465930B2 JP 6465930 B2 JP6465930 B2 JP 6465930B2 JP 2017134948 A JP2017134948 A JP 2017134948A JP 2017134948 A JP2017134948 A JP 2017134948A JP 6465930 B2 JP6465930 B2 JP 6465930B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnification
- images
- imaging
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Eye Examination Apparatus (AREA)
Description
i)操作者が複数の高倍率画像DHjの取得パラメータ(例えば、取得位置、画角、画素サイズ、フレーム数、フレームレート等)の値を個別に指定する必要があり、複数画像取得の効率化の妨げになっていた。
ii)高倍率画像DHよりも広い観察対象領域を同一の高倍率画像取得パラメータで撮像すると、取得する高倍率画像の数(総フレーム数)が膨大(数千〜数万枚)になり効率的な画像取得が難しかった。
前記画像を撮像する複数の撮像位置の配置を示す複数の基本パターンを記憶する記憶手段と、
前記記憶手段に記憶された前記複数の基本パターンから1つの基本パターンを選択する選択手段と、
前記選択された基本パターンに予め関連付けられた前記複数の画像の撮像位置を調整する調整手段と、
前記選択手段で選択された基本パターンに含まれる複数の撮像位置に従って、前記領域において前記複数の画像を撮像装置に撮像させる制御手段とを有し、前記制御手段は、前記調整された撮像位置に従って、前記撮像装置に前記複数の画像を撮像させる。
本実施形態に係る情報処理装置としての眼科装置は、複数の高倍率の補償光学SLO画像を取得する場合に、予め用意された複数の高倍率画像取得の撮像条件に係るパラメータの基本パターンを操作者(ユーザ)に提示して、操作者に選択させる。次に、必要に応じ、病変形状に合わせて操作者に画像取得パラメータを調節させ、調節の内容に応じて複数の高倍率画像に関する取得パラメータ値を決定する。以下、黄斑部の広範な視細胞欠損領域に対して複数画像を円板状に取得する基本パターンを操作者が選択し、各高倍率画像の取得位置、画角、画素サイズ、フレーム数、フレームレート、合焦位置を決定する場合を一例として説明する。
図1(a)は、本実施形態に係る眼科装置10を含むシステムの構成図である。図1(a)に示すように、眼科装置10は、撮像装置としてのSLO像撮像装置20やデータサーバ40と、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して接続されている。なお、これらの機器の接続の形態は図1の例に限られない。例えば、これらの機器はインターネット等の外部ネットワークを介して接続されてもよいし、あるいは、眼科装置10がSLO像撮像装置20に直接接続されてもよい。
眼科装置10は、組込みシステム、パーソナルコンピュータ(PC)、タブレット端末等の情報処理装置により実現される。図2を用いて眼科装置10のハードウェア構成について説明する。図2において、CPU301は中央演算処理装置であり、オペレーティングシステム(OS)やアプリケーションプログラム等のコンピュータプログラムに基づいて他の構成要素と協働し、眼科装置全体の動作を制御する。RAM302は書込み可能メモリであり、CPU301のワークエリア等として機能する。ROM303は読出し専用メモリであり、基本I/Oプログラム等のプログラム、基本処理に使用するデータ等を記憶する。外部記憶装置304は大容量メモリとして機能する装置であり、ハードディスク装置、半導体メモリにより実現される。モニタ305は、キーボード306やポインティングデバイス307から入力されたコマンドや、それに対する眼科装置10の応答出力等を表示する表示手段としての表示装置である。キーボード306、ポインティングデバイス307は、操作者からの指示やコマンドの入力を受け付ける装置である。インターフェース308は外部装置とのデータのやり取りを中継する装置である。
次に、図4を用いて補償光学系を備えたSLO像撮像装置20の構成例を説明する。なお、以下に説明するSLO像撮像装置の構成は一例であり、高倍率の画像を取得可能であれば、どのような撮像装置を用いても構成することができる。
眼科装置10が実行する具体的な処理内容について、各機能ブロックの役割と関連付けて詳細に説明する。図5は、眼科装置10が実行する処理手順を示すフローチャートである。以下の各工程は、CPU301の制御に基づき実行される。
広画角画像取得部111は、SLO像撮像装置20に対して、広画角画像DLおよび固視標位置FLの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置FLを設定して広画角画像DLを取得する場合の例を説明する。なお、撮像位置の設定手法はこれに限定されず、他の任意の位置に設定してよい。
画像取得パターン提示部1311は、記憶部120から画像取得パターン(複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン)を少なくとも一種類取得し、モニタ305に選択可能に表示する。画像取得パターンとしては任意のパターンを提示可能であるが、本実施形態例では、図6(a)〜図6(f)に示すような基本パターンを提示する場合を説明する。図6(a)は線状、図6(b)は十字型、図6(c)は放射状、図6(d)は矩形型、図6(e)は円板型、図6(f)は環状のパターンの例を示している。
決定部132において、S520において選択された画像取得パターンが持つ複数画像の取得パラメータを初期値とし、操作者が必要に応じて画像取得パラメータを調節することにより複数の高倍率画像の取得パラメータを決定して画像取得を行う。この本ステップの処理(以下、「高倍率画像取得処理」という)については、図8に示すフローチャートを用いて後に詳しく説明する。
位置合わせ部133は、広画角画像DLと高倍率画像DHとの位置合わせを行い、広画角画像DL上の高倍率画像DHの相対位置を求める。この位置合わせとは、広画角画像DL及び高倍率画像DHの位置関係を自動的に判定してDLの対応する位置にDHの位置を設定することをいう。なお、広画角画像DLは撮像領域の全体を示す高倍率画像よりも低倍率の画像であり、予め与えられた所与の画像である。高倍率画像DHj間で重なり領域がある場合には、まず、重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置に高倍率画像DHj同士の位置を合わせる。次に、S530において異なる解像度の高倍率画像が取得されている場合には、より低倍率の画像から順に位置合わせを行う。例えば、高倍率画像DHとして高倍率画像D1jと中間倍率画像D2kが取得されている場合にはまず広画角画像DLと中間倍率画像D2kとの間で位置合わせを行い、次いで中間倍率画像D2kと高倍率画像D1jとの間で位置合わせを行う。高倍率画像の解像度が1種類の場合には、広画角画像DLと高倍率画像DHとの位置合わせのみ行うことはいうまでもない。
表示制御部131は、S540において得られた位置合わせパラメータの値に基づき、広画角画像DL上に高倍率画像DHを表示する。本ステップの処理(以下、「画像表示処理」という)については、図9に示すフローチャートを用いて後に詳しく説明する。
指示取得部140は、広画角画像DL、高倍率画像DH、固視標位置FL、FH、S540において取得された位置合わせパラメータ値をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は、例えばキーボード306やポインティングデバイス307を介して操作者により入力される。保存が指示された場合(S560でYES)はS570へ、保存が指示されなかった場合はS580(S560でNO)へと処理を進める。
画像処理部130は、検査日時、披検眼を同定する情報、広画角画像DL、高倍率画像DHと固視標位置FL、FH、位置合わせパラメータ値を関連付けて、データサーバ40へ送信する。
指示取得部140は眼科装置10による広画角画像DLと高倍率画像DHに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やポインティングデバイス307を介して操作者により入力される。処理終了の指示を取得した場合(S580でYES)は処理を終了する。一方、処理継続の指示を取得した場合(S580でNO)にはS510に処理を戻し、次の披検眼に対する処理または同一披検眼に対する再処理を行う。
次に、図8に示すフローチャートを参照しながら、S530で実行される高倍率画像取得処理の詳細について説明する。
決定部132は、指示取得部140を通じて選択された画像取得パターンの種類と、このパターンが持つ各高倍率画像DHの取得パラメータ値を、記憶部120から取得する。具体的には、選択された画像取得パターンが保持する各高倍率画像の取得パラメータのうち、以下のパラメータ値を各々初期値として入力する。すなわち、倍率数及び各画角及び画素サイズの値を倍率決定部1321に、取得位置及び合焦位置を位置決定部1322に、フレーム数とフレームレート、繰返し取得回数を時間決定部1323に、取得順序を順序決定部1324に各々初期値として入力する。
決定部132は、選択された画像取得パターンを構成する各高倍率画像DHjの取得パラメータの設定値に関する制約条件を指示取得部140を通じて取得する。制約条件とは撮像条件が取り得る範囲を定める条件である。制約条件は、任意の画像取得パラメータに関して操作者が指示・設定可能である。本実施形態例では、以下の4つの制約条件を設定可能な場合を説明する。
a)画像取得時間の総和
b)倍率の種類(倍率数、画角及び画素サイズ)
c)合焦位置
d)隣接する高倍率画像間の重複領域
ここで、
a)は一検査あたりで被検眼が耐えうる許容時間、
b)は撮像位置において得られると予想される画像特徴の大きさ、
c)は観察対象が存在する深度(z軸)方向の位置、
d)は許容し得る被検眼の固視ずれ量
に関する制約条件である。本実施形態では各々
a)15分
b)1及び300[μm]×300[μm]及び
1[μm/pixel]×1[μm/pixel]
c)視細胞層
d)高倍率画像面積の20%
とした場合の例を説明する。
倍率決定部1321で高倍率画像DHの倍率の種類(倍率数、画角及び画素サイズ)を決定する。また、位置決定部1322にて各高倍率画像DHjの取得位置と合焦位置を決定する。
時間決定部1323は、各高倍率画像のフレーム数、フレームレート及び繰り返し取得回数を決定する。本実施形態の例では、フレームレート及び繰り返し取得回数は、それぞれ32[frame/sec]、1回の固定値であり、フレーム数を可変パラメータとする。可変パラメータ値の変更手法としては、任意の公知のユーザインターフェース(以下、「UI」と略記する)を用いて指定できる。本実施形態例では、図6(j)に示すようなパラメータ値(重み)変更用UIを操作者が操作することによって効率的に変更する。これは各高倍率画像DHjのフレーム数に関する半径方向の重みを調整するためのUIである。図6(j)では、Wcが配置された円板型の画像取得パターン(図7(g))の中心側、Woが外側の重みを表している。外側の重みWoを下げることで、各高倍率画像DHjのフレーム数が、パターン中心から外側に向かって段階的に少なくなるように自動決定される。
i)可変パラメータリストVの中から調整対象の可変パラメータを選択する。
ii)パラメータ値の調整を行う対象倍率及び対象画像を調整用マップから選択する。
iii)選択した倍率における複数画像間のパラメータ値変更(重みづけ)法Rを選択する。
iv)選択した画像に対するパラメータ値(重み)をパラメータ値変更用UI(B)上で決定する。
なお、i)では選択された可変パラメータの種類ごとに図6(k)の調整用マップが表示される。ii)について、図6(k)では、対象倍率をD1とし、中心部のD1画像D1cを調整対象画像として選択した場合を示している。
iii)について、図6(k)では、画像間でのパラメータ値設定(重みづけ)法Rとして、
・同一倍率の複数の画像間で同一の値に設定する場合(uniform)
・段階的に変化させる場合(gradual)
・指定した個別の画像についてパラメータ値を変更する場合(individual)
の中から選択する場合を例示している。図6(k)の例では段階的に変化させる場合(gradual)が選択されている。
iv)について、図6(k)では、カラーバーB上で最大値(白)を指定することで、選択された対象画像D1cと同じ倍率の画像のパラメータ値が、選択された画像D1cに向かって段階的に増加するように自動変更される場合を示している。
順序決定部1324は、高倍率画像DHjの取得順序を決定する。本実施形態では、以下のi)〜iv)のうち、i)が最内側(最高優先度)、ii)が2番目に内側、iii)が3番目に内側、iv)が最外側(最低優先度)のループとなるようにして繰り返し処理を行う。具体的には、取得開始位置を最も観察上重要度の高い位置(本実施形態では中心窩)、取得倍率を最低倍率に設定したうえで以下の手順を実行する。
i)同一配置パターンかつ同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ii)同一配置パターンかつ同一取得倍率における画像を、隣接する画像取得位置へ移動させた上で再びi)と同様にして取得する。
iii)ii)が終了したら、取得倍率の値をより大きくして再びii)の操作を実行し、倍率数分だけ同様の操作を繰り返す。
iv)iii)が終了したら、別配置でiii)の操作を実行し、全ての配置で画像を取得するまで繰り返す。
高倍率画像取得部112は、決定部132によって指示された画像取得パラメータを用いて複数の高倍率画像DHj及び固視標位置FHjを取得するよう、SLO像撮像装置20に対して要求する。SLO像撮像装置20は、この取得要求に応じて高倍率画像DHj、固視標位置FHjを取得し送信するので、高倍率画像取得部112はSLO像撮像装置20からLAN30を介して当該高倍率画像DHj及び固視標位置FHjを受信する。高倍率画像取得部112は受信した高倍率画像DHj及び固視標位置FHjを記憶部120に格納する。なお、本実施形態では、高倍率画像DHjは、フレーム間位置合わせ済みの動画像である。
次に、図9に示すフローチャートを参照しながら、S550で実行される画像表示処理の詳細について説明する。
広画角画像取得部111及び高倍率画像取得部112が取得した各動画像から、代表画像を生成する。本実施形態では、各動画像に関する重ね合わせ画像を生成し、この重ねあわせ画像を代表画像とする。また、代表画像の生成法はこれに限らず、例えば、動画像のフレーム間位置合わせの際に設定された基準フレームを代表画像に設定してもよい。基準フレームの設定法としては任意の公知の設定法を用いることができ、例えば、先頭番号のフレームを基準フレームに設定することができる。
表示制御部131は、複数の高倍率画像DHjが取得されている場合に高倍率画像間の濃度差を補正する。この濃度差の補正には任意の公知の輝度補正法を適用することができる。一例として、本実施形態では、各高倍率画像DHjにおいてヒストグラムHjを生成し、ヒストグラムHjの平均と分散が高倍率画像DHj間で共通した値になるように各高倍率画像DHjの輝度値を線形変換することにより濃度差を補正する。
表示制御部131は、高倍率画像DHを動画像として広画角画像DL上に表示させる場合に、高倍率画像DHの再生速度を設定する。再生速度は、画像表示エリア内に再生速度調整スライダや、コマ送りボタンを配置しておき、指示取得部140を通じて操作者が指定することにより調整する。
表示制御部131は、各高倍率画像DHjの表示/非表示や表示倍率を制御する。画像の表示/非表示は、モニタ305に取得画像に関するリストを表示させておき、この取得画像リストの画像名付近にUI(本実施形態ではチェックボックス)を配置し、指示取得部140を通じてUIのON/OFFを操作者が指定することにより設定する。全画像を一括指定するUI(チェックボックス)や、取得倍率別の一括指定UI(チェックボックス)も用意し、多数の画像に関する表示/非表示の切り替えを容易にする。
本実施形態に係る眼科装置は、複数の高倍率の補償光学SLO画像を取得する場合に、高倍率画像よりも画角の広い画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定するよう構成したものである。具体的には、傍中心窩の毛細血管領域に対して複数の高倍率動画像D1jを円環状に取得する場合に、この画像特徴に基づいて各高倍率画像D1jの取得位置、画角、画素サイズ、フレーム数、フレームレート、繰り返し取得回数を決定する。さらに、取得された高倍率画像に固視ずれや瞬目のような例外フレームが含まれているか判定した上で、判定結果に基づき高倍率画像の再取得が必要と判定した場合には同じ画像取得パラメータ値で高倍率画像を再取得する。
本実施形態に係る眼科装置10と接続される機器の構成を図1(b)に示す。本実施形態では眼科装置10に対し、SLO像撮像装置20及びデータサーバ40に加えて、時相データ取得装置50が接続される点が実施形態1の構成と異なっている。時相データ取得装置50は、自律的かつ周期的に変化する生体信号データ(「時相データ」という)を取得する装置であり、例えば、脈波計もしくは心電計からなる。時相データ取得装置50は不図示の操作者による操作に応じ、高倍率画像DHjの取得と同時に時相データSjを取得する。得られた時相データSjは、眼科装置10、データサーバ40へ送信される。本実施形態では、被験者から計測される時相データが示す周期的タイミングに同期して、高倍率画像を取得し、モニタ305に表示させる。このため、生体の変化に合わせて適切なタイミングで高倍率画像を取得したり、再生することが可能となる。
次に、本実施形態に係る眼科装置10の機能ブロックを図10に示す。本実施形態の眼科装置10は、実施形態1の構成に加えて、データ取得部110に時相データ取得部113、画像処理部130に画像特徴取得部134、決定部132に再取得要否決定部1325、位置合わせ部133に例外フレーム判定部1331を備える。時相データ取得部113は、被験者の時相データを取得する機能ブロックである。画像特徴取得部134は、広画角画像を解析してその特徴を示す情報を取得する機能ブロックである。再取得要否決定部1325は、高倍率画像の取得を再度行うか否かを判定する機能ブロックである。例外フレーム判定部1331は、固視不良による位置ずれの大きいフレーム等の検眼に適さないフレームを「例外フレーム」として検出する機能ブロックである。「例外フレーム」が検出された場合、高倍率画像の再取得が行われる。
また、本実施形態での画像処理フローは図5と同様であり、S510、S560、S570、S580の処理は実施形態1の場合と同様である。また、S540のステップは省略される。そこで、本実施形態では、S520、S530、S550の処理について説明する。
画像取得パターン提示部1311は、記憶部120から複数の高倍率画像を取得する際の画像取得パターンを少なくとも一種類取得し、モニタ305に表示する。本実施形態では画像取得パターン提示部1311が線状、十字型、放射状、矩形型、円板型、環状、多倍率型、多配置型、複合型の基本パターンを提示する。
決定部132は、高倍率画像取得部112に対して中間倍率画像D2kの取得要求を行い、高倍率画像取得部112が中間倍率画像D2kを取得する。次に、画像特徴取得部134が広画角画像DL及び中間倍率画像D2k上の画像特徴を取得し、この画像特徴に基づいて複数の高倍率画像の取得パラメータを決定し、高倍率画像D1jを取得する。また、取得された高倍率画像D1jについてフレーム間位置合わせと例外フレーム判定を行い、例外フレームの判定結果に基づき再撮像が必要と判定された場合には同じ高倍率画像D1jを再度撮像する。さらに、中間倍率画像D2kと高倍率画像D1jを広画角画像DL上に位置合わせする。本ステップの処理(高倍率画像取得処理)については、図11に示すフローチャートを用いて後に詳しく説明する。
表示制御部131は、S1270(後述)において得られた位置合わせパラメータ値に基づき、図7(e)に示すように広画角画像DL上に高倍率画像DHを重畳して表示する。また、本実施形態では上記重畳画像の隣に、傍中心窩の毛細血管の分布をより詳細に観察可能な画像として図7(f)のような毛細血管画像の貼り合わせ表示も行う。このように、本実施形態では、撮像された複数の高倍率画像を、撮像領域の全体を示す画像に重畳してモニタ305に表示させる表示制御を行うため、広画角画像の必要な部分のみ精密な画像を観察することが可能となる。本ステップの処理(画像表示処理)については、図9に示すフローチャートを用いて後に詳しく説明する。
次に、図11に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
決定部132は、S520で選択されたD2kの画像取得パターンに基づいて中間倍率画像D2kを取得する。
画像特徴取得部134は、広画角画像DLもしくはS1210で取得された中間倍率画像D2kから毛細血管を検出し、検出された毛細血管領域から無血管領域の境界を検出する。さらに、無血管領域の近傍領域を高倍率画像の取得対象領域とするために無血管領域の境界位置から等距離にある環状(ドーナツ型)の領域を検出する。
(a) フレーム間位置合わせ済みの中間倍率画像D2kの隣接フレーム間で差分処理を行う。すなわち、差分動画像を生成する。
(b) (a)で生成した差分動画像の各x−y位置においてフレーム方向に関する輝度統計量(例えば、分散)を算出する。
(c) 差分動画像の各x−y位置において輝度分散が所定の閾値Tv以上の領域を血球が移動した領域、すなわち毛細血管領域として特定する。
なお、毛細血管の検出処理はこの手法に限定されるものではなく、任意の公知の手法を用いてよい。例えば、広画角画像DLもしくは中間倍率画像D2kの特定のフレームに対し線状構造を強調するフィルタを適用して血管を検出してもよい。
倍率決定部1321で高倍率画像D1jの倍率数、画角及び画素サイズを決定する。また、位置決定部1322にて各高倍率画像D1jの取得位置と合焦位置を決定する。本実施形態では、倍率数と画角と画素サイズ、合焦位置を固定パラメータ(各々2、200[μm]×200[μm]、1[μm/pixel]×1[μm/pixel]、網膜血管)とし、高倍率画像D1j取得位置を可変パラメータとして次のように決定する。
本実施形態では
間隔Td=高倍率画像D1jの画角×(100−高倍率画像D1j間の重なり領域の割合の標準値)/100・・・(1)
とし、無血管領域の重心位置の真上にある候補点をBm0とする。高倍率画像D1jの詳細な取得位置は、次のa)、b)の条件をともに満たすように決定する。すなわち、
a)S1220で決定した環状領域の半径方向(無血管領域の重心位置C´と取得位置候補点Bmsを結ぶ線方向)に関して、環状領域に空白が生じない条件下で環状領域外にはみ出す高倍率画像D1jの画素の総和が最小となること。
b)境界位置Bmの接線方向に関して、以下に説明する高倍率画像間の重なり領域の割合に一致すること。
ここで、高倍率画像D1j間の重なり領域の割合[%]は、S1220で特定された無血管領域境界の円形度Cr
Cr=4πS/(L*L)・・・(2)
(Sは無血管領域の面積、Lは周囲長)
を用いて、標準の設定値(本実施形態では、一例として20%とする)に対して円形度Crに反比例する値を乗じた値を高倍率画像D1j間の重なり領域の割合として設定する。したがって、円形度が低い、すなわち凹凸が大きいほど高倍率画像D1j間の重なり領域の割合が大きな値として設定される。
時間決定部1323は、高倍率画像D1jのフレーム数とフレームレート、繰り返し取得回数を決定する。本実施形態の例では、フレーム数とフレームレート、同一の取得位置における繰り返し取得回数は、各々256枚、64[frame/sec]、2回とする。ただし、本発明はこれに限定されるものではなく、また、任意の設定法を用いてよい。例えば、S1220及びS1230の処理で決定された各高倍率画像D1j内の毛細血管領域に対して細線化処理を行い、得られた血管の中心軸に直交する方向で血管径を算出する。そして、この血管径が異常値を示す領域が存在する場合のみ、高倍率画像D1jのフレーム数や繰り返し取得回数を各々閾値Tf及びTcだけ増やすようにしてもよい。
順序決定部1324は、高倍率画像DHjの取得順序を決定する。実施形態1におけるS850の場合と同様に、以下のi)〜iii)のうち、i)が最内側(最高優先度)、ii)が2番目に内側、iii)が最外側(最低優先度)のループとなるようにして繰り返し処理を行う。すなわち、取得開始位置を耳側、取得倍率を最低倍率に設定したうえで、以下の手順を実行する。
i) 同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ii) 同一取得倍率における画像を、隣接する画像取得位置(本実施形態では反時計周りとする)から、i)と同様にして取得する。
iii)ii)が終了したら、取得倍率の値をより大きくして再びii)の操作を実行し、倍率数分だけ同様の操作を繰り返す。
なお、高倍率画像の順序決定法は上記の手順に限定されるものではなく、任意の順序設定法を用いてよい。
高倍率画像取得部112は、S1210からS1250で決定された高倍率画像取得パラメータに従って、高倍率画像及び時相データを取得する。時相データ取得部113は時相データ取得装置50に対し生体信号に関する時相データSjの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被験者の耳垂(耳たぶ)から脈波データSjを取得する。ここで脈波データSjは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ周期的な点列として表現される。時相データ取得装置50はこの取得要求に応じて対応する時相データSjを取得し送信するので、時相データ取得部113は時相データ取得装置50からLAN30を介して当該脈波データSjを受信する。時相データ取得部113は受信した時相データSjを記憶部120に格納する。
位置合わせ部133は、取得された高倍率画像D1jに関するフレーム間位置合わせを行い、高倍率画像D1jを広画角画像DL上に位置合わせしてモニタ305上に表示する。なお、本実施形態では各高倍率動画像D1jのフレーム間位置合わせの際に、以下に述べる例外フレームに該当するか否かを判定する例外フレーム判定を行う。各動画像におけるフレーム間位置合わせ手法や、異なる倍率の画像間の位置合わせ(画像貼り合わせ)手法としては任意の公知の位置合わせ手法を用いてよく、本実施形態では双方ともアフィン変換及び相関係数を用いて位置合わせを行う。
a)フレーム間の位置合わせパラメータ値のうち並進が閾値以上の場合
b)各フレームの平均輝度値が閾値未満の場合
c)各フレームのS/N比が閾値未満の場合
に例外フレームと判定する。例外フレーム判定の結果、各高倍率動画像D1jにおける例外フレームの発生間隔の最大値が閾値Te以下の場合や、例外フレームの総数が閾値Ts以上の場合に、再取得要否決定部1325が当該高倍率画像D1jの再取得が必要と判定する。再取得要否決定部1325は、当該高倍率画像D1jの再取得が必要と判定した場合に高倍率画像取得部112に対して高倍率画像D1jの再取得を要求し、高倍率画像取得部112がこの要求に従って当該高倍率画像D1jを再取得する。
次に、図9に示すフローチャートを参照しながら、S550で実行される処理の詳細について説明する。なお、S910、S930以外は実施形態1の場合と同様であるので、本実施形態ではS910、S930おける処理について説明する。
表示制御部131は、S1270において得られた位置合わせパラメータ値に基づき、図7(e)に示すような広画角画像DLへの高倍率画像DHの重畳画像を生成するための処理を行う。本実施形態では、S930で説明するように高倍率画像DHを静止画像としてではなく動画像として貼り合わせ表示するので、代表画像の生成は行わない。ただし、フレーム間位置合わせ後の画像には画像端部に画素値が0の領域が生じて表示上邪魔になる場合があるので、貼り合わせ表示時の画像端部においては、例外フレーム以外の全てのフレームを通して画素値が0より大きい画素のみを表示する。
複数の中間倍率画像D2kや高倍率画像D1jを広画角画像DL上に表示させる場合には時相データ(脈波のような生体信号に基づく周期データ)に基づいて各中間倍率画像D2k、高倍率画像D1jの再生タイミングを同期させる。具体的には、表示制御部131が時相データ取得部113から各動画像(すなわち、各高倍率画像D1j、中間倍率画像D2k)に対応する時相データSj、Skを取得し、各々の時相データの極値を検出して拍動周期を算出する。次に、各高倍率画像D1j、中間倍率画像D2kにおける例外フレーム番号系列を取得し、例外フレームを含まない連続したフレーム系列を表示対象として選択する。さらに、選択したフレームにおける拍動周期が動画像(高倍率画像D1j、中間倍率画像D2k)間で異なる場合は、動画像間における表示フレーム間隔の調整処理(「フレーム補間処理」という)を行う。さらに、各動画像に対応する時相データの極値に対応するフレームの再生タイミングが一致するように各動画像の再生開始時刻を調整しつつ、拍動周期の整数回分のフレームを再生することで貼り合わせ動画表示を行う。
本実施形態に係る眼科装置は、複数の高倍率の補償光学OCT断層画像を取得する場合に、この高倍率画像よりも画角の広いOCT断層画像から抽出された画像特徴に基づいて複数の高倍率画像取得に関するパラメータ値を決定するよう構成したものである。具体的には、漿液性網膜剥離RDにより網膜外層が変形した中心窩付近の視細胞層に対して複数の高倍率画像を円板状に取得する基本パターンを操作者が選択して画像取得パラメータの初期値とする。次に、広画角OCT断層画像から取得した層形状の画像特徴に基づいて複数の高倍率画像の取得パラメータ(取得位置、画角、画素サイズ、コヒーレンスゲート)を変更し、撮像する場合について説明する。
本実施形態に係る眼科装置10と接続される機器の構成を図1(c)に示す。本実施形態では、眼科装置10は、SLO像撮像装置20に代えて、補償光学系を備えた断層像撮像装置60と接続される点が実施形態1と異なっている。断層像撮像装置60は眼部の断層像を撮像する装置である。断層像撮像装置60は、例えば、スペクトラルドメイン方式のOCT(SD−OCT:Spectral Domain Optical Coherence Tomography)として構成される。眼部断層像撮像装置60は不図示の操作者による操作に応じ、被検眼の断層像を3次元的に撮像する。撮像した断層像は眼科装置10へと送信される。
次に、本実施形態に係る眼科装置10の機能ブロックを図13に示す。画像処理部130に広画角画像の特徴を取得する画像特徴取得部134を備える点が実施形態1の構成と異なっている。また、データサーバ40は眼部の画像特徴や眼部の画像特徴の分布に関する正常値データを保持している。ここでは、これらのデータとして、網膜層境界やその形状、厚みに関する正常値データを保持している場合を説明する。
次に、図14を用いて補償光学系を備えた断層像撮像装置60の構成を説明する。図14において、201は光源であり、本実施形態では波長840nmのSLD光源を用いる。光源201は低干渉性のものであればよく、波長幅30nm以上のSLD光源が好適に用いられる。また、チタンサファイアレーザなどの超短パルスレーザなどを光源に用いることもできる。光源201から照射された光は、単一モード光ファイバ202を通って、ファイバカプラ520まで導光される。ファイバカプラ520によって、測定光経路521と参照光経路522に分岐される。ここでは、ファイバカプラは10:90の分岐比のものが使用され、投入光量の10%が測定光経路521に到達するように構成される。測定光経路521を通った光は、コリメータ203により、平行な測定光として照射される。
本実施形態に係る眼科装置10の画像処理フローを図5に示す。S510、S520、S530、S540、S550以外の処理内容は、図5を参照して説明した実施形態1の処理と同様である。そこで、本実施形態では、S510、S520、S530、S540、S550の処理の説明を行う。
広画角画像取得部111は、断層像撮像装置60に対して、広画角画像DLおよび固視標位置FLの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置FLを設定して広画角画像DLを取得する場合の例を説明する。なお、撮像位置の設定手法はこれに限定されず、他の任意の位置に設定してよい。
画像取得パターン提示部1311は、記憶部120から複数の高倍率画像を取得する際のパラメータに関する基本的な設定パターン(画像取得パターン)を少なくとも一種類取得し、モニタ305に表示する。画像取得パターンとしては任意のパターンが設定可能であるが、本実施形態では図15の(a)〜(f)に示すような基本パターンを提示する。すなわち、図15(a)は線状、図15(b)は十字型、図15(c)は放射状、図15(d)は矩形型、図15(e)は円板型、図15(f)は環状である。
決定部132において、S520において選択された画像取得パターンが持つ複数画像の取得パラメータを初期値として、画像特徴取得部134が取得した画像特徴に基づいて画像取得パラメータを調節することにより複数の高倍率画像の取得パラメータを決定する。本ステップの処理(高倍率画像取得処理)については、図16に示すフローチャートを用いて後に詳しく説明する。
位置合わせ部133は、広画角画像DLと高倍率画像DHjとの位置合わせを行い、広画角画像DL上の高倍率画像DHjの位置を決定する。まず、位置合わせ部133は記憶部120から高倍率画像DHjの撮像の際に用いた固視標位置FHjを取得し、広画角画像DLと高倍率画像DHjとの位置合わせにおける位置合わせパラメータの探索初期点とする。高倍率画像DHj間で重なり領域がある場合には、まず、この重なり領域に関して画像間類似度を算出し、画像間類似度が最大となる位置に高倍率画像DHj同士の位置を合わせる。次に、S530において異なる解像度の高倍率画像が取得されている場合には、実施形態1の場合と同様に、より低倍率の画像から順に位置合わせを行う。本実施形態では高倍率画像の解像度が1種類であるので、広画角画像DLと高倍率画像DHとの位置合わせのみ行う。
表示制御部131は、S540において得られた位置合わせパラメータの値に基づき、広画角画像DL上に高倍率画像DHjを表示する。本実施形態において広画角画像DL及び高倍率画像DHjはともに3次元断層像であるため、以下の2種類の表示を行う。
i)z軸方向に関し広画角画像DLと高倍率画像DHjの投影画像を生成し、広画角画像DLの投影画像上に高倍率画像DHの投影画像を重畳表示する。
ii)広画角3次元断層像DLのみ取得された位置では広画角画像3次元断層像DLの画素値で、広画角3次元断層像DLと高倍率3次元断層像DHjともに取得された位置では高倍率3次元断層像DHjの画素値で表示した広画角3次元断層像DL"を生成する。さらに広画角3次元断層像DL"上の特定の走査位置をi)の重畳画像上に矢印で表示し、この矢印の位置で切り出した広画角3次元断層像DL"の2次元断層像を、i)のような重畳画像と並べて表示させる。本表示では、広画角3次元断層像DLの2次元断層像だけでなく、高倍率3次元断層像DHjの2次元断層像も重畳表示される。
ii)の表示においては、操作者が、指示取得部140を通じて広画角断層像DL"の表示位置を示す矢印を(上下もしくは左右に)動かすことができる。この操作に連動して切り出されて表示される広画角画像DL及び高倍率画像DHjの表示スライスも変化する。
なお、上記投影画像を生成する手法としては平均値投影に限らず、任意の投影法を用いてよい。また、高倍率画像DHjは静止画に限定されるものではなく、動画像でもよい。
次に、図16に示すフローチャートを参照しながら、S530で実行される処理(高倍率画像取得処理)の詳細について説明する。なお、S1510は実施形態1のS810の場合と同様であるので説明は省略する。
画像特徴取得部134は、記憶部120に格納された広画角画像DL、すなわち眼部の3次元断層像から、画像特徴として、内境界膜B1、神経線維層境界B2、内網状層境界B4、視細胞内節外節境界B5、網膜色素上皮境界B6の各境界位置を抽出する。図7(a)、図15(i)、図15(j)は、境界位置B1〜B6を模式的に示している。そして、抽出した各々の画像特徴を記憶部120に格納する。
倍率決定部1321で高倍率画像DHjの倍率の種類(倍率数、画角及び画素サイズ)を決定する。本実施形態では倍率数と画素サイズについては、固定(各々1、1[μm]×1[μm]×1[μm])されている場合を説明するので、詳細な説明は省略する。なお、画角や画素サイズについてはz軸方向のパラメータも含まれる点が実施形態1の場合と異なる。画角については可変パラメータとし、S1520で得られた視細胞内節外節境界B5と網膜色素上皮境界B6との距離が閾値Trd以上の位置にある高倍率画像のみ画角を閾値Ta[%]大きくする。画角を大きくする理由は、観察上重要な領域であるため固視ずれによる撮像もれを防ぐため、及び、網膜剥離領域の上にある視細胞の外節部分がつらら状に網膜色素上皮境界B6方向に伸長する場合があり、視細胞全体を高倍率画像で取得可能にするためである。
a)画像取得パターンの代表位置の配置決定。
b)画像取得パターンのxy平面方向の配置決定。
c)画像取得パターンのz軸方向の配置決定。
b)については、画像取得パターンの領域内に網膜剥離領域が包含されるようにするため、以下の手順で高倍率画像のxy方向の配置を決定する。すなわち、最外周部にある高倍率画像の画像中心同士を結ぶ円を求め、この円が網膜剥離領域の外接円となる位置まで円を拡大し、円領域内を一定間隔で満たすように高倍率画像のxy方向の位置を決定する。
c)のz軸方向の取得位置に関しては、S1520で取得された視細胞内節外節境界B5が高倍率画像の画像中心と一致するように決定する。また、各高倍率画像DHjのコヒーレンスゲートは、設定可能な位置のうちでS1520で検出された視細胞内節外節境界B5に最も近い位置に設定する。
順序決定部1324は、高倍率画像DHjの取得順序を決定する。本実施形態では、以下のi)〜iv)のうち、i)が最内側(最高優先度)、ii)が2番目に内側、iii)が3番目に内側、iv)が最外側(最低優先度)のループとなるようにして繰り返し処理を行う。すなわち、取得開始位置(本実施形態では画像取得パターンの上端を設定し、取得倍率を最低倍率に設定したうえで、以下のi)〜iv)の手順を実行する。
i) 同一配置パターンかつ同一取得倍率かつ同一画像取得位置における画像を繰り返し取得回数分だけ取得する。
ii) 同一配置パターンかつ同一取得倍率における画像を、隣接する画像取得位置へ移動させた上で再びi)と同様にして取得する。
iii)ii)が終了したら、取得倍率の値をより大きくして再びii)の操作を実行し、倍率数分だけ同様の操作を繰り返す。
iv) iii)が終了したら、別配置でiii)の操作を実行し、全ての配置で画像を取得するまで繰り返す。
なお、上記の例ではi)の繰り返し取得はなし(取得回数は1回のみ)であり、画像取得パターンが多配置型ではないので、iv)の処理は省略される。またii)の隣接する画像取得位置については任意の方向へ移動でき、本実施形態では横方向(横にない場合は斜め下、斜め下にもない場合は真下)の隣接位置に取得位置を移動させる。すなわち、高倍率画像取得位置のうち1段目は右から左、2段目は左から右、3段目は右から左、というような順序で高倍率画像を順に取得していく。なお、本発明の順序決定法は上記の手順に限定されるものではなく、任意の公知の順序設定法を用いてよい。
高倍率画像取得部112は、決定部132によって指示された画像取得パラメータを用いて複数の高倍率画像DHj及び固視標位置FHjを取得するよう断層像撮像装置60に対して要求する。断層像撮像装置60は、この取得要求に応じて高倍率画像DHj、固視標位置FHjを取得し送信するので、高倍率画像取得部112は断層像撮像装置60からLAN30を介して当該高倍率画像DHj及び固視標位置FHjを受信する。高倍率画像取得部112は、受信した高倍率画像DHj及び固視標位置FHjを記憶部120に格納する。
上述の実施形態では位置合わせ対象画像をSLO画像や眼部断層像として実現したが、本発明はこれに限られない。例えば、広画角画像DLを眼底カメラ画像、高倍率画像DHを補償光学眼底カメラ画像として実現してもよい。また、広画角画像DLを広画角SLO画像、高倍率画像DHを補償光学断層像の投影像のようにモダリティの異なる画像として実現してもよい。さらに、補償光学SLO像撮像装置20と断層像撮像装置60との複合機と、眼科装置10が直接接続された構成として実現してもよい。
130:画像処理部、134:画像特徴取得部
Claims (10)
- 撮像する1の画像の領域よりも広い被検眼の領域における、複数の前記画像の撮像を制御する情報処理装置であって、
前記画像を撮像する複数の撮像位置の配置を示す複数の基本パターンを記憶する記憶手段と、
前記記憶手段に記憶された前記複数の基本パターンから1つの基本パターンを選択する選択手段と、
前記選択された基本パターンに予め関連付けられた前記複数の画像の撮像位置を調整する調整手段と、
前記選択手段で選択された基本パターンに含まれる複数の撮像位置に従って、前記領域において前記複数の画像を撮像装置に撮像させる制御手段とを有し、
前記制御手段は、前記調整された撮像位置に従って、前記撮像装置に前記複数の画像を撮像させることを特徴とする情報処理装置。 - 前記撮像装置は、
光源から出射された測定光を前記被検眼に照射することにより得られる戻り光の波面を測定する波面測定手段と、
前記波面測定手段により測定された前記波面に基づき、前記戻り光の波面を補正する波面補正手段と、
前記波面補正手段により前記波面が補正された前記戻り光を用いて前記被検眼の画像を生成する画像生成手段と
を有することを特徴とする請求項1に記載の情報処理装置。 - 前記領域を撮像した前記画像より広画角な広画角画像を取得する画像取得手段と、
前記画像取得手段により取得した前記広画角画像と、前記画像生成手段により生成した前記画像とを位置合わせする位置合わせ手段と、
前記位置合わせ手段による位置合わせ結果に基づき、前記広画角画像上に前記画像を表示する表示制御手段と
を更に有することを特徴とする請求項2に記載の情報処理装置。 - 前記基本パターンは、前記画像の画角、画素サイズ、フレーム数、フレームレート、合焦位置の少なくとも1つを更に含む
ことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 - 前記画像の分解能は、前記広画角画像の分解能よりも高い
ことを特徴とする請求項3に記載の情報処理装置。 - 撮像する1の画像の領域よりも広い被検眼の領域における、複数の前記画像の撮像を制御する情報処理装置であって、
前記画像を撮像する複数の位置の配置を示す複数の基本パターンを記憶する記憶手段と、
前記記憶手段に記憶された前記複数の基本パターンから1つの基本パターンを選択する選択手段と、
前記選択された基本パターンに予め関連付けられた撮像条件を調整する調整手段と、
前記選択手段で選択された基本パターンに予め関連付けられた複数の画像の撮像に関する撮像条件に従って、前記領域において前記複数の画像を撮像装置に撮像させる制御手段とを有し、
前記制御手段は、前記調整された撮像条件に従って、前記撮像装置に前記複数の画像を撮像させることを特徴とする情報処理装置。 - 前記撮像条件は、前記画像の取得位置、画角、画素サイズ、フレーム数、フレームレート、合焦位置の少なくとも1つを含む
ことを特徴とする請求項6に記載の情報処理装置。 - 撮像する1の画像の領域よりも広い被検眼の領域における、複数の前記画像の撮像を制御する情報処理装置の制御方法であって、
選択手段が、記憶手段に記憶された画像を撮像する複数の撮像位置の配置を示す複数の基本パターンから1つの基本パターンを選択する選択工程と、
調整手段が、前記選択された基本パターンに予め関連付けられた前記複数の画像の撮像位置を調整する調整工程と、
制御手段が、前記選択工程で選択された基本パターンに含まれる複数の撮像位置に従って、前記領域において前記複数の画像を撮像装置に撮像させる制御工程とを有し、
前記制御工程では、前記調整された撮像位置に従って、前記撮像装置に前記複数の画像を撮像させることを特徴とする情報処理装置の制御方法。 - 撮像する1の画像の領域よりも広い被検眼の領域における、複数の前記画像の撮像を制御する情報処理装置の制御方法であって、
選択手段が、記憶手段に記憶された画像を撮像する複数の位置の配置を示す複数の基本パターンから1つの基本パターンを選択する選択工程と、
調整手段が、前記選択された基本パターンに予め関連付けられた撮像条件を調整する調整工程と、
制御手段が、前記選択工程で選択された基本パターンに予め関連付けられた複数の画像の撮像に関する撮像条件に従って、前記領域において前記複数の画像を撮像装置に撮像させる制御工程と
を有し、
前記制御工程では、前記調整された撮像条件に従って、前記撮像装置に前記複数の画像を撮像させることを特徴とする情報処理装置の制御方法。 - コンピュータを、請求項1乃至7のいずれか1項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017134948A JP6465930B2 (ja) | 2017-07-10 | 2017-07-10 | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017134948A JP6465930B2 (ja) | 2017-07-10 | 2017-07-10 | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013111332A Division JP6174908B2 (ja) | 2013-05-27 | 2013-05-27 | 情報処理装置、情報処理方法、及び、コンピュータプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019002136A Division JP6636188B2 (ja) | 2019-01-09 | 2019-01-09 | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017170266A JP2017170266A (ja) | 2017-09-28 |
JP6465930B2 true JP6465930B2 (ja) | 2019-02-06 |
Family
ID=59969926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017134948A Active JP6465930B2 (ja) | 2017-07-10 | 2017-07-10 | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6465930B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4819851B2 (ja) * | 2008-07-31 | 2011-11-24 | キヤノン株式会社 | 診断支援装置およびその方法、プログラム、記録媒体 |
JP5704879B2 (ja) * | 2009-09-30 | 2015-04-22 | 株式会社ニデック | 眼底観察装置 |
JP5735790B2 (ja) * | 2010-12-02 | 2015-06-17 | 株式会社ニデック | 眼科撮影装置 |
JP5845608B2 (ja) * | 2011-03-31 | 2016-01-20 | 株式会社ニデック | 眼科撮影装置 |
JP2013070941A (ja) * | 2011-09-29 | 2013-04-22 | Nidek Co Ltd | 眼科撮影装置 |
-
2017
- 2017-07-10 JP JP2017134948A patent/JP6465930B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017170266A (ja) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6174908B2 (ja) | 情報処理装置、情報処理方法、及び、コンピュータプログラム | |
JP6108827B2 (ja) | 眼科装置および位置合わせ方法 | |
EP2845534B1 (en) | Ophthalmic apparatus | |
JP6463048B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
JP6463047B2 (ja) | 眼科装置及び眼科装置の作動方法 | |
US20200375453A1 (en) | Tomographic image acquisition apparatus and tomographic image acquisition method | |
JP2018198967A (ja) | 眼科装置 | |
JP6504903B2 (ja) | 眼科撮像装置、その作動方法、及びコンピュータプログラム | |
JP2019213739A (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP6882242B2 (ja) | 眼科装置およびその制御方法 | |
JP6465930B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
JP6732093B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
JP6636188B2 (ja) | 情報処理装置、情報処理装置の制御方法、及び、コンピュータプログラム | |
JP6594499B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
JP2021079013A (ja) | 医用画像処理装置、医用画像処理装置の処理方法およびプログラム | |
JP6419238B2 (ja) | 眼科装置および位置合わせ方法 | |
JP2024007133A (ja) | 眼科画像処理装置および眼科画像処理プログラム | |
JP2020171664A (ja) | 画像解析方法及び画像解析装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6465930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |