JP6361776B2 - 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム - Google Patents
診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP6361776B2 JP6361776B2 JP2017081594A JP2017081594A JP6361776B2 JP 6361776 B2 JP6361776 B2 JP 6361776B2 JP 2017081594 A JP2017081594 A JP 2017081594A JP 2017081594 A JP2017081594 A JP 2017081594A JP 6361776 B2 JP6361776 B2 JP 6361776B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- color
- luminance
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Color Image Communication Systems (AREA)
Description
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
図1は、本実施形態に係る診断支援装置1の構成を示すブロック図である。図1に示すように、本実施形態に係る診断支援装置1には、ダーモスコープ付撮影装置20が接続されている。
図2に示すように第1実施形態の処理部12は、色補正処理手段121を含む。色補正処理手段121は、色補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。このとき、色補正処理手段121は、中央部を前記撮影画像の中心円とし、中心円を除いた測定領域内で各RGBについて対応画素のLpノルムを求め、eR、eG及びeBのL2ノルムが1となるように係数kで正規化し、ecに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行い、RGBのゲイン係数を各画素に乗算し、元画像の色補正処理を行う。
以下、図3のフローチャートを参照しながら第1実施形態に係る処理部12(色補正処理手段121)の色補正処理動作について詳細に説明する。
第1実施形態に係る診断支援装置1によれば、処理部12(色補正処理手段121)が、補正対象のダーモスコピー画像に対して色合いを補正(色補正)する際に、色情報計測領域を疾患領域である確率が高い、中央部を除く周辺部に設定し、補正ターゲットを肌色に設定することで、自然で、かつロバストな補正を行うことができる。また、肌色仮説が成り立たない全体的に血液色の場合に、補正時にリミッターを設定することにより不自然な補正を抑制することができる。したがって、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、画像は1画像ずつ表示させて見比べるようにしてもよい(以下同じ。)
次に、第2実施形態について説明する。図5に示すように、第2実施形態の処理部12は、輝度補正処理手段122を含む。輝度補正処理手段122は、輝度補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにRGBそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。
以下、図6のフローチャートを参照しながら第2実施形態に係る処理部12(輝度補正処理手段122)の色補正処理動作について詳細に説明する。
上記した第2実施形態に係る診断支援装置1によれば、補正対象のダーモスコピー画像に対して輝度補正を行う際に、処理部12(輝度補正処理手段122)が、輝度計測領域を疾患領域の確率が高い中央部を除いた周辺部に設定し、その領域に対して輝度ヒストグラムを生成し、そのヒストグラムピーク値に基づき補正ゲイン値を算出し、色相を変えないように、R,G,Bそれぞれに同一の補正ゲイン値を乗算することにより、自然でかつロバストな輝度補正を行うことができる。なお、輝度ヒストグラムを作成する際に、肌色に近いもののみに限定することにより、診断精度が一層向上する。
次に、第3実施形態について説明する。第3実施形態は、第1実施形態の色補正処理(正規化)及び/又は第2実施形態の輝度補正処理(正規化)を行ったダーモスコピー画像をニューラルネットワークから構成される識別器に入力し、機械学習の結果を用いて、未知の調査対象の疾患を推論するものである。その際、ダーモスコピー画像の肌色部の色及び/又は輝度を正規化後、正規化のターゲット値を減算してからニューラルネットワークに入力する。
以下、図14から図18のフローチャートを参照しながら第3実施形態に係る処理部12a、アンサンブル識別器14aの動作について詳細に説明する。
以下、図16から図18のフローチャートを参照しながら、本発明の第3実施形態に係る診断装置100Aの動作について詳細に説明する。なお、以下の動作は、コンピュータに実行させる学習処理プログラムとして構成することができる。
上記した第3実施形態に係る診断支援装置1によれば、ダーモスコピー画像の肌色部(非疾患領域)の色・輝度を正規化し、その正規化値を前処理として減算することにより、疾患の可能性がある中央部の肌色部(非疾患領域)に対する変化を強調するような前処理が行うことができる。換言すると、中央部と肌色部(非疾患領域)との効果的なエッジ抽出を行うことができる。
[請求項1]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像処理を行うステップ(A)を備え、
前記ステップ(A)において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする方法。
[請求項2]
前記ステップ(A)において、画像補正として色補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項1に記載の方法。
[請求項3]
前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項2に記載の方法。
[請求項4]
前記ステップ(A)において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で色空間の各画素について対応画素のLpノルムを求め、eR、eG及びeBのL2ノルムが1となるように係数kで正規化し、ecに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項1から3のいずれか1項に記載の方法。
[請求項5]
前記前記ステップ(A)において、前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項1から4のいずれか1項に記載の方法。
[請求項6]
前記前記ステップ(A)において、画像補正として輝度補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも2つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項1に記載の方法。
[請求項7]
前記ステップ(A)において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項1又は6に記載の方法。
[請求項8]
前記ステップ(A)において、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項6又は7に記載の方法。
[請求項9]
前記色空間が、RGB色空間、YUV色空間及びHSV色空間を含み、RGB色空間の場合には画素R,G,Bについて、YUV色空間の場合には画素Y,U,Vについて、HSV色空間の場合には画素S,Vについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項6から8のいずれか1項に記載の方法。
[請求項10]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ(A)と、
前記撮影画像の画像補正後の画素値からターゲット画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ(B)と、を備えることを特徴とする方法。
[請求項11]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ(A)と、
前記撮影画像の画像補正後の画素値から前記撮影画像の平均画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ(B)と、を備えることを特徴とする方法。
[請求項12]
さらに、前記入力画像を前記識別器のニューラルネットワークに入力し、前記入力画像が既知の画像である場合には学習を、前記入力画像が未知の画像である場合には学習結果を踏まえて推論を行うステップ(C)を備えることを特徴とする請求項2、10又は11に記載の方法。
[請求項13]
撮影画像から病変を診断するための診断支援装置であって、
前記撮影画像の画像処理を行う処理部を備え、
前記処理部が、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする診断支援装置。
[請求項14]
コンピュータに請求項1から12のいずれか1項に記載の画像処理方法を実行させるプログラム。
Claims (12)
- ダーモスコープ付きの撮影装置により撮影された撮影画像である皮膚のダーモスコピー画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像処理として画像補正を行うステップ(A)を備え、
前記ステップ(A)において、前記画像補正として色の補正及び輝度の補正の少なくとも一方の補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を、前記少なくとも一方の補正に対応する前記周辺領域内の肌の色及び輝度の少なくとも一方に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定することを特徴とする方法。 - 前記ステップ(A)において、前記画像補正として前記色の補正を行う際、前記周辺領域を、前記周辺領域内の肌の色に関する情報を前記画像補正用のパラメータとして測定するための前記測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項1に記載の方法。
- 前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項2に記載の方法。
- 前記ステップ(A)において、前記画像補正として前記色の補正を行う際、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記周辺領域を、前記周辺領域内の肌の色に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定するとともに、前記測定領域内で色空間の各画素について対応画素のLpノルムを求め、eR、eG及びeBのL2ノルムが1となるように係数kで正規化し、ecに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項1から3のいずれか1項に記載の方法。 - 前記ステップ(A)において、前記画像補正として前記色の補正を行う際、
前記周辺領域を、前記周辺領域内の肌の色に関する情報を前記画像補正用のパラメータとして測定するための前記測定領域に設定するとともに、
前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項1から4のいずれか1項に記載の方法。 - 前記ステップ(A)において、前記画像補正として前記輝度の補正を行う際、前記周辺領域を、前記周辺領域内の輝度に関する情報を前記画像補正用のパラメータとして測定するための前記測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも2つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項1に記載の方法。
- 前記ステップ(A)において、前記画像補正として前記輝度の補正を行う際、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記周辺領域を、前記周辺領域内の輝度に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定するとともに、前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項1又は6に記載の方法。 - 前記ステップ(A)において、前記画像補正として前記輝度の補正を行う際、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項6又は7に記載の方法。
- 前記色空間が、RGB色空間、YUV色空間及びHSV色空間を含み、RGB色空間の場合には画素R,G,Bについて、YUV色空間の場合には画素Y,U,Vについて、HSV色空間の場合には画素S,Vについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項6から8のいずれか1項に記載の方法。
- 前記画像補正された前記撮影画像から、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ(B)をさらに備えることを特徴とする請求項1から9のいずれか1項に記載の方法。
- ダーモスコープ付きの撮影装置により撮影された撮影画像である皮膚のダーモスコピー画像から病変を診断するための診断支援装置であって、
前記撮影画像の画像処理として画像補正を行う処理部を備え、
前記処理部が、前記画像補正として色の補正及び輝度の補正の少なくとも一方の補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を、前記少なくとも一方の補正に対応する前記周辺部内の肌の色及び輝度の少なくとも一方に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定することを特徴とする診断支援装置。 - コンピュータに請求項1から10のいずれか1項に記載の画像処理方法を実行させるプログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17179753.3A EP3291173A1 (en) | 2016-09-02 | 2017-07-05 | Diagnosis assisting device, image processing method in diagnosis assisting device, and program |
US15/642,280 US11379958B2 (en) | 2016-09-02 | 2017-07-05 | Diagnosis assisting device, and image processing method in diagnosis assisting device |
CN201710610609.4A CN107788948B (zh) | 2016-09-02 | 2017-07-25 | 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 |
CA3060762A CA3060762A1 (en) | 2016-09-02 | 2017-07-31 | Diagnosis assisting device, and image processing method in diagnosis assisting device |
CA2974777A CA2974777C (en) | 2016-09-02 | 2017-07-31 | Diagnosis assisting device, and image processing method in diagnosis assisting device |
AU2017213456A AU2017213456B2 (en) | 2016-09-02 | 2017-08-08 | Diagnosis assisting device, and image processing method in diagnosis assisting device |
AU2018282455A AU2018282455B2 (en) | 2016-09-02 | 2018-12-21 | Diagnosis assisting device, and image processing method in diagnosis assisting device |
US17/747,327 US11769255B2 (en) | 2016-09-02 | 2022-05-18 | Diagnosis assisting device, and image processing method in diagnosis assisting device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016171595 | 2016-09-02 | ||
JP2016171595 | 2016-09-02 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018110086A Division JP2018171462A (ja) | 2016-09-02 | 2018-06-08 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018038789A JP2018038789A (ja) | 2018-03-15 |
JP6361776B2 true JP6361776B2 (ja) | 2018-07-25 |
Family
ID=61624508
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017081594A Active JP6361776B2 (ja) | 2016-09-02 | 2017-04-17 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
JP2018110086A Pending JP2018171462A (ja) | 2016-09-02 | 2018-06-08 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
JP2021134459A Active JP7188514B2 (ja) | 2016-09-02 | 2021-08-20 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018110086A Pending JP2018171462A (ja) | 2016-09-02 | 2018-06-08 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
JP2021134459A Active JP7188514B2 (ja) | 2016-09-02 | 2021-08-20 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6361776B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7135504B2 (ja) * | 2018-07-02 | 2022-09-13 | カシオ計算機株式会社 | 画像識別装置、画像識別方法及びプログラム |
JP7218118B2 (ja) * | 2018-07-31 | 2023-02-06 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7005040B2 (ja) * | 2019-07-01 | 2022-01-21 | 株式会社アクセル | 学習装置、推論装置、学習方法、プログラムおよび推論方法 |
US11615609B2 (en) | 2019-07-01 | 2023-03-28 | Axell Corporation | Learning apparatus, inferring apparatus, learning method, program, and inferring method |
US11769221B2 (en) | 2020-03-12 | 2023-09-26 | Axell Corporation | Learning apparatus, inferring apparatus, computer program, computer system, inferring method, and learning method |
CN115943420A (zh) * | 2020-08-26 | 2023-04-07 | 佳能株式会社 | 图像处理装置、图像处理方法、训练装置、训练方法、以及程序 |
JP7566696B2 (ja) | 2020-08-26 | 2024-10-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム |
KR20220042558A (ko) * | 2020-09-28 | 2022-04-05 | 주식회사 딥바이오 | 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템 |
WO2023058157A1 (ja) * | 2021-10-06 | 2023-04-13 | メディテック株式会社 | 治療支援装置、システム、及び方法 |
WO2023106442A1 (ko) * | 2021-12-08 | 2023-06-15 | (주)파인헬스케어 | 상처 진단 및 관리를 위한 의료기기 및 의료기기의 동작 방법 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07124126A (ja) * | 1993-11-05 | 1995-05-16 | Ken Ishihara | 医療用生体情報検出装置、診断装置および治療装置 |
US7233693B2 (en) * | 2003-04-29 | 2007-06-19 | Inforward, Inc. | Methods and systems for computer analysis of skin image |
JP4437202B2 (ja) * | 2004-01-09 | 2010-03-24 | 学校法人慶應義塾 | 色素沈着部位の遠隔診療システム |
JP4466261B2 (ja) * | 2004-07-30 | 2010-05-26 | カシオ計算機株式会社 | 撮像装置、明るさ補正方法及びプログラム |
JP4599520B2 (ja) * | 2004-09-17 | 2010-12-15 | オリンパス株式会社 | マルチスペクトル画像処理方法 |
JP4967454B2 (ja) * | 2006-05-23 | 2012-07-04 | ソニー株式会社 | 画像補正回路、画像補正方法および画像表示装置 |
JP5797921B2 (ja) * | 2011-03-30 | 2015-10-21 | 花王株式会社 | 体表評価方法および体表評価装置 |
JP5880121B2 (ja) * | 2012-02-21 | 2016-03-08 | 株式会社リコー | 画像処理装置 |
JP2013255594A (ja) * | 2012-06-11 | 2013-12-26 | Canon Inc | 画像処理装置及び画像処理方法 |
JP6036790B2 (ja) * | 2014-11-07 | 2016-11-30 | カシオ計算機株式会社 | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム |
JP6361501B2 (ja) * | 2014-12-26 | 2018-07-25 | カシオ計算機株式会社 | 診断装置 |
US10362984B2 (en) * | 2015-01-27 | 2019-07-30 | Healthy.Io Ltd | Measuring and monitoring skin feature colors, form and size |
JP6108011B2 (ja) * | 2016-06-13 | 2017-04-05 | 富士ゼロックス株式会社 | 中継装置及びfax送受信プログラム |
-
2017
- 2017-04-17 JP JP2017081594A patent/JP6361776B2/ja active Active
-
2018
- 2018-06-08 JP JP2018110086A patent/JP2018171462A/ja active Pending
-
2021
- 2021-08-20 JP JP2021134459A patent/JP7188514B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7188514B2 (ja) | 2022-12-13 |
JP2018038789A (ja) | 2018-03-15 |
JP2021191423A (ja) | 2021-12-16 |
JP2018171462A (ja) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6361776B2 (ja) | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム | |
CN107788948B (zh) | 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 | |
US11514270B2 (en) | Speckle contrast analysis using machine learning for visualizing flow | |
JP6265588B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
US12124960B2 (en) | Learning apparatus and learning method | |
JP6544648B2 (ja) | 骨粗鬆症診断支援装置 | |
JP2017045341A (ja) | 診断装置、及び診断装置における学習処理方法、並びにプログラム | |
JP5165732B2 (ja) | マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム | |
JP4599520B2 (ja) | マルチスペクトル画像処理方法 | |
JP7087390B2 (ja) | 診断支援装置、画像処理方法及びプログラム | |
JP2024098259A (ja) | 臓器評価システム及び臓器評価方法 | |
JP2024052215A (ja) | 高血圧症評価システム及び高血圧症評価方法 | |
JP2024098258A (ja) | 臓器評価システム及び臓器評価方法 | |
JP2024019864A (ja) | 皮膚評価システム及び皮膚評価方法 | |
JP2023543706A (ja) | 暗視野x線画像データ情報の処理 | |
JP2009258771A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180611 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6361776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |