JP7502448B2 - 検査装置 - Google Patents
検査装置 Download PDFInfo
- Publication number
- JP7502448B2 JP7502448B2 JP2022540287A JP2022540287A JP7502448B2 JP 7502448 B2 JP7502448 B2 JP 7502448B2 JP 2022540287 A JP2022540287 A JP 2022540287A JP 2022540287 A JP2022540287 A JP 2022540287A JP 7502448 B2 JP7502448 B2 JP 7502448B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- unit
- additional
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 68
- 238000010801 machine learning Methods 0.000 claims description 35
- 238000013500 data storage Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- General Factory Administration (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
1.学習に用いたデータ以外の新規データに対して、人手でアノテーション(ラベルの付与)を実施
2.ユーザがデータを確認し、折を見て学習の実行を指示
3.学習データに上記新規データを追加して、機械学習を実施
そこで、効果的な追加学習・再学習を行うタイミングを判定するための技術が望まれている。
図1は本発明の一実施形態による検査装置の要部を示す概略的なハードウェア構成図である。
本発明の検査装置1は、例えば、制御用プログラムに基づいて検査用機器を含む産業機械を制御する制御装置として実装することができるし、また、制御用プログラムに基づいて検査用機器を含む産業機械を制御する制御装置に併設されたパソコンや、有線/無線のネットワークを介して制御装置と接続されたパソコン、セルコンピュータ、フォグコンピュータ6、クラウドサーバ7の上に実装することができる。本実施形態では、検査装置1を、ネットワークを介して制御装置と接続されたパソコンの上に実装している。
データ取得部110は、産業機械3の正常動作時においてセンサ4により検出された検査対象物に係るデータを取得する。データ取得部110は、例えば産業機械3に取り付けられたセンサ4により検出された、検査対象物の外観を示す画像データや、検査対象物を所定の周波数で振動させることにより発生する音声データ等を取得する。データ取得部110が取得するデータは、ラスタ形式や該ラスタ形式のデータを加工した所定の画像形式の画像データであって良いし、また、動画データ等の時系列データであっても良い、また、データ取得部110は、ネットワーク5を介して産業機械3から直接データを取得しても良いし、外部機器72や、フォグコンピュータ6、クラウドサーバ7等が取得して記憶しているデータを取得しても良い。データ取得部110が取得したデータは取得データ記憶部210に記憶される。
推定部108は、データ取得部110が取得して取得データ記憶部210に記憶したデータに基づいて、学習モデル記憶部109に記憶された基本モデルを用いた検査対象物の状態の推定を行う。推定部108による推定結果は、少なくとも検査対象物について推定されたラベル(以下、擬似ラベルとする)と該擬似ラベルに係る信頼度とを含む。
学習契機判定部120は、予め定めた所定の条件に従って、追加学習乃至再学習を実行するタイミングを判定する。ここで前記の所定の条件としては、例えば推定データ記憶部220に記憶されるデータの信頼度や、データの個数等を用いた条件であって良い。所定の条件の例としては、信頼度が予め定めた所定の閾値Cth1%(例えば、80%)以下のデータが、予め定めた所定の閾値Nth1個(例えば、30個)以上存在した場合に追加学習を行う、といったものであって良い。基本モデルによる推定結果の中に信頼度が高くないデータが増えることは、基本モデルの現在の環境における検査対象に対する識別能力が十分ではないことを意味する。上記した条件の例は、基本モデルの現在の環境における検査対象に対する識別能力が十分ではないことを示す条件である。このような場合には、基本モデルに対して追加学習乃至再学習を行い現在の環境における検査対象により適応したモデルを作成する必要がある。このように、学習契機判定部120が用いる判定条件は、現在用いている基本モデルの現在の環境に対する適応性を改善する契機を定めるものである。
学習データ作成部130は、学習契機判定部120が追加学習乃至再学習を実行するタイミングであると判定した場合に、追加学習乃至再学習に用いる学習データを作成する。学習データ作成部130は、現在の環境に対して基本モデルがより適切な識別が行えるようにするために必要なデータを、追加の学習データとして推定データ記憶部220の中から抽出する。追加の学習データのラベルについては、擬似ラベルをそのまま用いればよい。そして、抽出した追加の学習データと、基本データ記憶部200に記憶される基本学習データとから、追加学習乃至再学習に用いる学習データを作成する。例えば、学習データ作成部130は、学習契機判定部120が追加学習乃至再学習を実行すると判定するトリガーとなったデータの中から追加の学習データを抽出する。上記した例では、推定データ記憶部220に記憶されたデータの内で、信頼度が予め定めた所定の閾値Cth1%以下の予め定めた所定の閾値Nth1個以上のデータの中から、信頼度が高い予め定めた所定のnth1個(例えば、10個)のデータを追加の学習データとして抽出し、これと基本学習データとから追加学習乃至再学習の学習データを作成するようにしても良い。他にも、トリガーとなったデータの中から所定の数をランダムに抽出し、これら抽出したデータと基本学習データとから追加学習乃至再学習の学習データを作成するようにしても良い。また、この時、トリガーとなったデータの中から、擬似ラベルが偏らないように(良品の擬似ラベル、不良品の擬似ラベルが同数となるように等)抽出しても良い。
学習指令部140は、機械学習器100が備える学習部106に、学習データ作成部130が作成した追加学習乃至再学習に用いる学習データを用いた追加学習乃至再学習をするように指令する。学習指令部140は、追加学習を指令する場合には、学習部106に、基本モデルに対して学習データ作成部130が作成した学習データを用いた追加学習を行うように指令する。また、学習指令部140は、再学習を指令する場合には、学習部106に、初期化されたモデルに対して学習データ作成部130が作成した学習データを用いた再学習を行うように指令する。追加学習乃至再学習の方法については、公値の追加学習乃至再学習の方法を適宜用いればよい。
学習部106は、学習指令部140から受け取った指令に基づいて、学習データ作成部130が作成した学習データを用いた追加学習乃至再学習を行うことで学習モデルを作成し、作成した学習モデルを学習モデル記憶部109に記憶する。学習部106が行う機械学習は公知の教師なし学習や教師あり学習であって良い。
3 産業機械
4 センサ
5 ネットワーク
6 フォグコンピュータ
7 クラウドサーバ
11 CPU
12 ROM
13 RAM
14 不揮発性メモリ
15,17,18,20,21 インタフェース
22 バス
70 表示装置
71 入力装置
72 外部機器
110 データ取得部
120 学習契機判定部
130 学習データ作成部
140 学習指令部
200 基本データ記憶部
210 取得データ記憶部
220 推定データ記憶部
100 機械学習器
101 プロセッサ
102 ROM
103 RAM
104 不揮発性メモリ
106 学習部
108 推定部
109 学習モデル記憶部
Claims (7)
- 機械学習器が記憶する学習済みの学習モデルである基本モデルを用いて、検査対象物に係るデータに基づく該検査対象物の状態の推定結果により該検査対象物の検査を行うための検査装置であって、
検査対象物の状態の推定結果及び該推定結果の信頼度を推定する推定部と、
該推定部が推定した検査対象物の状態の推定結果の如何を問わず該推定結果毎に、該推定結果及び該推定結果の信頼度を、前記検査対象物に係るデータと関連付けて記憶した推定データ記憶部と、
前記推定データ記憶部に記憶されたデータが所定の条件を満たす場合に、追加学習乃至再学習を実行するタイミングであると判定する学習契機判定部と、
前記学習契機判定部が追加学習乃至再学習を実行するタイミングであると判定した場合に、前記推定データ記憶部に記憶されたデータから追加の学習データを抽出し、少なくとも抽出した追加の学習データに基づいて、追加学習乃至再学習に用いる学習データを作成する学習データ作成部と、
前記学習データ作成部が作成した前記学習データを用いて、追加学習乃至再学習を行うように前記機械学習器に指令する学習指令部と、
を備えた検査装置。 - 前記検査対象物に係るデータは、前記検査対象物に係る画像データである、
請求項1に記載の検査装置。 - 前記学習契機判定部は、前記推定データ記憶部に記憶されたデータの中に、前記信頼度が予め定めた第1の閾値以下のデータが、予め定めた第2の閾値以上存在する場合に、追加学習乃至再学習を実行するタイミングであると判定する、
請求項1に記載の検査装置。 - 前記学習データ作成部は、前記推定データ記憶部に記憶されたデータの中で、前記信頼度が予め定めた前記第1の閾値以下のデータの内の信頼度が高いデータを上位から予め定めた第3の閾値の個数のデータを追加の学習データとして抽出する、
請求項3に記載の検査装置。 - 前記学習データ作成部は、前記推定データ記憶部に記憶されたデータの中で、前記信頼度が予め定めた前記第1の閾値以下のデータの内、予め定めた第3の閾値の個数のデータをランダムに選択し、追加の学習データとして抽出する、
請求項3に記載の検査装置。 - 前記学習指令部は、追加学習乃至再学習して生成した新たなモデルを、前記推定データ記憶部に記憶されたデータを用いて検証し、検証した結果、前記新たなモデルが前記基本モデルよりも前記推定データ記憶部に記憶されたデータが取得された環境に適応してないと判定された場合、前記学習データ作成部に対して追加学習乃至再学習に用いる学習データを再作成するように指令し、再作成された学習データを用いた追加学習乃至再学習を行うように前記機械学習器に指令する、
請求項1~5のいずれか一つに記載の検査装置。 - 前記学習指令部は、追加学習乃至再学習して生成した新たなモデルを、前記基本モデルを作成した際に用いた学習データを用いて検証し、検証した結果、前記新たなモデルが前記基本モデルと同レベルの検査が行えないと判定された場合、前記学習データ作成部に対して追加学習乃至再学習に用いる学習データを再作成するように指令し、再作成された学習データを用いた追加学習乃至再学習を行うように前記機械学習器に指令する、
請求項1~6のいずれか一つに記載の検査装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020126661 | 2020-07-27 | ||
JP2020126661 | 2020-07-27 | ||
PCT/JP2021/027522 WO2022024985A1 (ja) | 2020-07-27 | 2021-07-26 | 検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022024985A1 JPWO2022024985A1 (ja) | 2022-02-03 |
JP7502448B2 true JP7502448B2 (ja) | 2024-06-18 |
Family
ID=80036224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022540287A Active JP7502448B2 (ja) | 2020-07-27 | 2021-07-26 | 検査装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230274408A1 (ja) |
JP (1) | JP7502448B2 (ja) |
CN (1) | CN116194952A (ja) |
DE (1) | DE112021003974T5 (ja) |
WO (1) | WO2022024985A1 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003208594A (ja) | 2002-01-10 | 2003-07-25 | Mitsubishi Electric Corp | 類識別装置及び類識別方法 |
JP2006293820A (ja) | 2005-04-13 | 2006-10-26 | Sharp Corp | 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム |
JP2016519807A (ja) | 2013-03-15 | 2016-07-07 | ザ クリーブランド クリニック ファウンデーションThe Cleveland ClinicFoundation | 自己進化型予測モデル |
JP2017138808A (ja) | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
WO2019138655A1 (ja) | 2018-01-09 | 2019-07-18 | 日本電信電話株式会社 | モデル学習装置、モデル学習方法、及びプログラム |
US20190370686A1 (en) | 2018-06-01 | 2019-12-05 | Nami Ml Inc. | Machine learning model re-training based on distributed feedback |
JP2019212073A (ja) | 2018-06-06 | 2019-12-12 | アズビル株式会社 | 画像判別装置および方法 |
JP2019211969A (ja) | 2018-06-04 | 2019-12-12 | オリンパス株式会社 | 学習管理装置、学習管理サーバ、および学習管理方法 |
JP2019220116A (ja) | 2018-06-22 | 2019-12-26 | 日立造船株式会社 | 情報処理装置、判定方法、および対象物判定プログラム |
JP2020038579A (ja) | 2018-09-05 | 2020-03-12 | 日立造船株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014190821A (ja) | 2013-03-27 | 2014-10-06 | Dainippon Screen Mfg Co Ltd | 欠陥検出装置および欠陥検出方法 |
-
2021
- 2021-07-26 DE DE112021003974.1T patent/DE112021003974T5/de active Pending
- 2021-07-26 US US18/005,671 patent/US20230274408A1/en active Pending
- 2021-07-26 WO PCT/JP2021/027522 patent/WO2022024985A1/ja active Application Filing
- 2021-07-26 CN CN202180059226.7A patent/CN116194952A/zh active Pending
- 2021-07-26 JP JP2022540287A patent/JP7502448B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003208594A (ja) | 2002-01-10 | 2003-07-25 | Mitsubishi Electric Corp | 類識別装置及び類識別方法 |
JP2006293820A (ja) | 2005-04-13 | 2006-10-26 | Sharp Corp | 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム |
JP2016519807A (ja) | 2013-03-15 | 2016-07-07 | ザ クリーブランド クリニック ファウンデーションThe Cleveland ClinicFoundation | 自己進化型予測モデル |
JP2017138808A (ja) | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
WO2019138655A1 (ja) | 2018-01-09 | 2019-07-18 | 日本電信電話株式会社 | モデル学習装置、モデル学習方法、及びプログラム |
US20190370686A1 (en) | 2018-06-01 | 2019-12-05 | Nami Ml Inc. | Machine learning model re-training based on distributed feedback |
JP2019211969A (ja) | 2018-06-04 | 2019-12-12 | オリンパス株式会社 | 学習管理装置、学習管理サーバ、および学習管理方法 |
JP2019212073A (ja) | 2018-06-06 | 2019-12-12 | アズビル株式会社 | 画像判別装置および方法 |
JP2019220116A (ja) | 2018-06-22 | 2019-12-26 | 日立造船株式会社 | 情報処理装置、判定方法、および対象物判定プログラム |
JP2020038579A (ja) | 2018-09-05 | 2020-03-12 | 日立造船株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112021003974T5 (de) | 2023-05-25 |
JPWO2022024985A1 (ja) | 2022-02-03 |
CN116194952A (zh) | 2023-05-30 |
WO2022024985A1 (ja) | 2022-02-03 |
US20230274408A1 (en) | 2023-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6693938B2 (ja) | 外観検査装置 | |
US10835930B2 (en) | Sorting system | |
JP6903142B2 (ja) | 異常検出装置、異常検出方法及びプログラム | |
JP6683666B2 (ja) | 識別コード読取装置及び機械学習装置 | |
JP7331509B2 (ja) | ボルト検査装置、ボルト検査システム、ボルト検査方法及びプログラム | |
US20200193219A1 (en) | Discrimination device and machine learning method | |
JP2019093472A (ja) | 制御装置及び機械学習装置 | |
CN110895716B (zh) | 检查装置以及机器学习方法 | |
CN114730407A (zh) | 使用神经网络对工作环境中的人类行为进行建模 | |
CN113538370A (zh) | 电网巡检方法、装置、计算机设备和存储介质 | |
CN110389560B (zh) | 波形显示装置 | |
JP7502448B2 (ja) | 検査装置 | |
CN110895719A (zh) | 验证装置 | |
US11550305B2 (en) | Diagnostic apparatus for generating verification data including at least one piece of abnormal data based on normal data | |
JP7251955B2 (ja) | 検出装置及び機械学習方法 | |
CN117115783B (zh) | 基于机器视觉的流水线工作行为识别方法 | |
CN113177452B (zh) | 一种基于图像处理与射频技术的封样方法及装置 | |
JP7384000B2 (ja) | 協調作業システム、解析収集装置および解析プログラム | |
WO2023181277A1 (ja) | 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体 | |
JP7428819B2 (ja) | 外観検査のためのモデル作成装置及び外観検査装置 | |
WO2022065272A1 (ja) | 外観検査のためのモデル作成装置及び外観検査装置 | |
Lim et al. | A Methodology for Estimating the Assembly Position of the Process Based on YOLO and Regression of Operator Hand Position and Time Information | |
KR20240131727A (ko) | 다변량 시계열 데이터로부터 이상징후를 예측하는 방법 및 장치 | |
CN118428602A (zh) | 一种基于物联网的施工巡检方法、装置以及电子设备 | |
CN115391084A (zh) | 一种云游戏异常的智能解决方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240606 |