JP6876090B2 - 医療システムの作動方法及び外科手術を行うための医療システム - Google Patents
医療システムの作動方法及び外科手術を行うための医療システム Download PDFInfo
- Publication number
- JP6876090B2 JP6876090B2 JP2019080872A JP2019080872A JP6876090B2 JP 6876090 B2 JP6876090 B2 JP 6876090B2 JP 2019080872 A JP2019080872 A JP 2019080872A JP 2019080872 A JP2019080872 A JP 2019080872A JP 6876090 B2 JP6876090 B2 JP 6876090B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- intraoperative
- artificial intelligence
- image data
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001356 surgical procedure Methods 0.000 title claims description 19
- 238000013473 artificial intelligence Methods 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 49
- 230000001575 pathological effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 17
- 210000003484 anatomy Anatomy 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000000547 structure data Methods 0.000 claims description 10
- 238000002059 diagnostic imaging Methods 0.000 claims description 3
- 238000011017 operating method Methods 0.000 claims 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Urology & Nephrology (AREA)
- Fuzzy Systems (AREA)
- Robotics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
医療システムは一般的に、様々な設計が知られている。医療システムとしては例えば、手術室における専門的な医療機器が挙げられる。最新の手術室においては、手術の様子を記録するためのカメラや、内視鏡等の多様な手術器具、X線装置等の医療用撮像機器等がある。また、例えばMRT又はCT画像等の術前に記録された検査結果を表示することが可能な再生装置もよく知られている。
この目的は、少なくとも1つの人工知能を備えた外科手術を行うための医療システムの作動方法により解決される。本作動方法は、システムが術中人工知能及び出力部を備え、術中人工知能には術前出力データ及び術中データが供給され、術前出力データ及び術中データは術中人工知能により処理されることを特徴とし、術中人工知能からの出力データは、術中人工知能からの出力データに基づきユーザ出力を提供する出力部へと出力されることを特徴とする。
有利な実施形態によれば、本作動方法はさらに、本システムが術前人工知能を備え、術前データは、術前人工知能へ供給されて該術前人工知能により処理され、術前出力データとして出力され、術前出力データが術中人工知能へ供給されることを特徴とする。
この文脈において、別の実施形態によれば、術中人工知能が解剖学的構造データ及び/又は病理学的構造データを付加的に考慮してデバイス情報を生成する場合、特に有利である。
作動方法はさらに、個々の処理ステップが異なるAIモジュールにおいて実行されるという特徴を特に有する。
特に、術中人工知能及び術前人工知能はAIモジュールとして考えることができる。
本発明の目的はまた、外科手術を行うための医療システムにより解決され、該システムは、異なる処理ステップにおいて術中データを処理するように構成される複数のAIモジュールを備え、該AIモジュールは、第1のAIモジュールの出力データが入力データとして第2のAIモジュールに供給されるようにAIモジュール同士が関連付けられることを特徴とする。
本発明のさらなる特徴は、特許請求の範囲及び添付の図面とともに、本発明に係る実施形態の説明から明らかになるであろう。本発明の実施形態は、個々の特徴又は複数の特徴の組み合わせで実現することが可能である。
術前人工知能K1(第1AIモジュールK1_1及び第2AIモジュールK1_2も同様)ならびに術中人工知能K2(当然ながら、AIモジュールK2_1〜K2_9も同様)は、必要性や用途に応じて選択され、互いに組み合わされる人工知能である。例えば人工知能は、人工ニューラルネット又はネットワーク、サポートベクターマシン、決定木、ベイジアンビリーフネットワーク、自己組織化マップ、事例ベース推論又は例に基づく学習のためのネットワーク、又はいわゆる隠れマルコフモデルとして設計された人工知能であり得る。
術前データD1は術前人工知能K1へ供給される。術前データD1は例えば手術計画D1_1である。さらに、術前データD1は、医療的画像検査法の結果であってもよく、例えばCT画像からの画像データD1_2、MRT画像からの画像データD1_3、又は医師からの紹介状D1_4であってもよい。術前データD1_1〜D1_4はまた、患者データを含み得る。
Claims (12)
- 少なくとも1つの人工知能(K1、K2)を備えた外科手術を行うための医療システムの作動方法であって、
前記システムは、術前人工知能(K1)、術中人工知能(K2)及び出力部(8)を備え、
少なくとも1つの医療用撮像装置の第1の画像データを含む術前データ(D1)が、前記術前人工知能(K1)に供給され、
前記術前人工知能(K1)は、前記第1の画像データに存在する解剖学的構造及び/又は病理学的構造に関連して前記第1の画像データを処理し、前記解剖学的構造を特徴付ける解剖学的構造データ及び/又は前記病理学的構造を特徴付ける病理学的構造データを術前出力データとして出力し、
前記術中人工知能(K2)に対して前記術前出力データ及び第2の画像データを含む術中データ(D2)が供給され、
前記術前出力データ及び前記術中データ(D2)は前記術中人工知能(K2)によって処理されて、前記第2の画像データに注記が加えられ、
前記第2の画像データにおいてインジケータ認識及び/又はオブジェクト認識が行われ、
前記術中人工知能(K2)は、前記インジケータ認識の結果を付加的に考慮して、前記解剖学的構造データ及び/又は前記病理学的構造データに基づいて追加情報を前記注記に追加し、
前記術中人工知能(K2)からの出力データは、前記出力部(8)へ出力され、前記出力部(8)は、前記術中人工知能(K2)からの前記出力データに基づいてユーザ出力を提供することを特徴とする、作動方法。 - 前記第2の画像データは拡張現実を伴う画像データへと処理され、ユーザ出力として提供されることを特徴とする、請求項1に記載の作動方法。
- 前記術中人工知能(K2)は、前記解剖学的構造データ及び/又は前記病理学的構造データに関連する追加情報を前記注記に追加することを特徴とする、請求項1又は2に記載の作動方法。
- 前記術中データ(D2)は、術中に操作される少なくとも1つの医療装置のパラメータ及び/又は操作データを含み、前記術中人工知能(K2)は術中に操作される前記少なくとも1つの医療装置の前記パラメータ及び/又は前記操作データについての追加情報を前記注記に追加することを特徴とする、請求項1〜3のいずれか一項に記載の作動方法。
- 前記術中人工知能(K2)は、前記第2の画像データにおいて視認可能であり術中に使用される少なくとも1つの手術器具に関して前記第2の画像データを処理し、前記術中人工知能(K2)は、器具特徴データを生成し、使用された前記手術器具に関連した情報を前記注記に追加することを特徴とする、請求項1〜4のいずれか一項に記載の作動方法。
- 前記術中人工知能(K2)は、前記第2の画像データを処理し、外科手術の方法ステータスが認識され、前記外科手術の方法ステータスに関連した追加情報が前記注記に追加されることを特徴とする、請求項1〜5のいずれか一項に記載の作動方法。
- 前記術中データ(D2)は、術中に操作される少なくとも1つの医療装置のパラメータ及び/又は操作データを含み、前記術中人工知能(K2)は前記パラメータ及び/又は操作データを処理し、前記少なくとも1つの医療装置の作動状態及び/又は構成を特徴付けるデバイス情報をユーザ出力として提供することを特徴とする、請求項1〜6のいずれか一項に記載の作動方法。
- 前記術中人工知能(K2)は、解剖学的構造データ及び/又は病理学的構造データを付加的に考慮して前記デバイス情報を生成することを特徴とする、請求項7に記載の作動方法。
- 前記術中人工知能(K2)は、前記第2の画像データを処理し、外科手術の方法ステータスが認識され、前記外科手術の方法ステータスを付加的に考慮して前記デバイス情報が生成されることを特徴とする、請求項7又は8に記載の作動方法。
- 個々の処理ステップが異なるAIモジュールにおいて実行されることを特徴とする、請求項1〜9のいずれか一項に記載の作動方法。
- 複数の別個のAIモジュールを組み合わせて1つのモジュール群とし、第1のAIモジュールの出力データが第2のAIモジュールへ入力データとして供給されるようにAIモジュール同士が関連付けられることを特徴とする、請求項10に記載の作動方法。
- 外科手術を行うための、請求項1〜11のいずれか一項に記載の作動方法により作動するように構成される医療システムであって、前記医療システムは、異なる処理ステップにおいて術中データ(D2)を処理するように構成された複数のAIモジュールを備え、
第1のAIモジュールの出力データが第2のAIモジュールへ入力データとして供給されるように前記複数のAIモジュールが関連付けられる、医療システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018111180.0A DE102018111180B4 (de) | 2018-05-09 | 2018-05-09 | Betriebsverfahren für ein medizinisches System und medizinisches System zum Durchführen eines chirurgischen Eingriffs |
DE102018111180.0 | 2018-05-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020062372A JP2020062372A (ja) | 2020-04-23 |
JP6876090B2 true JP6876090B2 (ja) | 2021-05-26 |
Family
ID=68336616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019080872A Active JP6876090B2 (ja) | 2018-05-09 | 2019-04-22 | 医療システムの作動方法及び外科手術を行うための医療システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11439466B2 (ja) |
JP (1) | JP6876090B2 (ja) |
DE (1) | DE102018111180B4 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4107748A1 (en) | 2020-02-20 | 2022-12-28 | Smith&Nephew, Inc. | Methods for arthroscopic video analysis and devices therefor |
EP4128149A1 (en) * | 2020-04-03 | 2023-02-08 | Smith&Nephew, Inc. | Methods for arthroscopic surgery video segmentation and devices therefor |
EP4413941A1 (en) * | 2021-09-10 | 2024-08-14 | Anaut Inc. | Inference device, information processing method, and computer program |
DE102022204170A1 (de) | 2022-04-28 | 2023-11-02 | Siemens Healthcare Gmbh | Bereitstellen zumindest eines Prozedurparameters |
CN115363752B (zh) * | 2022-08-22 | 2023-03-28 | 华平祥晟(上海)医疗科技有限公司 | 智能手术路径指引系统 |
CN118538372B (zh) * | 2024-07-25 | 2024-09-17 | 四川省肿瘤医院 | 基于多模态大模型的术中信息提取方法和手术引导系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070078678A1 (en) * | 2005-09-30 | 2007-04-05 | Disilvestro Mark R | System and method for performing a computer assisted orthopaedic surgical procedure |
US20130211232A1 (en) * | 2012-02-01 | 2013-08-15 | The Johns Hopkins University | Arthroscopic Surgical Planning and Execution with 3D Imaging |
KR20140136517A (ko) * | 2012-05-02 | 2014-11-28 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록 |
US20140081659A1 (en) * | 2012-09-17 | 2014-03-20 | Depuy Orthopaedics, Inc. | Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking |
US9754371B2 (en) | 2014-07-31 | 2017-09-05 | California Institute Of Technology | Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition |
US20170083666A1 (en) * | 2015-09-22 | 2017-03-23 | Novartis Ag | Presurgical planning for use during surgical procedure |
EP3355769A4 (en) * | 2015-09-28 | 2020-02-05 | Montefiore Medical Center | METHODS AND DEVICES FOR PEROPERATORY VIEWING OF 3D PATIENT SURFACE IMAGES |
WO2018060304A1 (en) * | 2016-09-30 | 2018-04-05 | Koninklijke Philips N.V. | Anatomical model for position planning and tool guidance of a medical tool |
US10918445B2 (en) * | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
US9836654B1 (en) * | 2017-02-28 | 2017-12-05 | Kinosis Ltd. | Surgical tracking and procedural map analysis tool |
-
2018
- 2018-05-09 DE DE102018111180.0A patent/DE102018111180B4/de active Active
-
2019
- 2019-04-22 JP JP2019080872A patent/JP6876090B2/ja active Active
- 2019-05-08 US US16/406,696 patent/US11439466B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
DE102018111180A1 (de) | 2019-11-14 |
DE102018111180B4 (de) | 2023-01-05 |
JP2020062372A (ja) | 2020-04-23 |
US20190343588A1 (en) | 2019-11-14 |
US11439466B2 (en) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6876090B2 (ja) | 医療システムの作動方法及び外科手術を行うための医療システム | |
CN112220562B (zh) | 手术期间使用计算机视觉增强手术工具控制的方法和系统 | |
US20220334787A1 (en) | Customization of overlaid data and configuration | |
AU2019352792B2 (en) | Indicator system | |
JP2022184961A (ja) | 自動内視鏡ビデオ拡張 | |
JP2024521721A (ja) | 手術シミュレーション物体修正システム | |
O'Sullivan et al. | Operational framework and training standard requirements for AI‐empowered robotic surgery | |
US20220233229A1 (en) | Method and system for controlling a surgical hf generator, and software program product | |
EP4437931A1 (en) | Surgery assisting system, surgery assisting method, and surgery assisting program | |
JP2022545355A (ja) | 医療機器を識別、ラベル付け、及び追跡するためのシステム及び方法 | |
CN116097287A (zh) | 计算机程序、学习模型的生成方法、手术辅助装置以及信息处理方法 | |
CN117877741A (zh) | 多模态手术大模型系统、交互方法、电子设备和存储介质 | |
CN118575203A (zh) | 使用机器学习检测和区分外科手术中的关键结构 | |
WO2022219491A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
JP2022146941A (ja) | 内視鏡用途のための訓練データを生成するための方法、システム、及びソフトウェアプログラム製品 | |
JP2011212099A (ja) | 解剖図生成方法、装置及びプログラム | |
CN117546253A (zh) | 协作以增加复杂数据馈送的有效感知的混合现实反馈系统 | |
CN117480562A (zh) | 外科视野中选择性和可调节的混合现实叠加 | |
CN117461093A (zh) | 基于触发事件来改变外科视野的显示叠加项的系统和方法 | |
CN118160044A (zh) | 叠加数据和配置的定制 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6876090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE Ref document number: 6876090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |