Nothing Special   »   [go: up one dir, main page]

JP6876090B2 - 医療システムの作動方法及び外科手術を行うための医療システム - Google Patents

医療システムの作動方法及び外科手術を行うための医療システム Download PDF

Info

Publication number
JP6876090B2
JP6876090B2 JP2019080872A JP2019080872A JP6876090B2 JP 6876090 B2 JP6876090 B2 JP 6876090B2 JP 2019080872 A JP2019080872 A JP 2019080872A JP 2019080872 A JP2019080872 A JP 2019080872A JP 6876090 B2 JP6876090 B2 JP 6876090B2
Authority
JP
Japan
Prior art keywords
data
intraoperative
artificial intelligence
image data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019080872A
Other languages
English (en)
Other versions
JP2020062372A (ja
Inventor
トルステン ユルゲンス
トルステン ユルゲンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Winter and Ibe GmbH
Original Assignee
Olympus Winter and Ibe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Winter and Ibe GmbH filed Critical Olympus Winter and Ibe GmbH
Publication of JP2020062372A publication Critical patent/JP2020062372A/ja
Application granted granted Critical
Publication of JP6876090B2 publication Critical patent/JP6876090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Urology & Nephrology (AREA)
  • Fuzzy Systems (AREA)
  • Robotics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

発明の詳細な説明
本発明は、少なくとも1つの人工知能を備えた外科手術を行うための医療システムの作動方法に関する。さらに、本発明は、外科手術を行うための医療システムに関する。
医療システムは一般的に、様々な設計が知られている。医療システムとしては例えば、手術室における専門的な医療機器が挙げられる。最新の手術室においては、手術の様子を記録するためのカメラや、内視鏡等の多様な手術器具、X線装置等の医療用撮像機器等がある。また、例えばMRT又はCT画像等の術前に記録された検査結果を表示することが可能な再生装置もよく知られている。
個々の医療機器においては、人工知能がますます使用されている。人工知能は、外部からの特定の入力に対する行動又は反応が人間の知性と同様に機能する、コンピュータ装置において実行されるユニットとして理解されるべきである。この文脈において、「人工知能」という用語は、例えば機械学習、対象物の機械的な視覚及び認識、音声認識及び音声処理、ならびにロボティクスも含む。
機械学習は、関連する評価に加えて、大量の状況又はプロセスを用いて可能な限り高度な評価を達成するためにどのように挙動すべきかを自立して学習できる人工知能である。評価は、人工知能に命令してもよく、あるいは公知の評価基準を用いて人工知能により決定されてもよく、あるいは人工知能そのものにより確認されてもよい。このため、人工知能は、それぞれの状況に応じた最適なシステム動作の知識を蓄積して有する。
対象物の機械的視覚及び認識とは、例えば画像から対象物を抽出すること及び/又は(抽出された)対象物を特定のカテゴリーへ割り当てることが挙げられる。音声処理は例えば、単語を独立して認識すること及び/又は自由な発話文から命令や動作指示を認識することを含む。
人工知能を使用する前に、人工知能を学習させるのが一般的である。事前に人工知能に対して専用の学習をさせ、使用中には変更を加えないことも多い。しかしながら、評価結果を確定すると同時に人工知能がその評価結果を評価し、その評価を用いて人工知能が自身を再学習させることも一般的である。
本発明の目的は、人工知能の使用を向上させる医療システムの作動方法を提供することである。
この目的は、少なくとも1つの人工知能を備えた外科手術を行うための医療システムの作動方法により解決される。本作動方法は、システムが術中人工知能及び出力部を備え、術中人工知能には術前出力データ及び術中データが供給され、術前出力データ及び術中データは術中人工知能により処理されることを特徴とし、術中人工知能からの出力データは、術中人工知能からの出力データに基づきユーザ出力を提供する出力部へと出力されることを特徴とする。
術前出力データは、機械的に前処理された結果であってもよく、手作業で前処理された結果であってもよい。
有利な実施形態によれば、本作動方法はさらに、本システムが術前人工知能を備え、術前データは、術前人工知能へ供給されて該術前人工知能により処理され、術前出力データとして出力され、術前出力データが術中人工知能へ供給されることを特徴とする。
好適には、医療従事者を最適に支援するために、様々な人工知能が互いに組み合わされる。医療システムは、人工知能によって術前データ及び術中データを互いに最適に組み合わせたユーザ出力を送出する。
使用される人工知能は、必要性や用途に応じて選択及び指定可能である。第1の人工知能及び第2の人工知能の種類は、同じであってもよく、違っていてもよい。例えば、人工知能は、人工ニューラルネット又はネットワーク(人工ニューラルネットワーク)、サポートベクターマシン、決定木、ベイジアンビリーフネットワーク、いわゆるk近傍法、自己組織化マップ、事例ベース推論、例に基づく学習、又はいわゆる隠れマルコフモデルとして設計され得る。当然ながら、これらの設計を組み合わせることも可能である。
一実施形態によれば、術前人工知能及び術中人工知能に係る人工知能は、人工ニューラルネットワークとして設計される。特に、ディープニューラルネットワーク(DNN)が使用される。具体的には、画像データ又は音響データもこのような人工知能により効果的に処理することができる。同様に、複数のニューラルネットワークを備えた単一の人工知能を装備することも可能であり、この場合、異なる種類のネットワークを使用し、互いに組み合わせることもできる。
有利な実施形態によれば、本作動方法はさらに、術前データが少なくとも1つの医療用撮像装置の第1の画像データを含み、術前人工知能が第1の画像データに存在する解剖学的構造及び/又は病理学的構造に関連して第1の画像データを処理し、解剖学的構造を特徴付ける解剖学的構造データ及び/又は病理学的構造を特徴付ける病理学的構造データを術前出力データとして出力することを特徴とする。
術前人工知能は、例えばCT又はMRT画像データである術前の第1の画像データから情報を抽出する。外科手術中に医療従事者を最適に支援するために、特に生理学的又は病理学的構造を画像データにおいて直接識別することができる。別の実施形態によれば、術前人工知能はまた、術前データとしての医師の文書又は所見に係るデータを分析することができる。特に、該分析は画像データの分析と組み合わせることができる。例えば、所見又は医師の文書に示された病理学的構造を画像データの中で識別することが可能である。
別の実施形態によれば、本作動方法はさらに、術中データが第2の画像データを含み、術中人工知能は第2の画像データを処理し、第2の画像データに注記が加えられ、第2の画像データは拡張現実を伴う画像データへと処理され、ユーザ出力として提供されることを特徴とする。
術中人工知能は、例えば、手術室に設置された1台以上のカメラによって記録されたリアルタイム画像から情報を抽出する。これらの画像を処理して拡張現実を伴う画像にすることにより、医療従事者が術野での方向付けをしやすくなる。さらに、記録された画像の対応する対象物又は領域に色を付ける又はコメントを付すことにより、個別かつ状況に応じた支援を行うことができる。
別の実施形態によれば、術中人工知能が解剖学的構造データ及び/又は病理学的構造データに関連した追加情報を注記に追加する場合に、本方法は特に有利である。このため、術前人工知能により出力された解剖学的構造データ及び/又は病理学的構造データは、拡張現実を伴う画像データ出力の中でコメントとしてユーザへ提供可能である。解剖学的構造又は病理学的構造は、例えばリアルタイム画像の中に印を付され得る、又は説明が提示され得る。
この文脈において、本作動方法が以下の特徴をさらに有する場合、より有利である。すなわち、術中人工知能が第2の画像データを処理し、第2の画像データにおいてインジケータ認識及び/又はオブジェクト認識を行い、術中人工知能がインジケータ認識の結果を付加的に考慮しながら解剖学的構造データ及び/又は病理学的構造データに基づき注記へ追加情報を加える場合、より有利である。
術中人工知能が付加的なインジケータ認識の結果を考慮するため、注記へ供給された情報はさらに改善又は拡張され得る。この文脈において「インジケータ認識」とはオブジェクト認識、及びいわゆる「ランドマーク認識」として理解されるべきであり、すなわち画像データ中の特定の表示を認識するものとして理解されるべきである。
別の実施形態によれば、本作動方法はさらに、術中データが、術中に操作される少なくとも1つの医療装置のパラメータ及び/又は操作データを含み、術中人工知能が術中に操作される少なくとも1つの医療装置のパラメータ及び/又は操作データに関する追加情報を注記へ追加することを特徴とする。
パラメータ及び操作データとしては、例えば選択された処理の効果、使用される手術器具の温度、動作電圧、電流強度等が挙げられる。医療装置に関するこれらのパラメータ及び/又は操作データは、特に、拡張現実を伴う画像データへ注記として追加可能である。しかしながら、該操作データ又はパラメータを術中人工知能により処理し、特定の状況において顕著な逸脱が確定した場合に、例えば警告を発することもできる。そのような警告メッセージの出力は、所望のユーザインタフェース又は所望のユーザ出力部を介して音響的に又は視覚的に行うことが可能である。
別の実施形態によれば、術中人工知能は、第2の画像データ中で視認でき、かつ術中に使用される少なくとも1つの手術器具に関して、第2の画像データを処理可能であり、手術器具は器具特徴データを生成し、使用される手術器具に関連した情報を注記に追加する。
術中に使用される手術器具を認識することにより、様々な追加的補助又は支援機能を提供することが可能となる。例えば、術中に検出された画像データにおいて選択した器具が不適切である可能性があると認識された場合に、器具の変更を提案することができる。この文脈において、使用される手術器具は画像データを評価することにより認識される。つまり、医療器具又は手術器具の少なくとも部分又は一部が画像データにおいて撮像されていれば、器具を認識することができる。
別の有利な実施形態によれば、本作動方法はさらに、術中人工知能が第2の画像データを処理し、外科手術の方法ステータスが認識され、外科手術の方法ステータスに関する追加情報が注記へ追加されるという特徴を有する。
方法ステータス、すなわち外科手術の現段階を認識し分析することにより、特に安全面及び品質面の管理が実現可能である。例えば、特定の外科手術の典型的な進行具合から顕著に逸脱していると判定された場合、警告メッセージが出力される。
別の有利な実施形態によれば、術中データは術中に操作される少なくとも1つの医療装置のパラメータ及び/又は操作データを含み、術中人工知能は該パラメータ及び/又は操作データを処理し、少なくとも1つの医療装置の操作状態及び/又は構成を特徴付けるデバイス情報をユーザ出力として提供する。
デバイス情報は、例えば拡張現実を伴う画像データにおいてコメントとして出力されるか、又は他の所望の出力部上に出力される。
この文脈において、別の実施形態によれば、術中人工知能が解剖学的構造データ及び/又は病理学的構造データを付加的に考慮してデバイス情報を生成する場合、特に有利である。
別の有利な実施形態によれば、本作動方法は、術中人工知能が第2の画像データを処理し、外科手術の方法ステータスが認識され、外科手術の方法ステータスを付加的に考慮してデバイス情報が生成されることをさらに特徴とする。
デバイス情報と組み合わせて外科手術の方法ステータスを処理することにより、外科手術を記録することができ、これにより品質管理を簡易化することが可能となる。
作動方法はさらに、個々の処理ステップが異なるAIモジュールにおいて実行されるという特徴を特に有する。
術中人工知能の個々のAIモジュールにおいて実行される処理ステップは例えば、実施された外科手術の段階又は状態の認識と、注記付き画像データの提供と、ユーザ支援の提供と、特定の識別子の認識と、オブジェクト認識と、術中解剖学的構造及び病理学的構造の認識の実施と、器具認識の実施と、デバイスデータの処理と、深度計算の実施とが挙げられる。
術前人工知能の個々のAIモジュールにおいて実行される処理ステップは例えば、解剖学的構造の認識及び術前病理認識の実施である。
特に、術中人工知能及び術前人工知能はAIモジュールとして考えることができる。
別の有利な実施形態によれば、本作動方法はさらに、複数の個々のAIモジュールを組み合わせて1つのモジュール群とし、第1のAIモジュールの出力データが第2のAIモジュールへ入力データとして供給されるようにAIモジュール同士が関連付けられることを特徴とする。
好適には、個々のモジュールを所望に応じて互いに組み合わせることができるため、人工知能の使用は非常に応用性がある。
本発明の目的はまた、外科手術を行うための医療システムにより解決され、該システムは、異なる処理ステップにおいて術中データを処理するように構成される複数のAIモジュールを備え、該AIモジュールは、第1のAIモジュールの出力データが入力データとして第2のAIモジュールに供給されるようにAIモジュール同士が関連付けられることを特徴とする。
作動方法に関連して先にすでに述べた利点と同一又は類似の利点がこの医療システムにも適用されるため、繰り返し説明することを省略する。
本発明のさらなる特徴は、特許請求の範囲及び添付の図面とともに、本発明に係る実施形態の説明から明らかになるであろう。本発明の実施形態は、個々の特徴又は複数の特徴の組み合わせで実現することが可能である。
本発明は、本発明の概念を制限することなく、図面を参照して例示的実施形態に基づき以下に説明される。これにより記述により詳細に説明されていない本発明の全詳細の開示に関連して、図面を明示的に参照するものとする。
図面において、同一又は類似の要素及び/又は部分は常に同一の参照符号を付す。従って繰り返し説明することを省略する。
外科手術を行うための医療システムの概略的な簡易ブロック図の第1の部分を示す。 外科手術を行うための医療システムの概略的な簡易ブロック図の第2の部分を示す。
図1は、医療システム2の概略的な簡易ブロック図を示し、システム2の一部分のみが図1に示されている。医療システム2の図示されている部分は、符号D1として全体が示される術前データD1_1〜D1_4が存在する術前データソース4を備える。また術前人工知能K1も存在する。術前人工知能K1は第1のAIモジュールK1_1と第2のAIモジュールK1_2とを備える。
術前人工知能K1は、図2に示す医療システム2の各部又はブロックに接続されている。図2は、術中人工知能K2、術中データソース6、出力部8の概略的な簡略化ブロック図を示す。術中データソース6は、異なる術中データD2_1〜D2_8を備える。術中人工知能K2は、AIモジュールK2_1〜K2_9を備える。出力部8は、出力モジュール8_1〜8_3を備える。
地点P1、P2、P3へのデータ転送は、医療システム2の図1に示す部分から医療システム2の図2に示す部分に向けて行われる。
術前人工知能K1(第1AIモジュールK1_1及び第2AIモジュールK1_2も同様)ならびに術中人工知能K2(当然ながら、AIモジュールK2_1〜K2_9も同様)は、必要性や用途に応じて選択され、互いに組み合わされる人工知能である。例えば人工知能は、人工ニューラルネット又はネットワーク、サポートベクターマシン、決定木、ベイジアンビリーフネットワーク、自己組織化マップ、事例ベース推論又は例に基づく学習のためのネットワーク、又はいわゆる隠れマルコフモデルとして設計された人工知能であり得る。
医療システム2は外科手術を行うように構成される。このため、医療システムは、内視鏡等の手術器具を備える。
術前データD1は術前人工知能K1へ供給される。術前データD1は例えば手術計画D1_1である。さらに、術前データD1は、医療的画像検査法の結果であってもよく、例えばCT画像からの画像データD1_2、MRT画像からの画像データD1_3、又は医師からの紹介状D1_4であってもよい。術前データD1_1〜D1_4はまた、患者データを含み得る。
手術計画D1_1は、転送地点P1を介して術中人工知能K2に直接転送される。通常の術前データD1_2〜D2_4は術前人工知能K1のAIモジュールK1_1及びK1_2へ供給される。
術前人工知能K1は例えば、AIモジュールK1_1として、解剖学的構造の認識のための人工知能を備える。術前人工知能K1は例えば、第2のAIモジュールK1_2として術前病理学的構造の認識のための人工知能を備える。術前データD1_2〜D1_4はAIモジュールK1_1とK1_2の両方に供給される。AIモジュールK1_1の結果は転送地点P2を介して術中人工知能K2へ転送される。同様に、第2のAIモジュールK1_2の結果は転送地点P3を介して術中人工知能K2へ転送される。
術前人工知能K1によって処理されたデータは、転送地点P2及びP3を介して術前出力データとして出力され、術中人工知能K2によって入力データとして受信される。これらのデータに加え、術中人工知能K2は術中データD2も処理する。
術中データD2は例えば、手術室のカメラからの画像データD2_1及びD2_2、又は手術台のライブ画像を提供するカメラからの画像データD2_3である。さらに、術中データD2は内視鏡カメラからの画像データD2_4であってもよい。したがって、医療システムは、術中データソースとして様々なカメラを備える。
画像データに加えて、術中データD2はまた、例えば電気手術用発電機からのデータも含み、電気手術用発電機の設定及びパラメータD2_5と、デバイス情報D2_6とを明確に区別する。同様に、術中データD2は超音波発生器からのデータを含むことが可能であり、ここでも設定及びパラメータD2_7とデバイス情報D2_8とを区別する。
術中人工知能K2は、識別子又は注記を伴うライブ画像をユーザ出力として、例えばスクリーンであり得る第1の出力モジュール8_1へ送出する。これらは、具体的には、現実を拡張した描写(拡張現実)を伴うライブ画像である。例えば、電気手術用発電機のパラメータ又は超音波発生器の設定は、スクリーン又はディスプレイであり得る他の出力モジュール8_2、8_3上に表示される。
データは様々なAIモジュールK2_1〜K2_9により、術中人工知能において処理される。術中人工知能は、実施された外科手術の段階又は状態を認識するように構成された第1のAIモジュールK2_1をAIモジュールとして備える。このAIモジュールK2_1は、手術計画D1_1の形態で術前データを受信する。さらに、AIモジュールK2_1は手術室のカメラから得た画像データD2_1及びD2_2と、手術台のカメラから得た画像データD2_3とを受信する。これはライブデータであってもよい。医療処置の段階を認識するAIモジュールK2_1はその結果を、注記を伴う画像データを提供するように構成されたAIモジュールK2_2(「アノテーションエンジン」とも呼ばれる)へ送信する。このAIモジュールK2_2は、例えばデータをスクリーン8_1へ送信し、スクリーン8_1は、例えば手術台に向けられたカメラからの注記を伴うライブ画像を再生する。つまり、術中データソースD2_3からのデータは、AIモジュールK2_1により処理された後、AIモジュールK2_2において注記が提供され、その後スクリーン8_1に表示される。
AIモジュールK2_1は、ユーザ支援を提供するAIモジュールK2_3(「アシスタンスエンジン」と呼ばれることも多い)にもその結果を送信する。AIモジュールK2_3は、出力として、スクリーン又はディスプレイ8_2、8_3に映され、かつ、電気手術用発電機又は超音波発生器の設定又は状態に関連するデータを送出する。
AIモジュールK2_1は、特定の識別子の認識(「ランドマーク認識」と呼ばれることも多い)が行われるAIモジュールK2_4にも、その結果を送信する。また、該AIモジュールK2_4は、使用される内視鏡から得たライブ画像である画像データD2_4の形態で術中データを受信する。AIモジュールK2_1は、オブジェクト認識を行うAIモジュールK2_5にもデータを送信する。オブジェクト認識を行うAIモジュールK2_5はさらに、カメラ画像データD2_1〜D2_3の形態をとる術中データを受信する。AIモジュールK2_4は、その結果を、術中解剖学的構造及び病理学的構造の認識を行う別のAIモジュールK2_6へ送信する。このAIモジュールからの結果もAIモジュールK2_2及びAIモジュールK2_3へ供給される。AIモジュールK2_5は、その結果を、例えば内視鏡により提供された画像データにおいて器具認識を行う別のAIモジュールK2_7にも送信する。このAIモジュールK2_7は、術中データD2_4の形態で内視鏡からのライブ画像も受信する。結果はAIモジュールK2_2へ提供される。
使用される医療機器、すなわち、例示的な場合においては電気手術用発電機及び超音波発生器に関連する全てのデータは、デバイスデータの処理を行うAIモジュールK2_8へ供給される。したがって、AIモジュールK2_8は、術中データ2_5〜D2_8を受信する。結果は、ここでも、該AIモジュールからAIモジュールK2_2及びAIモジュールK2_3へ供給される。さらに、内視鏡ライブ画像D2_4を用いて、AIモジュールK2_9により深度計算が行われ、この結果はAIモジュールK2_6へ供給される。
術中人工知能K2の個々のAIモジュールK2_1〜K2_9は、所望に応じて互いに組み合わせ可能であり、関連付けて群とすることが可能である。術前人工知能K1の個々のAIモジュールK1_1及びK1_2にも同じことが言える。
図面のみから把握されるものを含め、記載される全ての特徴、ならびに、他の特徴との組み合わせにて開示されている個々の特徴は、単独であっても組み合わせであっても、本発明において重要なものとして考えられる。本発明の実施形態は、個々の特徴あるいはいくつかの特徴の組み合わせによって実現され得るものである。本発明の範囲内において、「特に」「具体的に」又は「好ましくは」を用いて示された特徴は、任意の特徴として理解される。
2…医療システム、4…術前データソース、6…術中データソース、8…出力部、8_1〜8_3…出力モジュール、K1_1、K1_2…AIモジュール、K1…術前人工知能、K2_1〜K2_9…AIモジュール、K2…術中人工知能、D1_1〜D1_4…術前データ、D1…術前データ、D2_1〜D2_8…術中データ、D2…術中データ、P1、P2,P3…転送地点。

Claims (12)

  1. 少なくとも1つの人工知能(K1、K2)を備えた外科手術を行うための医療システムの作動方法であって、
    前記システムは、術前人工知能(K1)、術中人工知能(K2)及び出力部(8)を備え、
    少なくとも1つの医療用撮像装置の第1の画像データを含む術前データ(D1)が、前記術前人工知能(K1)に供給され、
    前記術前人工知能(K1)は、前記第1の画像データに存在する解剖学的構造及び/又は病理学的構造に関連して前記第1の画像データを処理し、前記解剖学的構造を特徴付ける解剖学的構造データ及び/又は前記病理学的構造を特徴付ける病理学的構造データを術前出力データとして出力し、
    前記術中人工知能(K2)に対して前記術前出力データ及び第2の画像データを含む術中データ(D2)が供給され、
    前記術前出力データ及び前記術中データ(D2)は前記術中人工知能(K2)によって処理され前記第2の画像データに注記が加えられ、
    前記第2の画像データにおいてインジケータ認識及び/又はオブジェクト認識が行われ、
    前記術中人工知能(K2)は、前記インジケータ認識の結果を付加的に考慮して、前記解剖学的構造データ及び/又は前記病理学的構造データに基づいて追加情報を前記注記に追加し、
    前記術中人工知能(K2)からの出力データは、前記出力部(8)へ出力され、前記出力部(8)は、前記術中人工知能(K2)からの前記出力データに基づいてユーザ出力を提供することを特徴とする、作動方法。
  2. 記第2の画像データは拡張現実を伴う画像データへと処理され、ユーザ出力として提供されることを特徴とする、請求項1に記載の作動方法。
  3. 前記術中人工知能(K2)は、前記解剖学的構造データ及び/又は前記病理学的構造データに関連する追加情報を前記注記に追加することを特徴とする、請求項1又は2に記載の作動方法。
  4. 前記術中データ(D2)は、術中に操作される少なくとも1つの医療装置のパラメータ及び/又は操作データを含み、前記術中人工知能(K2)は術中に操作される前記少なくとも1つの医療装置の前記パラメータ及び/又は前記操作データについての追加情報を前記注記に追加することを特徴とする、請求項1〜3のいずれか一項に記載の作動方法。
  5. 前記術中人工知能(K2)は、前記第2の画像データにおいて視認可能であり術中に使用される少なくとも1つの手術器具に関して前記第2の画像データを処理し、前記術中人工知能(K2)は、器具特徴データを生成し、使用された前記手術器具に関連した情報を前記注記に追加することを特徴とする、請求項1〜4のいずれか一項に記載の作動方法。
  6. 前記術中人工知能(K2)は、前記第2の画像データを処理し、外科手術の方法ステータスが認識され、前記外科手術の方法ステータスに関連した追加情報が前記注記に追加されることを特徴とする、請求項1〜5のいずれか一項に記載の作動方法。
  7. 前記術中データ(D2)は、術中に操作される少なくとも1つの医療装置のパラメータ及び/又は操作データを含み、前記術中人工知能(K2)は前記パラメータ及び/又は操作データを処理し、前記少なくとも1つの医療装置の作動状態及び/又は構成を特徴付けるデバイス情報をユーザ出力として提供することを特徴とする、請求項1〜のいずれか一項に記載の作動方法。
  8. 前記術中人工知能(K2)は、解剖学的構造データ及び/又は病理学的構造データを付加的に考慮して前記デバイス情報を生成することを特徴とする、請求項に記載の作動方法。
  9. 前記術中人工知能(K2)は、前記第2の画像データを処理し、外科手術の方法ステータスが認識され、前記外科手術の方法ステータスを付加的に考慮して前記デバイス情報が生成されることを特徴とする、請求項又はに記載の作動方法。
  10. 個々の処理ステップが異なるAIモジュールにおいて実行されることを特徴とする、請求項1〜のいずれか一項に記載の作動方法。
  11. 複数の別個のAIモジュールを組み合わせて1つのモジュール群とし、第1のAIモジュールの出力データが第2のAIモジュールへ入力データとして供給されるようにAIモジュール同士が関連付けられることを特徴とする、請求項10に記載の作動方法。
  12. 外科手術を行うための、請求項1〜11のいずれか一項に記載の作動方法により作動するように構成される医療システムであって、前記医療システム、異なる処理ステップにおいて術中データ(D2)を処理するように構成された複数のAIモジュールを備え、
    第1のAIモジュールの出力データが第2のAIモジュールへ入力データとして供給されるように前記複数のAIモジュールが関連付けられる、医療システム。
JP2019080872A 2018-05-09 2019-04-22 医療システムの作動方法及び外科手術を行うための医療システム Active JP6876090B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018111180.0A DE102018111180B4 (de) 2018-05-09 2018-05-09 Betriebsverfahren für ein medizinisches System und medizinisches System zum Durchführen eines chirurgischen Eingriffs
DE102018111180.0 2018-05-09

Publications (2)

Publication Number Publication Date
JP2020062372A JP2020062372A (ja) 2020-04-23
JP6876090B2 true JP6876090B2 (ja) 2021-05-26

Family

ID=68336616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019080872A Active JP6876090B2 (ja) 2018-05-09 2019-04-22 医療システムの作動方法及び外科手術を行うための医療システム

Country Status (3)

Country Link
US (1) US11439466B2 (ja)
JP (1) JP6876090B2 (ja)
DE (1) DE102018111180B4 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4107748A1 (en) 2020-02-20 2022-12-28 Smith&Nephew, Inc. Methods for arthroscopic video analysis and devices therefor
EP4128149A1 (en) * 2020-04-03 2023-02-08 Smith&Nephew, Inc. Methods for arthroscopic surgery video segmentation and devices therefor
EP4413941A1 (en) * 2021-09-10 2024-08-14 Anaut Inc. Inference device, information processing method, and computer program
DE102022204170A1 (de) 2022-04-28 2023-11-02 Siemens Healthcare Gmbh Bereitstellen zumindest eines Prozedurparameters
CN115363752B (zh) * 2022-08-22 2023-03-28 华平祥晟(上海)医疗科技有限公司 智能手术路径指引系统
CN118538372B (zh) * 2024-07-25 2024-09-17 四川省肿瘤医院 基于多模态大模型的术中信息提取方法和手术引导系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070078678A1 (en) * 2005-09-30 2007-04-05 Disilvestro Mark R System and method for performing a computer assisted orthopaedic surgical procedure
US20130211232A1 (en) * 2012-02-01 2013-08-15 The Johns Hopkins University Arthroscopic Surgical Planning and Execution with 3D Imaging
KR20140136517A (ko) * 2012-05-02 2014-11-28 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9754371B2 (en) 2014-07-31 2017-09-05 California Institute Of Technology Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition
US20170083666A1 (en) * 2015-09-22 2017-03-23 Novartis Ag Presurgical planning for use during surgical procedure
EP3355769A4 (en) * 2015-09-28 2020-02-05 Montefiore Medical Center METHODS AND DEVICES FOR PEROPERATORY VIEWING OF 3D PATIENT SURFACE IMAGES
WO2018060304A1 (en) * 2016-09-30 2018-04-05 Koninklijke Philips N.V. Anatomical model for position planning and tool guidance of a medical tool
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US9836654B1 (en) * 2017-02-28 2017-12-05 Kinosis Ltd. Surgical tracking and procedural map analysis tool

Also Published As

Publication number Publication date
DE102018111180A1 (de) 2019-11-14
DE102018111180B4 (de) 2023-01-05
JP2020062372A (ja) 2020-04-23
US20190343588A1 (en) 2019-11-14
US11439466B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
JP6876090B2 (ja) 医療システムの作動方法及び外科手術を行うための医療システム
CN112220562B (zh) 手术期间使用计算机视觉增强手术工具控制的方法和系统
US20220334787A1 (en) Customization of overlaid data and configuration
AU2019352792B2 (en) Indicator system
JP2022184961A (ja) 自動内視鏡ビデオ拡張
JP2024521721A (ja) 手術シミュレーション物体修正システム
O'Sullivan et al. Operational framework and training standard requirements for AI‐empowered robotic surgery
US20220233229A1 (en) Method and system for controlling a surgical hf generator, and software program product
EP4437931A1 (en) Surgery assisting system, surgery assisting method, and surgery assisting program
JP2022545355A (ja) 医療機器を識別、ラベル付け、及び追跡するためのシステム及び方法
CN116097287A (zh) 计算机程序、学习模型的生成方法、手术辅助装置以及信息处理方法
CN117877741A (zh) 多模态手术大模型系统、交互方法、电子设备和存储介质
CN118575203A (zh) 使用机器学习检测和区分外科手术中的关键结构
WO2022219491A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
JP2022146941A (ja) 内視鏡用途のための訓練データを生成するための方法、システム、及びソフトウェアプログラム製品
JP2011212099A (ja) 解剖図生成方法、装置及びプログラム
CN117546253A (zh) 协作以增加复杂数据馈送的有效感知的混合现实反馈系统
CN117480562A (zh) 外科视野中选择性和可调节的混合现实叠加
CN117461093A (zh) 基于触发事件来改变外科视野的显示叠加项的系统和方法
CN118160044A (zh) 叠加数据和配置的定制

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210423

R150 Certificate of patent or registration of utility model

Ref document number: 6876090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE

Ref document number: 6876090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250