CN111741729B - 手术最优化方法以及装置 - Google Patents
手术最优化方法以及装置 Download PDFInfo
- Publication number
- CN111741729B CN111741729B CN201980014409.XA CN201980014409A CN111741729B CN 111741729 B CN111741729 B CN 111741729B CN 201980014409 A CN201980014409 A CN 201980014409A CN 111741729 B CN111741729 B CN 111741729B
- Authority
- CN
- China
- Prior art keywords
- surgical
- information
- computer
- tool
- body surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title abstract description 88
- 238000005457 optimization Methods 0.000 title description 15
- 230000009471 action Effects 0.000 claims abstract description 117
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 238000004088 simulation Methods 0.000 claims description 37
- 210000000056 organ Anatomy 0.000 claims description 26
- 208000005646 Pneumoperitoneum Diseases 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- 238000003780 insertion Methods 0.000 claims 1
- 230000004044 response Effects 0.000 claims 1
- 108090000623 proteins and genes Proteins 0.000 abstract description 152
- 238000001356 surgical procedure Methods 0.000 abstract description 116
- 230000002068 genetic effect Effects 0.000 abstract description 33
- 238000011156 evaluation Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 23
- 238000002432 robotic surgery Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 238000002357 laparoscopic surgery Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000005520 cutting process Methods 0.000 description 9
- 238000002324 minimally invasive surgery Methods 0.000 description 9
- 239000000470 constituent Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 210000001835 viscera Anatomy 0.000 description 6
- 230000035772 mutation Effects 0.000 description 5
- 101150073444 rd gene Proteins 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 108091027544 Subgenomic mRNA Proteins 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000002673 radiosurgery Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 101150084750 1 gene Proteins 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 206010064571 Gene mutation Diseases 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002716 delivery method Methods 0.000 description 2
- 230000023597 hemostasis Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 206010039580 Scar Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/32—Surgical robots operating autonomously
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Biology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Genetics & Genomics (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Urology & Nephrology (AREA)
Abstract
提供一种计算机执行的最优化的手术方法。所述方法包括如下步骤:基于由至少一个细部手术动作组成的手术过程来生成与所述手术过程对应的多个基因;对所述多个基因中的每一个基因执行虚拟手术来评价是否是最优化的手术;基于所述评价结果选择所述多个基因中的至少一个基因来应用遗传算法;以及应用所述遗传算法来生成新的基因,基于所述新的基因导出最优的手术过程。
Description
技术领域
本发明涉及一种手术最优化方法以及装置。
背景技术
近来,积极进行将虚拟现实应用于医疗手术仿真领域的研究。
医疗手术可以分为开腹手术(open surgery)、包括腹腔镜手术以及机器人手术的微创手术(MIS:Minimally Invasive Surgery)、放射手术(radio surgery)等。开腹手术是指医护人员直接看到并触摸待治疗的部分而执行的手术,微创手术也称为锁孔手术(keyhole surgery),典型的是腹腔镜手术和机器人手术。腹腔镜手术不进行开腹,而在所需部分开一个小孔将附有特殊相机的腹腔镜和手术工具插入到体内并通过视频监视器进行观测,利用激光或者特殊工具来进行显微手术。此外,机器人手术是利用手术机器人来执行微创手术的手术。此外,放射手术是指在体外用放射线或者激光进行手术治疗的手术。
现有的执行腹腔镜手术或者机器人手术时,将属于进入位置的锁孔(Keyhole)设定在一般的位置后执行手术。不反映患者的身体条件(例如,身体内部的器官布置特性和身体表面外形)、手术工具的长度或者自由度等而将手术工具通过一般的位置进入到体内,因此存在发生在身体内部手术动作不能正常执行的问题的情形。此外,执行微创手术时将手术工具以及相机进入到患者的身体内部来执行手术,因此由于身体内部结构而手术工具不适合移动的情况较多。
此外,在诸如上面提及的微创手术的医疗手术的情况下,在实际进行手术时应使用正确的动作和合适的工具来进行手术。因此,需要提供为了能够使用正确的动作和合适的工具执行手术的最优化的手术方法。
发明内容
技术问题
本发明期望解决的课题在于提供手术最优化方法以及装置。
本发明期望解决的课题在于提供利用遗传算法来导出最优化的手术过程的方法以及装置。
本发明期望解决的课题在于提供如下的方法以及装置,即,对由细部手术动作构成的手术过程应用遗传算法,从而提供由更加最优化的细部手术动作组成的手术过程。
本发明期望解决的课题在于提供如下的方法以及装置,即,提供最优化的手术工具。
本发明期望解决的课题在于提供如下的方法以及装置,即,提供手术工具的最优进入位置。
本发明期望解决的课题在于提供如下的方法以及装置,即,导出不受患者的身体内部空间上的限制或者因手术工具的特性导致的限制而执行最优化的手术动作的手术工具的结构。
本发明期望解决的课题在于提供如下的计算出手术工具的最优进入位置的方法以及装置,即,基于将显示在腹腔镜手术或者机器人手术时确认的画面上的手术工具的一部分(动作部)实现在虚拟人体模型后执行的手术仿真结果,计算出针对医护人员对患者手术部位执行手术动作的最优化的一个以上的进入位置,从而提高医护人员实际手术时的效率性和便利性。
本发明期望解决的课题并不限于以上提及的课题,本领域技术人员可以通过下面的记载而明确理解未提及的其他技术课题。
技术方案
根据本发明的一实施例的一种计算机执行的手术最优化方法,包括如下步骤:基于由至少一个细部手术动作组成的手术过程来生成与所述手术过程对应的多个基因;对所述多个基因中的每一个基因执行虚拟手术来评价是否是最优化的手术;基于所述评价结果选择所述多个基因中的至少一个基因来应用遗传算法;以及应用所述遗传算法来生成新的基因,基于所述新的基因来导出最优的手术过程。
根据本发明的一实施例的计算机执行的最优化的手术工具提供方法,可以包括如下步骤:获取生成为符合手术对象的身体状态的虚拟人体模型;在所述虚拟人体模型内利用手术工具对手术动作进行仿真;以及基于所述仿真结果导出在所述手术对象的身体内部空间适合应用通过所述手术工具执行的手术动作的所述手术工具的构成。
根据本发明的一实施例的计算机执行的手术工具的最优进入位置提供方法包括如下步骤:获取生成为符合手术对象的身体状态的虚拟人体模型;在所述虚拟人体模型内利用对所述手术对象的手术对象部位施加手术动作的手术工具的动作部来进行仿真;以及基于所述仿真结果计算出使通过所述动作部执行的手术动作能够应用于所述手术对象的内部空间中的所述手术对象的身体表面的最优进入位置。
根据本发明的一实施例的计算机执行的最优化的手术工具提供方法,包括如下步骤:获取生成为符合手术对象的身体状态的虚拟人体模型;在所述虚拟人体模型内对与所述手术对象的实际手术动作相应的手术动作进行仿真;以及基于仿真结果导出在所述手术对象的身体内部空间适合应用所述手术动作的手术工具或者手术机器人。
技术效果
根据本发明,通过应用遗传算法可以导出比在实际手术过程中执行的手术流程更提升的手术过程。
根据本发明,由于通过遗传算法导出包括最优化的手术过程的手术提示表数据,因此可以将其提供给实际医护人员。此外,实际医护人员可以在实际手术时使用最优化的手术提示表数据,且可以通过其执行更加正确的手术动作以及手术过程。
根据本发明,由于通过遗传算法导出包括最优化的手术过程的手术提示表数据,因此可以将这些在诸如深度学习的学习过程中作为学习数据来使用。
根据本发明,由于是反映了医护人员不考虑手术工具的进入位置和手术工具的臂部分的器官卡住而执行的手术仿真结果来决定手术工具的最优进入位置,因此使医护人员能够执行最方便的手术动作。
根据本发明,由于不利用一般的手术工具进入位置而是利用针对患者的身体条件最优化的最优进入位置,因此可以防止医护人员因器官布置特性或者手术工具的长度等在实际手术过程中特定的动作执行受到限制。
根据本发明,在用于手术的所有手术工具利用特定数量的手术工具进入位置来执行手术的情况下,可以决定针对所有手术工具最优化的多个手术工具进入位置。此外,可以在特定数量的最优进入位置中正确设定各个手术工具要进入的进入位置。此外,不仅是进入位置,可以根据手术工具的种类来最小化要进入的进入位置的数量。因此,可以获得减少患者的手术疤痕的效果。
根据本发明,在利用多个手术机器人或者特定的手术机器人内执行相同的动作(Action)的多个手术工具的情况下,可以建议最适合患者的身体条件以及医护人员的手术动作的手术机器人或者手术工具,从而使医护人员执行有效并快速的手术。
根据本发明,在手术机器人自身执行手术的情况下,通过各个手术工具的最佳进入位置的计算来使最优化的手术可被执行。
根据本发明,由于反映医护人员不考虑手术工具的进入位置和手术工具的臂部分的器官卡住而执行的手术仿真结果来决定具有最优的结构的手术工具,所以医护人员根据自身的手术动作模式来方便地操作手术工具。因此,整个手术过程能够被有效地执行,减少手术错误。
根据本发明,由于利用最优化的手术工具来执行手术,医护人员可以根据患者的器官布置特性或者手术工具的特性来防止在实际手术过程中特定的手术动作的执行受到限制。
本发明的效果并不限于以上提及的效果,本领域技术人员可以通过下面的记载而明确理解未提及的其他效果。
附图说明
图1是示出根据本发明的一实施例的手术最优化方法的流程图。
图2是示出用于说明根据本发明的一实施例的生成基因的过程的图。
图3是示出用于说明根据本发明的一实施例的作为应用遗传算法的示例的基因交配的过程的图。
图4是示出用于说明根据本发明的一实施例的作为应用遗传算法的示例的基因突变的过程的图。
图5是简要示出根据本发明的一实施例的能够执行机器人手术的系统的图。
图6是示意性示出根据本发明的一实施例的执行手术最优化方法的装置400的构成的图。
图7是简要示出根据本发明的一实施例的能够执行机器人手术的系统的图。
图8是示意性示出根据本发明的一实施例的最优化的手术工具提供方法的流程图。
图9是示意性示出根据本发明的另一实施例的最优化的手术工具提供方法的流程图。
图10是示意性示出根据本发明的一实施例的手术工具的最优进入位置提供方法的流程图。
图11是示意性示出根据本发明的一实施例的执行最优化的手术工具提供方法或者手术工具的最优进入位置提供方法的装置200的构成的图。
具体实施方式
参照与附图一起详细后述的实施例,则可以明确本发明的优点和特征以及达成这些的方法。然而本发明可以实现为互不相同的多种形态,并不限于以下公开的实施例,提供本实施例仅使本发明的公开完整并用于向本发明所属技术领域中的普通技术人员完整地告知发明范围,本发明仅由权利要求的范围所定义。
本说明书中使用的术语是用于说明实施例的术语而并不是限制本发明的术语。在本说明书中,单数型也包括复数型,除非在语句中特别提到。说明书中使用的“包含(comprises)”和/或“包括(comprising)”不排除除了所提及的构成要素之外的一个以上的其他构成要素的存在或添加。贯穿说明书,相同附图标记指代相同的构成要素,“和/或”包括所提及的构成要素中的每一个和一个以上的所有组合。虽然“第一”、“第二”等用于叙述多种构成要素,但这些构成要素显然不受限于这些术语。这些术语仅用于将一个构成要素与另一构成要素进行区分。因此,以下提及的第一构成要素在本发明的技术思想内,显然也可以是第二构成要素。
除非有其他定义,本说明书中所使用的所有术语(包括技术及科学术语)可使用于本发明所属技术领域的一般技术人员共同理解的含义。此外,一般所使用的词典中定义的术语不会被理想地或过度地解释,除非有特别明确地定义。
说明书中所使用的“部”或者“模块”等术语表示软件、诸如FPGA或者ASIC的硬件构成要素,“部”或者“模块”起到某种作用。但是,“部”或者“模块”的含义并不限于软件或者硬件。“部”或者“模块”可以构成为在可寻址的存储介质,也可以构成为能够再现一个或一个以上的处理器。因此,作为一示例,“部”或者“模块”包括诸如软件构成要素、面向对象软件构成要素、类构成要素及任务构成要素的构成要素和进程、函数、属性、例程、子程序、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组以及变量。在构成要素和“部”或者“模块”内所提供的功能可以与更小的构成要素及“部”或者“模块”结合,或者可以进一步分离为额外的构成要素和“部”或者“模块”。
以下参照图1至图6,对根据本发明的一实施例的手术最优化方法以及装置进行详细说明。
本说明书中“计算机”包括执行运算处理来向用户提供结果的多种多样的所有装置。例如,计算机不仅是桌上型PC、笔记本计算机(Note Book),也可以对应于智能手机(Smart phone)、平板PC、蜂窝电话(Cellular phone)、个人通信服务(PCS:PersonalCommunication Service)电话、同步/异步国际电话移动系统-2000(IMT-2000:International Mobile Telecommunication-2000)移动终端、掌上个人计算机(PalmPersonal Computer)、个人数字助理(PDA:Personal Digital Assistant)等。此外,当头戴式显示器(HMD:Head Mounted Display)装置包括计算功能时,HMD装置可以成为计算机。此外,计算机可以对应于从客户端接收请求而执行信息处理的服务器。
本说明书中“基因”可以是与遗传算法中所使用的问题的解相应的概念。即,“基因”可以是为了导出最优的手术过程而所使用的遗传算法过程中,对应于一个手术过程的概念。例如,可以利用由至少一个细部手术动作构成的手术提示表数据来表现“基因”。此外,“基因”可随着遗传算法经过进化过程而由通过最优化的细部手术动作组成的手术提示表数据所重构。
本说明书中“细部手术动作”表示构成手术流程的最小动作单位。
本说明书中“手术提示表数据”是记录了特定手术过程的数据,且可以是由至少一个细部手术动作构成的数据。
以下,参照附图对本发明的实施例进行详细说明。
图1是示出根据本发明的一实施例的手术最优化方法的流程图。
为了方便说明,图1的方法叙述为通过计算机执行,但是每个步骤的执行主体并不限于特定装置,可以使用为包括能够执行计算处理的装置的含义。即,本实施例中计算机表示能够执行根据本发明的一实施例的手术最优化方法的装置。
参照图1,根据本发明的一实施例的手术最优化方法可以包括如下步骤:基于由至少一个细部手术动作组成的手术过程来生成与所述手术过程对应的多个基因(S100);对多个基因中的每一个基因执行虚拟手术来评价是否是最优化的手术(S110);基于所述评价结果选择多个基因中的至少一个基因来应用遗传算法(S120);以及应用遗传算法来生成新的基因,基于所述新的基因导出最优的手术过程(S130)。以下,记载对各个步骤的详细说明。
计算机基于由至少一个细部手术动作组成的手术过程来生成与所述手术过程对应的多个基因。(S100)
作为一实施例,计算机可获取包括至少一个细部手术动作而构成的手术提示表数据,基于获取的手术提示表数据生成第一基因。此外,计算机可获取另一个手术提示表数据来生成第二基因,可反复执行这些过程来生成多个基因。
细部手术动作是指构成手术流程的最小动作单位,例如可以是在手术流程上根据特定的基准而被划分的手术动作的最小单位。例如,细部手术动作可以是以手术类型(例如:利用腹腔镜手术、机器人手术、内窥镜的手术等)、执行手术的解剖学上的身体部位、手术时所使用的手术工具、手术工具的数量、画面上手术工具出现的方向或者位置、手术工具的移动(例如:前进/后退等)等为基准以最小单位划分手术动作来生成的动作。因此,细部手术动作可以包括手术类型信息、手术动作类型信息、手术部位信息、以及手术工具信息中的至少一个信息。
手术提示表数据是记录了特定手术过程的数据,由至少一个细部手术动作构成。例如,手术提示表数据可以是将一个完成的特定的手术过程按顺序排列细部手术动作的数据。
细部手术动作以及由细部手术动作构成的手术提示表数据可以基于实际手术过程中获取的实际手术数据来生成。例如,医护人员可以对患者直接执行手术,也可以执行利用手术机器人、腹腔镜、内窥镜的微创手术。可以获取关于这些手术过程中所执行的手术动作或者与手术动作相关的手术工具、手术部位等的多种信息(即,实际手术数据)。例如,获取以手术部位为中心拍摄手术过程的手术图像数据作为实际手术数据,可获取对手术过程中执行的手术动作记录的数据作为实际手术数据。此外,细部手术动作以及由细部手术动作构成的手术提示表数据也可以基于执行虚拟手术所获取的虚拟手术数据来生成。例如,虚拟手术数据可以是对患者利用仿真器执行虚拟手术而获取的图像数据,也可以是对在虚拟手术过程中所执行的手术动作进行记录的数据。
计算机可以获取如上所述的基于实际手术数据或者虚拟手术数据而生成的手术提示表数据,且可以生成与所获取的手术提示表数据对应的基因。
如上所述,基因是与遗传算法中所使用的问题的解相应的概念,在本发明的实施例中可以将一个手术过程表现为一个基因。即,基因可以是表示由至少一个细部手术动作构成的手术过程的数据。
图2是示出用于说明根据本发明的一实施例的基因的生成过程的图。
参照图2,计算机可以生成对应于一个特定的手术过程(即,手术提示表数据)对应的一个基因。即,计算机可以生成对应于第一手术过程(即,第一手术提示表数据)的第一基因,可以生成对应于第二手术过程(即,第二手术提示表数据)的第二基因。因此,计算机可以反复这样的过程n次而生成n个基因。此时,n个基因可以以随机(random)的方式生成。此外,n个基因可以分别由一个完成的手术过程组成。
例如,如图2所示,当第一手术过程由剪切、止血、捉住等的m个细部手术动作组成时,计算机获取将m个细部手术动作顺序地排列而构成的第一手术提示表数据,将这些构成为用于表示基因的特定数据形态(例如,位串)而生成基因。
重新参照图1,计算机对多个基因中的每一个基因执行虚拟手术来评价是否是最优化的手术(S110)。
作为一实施例,计算机基于手术提示表数据内的细部手术动作对多个基因中的每一个基因执行虚拟手术。计算机通过对多个基因中的每一个基因的虚拟手术计算出对于各个基因的适应度(fitness value),基于适应度评价与各个基因对应的手术是否是最优化的手术。
在对各个基因执行虚拟手术中,由于各个基因是基于由细部手术动作构成的手术提示表数据来生成的,因此计算机可以根据各个基因内的细部手术动作执行虚拟手术。例如,由于细部手术动作是包括手术类型信息(例如:利用腹腔镜手术、机器人手术、内窥镜的手术等的信息)、手术动作类型信息(例如:剪切、止血、捉住等的信息)、手术部位信息(对诸如身体内部的器官、血管、组织等的手术所执行的特定手术部位的位置、种类等的信息)、以及手术工具信息(例如:手术工具的数量、种类、方向、位置、移动等的信息)等而被记述的数据,因此计算机利用这些细部手术动作内的信息来相同地再现与各个基因对应的手术过程。
在计算对各个基因的适应度中,计算机可以利用关于手术是否成功的信息、手术时间相关信息以及手术工具相关的信息中的至少一个来计算出适应度。计算机为了导出作为对各个基因的虚拟手术的结果的最优解而利用最优化目标函数,这时将关于手术是否成功的信息、手术时间相关信息、手术工具相关信息使用为最优化目标函数的变量来计算出对基因的适应度。
作为一实施例,计算机可以利用如下式1的最优化目标函数来计算适应度。
[数学式1]
F(x)=s{w1(1-b)+w2L(A)+w3c+w4d+w5a}
其中,x是基因,可以是由包括手术提示表数据的位串构成的信息。
w1~w4是权重值,例如可以通过学习而基于各个变量的重要度来决定。
s是表示手术是否成功的信息,例如,0表示失败,1表示成功。
b可以是(总出血时间)/(总手术时间)。
L(A)可以是1/(在A集的手术工具移动的总距离之和)。
c可以是1/(剪切次数)。
d可以是1/(总手术时间)。
A可以是将利用到手术的所有手术工具作为元素的集合,例如可以是A={工具1,工具2,工具3,...}的集合。
a可以是1/n(A),或者是1/(使用到手术的手术工具的总个数)。
根据式1,计算机可以将手术成功、总手术时间短、出血时间短、手术工具的移动距离短、剪切次数少、使用的手术工具的数量少的手术评价为最优化的手术。即,计算机可通过执行对各个基因的虚拟手术来计算如数学式1的最优化目标函数的变量,将各个变量代入数学式1而最终计算出对于基因的适应度。
适应度可以根据期望进化的特性而被确定。上面的数学式1只是用于计算出适应度的一个示例,根据目标的最优化的手术是何种手术而可以变更诸如手术是否成功、手术时间相关信息(例如:总手术时间、出血时间)、手术工具相关信息(例如:手术工具的数量、移动距离)、手术动作信息等的要素。
计算机可以基于根据步骤S110的评价结果从多个基因中选择被评价为最优化的手术的至少一个基因并应用遗传算法。(S120)
作为一实施例,计算机基于为了评价是否是最优化的手术而计算出的各个基因的适应度,从多个基因中选择具有符合预设定的条件的适应度的至少一个基因。例如,计算机可以将条件设定为选择具有特定基准值以上的适应度的基因,还可以将条件设定为选择具有最大值的适应度的基因。之后,计算机可对根据预设定的条件而选择的基因应用遗传算法。例如,可以应用诸如选择(selection)、交叉(crossover)、突变(mutation)、替换(replace)等的遗传算法。
图3是示出用于说明根据本发明的一实施例的作为应用遗传算法的示例的基因交配的过程的图。
作为一实施例,计算机可以生成如图2所示的n个基因,对于n个基因中的每一个基因执行虚拟手术来计算出各个基因的适应度(例如,利用数学式1的适应度)。计算机可基于对n个基因中的每一个基因计算的适应度,从n个基因中选择具有最大适应度的基因或者选择具有特定基准值以上的适应度的基因。这时,选择基因的方式可以根据设定何种条件而变更。
例如,在n个基因中的具有符合条件的适应度值(例如:最大的适应度值)的2个基因被选择的情况下,计算机可以交叉这2个基因(例如:第2基因以及第3基因)。
参照图3的(a),计算机可以设定用于交叉第2基因以及第3基因的特定地点200,基于设定的特定地点200交叉第2基因以及第3基因。
参照图3的(b),作为与第3基因进行交叉的结果,第2基因可以以特定地点200为基准替换为第3基因的细部手术动作。此外,作为与第2基因进行交叉的结果,第三基因可以以特定地点200为基准替换为第2基因的细部手术动作。
用于基因之间的交叉的特定地点200可以被任意地选择。这时,特定地点200可以使用一个地点,也可以使用多个地点。此外,特定地点200可以针对每个基因相同地选择,也可以不同地选择。
反复执行如上述的基因交叉过程n次可以生成共2n个新的基因。作为一实施例,计算机可以根据将基因进化(变化)到什么程度来决定基因交叉过程的次数。例如,计算机可以考虑初始生成的基因的数量而反复执行基因交叉过程,并且在初始生成的基因(亲本基因)的数量为n个时可以执行n/2次的如上述的基因交叉过程来生成共n个新的基因(子基因)。
图4是示出用于说明根据本发明的一实施例的作为应用遗传算法的示例的基因突变的过程的图。
作为一实施例,计算机可以生成如图2所示的n个基因,对n个基因中的每一个基因执行虚拟手术来计算各个基因的适应度(例如,利用数学式1的适应度)。计算机可以基于对于n个基因中的每一个基因计算的适应度,从n个基因选择具有最大适应度的基因或者选择具有特定基准值以上的适应度的基因。这时,选择基因的方式可以根据设定何种条件而变更。
例如,在n个基因中具有符合条件的适应度值(例:最大的适应度值)的1个基因(例如:第2基因)被选择的情况下,计算机可以对被选择的1个基因(例如,第2基因)应用突变遗传算法。
参照图4,计算机可以选择用于使第2基因变异的特定地点300,将与选定的特定地点300对应的基因(例如,剪切细部手术动作)变更为另一基因(例如,止血细部手术动作)。
用于使基因变异的特定地点300可以被任意地选择。作为一实施例,特定地点300可以利用概率来选择。例如设定概率值P(例如:P为诸如0.001等的小的值),对基因的位置(即,基因内的各个细部手术动作)利用随机函数来生成随机值之后将随机值和概率值P进行比较,将符合条件(例如:小于概率值P)的基因选择为特定地点300。此外,特定地点300可以使用一个地点,或者也可以使用多个地点。
重新参照图1,计算机可以对步骤S100生成的初始基因(亲本基因)应用遗传算法来生成新的基因(子基因),可以基于新的基因导出最优手术过程(S130)。
作为一实施例,如上所述,计算机可以对初始生成的基因(亲本基因)应用交叉、变异等遗传算法,而生成至少一个新的基因(子基因)。这时,计算机可以对新的基因(子基因)反复执行步骤S110~S120。这时,反复的次数可以预先确定。
例如,计算机可以对新的基因(子基因)执行虚拟手术而计算出适应度。此外,计算机可以判断新的基因(子基因)的适应度是否符合预设定的条件,选择符合条件的新的基因(子基因)应用交叉、变异等的遗传算法。通过将这些遗传算法应用到新的基因(子基因),又可以重新生成新的子基因。即,计算机基于用于评价是否是最优的手术的适应度的结果,从亲本基因反复生成子基因,从最终生成的子基因中获取包括最优的手术过程的基因。例如,从子基因中选择具有最高的适应度的基因而导出为最优化的手术过程。
这时,由于每当反复执行如步骤S110~S120的遗传过程时适应度高的基因被选择并继续进化,因此子基因具有比亲本基因更高的适应度值。即,子基因可以由比亲本基因更加进步的手术过程组成的细部手术动作所构成。因此,计算机可以从生成的子基因中最终选择具有最高的适应度的基因,从选择的基因获取最优化的手术提示表数据。这时,最优化的手术提示表数据可以包括由在手术时间、手术工具的动作、手术工具的使用数量、手术预后等的层面上最优化的手术过程构成的细部手术动作信息。
根据如上述的本发明的实施例,通过应用遗传算法可以导出比实际手术过程中执行的手术流程更加提高的手术过程。
此外,根据本发明的实施例,由于通过遗传算法导出包括最优化的手术过程的手术提示表数据,因此可以将此提供给实际医护人员。此外,实际医护人员可以在实际手术时利用最优化的手术提示表数据,据此可以执行更加正确的手术动作以及手术过程。
此外,根据本发明的实施例,由于通过遗传算法导出包括最优化的手术过程的手术提示表数据,因此可以在诸如深度学习的学习过程中将其利用为学习数据。
图5是简要示出根据本发明的一实施例的能够执行机器人手术的系统的图。
根据图5,机器人手术系统包括医疗图像拍摄装备10、服务器100以及配备在手术室的控制部30、显示器32以及手术机器人34。根据实施例,医疗图像拍摄设备10可以在根据所公开的实施例的机器手术系统中省略。
一实施例中,手术机器人34包括拍摄装置36以及手术工具38。
一实施例中,机器人手术通过用户利用控制部30来控制手术用机器人34而执行。一实施例中,机器人手术可以在没有用户的控制下被控制部30自动执行。
服务器100是包括至少一个处理器和通信部的计算装置。
控制部30包含包括至少一个处理器和通信部的计算装置。一实施例中,控制部30包括用于控制手术用机器人34的硬件以及软件接口。
拍摄装置36包括至少一个图像传感器。即,拍摄装置36包括至少一个相机装置而用于拍摄对象,即,手术部位。一实施例中,拍摄装置36包括与手术机器人34的手术臂(arm)结合的至少一个相机。
一实施例中,拍摄装置36拍摄的图像显示在显示器32中。
一实施例中,手术机器人34包括能够执行手术部位的切割、修剪、固定、抓住动作等的一个以上的手术工具38。手术工具38与手术机器人34的手术臂结合而被利用。
控制部30从服务器100接收手术所需的信息,或者生成手术所需的信息而提供给用户。例如,控制部30将生成或者接收的手术所需的信息显示在显示器32。
例如,用户观看显示器32的同时操作控制部30来控制手术机器人34的移动而执行机器人手术。
服务器100利用医疗图像拍摄装备10预先拍摄对象的医疗图像数据来生成机器人手术所需的信息,并将生成的信息提供给控制部30。
控制部30将从服务器100接收的信息显示到显示器32而提供给用户,或者利用从服务器100接收的信息来控制手术机器人34。
一实施例中,并不限制医疗图像拍摄装备10所使用的手段,例如,可以使用CT、X-Ray、PET、MRI等其他多种多样的医疗图像获取手段。
执行如上述的机器人手术时,可以获取手术过程中拍摄的手术图像或者包括手术机器人的控制过程中的多种手术信息的数据。作为一实施例,本发明可以基于这样的机器人手术过程中获取的手术信息(即,手术图像)构成上述的手术提示表数据,由此生成基因。此外,本发明可以导出如图1至图4的实施例说明的最优化的手术过程,即导出最优化的手术提示表数据而应用到图5的机器人手术过程。这时,由于手术机器人可根据最优化的手术提示表数据执行手术,因此可以更加正确并更加有效地执行手术。
图6是示意性示出根据本发明的一实施例的执行手术最优化方法的装置400的结构的图。
参照图6,处理器410可以包括一个以上的核(core,未示出)以及图形处理部(未示出)以及/或者与其他构成要素收发信号的连接通路(例如,总线(bus)等)。
根据一实施例的处理器410通过执行存储在存储器420中的一个以上的指令,执行与图1至图4相关联而说明的提供手术图像的方法。
例如,处理器410可以通过执行存储在存储器420中的一个以上的指令而基于细部手术动作生成多个基因,对多个基因中的每一个基因执行虚拟手术来评价是否是最优化的手术,基于评价结果选择多个基因中的至少一个基因来应用遗传算法,应用遗传算法来生成新的基因,基于新的基因导出最优化的手术过程。
另一方面,处理器410还可以包括暂时性地以及/或者永久性地存储在处理器410内部所处理的信号(或者,数据)的随机存取存储器(RAM:Random Access Memory,未示出)以及只读存储器(ROM:Read-Only Memory,未示出)。此外,处理器410可以实现为包括图形处理部、随机存取存储器以及只读存储器中的至少一个的片上系统(SoC:system on chip)的形态。
存储器420中可以存储用于处理器410的处理以及控制的程序(一个以上的指令)。存储在存储器420中的程序可以根据功能而区分为多个模块。
上述的根据本发明的一实施例的手术最优化方法可以为了与作为硬件的计算机结合而执行而实现为程序(或者应用)而存储在介质中。
以下参照图7至图11,对根据本发明的实施例的最优化的手术工具提供方法以及装置进行详细说明。
本说明书中“计算机”包括执行运算处理来向用户提供结果的多种多样的所有装置。例如,计算机不仅是桌上型PC、笔记本计算机(Note Book),也可以对应于智能手机(Smart phone)、平板PC、蜂窝电话(Cellular phone)、个人通信服务(PCS:PersonalCommunication Service)电话、同步/异步国际电话移动系统-2000(IMT-2000:International Mobile Telecommunication-2000)移动终端、掌上个人计算机(PalmPersonal Computer)、个人数字助理(PDA:Personal Digital Assistant)等。此外,头戴式显示器(HMD:Head Mounted Display)装置包括计算功能时,HMD装置可以成为计算机。此外,计算机可以对应于从客户端接收请求而执行信息处理的服务器。
以下,参照附图对本发明的实施例进行详细说明。
图7是简要示出根据本发明的一实施例能够执行机器人手术的系统的图。
根据图7,机器人手术系统包括医疗图像拍摄装备10、服务器100以及配备在手术室的控制部30、显示器32以及手术机器人34。根据实施例,医疗图像拍摄装备10可以在根据所公开的实施例的机器人手术系统中省略。
一实施例中,手术机器人34包括拍摄装置36以及手术工具38。
一实施例中,机器人手术通过用户利用控制部30来控制手术用机器人34来执行。一实施例中,机器人手术可以在没有用户的控制下被控制部30自动执行。
服务器100是包括至少一个处理器和通信部的计算装置。
控制部30包括包含至少一个处理器和通信部的计算装置。一实施例中,控制部30包括用于控制手术用机器人34的硬件以及软件接口。
拍摄装置36包括至少一个图像传感器。即,拍摄装置36包括至少一个相机装置而用于拍摄对象,即手术部位。一实施例中,拍摄装置36包括与手术机器人34的手术臂(arm)结合的至少一个相机。
一实施例中,拍摄装置36拍摄的图像显示在显示器32中。
一实施例中,手术机器人34包括能够执行手术部位的切割、修剪、固定、抓住动作等的一个以上的手术工具38。手术工具38与手术机器人34的手术臂结合而被利用。
控制部30从服务器100接收手术所需的信息,或者生成手术所需的信息而提供给用户。例如,控制部30将生成或者接收的手术所需的信息显示在显示器32中。
例如,用户观看显示器32操作控制部30的同时控制手术机器人34的移动来执行机器人手术。
服务器100利用医疗图像拍摄装备10预先拍摄的对象的医疗图像数据来生成机器人手术所需的信息,将生成的信息提供给控制部30。
控制部30将从服务器100接收的信息显示到显示器32而提供给用户,或者利用从服务器100接收的信息来控制手术机器人34。
一实施例中,并不限制医疗图像拍摄装备10所使用的手段,例如,可以使用CT、X-Ray、PET、MRI等其他多种多样的医疗图像获取手段。
在诸如上述的机器人手术或者腹腔镜手术、利用内窥镜的手术等的微创手术的情况下,使手术工具以及相机进入到患者(即,手术对象)的身体内部,即手术部位来执行手术。在这种情况下,在患者的身体内部布置有器官、血管等并且身体内部空间较小,因此插入手术工具来执行手术动作并不容易。因此,本发明将提供如下的方法,即,最小化在手术过程中因身体内部存在的器官、血管等的布置状态或者手术工具的长度、构造等而发生的限制,使医护人员能够执行最方便的手术动作。以下将具体说明。
图8是示意性示出根据本发明的一实施例的最优化的手术工具提供方法的流程图。
图8所示的各个步骤在图7所示的服务器100或者控制部30中按时间顺序执行。或者,也可以在与其单独配备的计算装置中执行。以下,为了方便说明,会叙述为各步骤被计算机执行,但每个步骤的执行主体不局限于特定装置,其全部或者一部分可在服务器100或者控制器30执行,或者,也可以在单独配备的计算装置中执行。
参照图8,根据本发明的一实施例的计算机执行的最优化的手术工具提供方法可以包括如下步骤:获取生成为符合手术对象的身体状态的虚拟人体模型(S800);在虚拟人体模型内利用手术工具对手术动作进行仿真(S810);以及基于仿真结果导出在手术对象的身体内部空间适合应用通过手术工具所执行的手术动作的手术工具的构成(S820)。以下,记载对各个步骤的详细说明。
计算机可以获取生成为符合手术对象的身体状态的虚拟人体模型。(S800)。
虚拟人体模型可以是基于预先拍摄手术对象的身体内部的医疗图像数据(例:通过CT、PET、MRI等来拍摄的医疗图像)而生成的3D模型数据。例如,符合手术对象的身体而进行建模,校正为与实际手术状态相同的状态。
医护人员可以利用实现为与手术对象的身体状态相同的虚拟人体模型来执行预演或者仿真,据此可以体验与实际手术时相同的状态。这时,医护人员可通过虚拟人体模型在患者的身体内部空间自由地执行手术动作。例如,医护人员可以不受因患者的身体内部特性(例如:器官布置、血管状态等)或者手术工具的特性等的限制,而根据医护人员的手术动作模式来执行虚拟手术。并且,在执行这些虚拟手术后,可以基于此结果考虑患者的身体内部特性或者手术工具的特性等来导出最优的实际手术过程。此外,在执行利用虚拟人体模型的虚拟手术的情况下,可以获取包括对虚拟人体模型的预演或者仿真行为的数据。例如,可以获取对虚拟人体模型执行虚拟手术(即,预演或者仿真)的图像数据,或者记录对虚拟人体模型执行的手术动作的数据。
计算机可以在虚拟人体模型内利用手术工具对手术动作进行仿真(S810)。
手术工具可以构成为包括对手术部位直接进行手术动作的动作部以及与此连接而操作的臂(arm)部分。例如,动作部可以是接近手术部位而对目标对象执行抓住、剪切、移动、缝合等手术动作的部分,可以根据手术动作的目的来构成为多种多样的器具。臂部分可以与动作部连接根据动作部的移动而操作,或者为了控制动作部的移动而操作。
在图7的诸如机器人手术或者腹腔镜手术的微创手术的情况下,通过插入到手术对象的身体内部的相机只拍摄手术工具的动作部并通过画面显示。因此,手术工具的臂部分的动作状态不会通过画面提供。
作为一实施例,计算机可以在虚拟人体模型内只利用手术工具的动作部来对手术动作进行仿真。即,计算机可仅将手术工具的构成中的对虚拟人体模型内部的空间生成变化(例如:对身体内器官、血管、组织等引起物理或者化学变化或者向虚拟人体模型的内部空间提供夹子、纱布、生理盐水等的外部物体)的动作部实现在虚拟人体模型的内部来进行仿真。因此,进行如上的仿真时在不考虑手术工具的臂部分的特性、或者臂部分的动作是否对身体内部器官造成影响或者患者的身体表面上的进入位置等的状态下,在虚拟人体模型内只利用手术工具的动作部来执行虚拟手术,从而可以应用最容易并且最熟悉的手术动作模式。
在此,对虚拟人体模型的仿真(虚拟手术)可以由医护人员执行,也可以由计算机本身执行。在由医护人员执行的情况下,计算机从医护人员接收控制器操作。此外,在计算机本身执行仿真的情况下,计算机可以基于此前学习手术数据的结果来执行对特定的患者的虚拟手术。
计算机基于仿真结果导出在手术对象的身体内部空间适合应用通过手术工具所执行的手术动作的手术工具的构成(S820)。
具体地,计算机可以基于通过虚拟人体模型进行仿真的结果来获取手术工具的移动信息。移动信息可以是指示通过执行手术动作而发生的手术工具的位置变化的信息,例如,可以是在虚拟人体模型的坐标上标记手术工具的各个地点的位置的坐标值的集合。并且,计算机可以导出在手术对象的身体内部空间适合应用手术工具的移动信息的手术工具的构成。即,计算机可以导出将通过虚拟人体模型获取的移动信息应用于手术对象的身体内部时最优化的动作部的类型以及臂部分的结构。
作为一实施例,计算机可以通过虚拟人体模型只利用手术工具的动作部来对手术动作进行仿真,来获取动作部的移动信息。计算机可以基于动作部的移动信息来决定对手术对象的手术对象部位施加手术动作的最优化的动作部的类型。例如,计算机可以分析动作部的移动信息,来掌握关于通过动作部所执行的手术动作的移动模式信息。当通过动作部执行的手术动作为剪切动作的情况下,计算机可以从移动模式信息识别剪切动作并导出适合剪切的动作部的类型(种类)。此外,即使是进行相同的手术动作,动作部的移动也可根据手术的种类或者手术对象部位而表现得不同。这时,计算机可分析动作部的移动模式信息来导出对当前手术或者当前手术部位最合适的动作部的类型。
此外,计算机可以获取手术对象的身体内部信息以及身体表面信息,基于这些决定臂部分的结构。身体内部信息包括位于对象的身体内部空间的器官布置状态信息,身体表面信息可以包括手术对象的身体表面形状信息。
计算机可以通过多种多样的方式来获取身体内部信息以及身体表面信息。作为一实施例,身体内部信息或者身体表面信息可以从将关于患者的医疗图像数据应用到气腹形成算法而生成的虚拟人体模型获取。气腹形成算法是将正常状态的三维建模数据生成为气腹状态的三维建模数据的算法。
与一般的开腹手术不同,在执行腹腔镜手术或者机器人手术的情况下,为了在身体内部形成手术工具可移动的空间,在身体内部注入气体(即,二氧化碳气腹剂)从而将患者身体形成为气腹状态。即,当患者是腹腔镜手术或者机器人手术的对象时,为了使医护人员能够通过与实际手术时相同的虚拟人体模型来进行仿真,需要建模为气腹状态的过程。计算机可以从应用气腹形成算法而形成的虚拟人体模型中获取身体表面信息,并提取身体内部的器官布置信息而获取身体内部信息。
作为一实施例,在决定臂部分的结构时,计算机可以通过手术对象的身体内部信息以及身体表面信息来计算出臂部分的动作执行范围,并基于臂部分的动作执行范围导出臂部分和动作部之间的布置关系。计算机可以根据与动作部的布置关系而决定臂部分的长度、是否有关节部、以及关节部的移动信息中的至少一个。这时,臂部分的动作执行范围指示臂部分基于手术对象的身体内部信息以及身体表面信息根据动作部的移动而可以动作的范围。
例如,计算机可以通过手术对象的身体内部信息来掌握器官布置状态,因此在根据动作部的移动而发生臂部分的移动时,可以判断是否因为这些对器官发生影响。据此,计算机可以计算出在不影响器官的情况下可执行动作的臂部分的动作执行范围。此外,计算机可以在臂部分的动作执行范围内基于与手术对象的身体内部器官的布置或者与身体表面形状的位置关系来导出臂部分和动作部之间的布置关系。即,计算机可以在臂部分的动作执行范围内基于与动作部的布置关系来决定最优化的臂部分的结构。例如,计算机可以导出动作部与臂之间的角度、倾斜程度、弯曲程度等的布置关系。计算机可以基于这些布置关系来决定臂部分中关节部是否是必需的。关节部可以是连接动作部与臂部分的部分,或者是臂部分包括多个臂时连接臂和臂之间的部分。当臂部分包括关节部时,计算机可以决定关节的数量、关节的自由度、旋转角度、弯曲程度等的移动程度。
本发明的一实施例中,在导出手术工具的构成时,计算机可以获取插入手术工具的手术对象的身体表面上的最优进入位置,并考虑最优进入位置来决定手术工具的构成。这时,计算机可以使用预先决定的进入位置,也可以执行后述的图4的方法来获取最优进入位置。作为一实施例,在以最优进入位置插入手术工具时,计算机可以导出对身体内部器官或者身体表面形状不造成影响的同时可插入的臂部分的结构。例如,可以导出臂部分的长度、是否有关节部、关节部的移动信息等。
图9是示意性示出根据本发明的另一实施例的最优化的手术工具提供方法的流程图。
图9所示的各个步骤在图7所示的服务器100或者控制部30中按时间顺序执行。或者,也可以在与其单独配备的计算装置中执行。以下,为了方便说明,会叙述为各步骤被计算机执行,但每个步骤的执行主体不局限于特定装置,其全部或者一部分可在服务器100或者控制器30执行,或者,也可以在单独配备的计算装置中执行。
参照图9,根据本发明的一实施例的计算机执行的最优化的手术工具提供方法可以包括如下步骤:获取生成为符合手术对象的身体状态的虚拟人体模型(S200);在虚拟人体模型内对与手术对象的实际手术动作相应的手术动作进行仿真(S210);以及基于仿真结果导出在手术对象的身体内部空间适合应用手术动作的手术工具或者手术机器人(S220)。以下,记载对各个步骤的详细说明。
计算机可以获取生成为符合手术对象的身体状态的虚拟人体模型(S200)。这与上述的图8的步骤S800可以被相同地执行,因此这里省略详细的说明。
计算机可以在虚拟人体模型内对与手术对象的实际手术动作相应的手术动作进行仿真(S210)。这与上述的图8的步骤S810可以被相同地执行,因此这里省略详细的说明。
计算机可以基于仿真结果导出在手术对象的身体内部空间适合应用手术动作的手术工具或者手术机器人(S220)。
作为一实施例,计算机可以从仿真结果获取手术工具的移动信息,并且从移动信息分析手术动作。计算机可以基于分析的手术动作来决定对于手术对象最优化的特定的手术机器人的种类或者包括在特定的手术机器人的手术工具的种类。
即,手术机器人可以根据手术的种类或者手术对象的身体特性而具有多种多样的种类,各个公司可以具有不同种类的手术机器人。因此,本发明中,可以通过虚拟人体模型来获取手术工具的移动信息而导出最适合当前手术动作的手术机器人的种类来推荐给医护人员。此外,每个机器人的手术工具(即,动作部以及臂部分)可以具有不同的移动特性,各个公司的手术机器人具有的手术工具的种类可以存在差异。因此,本发明中,可以决定最适合实现通过虚拟人体模型获取的手术工具的移动的特定的手术机器人。此外,一个手术机器人可以包括执行相同的手术动作的多个手术工具,计算机可以在特定的手术机器人内的多个手术工具中决定最适合实现通过虚拟人体模型获取的手术工具的移动的特定的手术工具。
本发明的一实施例中,在导出手术工具或者手术机器人时,计算机可以获取手术工具插入的手术对象的身体表面上的最优进入位置,并且考虑最优进入位置而决定手术工具或者手术机器人。这时,计算机可以使用预先决定的进入位置,也可以执行后述的图10的方法来获取最优进入位置。作为一实施例,计算机可以导出在通过最优进入位置插入手术工具时对身体内部器官或者身体表面形状不造成影响的同时可插入的手术工具或者包括当前手术工具的手术机器人。
此外,本发明的一实施例中,计算机可以实时记录和存储手术时的手术工具的移动。据此,如上所述,计算机可以基于仿真结果决定至少一个最优化的手术工具,并且接收针对所决定的手术工具中的一个手术工具的用户选择。这时,计算机可以利用用户选择的手术工具重新对手术过程进行仿真。据此,可以导出最优化的实际手术过程(即,实际手术动作)。
图10是示意性示出根据本发明的一实施例的手术工具的最优进入位置提供方法的流程图。
图10所示的各个步骤在图7所示的服务器100或者控制部30中按时间顺序执行。或者,也可以在与其单独配备的计算装置中执行。以下,为了方便说明,会叙述为各步骤被计算机执行,但每个步骤的执行主体不局限于特定装置,其全部或者一部分可在服务器100或者控制器30执行,或者,也可以在单独配备的计算装置中执行。
参照图10,根据本发明的一实施例的计算机执行的手术工具的最优进入位置提供方法可以包括如下步骤:获取生成为符合手术对象的身体状态的虚拟人体模型(S300);利用在虚拟人体模型内对手术对象的手术对象部位施加手术动作的手术工具的动作部来进行仿真(S310);以及基于仿真结果计算出使通过动作部执行的手术动作能够应用于手术对象的内部空间中的手术对象的身体表面的最优进入位置(S320)。以下,记载对各个步骤的详细说明。
计算机可以获取生成为符合手术对象的身体状态的虚拟人体模型(S300)。这与上述的图8的步骤S800可以被相同地执行,因此这里省略详细的说明。
计算机可以利用在虚拟人体模型内对手术对象的手术对象部位施加手术动作的手术工具的动作部来进行仿真(S310)。这与上述的图8的步骤S810可以被相同地执行,因此省略重复的说明。
作为一实施例,计算机可以不考虑根据动作部的手术动作而发生移动的臂部分的构成,在虚拟人体模型内对手术对象部位只利用动作部来对手术动作进行仿真。计算机可以从仿真结果获取动作部的移动信息。这时,移动信息可以是表示如上所述的根据执行手术动作而发生的手术工具的位置变化的信息,例如,可以是在虚拟人体模型坐标上标记手术工具的各个地点的位置的坐标值的集合。
因此,当进行这样的仿真时,在不考虑手术工具的臂部分的特性、或者臂部分的动作是否对身体内部器官造成影响、或者患者的身体表面上的进入位置等的状态下,在虚拟人体模型内只利用手术工具的动作部来执行虚拟手术,从而应用最容易并且最熟悉的手术动作模式。
计算机可以基于仿真结果计算出使通过动作部执行的手术动作能够应用于手术对象的内部空间中的手术动作的手术对象的身体表面的最优进入位置。(S320)
作为一实施例,计算机可以提取在手术对象的身体内部空间能够应用动作部的移动信息的手术对象的身体表面的可进入范围。并且,计算机可以反映根据动作部的手术动作而发生移动的臂部分的动作执行范围,来从可进入范围计算出最优进入位置。
例如,计算机可以提取在手术对象的整个身体表面中能够应用动作部的移动信息的可进入范围。作为一示例,可进入范围可以是除了i)手术工具的动作部执行手术动作时无法到达的区域,或者ii)与到达特定地点的手术工具的动作部无法执行特定手术动作的情况相对应的区域之外的身体表面的位置。作为另一示例,可进入范围可以基于手术工具的功能来计算。例如,根据手术工具的类型而存在抓住功能、剪切功能、烫的功能(地形功能)等,且根据各个功能使用相互不同的另一手术工具。或者也可以存在一个手术工具(例如,Harmonic ACE)执行所有功能的情况。因此,计算机可以基于手术工具的功能来提取根据各个功能而能够应用动作部的移动信息的可进入范围。
此外,计算机可以在提取的身体表面的可进入范围内计算出满足臂部分的动作执行范围的特定区域或者特定地点来导出最优进入位置。即,当动作部发生移动时,与其连接的臂部分也会发生移动。这时,由于计算机获取了通过虚拟人体模型只表现动作部的状态下进行仿真的结果,因此需要额外考虑臂部分的移动来计算最优进入位置。
例如,计算机可以基于手术对象的身体内部信息(即,身体内部器官布置状态)以及身体表面信息(即,身体表面形状状态)来计算出臂部分对器官或者身体表面上不造成影响的同时能够动作的最大的动作执行范围。计算机可以在身体表面的可进入范围内反映动作执行范围,来决定在身体内部空间上对手术工具的移动不造成影响的最优的进入位置。
此外,本发明的一实施例中,计算机可以导出适合通过最优进入位置插入手术工具来执行手术动作的手术工具的构成。导出最优的手术工具的过程通过图8以及图9的实施例进行了详细说明,本实施例中省略说明。
另一方面,上述的实施例中,为了方便说明,没有考虑手术工具的数量,但本发明并不限于此,在包括多个手术工具来执行手术的情况也可以对各个手术工具应用相同的过程。
作为一示例,在手术机器人或者腹腔镜手术时利用A工具、B工具、C工具的情况下,计算机可以从可进入范围中去除在A工具的动作部执行手术动作时不能到达的区域(即,发生因手术工具的长度的限制使得动作部在执行手术动作时不能到达的地点的身体表面区域)。此外,计算机可以从可进入范围中去除在A工具进入而执行手术动作的过程中将与身体器官或者组织冲突的身体表面区域。此外,如果手术工具在可进入范围的各个身体表面地点中进入后无法实现在特定位置中要求的手术动作,则计算机可以从可进入范围中去除相应身体表面地点。通过这种方式,计算机可以计算出关于A工具的可进入范围。计算机对各个手术工具(例如,B工具以及C工具)分别执行可进入范围计算过程,来计算出各个手术工具的最优进入位置。此外,如上所述,计算机可以基于手术工具的功能对各个功能分别执行可进入范围计算过程,从而计算出能够应用各个手术工具的功能的最优进入位置。
作为另一例,在一个最优进入位置进入多个手术工具的情况下,计算机可以在提取对各个手术工具的最优进入位置之后,将多个最优进入位置重叠的范围决定为最优进入位置。例如,在手术执行过程中A工具变更为D工具的情况下,计算机可以将对于A工具的可进入范围和对于D工具的可进入范围重叠的区域计算为最优进入位置的候选区域。由于手术工具进入的位置被限制为特定数量(例如,3个),因此从A工具变更为D工具时只能使用相同的进入位置,所以计算机可以将同时满足A工具的可进入位置和D工具的可进入位置的位置决定为最优进入位置。
作为另一示例,在相同的手术工具在虚拟人体模型内多次使用的情况下,当执行手术工具的手术动作的范围(即,移动的范围)较宽时,在一个手术工具进入位置难以执行所有手术动作,所以计算机可以将相应手术工具被使用的范围(即,移动的范围)划分为在身体表面上的多个进入位置中可到达的多个组。例如,在身体表面生成3个进入位置而执行腹腔镜手术或者机器人手术的情况下,计算机将手术工具的移动范围划分为3个以下的组。这时,计算机基于从被其他手术工具所选择的多个可进入范围中是否可以到达,来划分移动范围。此外,在具有较宽的移动范围的特定的手术工具(即,第一手术工具)与其他手术工具(即,第二手术工具)被同时使用并且决定了其他手术工具(即,第二手术工具)必须进入的最优进入位置的情况下,计算机可以将与第二手术工具同时使用时的第一手术工具的移动范围设定为第一手术工具无法通过第二手术工具的最优进入位置(即,第二手术工具进入的锁孔)而接近的范围。此外,在不管其他手术工具的变更仍要连续使用第一手术工具的情况下,计算机可以考虑用户的手术时便利性以及手术时的所需时间而设定为从相同的进入位置进入并且执行动作的组。
作为另一示例,在计算一个以上的手术工具的进入位置的过程中,计算机可以从患者的身体表面的可进入范围中去除相机的进入范围和辅助(Assist)工具的进入范围。例如,相机为了通过移动来拍摄患者腹部内部,而通过肚脐周围区域进入。为此,计算机可在从初始设定的可进入范围中去除肚脐周围区域之后执行缩小可进入范围的过程。
作为一实施例,计算机可以利用蒙特·卡罗方法(Monte Carlo Method)来执行计算出使用多个手术工具时的一个以上的最优进入位置的过程。
如上所述的根据本发明的实施例,由于反映医护人员不考虑手术工具的进入位置和手术工具的臂部分的器官卡住而执行的手术仿真结果来决定手术工具的最优进入位置,因此可以使医护人员执行最方便的手术动作。
此外,根据本发明的实施例,不利用一般的手术工具进入位置,而是利用针对患者身体条件最优化的最优进入位置,因此医护人员可以防止因患者的器官的布置特性或手术工具的长度等而发生特定动作执行在实际手术过程中受到限制。
此外,根据本发明的实施例,将用于手术的所有手术工具利用特定数量的手术工具进入位置来执行手术的情况下,可以决定针对所有手术工具最优化的多个手术工具的进入位置。此外,在特定数量的最优进入位置中可以正确设定各个手术工具要进入的进入位置。
此外,根据本发明的实施例,可以利用多个手术机器人或者特定手术机器人内的执行相同的动作(Action)的多个手术工具的情况下,将建议最适合患者身体条件以及医护人员的手术动作的手术机器人或者手术工具,使医护人员能够执行有效并且快速的手术。
此外,根据本发明的实施例,手术机器人自身执行手术的情况下,通过各个手术工具的最优进入位置的计算能够执行最优化的手术。
此外,根据本发明的实施例,由于反映医护人员不考虑手术工具的进入位置和手术工具的臂部分的器官卡住而执行的手术仿真结果来决定具有最优的结构的手术工具,医护人员可以根据自身的手术动作模式使手术工具方便地动作起来。据此,整个手术过程能够有效地执行,能够减少手术错误。
此外,根据本发明的实施例,随着利用最优化的手术工具来执行手术,医护人员可以防止因患者的器官布置特性或者手术工具的特性等而发生特定的手术动作的执行在实际手术过程中受到限制。
图11是示意性示出根据本发明的一实施例的执行最优化的手术工具提供方法或者手术工具的最优进入位置提供方法的装置的结构的图。
参照图11,处理器210可以包括一个以上的核(core,未示出)以及图形处理部(未示出)以及/或者与其他构成要素收发信号的连接通路(例如,总线(bus)等)。
根据一实施例的处理器210通过执行存储在存储器220中的一个以上的指令,执行与图8至图10相关联而说明的最优化的手术工具提供方法或者手术工具的最优进入位置提供方法。
作为一例,处理器210可以通过执行存储在存储器220中的一个以上的指令而获取生成为符合手术对象的身体状态的虚拟人体模型,在所述虚拟人体模型内利用手术工具对手术动作进行仿真,基于所述仿真结果导出所述手术工具的构成,使得在手术对象的身体内部空间内适合应用通过所述手术工具所执行的手术动作。
作为另一示例,处理器210可以通过执行存储在存储器220中的一个以上的指令而获取生成为符合手术对象的身体状态的虚拟人体模型,在所述虚拟人体模型内对与所述手术对象的实际手术动作相应的手术动作进行仿真,基于所述仿真结果导出在所述手术对象的身体内部空间内适合应用所述手术动作的手术工具或者手术机器人。
作为又另一示例,处理器210可以通过执行存储在存储器220中的一个以上的指令而获取生成为符合手术对象的身体状态的虚拟人体模型,在所述虚拟人体模型内利用对所述手术对象的手术对象部位施加手术动作的手术工具的动作部进行仿真,基于所述仿真结果计算出所述手术对象的身体表面的最优进入位置,使得在所述手术对象的身体内部空间内能够应用通过所述动作部执行的手术动作。
另一方面,处理器210还可以包括暂时性地以及/或者永久性地存储在处理器210内部所处理的信号(或者,数据)的随机存取存储器(RAM:Random Access Memory,未示出)以及只读存储器(ROM:Read-Only Memory,未示出)。此外,处理器210可以实现为包括图形处理部、随机存取存储器以及只读存储器中的至少一个的片上系统(SoC:system on chip)的形态。
存储器220中可以存储用于处理器210的处理以及控制的程序(一个以上的指令)。存储在存储器220中的程序可以根据功能区分为多个模块。
上述的根据本发明的一实施例的最优化的手术工具提供方法或者手术工具的最优进入位置提供方法可以为了与作为硬件的计算机结合而执行而实现为程序(或者应用)而存储在介质中。
另外,在上面说明的本发明的实施例中,程序为了使所述计算机读取程序而执行实现为程序的所述方法,而可以包括所述计算机的处理器(CPU)通过所述计算机的装置接口可读取的由C、C++、JAVA、机器语言等计算机语言代码化的代码(Code)。这些代码可以包括与定义执行所述方法而需要的功能的函数等相关的功能性代码,可以包括所述计算机的处理器按照预定的步骤执行所述功能而所需的执行步骤相关控制代码。此外,这些代码还可以包括所述计算机执行所述功能所需的附加信息或者有关媒体应参照在所述计算机的内部或者外部存储器的哪一个位置的存储器参照相关代码。此外,当所述计算机的处理器为了实现所述功能而需要与远端(Remote)的其他任何计算机或者服务器等进行通信时,代码还可以包括针对如下的通信相关代码:利用所述计算机的通信模块来与远端的其他任何计算机或者服务器等如何进行通信;当通信时需要收发何种信息。
所述存储介质不是诸如寄存器、高速缓存、存储器等的短时间存储数据的介质,而是表示半永久性地存储数据并且能够被设备读取(reading)的介质。具体地,所述存储介质有ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等,但并不限于此。即,所述程序可以存储在所述计算机可以连接的多种服务器上的多种记录介质或者用户的所述计算机上的多种记录介质。此外,所述介质可以分布在通过网络连接的计算机系统中,以分布的方式存储计算机可读代码。
与本发明的实施例相关而说明的方法或者算法的步骤可以直接实现为硬件,或者实现为通过硬件执行的软件模块,或者实现为这些的结合。软件模块可以驻留在RAM、ROM、可擦除可编程只读存储器(EPROM:Erasable Programmable ROM)、电可擦除可编程只读存储器(EEPROM:Electrically Erasable Programmable ROM)、闪存(Flash Memory)、硬盘、可移动盘、CD-ROM或者本发明所属技术领域中公知的任意形态的计算机可读记录介质中。
以上参照附图说明了本发明的实施例,但在本发明所属技术领域中具有普通知识的人员可以理解的是,可以在不改变本发明的其技术思想或者必要特征的情况下以其他具体形态实施。因此,以上记载的实施例应当理解为在所有方面均为示例性的,而不是局限性的。
Claims (9)
1.一种计算机装置,其特征在于,包括:
存储器,存储一个以上的指令;以及
处理器,执行存储在所述存储器中的所述一个以上的指令,
其中,所述处理器基于执行的所述一个以上的指令:
获取生成为符合手术对象的身体状态的虚拟人体模型;
获取所述手术对象的身体内部信息及身体表面信息;
在所述虚拟人体模型内利用包括对手术对象部位施加手术动作的动作部以及与所述动作部连接而动作的臂部分的手术工具对手术动作进行仿真;
基于所述仿真的结果计算出所述臂部分的动作执行范围;以及
基于所述计算的结果,根据与所述动作部的布置关系而决定所述臂部分的长度、是否有将所述动作部连接到所述臂部分的关节部以及关节部的移动信息,从而决定所述手术工具的结构,
其中,所述身体内部信息包括位于所述手术对象的身体内部空间的器官布置状态信息,所述身体表面信息包括所述手术对象的身体表面形状信息,
所述身体内部信息或所述身体表面信息从将关于患者的医疗图像数据应用于气腹形成算法而生成的所述虚拟人体模型中获取,所述气腹形成算法是将正常状态的三维建模数据生成为气腹状态的三维建模数据的算法,
所述臂部分的动作执行范围是基于所述手术对象的所述身体内部信息以及所述身体表面信息,在不影响所述手术对象的器官的情况下根据所述动作部的移动而所述臂部分的动作可执行的范围。
2.根据权利要求1所述的计算机装置,其特征在于,
所述处理器基于执行的所述一个以上的指令:
获取所述手术工具插入的在所述手术对象的身体表面上的最优进入位置,
其中,所述处理器在决定所述手术工具的结构时:
考虑所述最优进入位置来决定所述手术工具的结构。
3.一种计算机装置,其特征在于,包括:
存储器,存储一个以上的指令;以及
处理器,执行存储在所述存储器中的所述一个以上的指令,
其中,所述处理器基于执行的所述一个以上的指令:
获取生成为符合手术对象的身体状态的虚拟人体模型;
获取所述手术对象的身体内部信息及身体表面信息;
在所述虚拟人体模型内利用包括对所述手术对象的手术对象部位施加手术动作的动作部和与所述动作部连接的臂部分的手术工具的所述动作部来进行仿真;以及
基于所述仿真的结果计算出使通过所述动作部执行的手术动作能够应用于所述手术对象的内部空间中的所述手术对象的身体表面的最优进入位置,
其中,所述身体内部信息包括位于所述手术对象的身体内部空间的器官布置状态信息,所述身体表面信息包括所述手术对象的身体表面形状信息,
所述身体内部信息或所述身体表面信息从将关于患者的医疗图像数据应用于气腹形成算法而生成的所述虚拟人体模型中获取,所述气腹形成算法是将正常状态的三维建模数据生成为气腹状态的三维建模数据的算法。
4.根据权利要求3所述的计算机装置,其特征在于,
所述处理器在进行所述仿真时,
不考虑根据所述动作部的手术动作而发生移动的所述手术工具的臂部分的构成,通过在所述虚拟人体模型内对手术对象部位利用所述动作部对手术动作进行仿真来获取所述动作部的移动信息。
5.根据权利要求4所述的计算机装置,其特征在于,
所述处理器在计算所述最优进入位置时,
提取在所述手术对象的身体内部空间能够应用所述动作部的移动信息的所述手术对象的身体表面的可进入范围;以及
反映根据所述动作部的手术动作而发生移动的所述臂部分的动作执行范围,从所述可进入范围计算出所述最优进入位置。
6.根据权利要求5所述的计算机装置,其特征在于,
所述臂部分的动作执行范围是基于所述手术对象的所述身体内部信息以及所述身体表面信息根据所述动作部的移动而所述臂部分的动作可执行的范围。
7.根据权利要求3所述的计算机装置,其特征在于,
所述处理器基于执行的所述一个以上的指令:
向所述最优进入位置插入所述手术工具来导出适合执行手术动作的所述手术工具的构成。
8.一种计算机装置,其特征在于,包括:
存储器,存储一个以上的指令;以及
处理器,执行存储在所述存储器中的所述一个以上的指令,
其中,所述处理器基于执行的所述一个以上的指令:
获取生成为符合手术对象的身体状态的虚拟人体模型;
获取所述手术对象的身体内部信息及身体表面信息;
在所述虚拟人体模型内利用包括对手术对象部位施加手术动作的动作部以及与所述动作部连接而动作的臂部分的手术工具对手术动作进行仿真;
基于所述仿真的结果计算出所述臂部分的动作执行范围;
基于所述计算的结果,根据与所述动作部的布置关系而决定所述臂部分的长度、是否有将所述动作部连接到所述臂部分的关节部以及关节部的移动信息,从而决定所述手术工具的结构;
在所述虚拟人体模型内使用包括多个手术工具的手术机器人对手术动作进行仿真;以及
基于所述仿真的结果决定针对所述手术对象最优化的手术机器人的种类,
其中,所述身体内部信息包括位于所述手术对象的身体内部空间的器官布置状态信息,所述身体表面信息包括所述手术对象的身体表面形状信息,
所述身体内部信息或所述身体表面信息从将关于患者的医疗图像数据应用于气腹形成算法而生成的所述虚拟人体模型中获取,所述气腹形成算法是将正常状态的三维建模数据生成为气腹状态的三维建模数据的算法,
所述臂部分的动作执行范围是基于所述手术对象的所述身体内部信息以及所述身体表面信息,在不影响所述手术对象的器官的情况下根据所述动作部的移动而所述臂部分的动作可执行的范围。
9.根据权利要求8所述的计算机装置,其特征在于,
所述处理器基于执行的所述一个以上的指令:
获取插入所述手术工具的所述手术对象的身体表面的最优进入位置;以及
考虑所述最优进入位置来决定所述手术机器人的种类。
Applications Claiming Priority (13)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0019868 | 2018-02-20 | ||
KR10-2018-0019867 | 2018-02-20 | ||
KR20180019867 | 2018-02-20 | ||
KR10-2018-0019866 | 2018-02-20 | ||
KR20180019868 | 2018-02-20 | ||
KR20180019866 | 2018-02-20 | ||
KR10-2018-0027818 | 2018-03-09 | ||
KR1020180027818 | 2018-03-09 | ||
KR10-2018-0115328 | 2018-09-27 | ||
KR1020180115328A KR102013868B1 (ko) | 2018-02-20 | 2018-09-27 | 수술 최적화 방법 및 장치 |
KR10-2018-0140771 | 2018-11-15 | ||
KR1020180140771A KR20190100010A (ko) | 2018-02-20 | 2018-11-15 | 최적화된 수술도구 제공 방법 및 장치 |
PCT/KR2019/002088 WO2019164270A1 (ko) | 2018-02-20 | 2019-02-20 | 수술 최적화 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111741729A CN111741729A (zh) | 2020-10-02 |
CN111741729B true CN111741729B (zh) | 2024-06-11 |
Family
ID=67687803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980014409.XA Active CN111741729B (zh) | 2018-02-20 | 2019-02-20 | 手术最优化方法以及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11957415B2 (zh) |
EP (1) | EP3744283A4 (zh) |
CN (1) | CN111741729B (zh) |
WO (1) | WO2019164270A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7455965B2 (ja) | 2019-10-29 | 2024-03-26 | バーブ サージカル インコーポレイテッド | 患者モデルとカスタマイズ可能な手術室とを用いた外科手術作業フローをシミュレートするための仮想現実システム |
CN117457150A (zh) * | 2023-11-06 | 2024-01-26 | 中国人民解放军总医院第一医学中心 | 一种手术方案自动生成方法、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001170008A (ja) * | 1999-10-07 | 2001-06-26 | Olympus Optical Co Ltd | 手術システム |
EP2277441A1 (en) * | 2009-07-22 | 2011-01-26 | Surgica Robotica S.p.A. | Method for generating images of a human body zone undergoing a surgical operation by means of an apparatus for minimally invasive surgical procedures |
KR101152177B1 (ko) * | 2009-04-09 | 2012-06-18 | 의료법인 우리들의료재단 | 수술위치 자동 유도 방법 및 그 시스템과 수술위치의 유도기능을 갖춘 장치 |
CN106901834A (zh) * | 2016-12-29 | 2017-06-30 | 陕西联邦义齿有限公司 | 微创心脏外科手术的术前规划及手术虚拟现实模拟方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7607440B2 (en) * | 2001-06-07 | 2009-10-27 | Intuitive Surgical, Inc. | Methods and apparatus for surgical planning |
US8560047B2 (en) * | 2006-06-16 | 2013-10-15 | Board Of Regents Of The University Of Nebraska | Method and apparatus for computer aided surgery |
JP4762160B2 (ja) * | 2007-01-16 | 2011-08-31 | 株式会社日立メディコ | 手術支援システム |
US20090017430A1 (en) * | 2007-05-15 | 2009-01-15 | Stryker Trauma Gmbh | Virtual surgical training tool |
KR101108927B1 (ko) * | 2009-03-24 | 2012-02-09 | 주식회사 이턴 | 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법 |
WO2011040769A2 (ko) | 2009-10-01 | 2011-04-07 | 주식회사 이턴 | 수술용 영상 처리 장치, 영상 처리 방법, 복강경 조작 방법, 수술 로봇 시스템 및 그 동작 제한 방법 |
WO2011063266A2 (en) | 2009-11-19 | 2011-05-26 | The Johns Hopkins University | Low-cost image-guided navigation and intervention systems using cooperative sets of local sensors |
KR101235044B1 (ko) * | 2010-11-02 | 2013-02-21 | 서울대학교병원 (분사무소) | 3d 모델링을 이용한 수술 시뮬레이션 방법 및 자동 수술장치 |
KR101206340B1 (ko) * | 2011-04-29 | 2012-11-29 | 주식회사 코어메드 | 영상수술 리허설 제공방법 및 시스템, 그 기록매체 |
US9607528B2 (en) * | 2012-08-24 | 2017-03-28 | Simquest International, Llc | Combined soft tissue and bone surgical simulator |
KR101401338B1 (ko) | 2012-09-13 | 2014-05-29 | 주식회사 인피니트헬스케어 | 가상 나이프를 이용한 수술 시뮬레이션 방법 및 그 장치 |
CN106030683B (zh) * | 2013-12-20 | 2020-10-30 | 直观外科手术操作公司 | 用于医疗程序培训的模拟器系统 |
KR101700847B1 (ko) * | 2014-03-31 | 2017-01-31 | 이미숙 | 영상수술 트레이닝 제공방법 및 그 기록매체 |
EP3252737A1 (en) * | 2016-06-03 | 2017-12-06 | Sofradim Production | Abdominal model for laparoscopic abdominal wall repair/reconstruction simulation |
WO2017214696A1 (en) * | 2016-06-13 | 2017-12-21 | Synaptive Medical (Barbados) Inc. | Virtual operating room layout planning and analysis tool |
-
2019
- 2019-02-20 CN CN201980014409.XA patent/CN111741729B/zh active Active
- 2019-02-20 WO PCT/KR2019/002088 patent/WO2019164270A1/ko unknown
- 2019-02-20 EP EP19756860.3A patent/EP3744283A4/en active Pending
-
2020
- 2020-08-19 US US16/997,044 patent/US11957415B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001170008A (ja) * | 1999-10-07 | 2001-06-26 | Olympus Optical Co Ltd | 手術システム |
KR101152177B1 (ko) * | 2009-04-09 | 2012-06-18 | 의료법인 우리들의료재단 | 수술위치 자동 유도 방법 및 그 시스템과 수술위치의 유도기능을 갖춘 장치 |
EP2277441A1 (en) * | 2009-07-22 | 2011-01-26 | Surgica Robotica S.p.A. | Method for generating images of a human body zone undergoing a surgical operation by means of an apparatus for minimally invasive surgical procedures |
CN106901834A (zh) * | 2016-12-29 | 2017-06-30 | 陕西联邦义齿有限公司 | 微创心脏外科手术的术前规划及手术虚拟现实模拟方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111741729A (zh) | 2020-10-02 |
EP3744283A1 (en) | 2020-12-02 |
WO2019164270A1 (ko) | 2019-08-29 |
US20200375662A1 (en) | 2020-12-03 |
US11957415B2 (en) | 2024-04-16 |
EP3744283A4 (en) | 2022-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102013868B1 (ko) | 수술 최적화 방법 및 장치 | |
US12040071B2 (en) | Method and program for providing feedback on surgical outcome | |
US20230248439A1 (en) | Method for generating surgical simulation information and program | |
KR20190080703A (ko) | 수술도구의 최적진입위치 산출시스템, 방법 및 프로그램 | |
KR102146672B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
CN110796739A (zh) | 一种颅脑手术虚拟现实仿真方法及系统 | |
CN111741729B (zh) | 手术最优化方法以及装置 | |
KR20190080706A (ko) | 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치 | |
KR102298417B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
KR20200096155A (ko) | 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램 | |
KR20190133423A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
KR101940706B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
JP2003030624A (ja) | 手術パス自動探索プログラム及びその装置 | |
KR101864411B1 (ko) | 수술보조 영상 표시방법 및 프로그램 | |
WO2022113085A1 (en) | Virtual simulator for planning and executing robotic steering of a medical instrument | |
US11986248B2 (en) | Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition | |
KR20190133424A (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
KR20190100010A (ko) | 최적화된 수술도구 제공 방법 및 장치 | |
KR102505016B1 (ko) | 수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법 | |
KR20230014495A (ko) | 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법 | |
CN118902618A (zh) | 一种基于人工智能的外科手术机器系统及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |