Nothing Special   »   [go: up one dir, main page]

WO2019164270A1 - 수술 최적화 방법 및 장치 - Google Patents

수술 최적화 방법 및 장치 Download PDF

Info

Publication number
WO2019164270A1
WO2019164270A1 PCT/KR2019/002088 KR2019002088W WO2019164270A1 WO 2019164270 A1 WO2019164270 A1 WO 2019164270A1 KR 2019002088 W KR2019002088 W KR 2019002088W WO 2019164270 A1 WO2019164270 A1 WO 2019164270A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
surgery
surgical tool
subject
information
Prior art date
Application number
PCT/KR2019/002088
Other languages
English (en)
French (fr)
Inventor
이종혁
형우진
양훈모
김호승
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180115328A external-priority patent/KR102013868B1/ko
Priority claimed from KR1020180140771A external-priority patent/KR20190100010A/ko
Application filed by (주)휴톰 filed Critical (주)휴톰
Priority to CN201980014409.XA priority Critical patent/CN111741729B/zh
Priority to EP19756860.3A priority patent/EP3744283A4/en
Publication of WO2019164270A1 publication Critical patent/WO2019164270A1/ko
Priority to US16/997,044 priority patent/US11957415B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Definitions

  • the present invention relates to a surgical optimization method and apparatus.
  • Laparoscopic surgery refers to surgery performed by medical staff to see and touch the part to be treated.
  • Minimally invasive surgery is also known as keyhole surgery, and laparoscopic surgery and robotic surgery are typical.
  • laparoscopic surgery a small hole is made in a necessary part without opening, and a laparoscopic with a special camera is attached and a surgical tool is inserted into the body and observed through a video monitor.
  • Microsurgery is performed using a laser or a special instrument.
  • robot surgery is to perform minimally invasive surgery using a surgical robot.
  • radiation surgery refers to surgical treatment with radiation or laser light outside the body.
  • the surgery was performed after setting a keyhole corresponding to the entry position at a general position.
  • Surgical operation is not performed properly by entering the surgical tool into a general position without reflecting the patient's physical condition (eg, organ placement characteristics and body surface appearance), length or degree of freedom of the surgical tool. There are times when you can't.
  • the surgical tool and the camera is inserted into the patient's body to perform the operation, the surgical tool is often not suitable for movement due to the internal structure of the body.
  • the problem to be solved by the present invention is to provide a surgical optimization method and apparatus.
  • An object of the present invention is to provide a method and apparatus for deriving an optimized surgical procedure using a genetic algorithm.
  • the problem to be solved by the present invention is to provide a method and apparatus for providing a surgical process consisting of a more detailed detailed surgical operation by applying a genetic algorithm to the surgical procedure consisting of a detailed surgical operation.
  • the problem to be solved by the present invention is to provide a method and apparatus for providing an optimized surgical tool.
  • the problem to be solved by the present invention is to provide a method and apparatus for providing an optimal entry position of the surgical tool.
  • the problem to be solved by the present invention is to provide a method and apparatus for deriving the structure of the surgical tool to perform an optimized surgical operation without the constraints of the internal space of the patient or the characteristics of the surgical tool.
  • the problem to be solved by the present invention is a patient of the medical staff based on the results of the surgical simulation performed after implementing a part (operation part) of the surgical tool displayed on the screen to confirm during laparoscopic surgery or robot surgery in the virtual body model It is to provide a method and apparatus for calculating the optimal entry position of the surgical tool to improve the efficiency and convenience during the actual operation of the medical staff by calculating one or more entry positions optimized for performing the operation operation on the surgical site.
  • a method for optimizing a surgery performed by a computer may include generating a plurality of genes corresponding to the surgery process based on a surgery process including at least one detailed surgery operation, wherein each of the plurality of genes is generated. Evaluating whether the surgery is optimized by performing virtual surgery, selecting at least one gene from among the plurality of genes based on the evaluation result, and applying a genetic algorithm, and applying the genetic algorithm to a new gene. Generating and deriving an optimal surgical procedure based on the new gene.
  • a method for providing an optimized surgical tool performed by a computer may include: obtaining a virtual body model generated according to a physical state of a patient to be operated, using a surgical tool within the virtual body model; Simulating an operation, and deriving a configuration of the surgical tool suitable for applying the surgical operation performed by the surgical tool in the internal space of the subject based on the simulation result.
  • a method of providing an optimal entry position of a surgical tool performed by a computer comprising: obtaining a virtual body model generated in accordance with a physical state of a surgical subject; Simulating using an operating part of a surgical tool to apply a surgical operation to the surgical target site, and based on the simulation result to apply the surgical operation performed by the operating unit in the internal space of the subject Calculating an optimal entry position on the body surface of the surgical subject.
  • a method for providing an optimized surgical tool performed by a computer may include obtaining a virtual body model generated according to a physical condition of a surgical subject, and performing an actual operation of the surgical subject within the virtual body model. Simulating a surgical operation corresponding to the operation, and deriving a surgical tool or surgical robot suitable for applying the surgical operation in the internal space of the subject based on the simulation result.
  • the surgical cuesheet data including the optimized surgical procedure is derived through the genetic algorithm, it can be provided to the actual medical staff.
  • the actual medical staff can utilize the optimized surgical cuesheet data during the actual operation, thereby performing a more accurate surgical operation and operation process.
  • the surgical cuesheet data including the optimized surgical process is derived through a genetic algorithm, it can be used as learning data in a learning process such as deep learning.
  • the medical staff since the medical staff determines the optimal entry position of the surgical tool by reflecting the results of the surgical simulation performed without considering the entry position of the surgical tool and the long-term jamming of the cancer part of the surgical tool, the medical staff has the most comfortable operation. Make it work.
  • the medical staff can perform the specific operation in the actual operation process by the long-term placement characteristics of the patient or the length of the surgical tool. Restrictions can be prevented from occurring.
  • the present invention when performing the operation using all the surgical instruments used in the surgery using a specific number of surgical tool entry position, it is possible to determine the several surgical tool entry position optimized for all surgical instruments. In addition, it is possible to accurately set the entry position that each surgical tool should enter from a certain number of optimal entry positions. In addition, it is possible to minimize the number of entering positions according to the type of surgical instruments as well as the entry positions. Accordingly, the effect of reducing the surgical scar of the patient can be obtained.
  • a surgical robot or surgical tool most suitable for the patient's physical condition and the operation of the medical staff is proposed. This allows the staff to perform efficient and fast surgery.
  • the optimized surgery may be performed by calculating the optimal entry position of each surgical tool.
  • the medical staff since the medical staff determines the surgical tool having an optimal structure by reflecting the results of the surgical simulation performed without considering the entry position of the surgical tool and the long-term jamming of the cancer part of the surgical tool, the medical staff has his own surgical operation. Surgical instruments can be operated conveniently according to the pattern. Accordingly, the entire surgical procedure can be effectively performed, and the surgical error can be reduced.
  • the medical staff can prevent the limitation of the specific surgical operation performed in the actual surgical procedure due to the long-term placement characteristics of the patient or the characteristics of the surgical tool. .
  • FIG. 1 is a flowchart illustrating a surgery optimization method according to an embodiment of the present invention.
  • FIG. 2 is a view illustrating a process of generating a gene according to an embodiment of the present invention.
  • FIG. 3 is an example of applying a genetic algorithm according to an embodiment of the present invention, which is a diagram illustrating a process of crossing genes.
  • Figure 4 is an example of applying a genetic algorithm according to an embodiment of the present invention, it is a diagram illustrating a process of mutating a gene.
  • FIG. 5 is a schematic diagram of a system capable of performing robot surgery according to an embodiment of the present invention.
  • FIG. 6 is a view schematically showing the configuration of an apparatus 400 for performing a surgical optimization method according to an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of a system capable of performing robotic surgery in accordance with one embodiment of the present invention.
  • FIG. 8 is a flowchart schematically showing a method for providing an optimized surgical tool according to an embodiment of the present invention.
  • FIG. 9 is a flowchart schematically illustrating a method for providing an optimized surgical tool according to another embodiment of the present invention.
  • FIG. 10 is a flow chart schematically showing a method for providing an optimal entry position of a surgical tool according to an embodiment of the present invention.
  • FIG. 11 is a view schematically showing the configuration of an apparatus 200 for performing an optimized surgical tool providing method or a method for providing an optimal entry position of a surgical tool according to an embodiment of the present invention.
  • a “part” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “part” or “module” plays certain roles. However, “part” or “module” is not meant to be limited to software or hardware.
  • the “unit” or “module” may be configured to be in an addressable storage medium or may be configured to play one or more processors.
  • a “part” or “module” may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and “parts” or “modules” may be combined into smaller numbers of components and “parts” or “modules” or into additional components and “parts” or “modules”. Can be further separated.
  • a computer includes all the various devices capable of performing arithmetic processing to provide a result to a user.
  • a computer can be a desktop PC, a notebook, as well as a smartphone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous / asynchronous The mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable.
  • a head mounted display (HMD) device includes a computing function
  • the HMD device may be a computer.
  • the computer may correspond to a server that receives a request from a client and performs information processing.
  • a “gene” may be a concept corresponding to a solution of a problem used in a genetic algorithm. That is, “gene” may be a concept corresponding to one surgery procedure in a genetic algorithm process used to derive an optimal surgery procedure. For example, the “gene” may be expressed using surgical cuesheet data consisting of at least one subsurface operation. In addition, the “gene” may be reconstructed into surgical cuesheet data consisting of optimized subsurgical operations as the evolutionary process progresses.
  • the term "detailed operation” may mean a minimum operation unit constituting a surgical process.
  • surgical cue sheet data is data recording a specific surgical procedure, and may be data composed of at least one detailed surgical operation.
  • FIG. 1 is a flowchart illustrating a surgery optimization method according to an embodiment of the present invention.
  • the method of FIG. 1 is described as being performed by a computer for convenience of description, the subject of each step is not limited to a specific device but may be used to encompass a device capable of performing computing processing. That is, in the present embodiment, the computer may mean an apparatus capable of performing the surgery optimization method according to the embodiment of the present invention.
  • the surgery optimization method the step of generating a plurality of genes corresponding to the surgical procedure based on the surgical process consisting of at least one detailed surgery operation (S100), plurality Evaluating whether the surgery is optimized by performing virtual surgery on each of the genes (S110), selecting at least one of a plurality of genes based on the evaluation result, and applying a genetic algorithm (S120); and Generating a new gene by applying a genetic algorithm, and based on the new gene may include the step of deriving the optimal surgical procedure (S130).
  • S100 detailed surgery operation
  • S110 plurality Evaluating whether the surgery is optimized by performing virtual surgery on each of the genes
  • S120 selecting at least one of a plurality of genes based on the evaluation result
  • Generating a new gene by applying a genetic algorithm, and based on the new gene may include the step of deriving the optimal surgical procedure (S130).
  • the computer may generate a plurality of genes corresponding to the surgery process based on the surgery process including at least one detailed surgery operation (S100).
  • S100 detailed surgery operation
  • the computer may acquire surgical cuesheet data including at least one subsurface operation and generate a first gene based on the obtained surgical cuesheet data.
  • the computer may obtain another surgical cuesheet data to generate a second gene, and may repeatedly perform this process to generate a plurality of genes.
  • the subsurface operation refers to a minimum operation unit constituting the surgical process, and may be, for example, a minimum unit of a surgical operation divided according to specific criteria on the surgical process.
  • a detailed surgical operation may include a type of surgery (eg, laparoscopic surgery, robotic surgery, endoscopic surgery, etc.), an anatomical body portion in which the surgery is performed, a surgical tool used in the surgery, a number of surgical tools, an operation on a screen It may be generated by dividing the surgical operation in the minimum unit based on the direction or position in which the tool appears, the movement of the surgical tool (for example, forward / retracted, etc.). Therefore, the detailed surgery operation may include at least one of the operation type information, the operation operation type information, the surgical site information, and the surgical tool information.
  • Surgical cue sheet data is a data recording a specific surgical process, it may be composed of at least one detailed operation operation.
  • the surgical cuesheet data may be a sequence of one completed specific surgical procedure in detail as a surgical operation.
  • Surgical cue sheet data consisting of the detailed surgery operation and the detailed surgery operation may be generated based on the actual surgery data obtained in the actual surgery process.
  • medical staff may perform surgery directly on a patient, or perform minimally invasive surgery using a surgical robot, a laparoscope, an endoscope, or the like.
  • Various information (ie, actual surgical data) regarding a surgical operation performed in such a surgical procedure, a surgical tool related to the surgical operation, a surgical site, or the like may be obtained.
  • surgical image data photographing a surgical procedure centering on a surgical site may be obtained as actual surgical data, or data recorded on a surgical operation performed in the surgical procedure may be obtained as actual surgical data.
  • the surgical cue sheet data composed of the detailed surgery operation and the detailed surgery operation may be generated based on the virtual surgery data obtained by performing virtual surgery (eg, surgery simulation).
  • the virtual surgery data may be image data obtained by performing a virtual surgery on a patient using a simulator, or may be data recorded on a surgical operation performed in the virtual surgery.
  • the computer may acquire the generated surgical cue sheet data based on the actual surgical data or the virtual surgical data as described above, and generate a gene corresponding to the obtained surgical cue sheet data.
  • a gene is a concept corresponding to a solution of a problem used in a genetic algorithm.
  • one surgical procedure may be expressed as one gene.
  • the gene may be data representing a surgical procedure consisting of at least one detailed surgical operation.
  • FIG. 2 is a view illustrating a process of generating a gene according to an embodiment of the present invention.
  • the computer may generate one gene corresponding to one particular surgical procedure (ie, surgical cuesheet data). That is, the computer may generate a first gene corresponding to the first surgical procedure (ie, the first surgical cuesheet data), and generate a second gene corresponding to the second surgical procedure (ie, the second surgical cuesheet data). can do. Thus, the computer can repeat this process n times to produce n genes. At this time, n genes may be generated in a random manner. In addition, each of the n genes may consist of one completed surgical procedure.
  • the computer when the first surgical procedure includes m suboperative operations such as cutting, hemostasis, and catching, the computer performs a first operation configured by arranging m suboperative operations in order.
  • the first gene may be generated by acquiring the cuesheet data and configuring the data into a specific data type (eg, a bit string) for representing the gene.
  • the computer may evaluate whether the surgery is optimized by performing virtual surgery on each of the plurality of genes (S110).
  • the computer may perform virtual surgery on each of the plurality of genes based on the detailed surgery in the surgical cuesheet data.
  • the computer may calculate a fitness value for each gene through virtual surgery on each of the plurality of genes, and evaluate whether the surgery corresponding to each gene is an optimized surgery based on the fitness.
  • the computer can perform the virtual operation according to the detailed operation within each gene.
  • the detailed surgical motion may include surgery type information (eg, laparoscopy, robotic surgery, endoscopy, etc.), surgical motion type information (eg, cutting, hemostasis, grabbing, etc.), surgical site information (internal body) Information about the location, type, etc. of the specific surgical site where the surgery is being performed, such as organs, blood vessels, tissues, etc., and surgical tool information (e.g., number, type, direction, location, movement, etc. of surgical tools) Since the data described above, the computer can reproduce the operation procedure corresponding to each gene by using the information in this detailed operation operation.
  • surgery type information eg, laparoscopy, robotic surgery, endoscopy, etc.
  • surgical motion type information eg, cutting, hemostasis, grabbing, etc.
  • surgical site information internal body
  • Information about the location, type, etc. of the specific surgical site where the surgery is being performed such as organs, blood vessels, tissues, etc.
  • the computer may calculate the fitness using at least one of information on whether the surgery is successful, surgery time related information, and surgical tool related information.
  • the computer can use the optimization objective function to derive the optimal solution as a result of the virtual surgery for each gene.In this case, the information about the success of the operation, the information about the operation time, and the information about the surgical tool can be used. Can be used to calculate the fitness for the gene.
  • the computer may calculate the goodness of fit using an optimization objective function such as Equation 1 below.
  • x is a gene and may be information consisting of a bit string including surgical cuesheet data.
  • w 1 to w 4 are weights, and for example, may be determined based on importance of each variable through learning.
  • s is information indicating whether the operation is successful, for example, 0 may indicate failure and 1 may indicate success.
  • b may be (total bleeding time) / (total surgical time).
  • L (A) can be 1 / (sum of the total distance traveled by the instruments in the set A).
  • c may be 1 / (number of cuts).
  • d may be 1 / (total surgical time).
  • a may be 1 / n (A) or 1 / (the total number of surgical instruments used for surgery).
  • the computer is optimized for the surgery to be successful, short operation time, short bleeding time, short travel distance, short cutting time, and low number of surgical tools used. It can be evaluated by surgery. That is, the computer may calculate variables of an optimization objective function such as Equation 1 by performing virtual surgery on each gene, and finally substitute the variables into Equation 1 to finally calculate the fitness for the gene.
  • the goodness of fit can be determined by the desired properties to be evolved. Equation 1 above is just one example for calculating fitness, and according to the target optimized surgery, the success of the operation, information about the operation time (for example, total surgery time, bleeding time), information about the surgical instruments Factors such as the number of surgical instruments and moving distance, and surgical operation information (such as the number of cuts) may be changed.
  • the computer may apply the genetic algorithm by selecting at least one gene evaluated by the optimized surgery among the plurality of genes based on the evaluation result according to step S110 (S120).
  • the computer may select at least one gene having a fitness that meets a predetermined condition among a plurality of genes based on the fitness of each gene calculated to evaluate whether the surgery is optimized. For example, the computer may be set under the condition of selecting a gene having a goodness of fit over a specific reference value, or may be set under the condition of selecting a gene having a largest value of good fit.
  • the computer can then apply a genetic algorithm to the selected genes according to predetermined conditions. For example, genetic algorithms such as selection, crossover, mutation, replacement, and the like can be applied.
  • FIG. 3 is an example of applying a genetic algorithm according to an embodiment of the present invention, which is a diagram illustrating a process of crossing genes.
  • the computer may generate n genes as shown in FIG. 2 and perform virtual surgery on each of the n genes to calculate the fitness of each gene (eg, fitness using Equation 1). have.
  • the computer may select a gene having the highest fitness among the n genes or a gene having a fitness above a certain reference value based on the fitness calculated for each of the n genes.
  • the method of selecting a gene may vary depending on what conditions are set.
  • the computer may have two genes (e.g., second Genes and third genes) can be crossed.
  • the computer sets a specific point 200 for crossing the second gene and the third gene, and crosses the second gene and the third gene based on the set specific point 200. You can.
  • the second gene may be exchanged for detailed operation operations of the third gene based on the specific point 200.
  • the third gene may be exchanged for detailed operation operations of the second gene based on the specific point 200.
  • the specific point 200 for cross genes can be chosen arbitrarily. In this case, one point may be used for the specific point 200, or a plurality of points may be used. In addition, the specific point 200 may be selected identically for each gene or may be differently selected.
  • the computer may determine the number of gene crossing processes depending on how much the genes will evolve (change). For example, the computer may repeat the gene breeding process in consideration of the number of genes generated initially, and if the number of genes (parent genes) generated initially is n, the gene breeding process as described above is n / 2 times. A total of n new genes (child genes) can be generated.
  • Figure 4 is an example of applying a genetic algorithm according to an embodiment of the present invention, it is a diagram illustrating a process of mutating a gene.
  • the computer may generate n genes as shown in FIG. 2 and perform virtual surgery on each of the n genes to calculate the fitness of each gene (eg, fitness using Equation 1). have.
  • the computer may select a gene having the highest fitness among the n genes or a gene having a fitness above a certain reference value based on the fitness calculated for each of the n genes.
  • the method of selecting a gene may vary depending on what conditions are set.
  • the computer may Mutational genetic algorithms can be applied.
  • the computer selects a specific point 300 for mutating the second gene, and selects a gene corresponding to the selected specific point 300 (eg, cutting operation) to another gene (eg, hemostatic detail). Surgical operation).
  • the specific point 300 for mutating the gene can be arbitrarily selected.
  • the particular point 300 may be selected using probability.
  • a probability value P e.g., P is a small value such as 0.001
  • a random value is generated using a random function at the position of the gene (ie, each detailed operation in the gene), and then the condition ( For example, a gene (that is, a detailed surgery operation) corresponding to the probability value P may be selected as the specific point 300.
  • P e.g., P is a small value such as 0.001
  • a random value is generated using a random function at the position of the gene (ie, each detailed operation in the gene)
  • the condition For example, a gene (that is, a detailed surgery operation) corresponding to the probability value P may be selected as the specific point 300.
  • one point may be used for the specific point 300, or a plurality of points may be used.
  • the computer may generate a new gene (child gene) by applying a genetic algorithm from the initial genes (parent genes) generated in step S100, and derive an optimal surgical procedure based on the new gene. It may be (S130).
  • the computer may generate at least one new gene (child gene) by applying genetic algorithms such as crosses, mutations, etc. to the initially generated genes (parent genes) as described above. At this time, the computer may repeatedly perform steps S110 to S120 for the new gene (child gene). In this case, the number of repetitions may be predetermined.
  • a computer may perform virtual surgery on a new gene (child gene) to calculate the goodness of fit.
  • the computer may determine whether the fitness of the new gene (child gene) meets a predetermined condition, and select a new gene (child gene) that meets the condition, and may apply genetic algorithms such as breeding and mutation.
  • genetic algorithms such as breeding and mutation.
  • new child genes can be generated again. That is, the computer may repeatedly generate child genes from the parent genes based on the goodness-of-fit result for evaluating whether the surgery is optimal, and obtain a gene including an optimal surgical procedure among the finally generated child genes. have. For example, the gene having the highest fitness among the child genes can be selected and derived with an optimized surgical procedure.
  • the computer can select the gene with the highest fitness from the finally generated child genes and obtain optimized surgical cue data from the selected genes.
  • the optimized surgical cuesheet data includes detailed surgical operation information composed of the optimized surgical procedure in terms of operation time, operation of the surgical tool, the number of use of the surgical tool, the surgical prognosis, and the like.
  • the surgical cuesheet data including the optimized surgical procedure is derived through a genetic algorithm, it can be provided to the actual medical staff.
  • the actual medical staff can utilize the optimized surgical cuesheet data during the actual operation, thereby performing a more accurate surgical operation and operation process.
  • the surgical cuesheet data including the optimized surgical process is derived through a genetic algorithm, it can be used as learning data in a learning process such as deep learning.
  • FIG. 5 is a schematic diagram of a system capable of performing robot surgery according to an embodiment of the present invention.
  • the robotic surgical system includes a medical imaging apparatus 10, a server 100, a control unit 30 provided in an operating room, a display 32, and a surgical robot 34.
  • the medical imaging apparatus 10 may be omitted in the robot surgery system according to the disclosed embodiment.
  • surgical robot 34 includes imaging device 36 and surgical instrument 38.
  • the robot surgery is performed by the user controlling the surgical robot 34 using the control unit 30. In one embodiment, the robot surgery may be automatically performed by the controller 30 without the user's control.
  • the server 100 is a computing device including at least one processor and a communication unit.
  • the controller 30 includes a computing device including at least one processor and a communication unit.
  • the control unit 30 includes hardware and software interfaces for controlling the surgical robot 34.
  • the imaging device 36 includes at least one image sensor. That is, the imaging device 36 includes at least one camera device and is used to photograph an object, that is, a surgical site. In one embodiment, the imaging device 36 includes at least one camera coupled with a surgical arm of the surgical robot 34.
  • the image photographed by the photographing apparatus 36 is displayed on the display 340.
  • surgical robot 34 includes one or more surgical tools 38 that can perform cutting, clipping, fixing, grabbing operations, and the like, of the surgical site.
  • Surgical tool 38 is used in conjunction with the surgical arm of the surgical robot 34.
  • the controller 30 receives information necessary for surgery from the server 100 or generates information necessary for surgery and provides the information to the user. For example, the controller 30 displays the information necessary for surgery, generated or received, on the display 32.
  • the user performs the robot surgery by controlling the movement of the surgical robot 34 by manipulating the control unit 30 while looking at the display 32.
  • the server 100 generates information necessary for robotic surgery using medical image data of an object previously photographed from the medical image photographing apparatus 10, and provides the generated information to the controller 30.
  • the controller 30 displays the information received from the server 100 on the display 32 to provide the user, or controls the surgical robot 34 by using the information received from the server 100.
  • the means that can be used in the medical imaging apparatus 10 is not limited, for example, other various medical image acquisition means such as CT, X-Ray, PET, MRI may be used.
  • data including various surgical information may be acquired in a surgical image photographed in a surgical process or a control process of a surgical robot.
  • the present invention can configure the above-mentioned surgical cuesheet data based on the surgical information (that is, surgical images) obtained in the robot surgery process, it is possible to generate a gene from it.
  • the optimized surgical procedure that is, the optimized surgical cuesheet data as described in the embodiments of FIGS. 1 to 4 may be derived and applied to the robotic surgical procedure of FIG. 5. In this case, since the surgical robot can perform the operation according to the optimized surgical cuesheet data, the operation can be performed more accurately and effectively.
  • FIG. 6 is a view schematically showing the configuration of an apparatus 400 for performing a surgical optimization method according to an embodiment of the present invention.
  • the processor 410 may include a connection passage (for example, a bus or the like) that transmits and receives a signal with one or more cores (not shown) and a graphic processor (not shown) and / or other components. ) May be included.
  • a connection passage for example, a bus or the like
  • the processor 410 executes one or more instructions stored in the memory 420 to perform a method of providing a surgical image described with reference to FIGS. 1 to 4.
  • the processor 410 generates a plurality of genes based on the detailed surgery operation by executing one or more instructions stored in the memory 420, and performs virtual surgery on each of the plurality of genes to determine whether the surgery is optimized. Based on the evaluation result, at least one of a plurality of genes may be selected to apply a genetic algorithm, a genetic algorithm may be applied to generate a new gene, and an optimal surgical procedure may be derived based on the new gene. .
  • the processor 410 may include random access memory (RAM) and read-only memory (ROM) for temporarily and / or permanently storing a signal (or data) processed in the processor 410. , Not shown) may be further included.
  • the processor 410 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processor, a RAM, and a ROM.
  • SoC system on chip
  • the memory 420 may store programs (one or more instructions) for processing and controlling the processor 410. Programs stored in the memory 420 may be divided into a plurality of modules according to their functions.
  • the method for optimizing surgery according to the embodiment of the present invention described above may be implemented as a program (or an application) and stored in a medium to be executed in combination with a computer which is hardware.
  • a computer includes all the various devices capable of performing arithmetic processing to provide a result to a user.
  • a computer can be a desktop PC, a notebook, as well as a smartphone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous / asynchronous The mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable.
  • a head mounted display (HMD) device includes a computing function
  • the HMD device may be a computer.
  • the computer may correspond to a server that receives a request from a client and performs information processing.
  • FIG. 7 is a schematic diagram of a system capable of performing robotic surgery in accordance with one embodiment of the present invention.
  • the robotic surgical system includes a medical imaging apparatus 10, a server 100, a control unit 30 provided in an operating room, a display 32, and a surgical robot 34.
  • the medical imaging apparatus 10 may be omitted in the robot surgery system according to the disclosed embodiment.
  • surgical robot 34 includes imaging device 36 and surgical instrument 38.
  • the robot surgery is performed by the user controlling the surgical robot 34 using the control unit 30. In one embodiment, the robot surgery may be automatically performed by the controller 30 without the user's control.
  • the server 100 is a computing device including at least one processor and a communication unit.
  • the controller 30 includes a computing device including at least one processor and a communication unit.
  • the control unit 30 includes hardware and software interfaces for controlling the surgical robot 34.
  • the imaging device 36 includes at least one image sensor. That is, the imaging device 36 includes at least one camera device and is used to photograph an object, that is, a surgical site. In one embodiment, the imaging device 36 includes at least one camera coupled with a surgical arm of the surgical robot 34.
  • the image photographed by the photographing apparatus 36 is displayed on the display 340.
  • surgical robot 34 includes one or more surgical tools 38 that can perform cutting, clipping, fixing, grabbing operations, and the like, of the surgical site.
  • Surgical tool 38 is used in conjunction with the surgical arm of the surgical robot 34.
  • the controller 30 receives information necessary for surgery from the server 100 or generates information necessary for surgery and provides the information to the user. For example, the controller 30 displays the information necessary for surgery, generated or received, on the display 32.
  • the user performs the robot surgery by controlling the movement of the surgical robot 34 by manipulating the control unit 30 while looking at the display 32.
  • the server 100 generates information necessary for robotic surgery using medical image data of an object previously photographed from the medical image photographing apparatus 10, and provides the generated information to the controller 30.
  • the controller 30 displays the information received from the server 100 on the display 32 to provide the user, or controls the surgical robot 34 by using the information received from the server 100.
  • the means that can be used in the medical imaging apparatus 10 is not limited, for example, other various medical image acquisition means such as CT, X-Ray, PET, MRI may be used.
  • FIG. 8 is a flowchart schematically showing a method for providing an optimized surgical tool according to an embodiment of the present invention.
  • Each step illustrated in FIG. 8 may be performed in time series in the server 100 or the controller 30 illustrated in FIG. 7. Alternatively, it may be performed in a computing device provided separately from the above.
  • each step is described as being performed by a computer, but the performing agent of each step is not limited to a specific apparatus, and all or part of the steps are performed by the server 20 or the controller 30 or , May be performed in a separately provided computing device.
  • the method may include obtaining a virtual body model generated in accordance with a physical state of a surgical subject (S100). Simulating a surgical operation using the surgical tool within (S110), and based on the simulation results to derive a configuration of the surgical tool suitable for applying the surgical operation performed by the surgical tool in the internal space of the subject Step S120 may be included.
  • a virtual body model generated in accordance with a physical state of a surgical subject S100
  • Simulating a surgical operation using the surgical tool within (S110) and based on the simulation results to derive a configuration of the surgical tool suitable for applying the surgical operation performed by the surgical tool in the internal space of the subject
  • Step S120 may be included.
  • a detailed description of each step will be described.
  • the computer may acquire a virtual body model generated in accordance with the physical state of the surgical subject (S100).
  • the virtual body model may be 3D modeling data generated based on medical image data (eg, medical images photographed through CT, PET, MRI, etc.) photographing the inside of the body of the patient.
  • medical image data eg, medical images photographed through CT, PET, MRI, etc.
  • the model may be modeled in accordance with the body of the surgical subject, and may be corrected to the same state as the actual surgical state.
  • Medical staff can perform rehearsals or simulations using a virtual body model that is implemented in the same way as the physical state of the subject, and can experience the same state as during the actual surgery.
  • the medical staff may freely perform the surgical operation in the internal space of the patient through the virtual body model.
  • virtual surgery may be performed according to a surgical operation pattern of medical personnel without limitations on the patient's internal characteristics (eg, organ placement, vascular condition, etc.) or the characteristics of surgical instruments.
  • the optimal physical surgery procedure can be derived by considering the internal characteristics of the patient and the characteristics of the surgical instruments based on the results.
  • the computer may simulate a surgical operation using a surgical tool in the virtual body model (S110).
  • the surgical tool may be configured to include an operation part for directly performing a surgical operation on the surgical part and an arm part connected to the operating part.
  • the operation unit may be a portion capable of performing a surgical operation such as catching, cutting, moving, or suturing a target object by accessing the surgical site, and may be configured with various instruments according to the purpose of the surgical operation.
  • the arm part may be connected to the operation unit to operate according to the movement of the operation unit, or operate to control the movement of the operation unit.
  • the computer may simulate the operation of the operation using only the operating portion of the surgical tool in the virtual body model. That is, the computer generates changes in the space inside the virtual body model among the components of the surgical instrument (e.g., causes physical or chemical changes in organs, blood vessels, tissues, etc. in the body or clips, gauze, saline, etc. in the space inside the virtual body model). Only the operating unit that provides an external object can be simulated by implementing it inside the virtual body model. Therefore, in this simulation, the virtual body model without considering the characteristics of the cancer part of the surgical tool, whether the cancer part affects the internal organs, the entry position on the patient's body surface, etc. By performing the virtual surgery using only the operating portion of the surgical tool within, it is possible to apply the most easy and familiar surgical operation pattern.
  • the computer generates changes in the space inside the virtual body model among the components of the surgical instrument (e.g., causes physical or chemical changes in organs, blood vessels, tissues, etc. in the body or clips, gauze, saline, etc.
  • the simulation (virtual surgery) for the virtual body model may be performed by a medical staff or may be performed by a computer itself.
  • the computer receives input of the controller operation by the medical staff.
  • the computer may perform virtual surgery on a specific patient based on the result of learning the existing surgical data.
  • the computer may derive a configuration of a surgical tool suitable for applying a surgical operation performed by the surgical tool in the internal space of the subject based on the simulation result (S120).
  • the computer may acquire the motion information of the surgical tool based on the simulation result through the virtual body model.
  • the motion information may be information indicating a change in the position of the surgical tool generated by performing the surgical operation, for example, a set of coordinate values indicating the position of each point of the surgical tool on the virtual body model coordinates.
  • the computer may derive a configuration of a surgical tool suitable for applying the motion information of the surgical tool in the internal space of the subject. That is, the computer may derive the structure of the arm part and the type of the moving part optimized in applying the motion information acquired through the virtual body model to the inside of the body of the surgical subject.
  • the computer may obtain the motion information of the operation unit by simulating the operation operation using only the operation unit of the surgical tool through the virtual body model.
  • the computer may determine the type of the optimized operating unit to apply the surgical operation to the surgical target region of the surgical subject based on the motion information of the operating unit.
  • the computer may analyze the movement information of the operation unit to determine the movement pattern information on the surgical operation performed by the operation unit.
  • the surgical operation performed by the operating unit is a cutting operation
  • the computer may recognize that the cutting operation is performed from the movement pattern information and derive a type (type) of the operating unit suitable for cutting.
  • the computer may derive the type of the operation unit that is most suitable for the operation or the operation site by analyzing the movement pattern information of the operation unit.
  • the computer may acquire internal body information and body surface information of the subject, and determine the structure of the cancer part based thereon.
  • the internal body information may include organ placement state information located in an internal space of the subject, and the body surface information may include body surface shape information of the subject.
  • the computer may obtain body internal information and body surface information in various ways.
  • the internal body information or body surface information may be obtained from a virtual body model generated by applying medical image data about the patient to the relief forming algorithm.
  • the ups and downs algorithm is an algorithm that generates the three-dimensional modeling data of the steady state to the three-dimensional modeling data of the steady state.
  • a patient's body is undulated by injecting gas (ie, carbon dioxide) into the body to create a space for the surgical tool to move inside the body. do.
  • gas ie, carbon dioxide
  • the process of modeling in a undulating state is required for the medical staff to simulate the same virtual body model as the actual surgery.
  • the computer obtains body surface information from the surface of the patient's body in the virtual body model formed in the undulating state by applying the relief formation algorithm, and extracts the internal organ placement information of the body to obtain the internal body information.
  • the computer calculates the operating range of the cancer portion from the internal body information and body surface information of the subject, and based on the operating range of the cancer portion and the cancer portion and operation It is possible to derive the placement relationship between departments.
  • the computer may determine at least one of the length of the arm part, the presence or absence of the joint part, and the motion information of the joint part according to the arrangement relationship with the moving part.
  • the operation range of the cancer part refers to a range in which the operation of the cancer part is possible according to the movement of the operation part on the basis of internal body information and body surface information of the operation target.
  • the computer can determine the organ placement state from the internal information of the patient, it is possible to determine whether the organ is affected by the movement of the cancer part according to the movement of the operation part. Accordingly, the computer can calculate an operation performance range of the arm portion capable of performing the operation without affecting the organ.
  • the computer may derive an arrangement relationship between the cancer part and the operation part based on the positional relationship between the internal organs of the patient or the position of the body surface within the operating range of the cancer part. That is, the computer may determine the structure of the optimized arm part based on the arrangement relationship with the operation part within the operating range of the arm part. For example, the computer can calculate an arrangement relationship such as an angle, an inclination degree, a degree of bending between the operating unit and the arm.
  • the computer can determine whether a joint is needed for the arm portion based on this placement relationship.
  • the joint part may be a part connecting the operating part and the arm part or connecting the arm and the arm when the arm part includes a plurality of arms.
  • the computer may determine the degree of movement such as the number of joints, the degree of freedom of the joint, the rotation angle, the degree of bending, and the like.
  • the computer can obtain the optimal entry position on the body surface of the surgical target patient is inserted, and determine the configuration of the surgical tool in consideration of the optimal entry position have.
  • the computer may use a predetermined entry position or may obtain an optimal entry position by performing the method of FIG. 4 to be described later.
  • the computer may derive the structure of the arm portion that can be inserted without affecting the internal organs or body surface shape when the surgical tool is inserted into the optimal entry position. For example, the length of the arm part, the presence or absence of the joint part, the motion information of the joint part, and the like can be derived.
  • FIG. 9 is a flowchart schematically illustrating a method for providing an optimized surgical tool according to another embodiment of the present invention.
  • Each step illustrated in FIG. 9 may be performed in time series in the server 100 or the controller 30 illustrated in FIG. 7. Alternatively, it may be performed in a computing device provided separately from the above.
  • each step is described as being performed by a computer, but the performing agent of each step is not limited to a specific apparatus, and all or part of the steps are performed by the server 20 or the controller 30 or , May be performed in a separately provided computing device.
  • the method may include obtaining a virtual body model generated in accordance with a physical state of a surgical subject (S200). Simulating a surgical operation corresponding to the actual surgical operation of the operation target within the operation (S210), and deriving a surgical tool or surgical robot suitable for applying the operation in the internal space of the operation subject based on the simulation results It may include (S220).
  • S220 Simulating a surgical operation corresponding to the actual surgical operation of the operation target within the operation
  • the computer may acquire a virtual body model generated in accordance with the physical condition of the surgical subject (S200). This may be performed in the same manner as step S100 of FIG. 8 described above, and thus detailed description thereof will be omitted.
  • the computer may simulate a surgical operation corresponding to the actual surgical motion of the surgical target in the virtual body model (S210). This may be performed in the same manner as step S110 of FIG. 8 described above, and thus detailed description thereof will be omitted.
  • the computer may derive a surgical tool or a surgical robot suitable for applying the surgical motion in the internal space of the subject based on the simulation result (S220).
  • the computer may obtain the motion information of the surgical tool from the simulation result, and analyze the surgical operation from the motion information.
  • the computer may determine the type of specific surgical robot or type of surgical tool included in the specific surgical robot based on the analyzed surgical operation.
  • the surgical robot may have various kinds according to the type of surgery or the physical characteristics of the subject, and each company may have a different type of surgical robot. Therefore, the present invention can obtain the motion information of the surgical tool through the virtual body model to derive the type of surgical robot that is most suitable for the operation can be recommended to the medical staff.
  • the movement characteristics of the surgical tool (that is, the operation part and the arm part) may be different for each surgical robot, and there may be a difference in the type of surgical tool possessed for each surgical robot of each company. Therefore, in the present invention, it is possible to determine a specific surgical robot that is optimal for implementing the movement of the surgical tool obtained through the virtual body model.
  • the computer is optimized to implement the movement of the surgical tool obtained through the virtual body model among the various surgical tools in the specific surgical robot. Surgical instruments can be determined.
  • the computer obtains an optimal entry position on the body surface of the surgical subject to which the surgical tool is inserted, and takes the surgical tool or surgical robot in consideration of the optimal entry position. You can decide.
  • the computer may use a predetermined entry position or may obtain an optimal entry position by performing the method of FIG. 10 to be described later.
  • the computer may derive a surgical tool that can be inserted without affecting the internal organs or body surface shape or the surgical robot including the surgical tool when the surgical tool is inserted into the optimal entry position. have.
  • the computer may record and store the movement of the surgical tool during surgery in real time.
  • the computer may determine at least one optimal surgical tool based on the simulation result as described above, and receive one surgical tool from the user among the determined surgical tools.
  • the computer may re-simulate the surgery process using the surgical tool selected by the user. Through this, it is possible to derive an optimized actual surgical procedure (ie, actual surgical motion).
  • FIG. 10 is a flow chart schematically showing a method for providing an optimal entry position of a surgical tool according to an embodiment of the present invention.
  • Each step illustrated in FIG. 10 may be performed in time series in the server 100 or the controller 30 illustrated in FIG. 7. Alternatively, it may be performed in a computing device provided separately from the above.
  • each step is described as being performed by a computer, but the performing agent of each step is not limited to a specific apparatus, and all or part of the steps are performed by the server 20 or the controller 30 or , May be performed in a separately provided computing device.
  • the method for providing an optimal entry position of a surgical tool performed by a computer may include obtaining a virtual body model generated in accordance with a physical state of a surgical subject (S300). Simulating by using the operating part of the surgical tool to apply a surgical operation to the operation target region of the operation target in the body model (S310), and the operation performed by the operating unit in the internal space of the operation subject based on the simulation results Computing an optimal entry position on the body surface of the subject to be able to apply the operation (S320).
  • S300 a virtual body model generated in accordance with a physical state of a surgical subject
  • S320 a detailed description of each step will be described.
  • the computer may acquire a virtual body model generated in accordance with the physical state of the surgical subject (S300). This may be performed in the same manner as step S100 of FIG. 8 described above, and thus detailed description thereof will be omitted.
  • the computer may be simulated by using an operating part of a surgical tool that applies a surgical operation to a surgical target site of a surgical subject in a virtual body model (S310). This may be performed in the same manner as step S110 of FIG. 8 described above, and thus redundant description thereof will be omitted.
  • the computer may simulate the operation operation using only the operation unit for the surgical target site in the virtual body model without considering the configuration of the arm portion in which the movement occurs according to the operation operation of the operation unit.
  • the computer may acquire motion information of the operating unit from the simulation result.
  • the motion information may be information indicating a change in the position of the surgical tool generated by performing the operation as described above, for example, a set of coordinate values indicating the position of each point of the surgical tool on the virtual body model coordinates. Can be.
  • the virtual body model without considering the characteristics of the cancer part of the surgical tool, whether the cancer part affects the internal organs, the entry position on the patient's body surface, etc.
  • the computer may calculate an optimal entry position on the body surface of the surgical subject to apply the surgical operation performed by the operation unit in the internal space of the surgical subject based on the simulation result (S320).
  • the computer may extract an accessible range on the body surface of the surgical subject to which the motion information of the operation unit may be applied in the internal space of the surgical subject.
  • the computer may calculate an optimal entry position from the accessible range by reflecting an operation performing range of the arm portion in which movement occurs according to the surgical operation of the operating unit.
  • the computer may extract an accessible range in which motion information of the operating unit may be applied to the entire body surface of the subject.
  • the accessible range corresponds to a case where i) the operating part of the surgical tool does not reach when performing a surgical operation, or ii) the operating part of the surgical tool reaching a specific point fails to perform a specific surgical operation. Location on the body surface except the area.
  • the accessible range may be calculated based on the function of the surgical tool. For example, there is a grabbing function, a cutting function, a support function (terrain function) according to the type of surgical tool, and different surgical tools are used according to each function. Alternatively, one surgical instrument (eg, Harmonic ACE) may perform all functions. Therefore, the computer may extract an accessible range in which the motion information of the operation unit may be applied based on the function of the surgical tool.
  • Harmonic ACE Harmonic ACE
  • the computer may derive the optimum entry position by calculating a specific area or a specific point that satisfies the operating range of the arm within the accessible range of the extracted body surface. That is, when the operation unit moves, the arm part connected to the movement also occurs. In this case, since the computer obtained the simulation result in the state of expressing only the moving part through the virtual body model, the optimal entry position should be calculated by additionally considering the motion of the arm part.
  • the computer may be based on the patient's internal body information (i.e., internal organ placement status) and body surface information (i.e., body surface shape status) without the cancer part affecting the organ or body surface. It is possible to calculate the operating range that can operate at the maximum.
  • the computer may reflect the range of movement within the reachable range of the body surface to determine the optimal entry position without affecting the movement of the surgical tool in the body interior space.
  • the computer can derive the configuration of the surgical tool suitable for performing the surgical operation by inserting the surgical tool in the optimal entry position. Since the process of deriving the optimal surgical tool has been described in detail with reference to the embodiments of FIGS. 8 and 9, the description thereof will be omitted.
  • the computer may operate in an area that the operating part of the A tool does not reach when performing a surgical operation (ie, operation is limited by the length of the surgical tool) Body surface area where a point that cannot be reached when the additional surgical operation is performed may be excluded from the accessible range.
  • the computer may exclude an area of the body surface that collides with body organs or tissues in the process of entering the tool A and performing a surgical operation.
  • the computer may exclude the body surface point from the reachable range if the surgical tool does not implement the required surgical operation at a specific position after entering the surgical tool at each body surface point within the reachable range.
  • the computer may calculate the optimum entry position of each surgical tool by individually performing an access range calculation process for each surgical tool (for example, Tool B and Tool C).
  • the computer may separately calculate an accessible range calculation process for each function based on the function of the surgical tool, and calculate an optimal entry position to which the function of each surgical tool can be applied.
  • the computer extracts an optimal entry range for each surgical instrument, and then determines the optimal entry position where a plurality of optimal entry ranges overlap. have. For example, when the tool A is changed to the tool D during the operation, the computer may calculate an overlapping area between the accessible range for the tool A and the accessible range for the D tool as the optimal entry position candidate area. . Since the position where the surgical tool can be entered is limited to a certain number (for example, 3), the computer cannot be used in the A tool because the same entry position can be used when the tool is changed from the A tool to the D tool. The position that satisfies all the accessible ranges of the D tool can be determined as the final optimal entry position.
  • a certain number for example, 3
  • the computer may divide the range in which the surgical tool is used (ie, the range of motion) into several groups reachable at multiple entry positions on the body surface. For example, when performing laparoscopy or robotic surgery by creating three entry positions on the body surface, the computer divides the range of motion of the surgical tool into three or fewer groups. At this time, the computer divides the range of motion based on the reachability from the plurality of reachable ranges selected by other surgical instruments.
  • a specific surgical tool ie, a first surgical tool having a wide range of motion is used simultaneously with another surgical tool (ie, a second surgical tool), and another surgical tool (ie, a second surgical tool) must be entered.
  • the computer determines the range of movement of the first surgical tool when the first surgical tool is used in conjunction with the second surgical tool. Keyholes) to set inaccessible ranges.
  • the computer should enter the same entry position in consideration of the user's convenience during operation and the time required for the operation and should be performed. Can be set as a group.
  • the computer may exclude the camera entry range and the assist tool entry range from the accessible range of the patient's body surface. For example, the camera enters through the area around the navel to take a complete picture of the interior of the patient's abdomen through movement. To this end, the computer may remove the area around the navel from the initial settable range and then reduce the reachable range.
  • the computer may perform the process of calculating one or more optimal entry positions when using a plurality of surgical instruments using the Monte Carlo Method.
  • the medical staff determines the optimal entry position of the surgical tool by reflecting the results of the surgical simulation performed without considering the entry position of the surgical tool and the long-term jamming of the cancer part of the surgical tool This allows the staff to perform the most comfortable surgical operations.
  • the medical staff can actually perform the operation according to the long-term placement characteristics of the patient or the length of the surgical tool In the process, it is possible to prevent the limitation of performing a specific operation.
  • the optimized surgery can be performed by calculating the optimal entry position of each surgical tool.
  • the medical staff determines the surgical tool having an optimal structure by reflecting the results of the surgical simulation performed without considering the entry position of the surgical tool and the long-term jamming of the cancer part of the surgical tool.
  • the medical staff can conveniently operate the surgical tool according to his surgical operation pattern. Accordingly, the entire surgical procedure can be effectively performed, and the surgical error can be reduced.
  • the medical staff is limited in performing a specific surgical operation during the actual surgical procedure due to the long-term placement characteristics of the patient or the characteristics of the surgical tool Can be prevented.
  • FIG. 11 is a view schematically showing the configuration of an apparatus 200 for performing an optimized surgical tool providing method or a method for providing an optimal entry position of a surgical tool according to an embodiment of the present invention.
  • the processor 210 may include a connection passage (eg, a bus or the like) that transmits and receives signals with one or more cores (not shown) and a graphic processor (not shown) and / or other components. ) May be included.
  • a connection passage eg, a bus or the like
  • a graphic processor not shown
  • the processor 210 may include a connection passage (eg, a bus or the like) that transmits and receives signals with one or more cores (not shown) and a graphic processor (not shown) and / or other components. ) May be included.
  • the processor 210 executes one or more instructions stored in the memory 220 to perform the optimized surgical tool providing method or the optimal entrance position providing method described with reference to FIGS. 8 to 10. do.
  • the processor 210 acquires a virtual body model generated in accordance with the physical state of the surgical subject by executing one or more instructions stored in the memory 220, and operates by using a surgical tool in the virtual body model. And a configuration of the surgical tool suitable for applying the surgical operation performed by the surgical tool in the internal space of the surgical subject based on the simulation result.
  • the processor 210 acquires a virtual body model generated in accordance with the physical state of the surgical subject by executing one or more instructions stored in the memory 220, and the actual surgical operation of the surgical subject in the virtual body model. And to simulate a surgical operation, and based on the simulation result can be derived a surgical tool or surgical robot suitable for applying the surgical operation in the internal space of the subject.
  • the processor 210 acquires a virtual body model generated in accordance with the physical state of the surgical subject by executing one or more instructions stored in the memory 220, and operates the surgical subject of the surgical subject in the virtual body model.
  • the operation subject of the operation subject to simulate using the operation unit of the surgical tool for applying a surgical operation to the site, and to apply the operation operation performed by the operating unit in the internal space of the subject based on the simulation results
  • the optimum entry position on the body surface can be calculated.
  • the processor 210 is a random access memory (RAM) and a ROM (Read-Only Memory) for temporarily and / or permanently storing signals (or data) processed in the processor 210. , Not shown) may be further included.
  • the processor 210 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processor, a RAM, and a ROM.
  • SoC system on chip
  • the memory 220 may store programs (one or more instructions) for processing and controlling the processor 210. Programs stored in the memory 220 may be divided into a plurality of modules according to their functions.
  • the method for providing the optimized surgical tool or the method for providing the optimal entry position of the surgical tool according to the embodiment of the present invention described above is implemented as a program (or application) to be executed in combination with a computer which is hardware and stored in a medium. Can be.
  • the program may be read by the computer's processor (CPU) through the device interface of the computer in order for the computer to read the program and execute the methods implemented as the program.
  • Code that is coded in a computer language such as C, C ++, JAVA, or machine language.
  • Such code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, and includes control procedures related to execution procedures necessary for the computer's processor to execute the functions according to a predetermined procedure. can do.
  • the code may further include memory reference code for additional information or media required for the computer's processor to execute the functions at which location (address address) of the computer's internal or external memory should be referenced. have.
  • the code may be used to communicate with any other computer or server remotely using the communication module of the computer. It may further include a communication related code for whether to communicate, what information or media should be transmitted and received during communication.
  • the stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device.
  • examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access or various recording media on the computer of the user. The media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)

Abstract

컴퓨터가 수행하는 수술 최적화 방법이 제공된다. 상기 방법은 적어도 하나의 세부수술동작으로 이루어지는 수술과정에 기초하여 상기 수술과정에 대응하는 복수의 유전자를 생성하는 단계, 상기 복수의 유전자 각각에 대해 가상수술을 수행하여 최적화된 수술인지를 평가하는 단계, 상기 평가 결과를 기반으로 상기 복수의 유전자 중 적어도 하나의 유전자를 선택하여 유전 알고리즘을 적용하는 단계, 및 상기 유전 알고리즘을 적용하여 새로운 유전자를 생성하고, 상기 새로운 유전자에 기초하여 최적의 수술과정을 도출하는 단계를 포함한다.

Description

수술 최적화 방법 및 장치
본 발명은 수술 최적화 방법 및 장치에 관한 것이다.
최근에는 가상현실을 의료수술 시뮬레이션 분야에 적용하고자 하는 연구가 활발히 진행되고 있다.
의료수술은 개복수술(open surgery), 복강경 수술 및 로봇 수수를 포함하는 최소침습수술(MIS: Minimally Invasive Surgery), 방사선수술(radio surgery) 등으로 분류할 수 있다. 개복수술은 치료되어야 할 부분을 의료진이 직접 보고 만지며 시행하는 수술을 말하며, 최소침습수술은 키홀 수술(keyhole surgery)이라고도 하는데 복강경 수술과 로봇 수술이 대표적이다. 복강경 수술은 개복을 하지 않고 필요한 부분에 작은 구멍을 내어 특수 카메라가 부착된 복강경과 수술 도구를 몸속에 삽입하여 비디오 모니터를 통해서 관측하며 레이저나 특수기구를 이용하여 미세수술을 한다. 또한, 로봇수술은 수술로봇을 이용하여 최소 침습수술을 수행하는 것이다. 나아가 방사선 수술은 체외에서 방사선이나 레이저 광으로 수술 치료를 하는 것을 말한다.
기존에 복강경 수술 또는 로봇 수술을 수행하는 경우, 진입위치에 해당하는 키홀(Keyhole)을 일반적인 위치에 설정한 후 수술을 수행하였다. 환자의 신체조건(예를 들어, 신체 내부의 장기 배치 특성과 신체표면 외형), 수술도구의 길이 또는 자유도 등을 반영하지 않고 일반적인 위치로 수술도구를 진입하여서 신체 내부에서 수술동작이 제대로 수행되지 못하는 문제가 발생하는 경우가 있다. 또한, 최소침습수술 시에는 환자의 신체 내부에 수술도구 및 카메라를 진입시켜 수술을 수행하므로, 신체 내부 구조상 수술도구가 움직이기 적합하지 않은 경우가 많다.
또한, 위에서 언급한 최소침습수술과 같은 의료수술의 경우, 실제 수술시에 정확한 동작과 적합한 도구를 사용하여 수술이 진행되어야 한다. 따라서, 정확한 동작 및 적합한 도구를 사용하여 수술을 수행할 수 있도록 하기 위한 최적화된 수술 방법을 제공할 필요가 있다.
본 발명이 해결하고자 하는 과제는 수술 최적화 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 유전 알고리즘을 이용하여 최적화된 수술 과정을 도출하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 세부수술동작으로 구성되는 수술과정에 대해 유전 알고리즘을 적용함으로써 보다 최적화된 세부수술동작으로 이루어진 수술과정을 제공하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 최적화된 수술도구를 제공하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 수술도구의 최적진입 위치를 제공하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 환자의 신체 내부 공간상의 제약이나 수술도구의 특성으로 인한 제약 없이 최적화된 수술동작을 수행할 수 있도록 하는 수술도구의 구조를 도출하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 복강경 수술 또는 로봇 수술 시에 확인하는 화면 상에 표시되는 수술도구의 일부분(동작부)을 가상신체모델 내에 구현한 후 수행한 수술시뮬레이션 결과를 바탕으로, 의료진의 환자 수술부위에 대한 수술동작을 수행하기에 최적화된 하나 이상의 진입위치를 산출하여 의료진의 실제 수술 시 효율성과 편의성을 향상시키는, 수술도구의 최적진입위치를 산출하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술 최적화 방법은, 적어도 하나의 세부수술동작으로 이루어지는 수술과정에 기초하여 상기 수술과정에 대응하는 복수의 유전자를 생성하는 단계, 상기 복수의 유전자 각각에 대해 가상수술을 수행하여 최적화된 수술인지를 평가하는 단계, 상기 평가 결과를 기반으로 상기 복수의 유전자 중 적어도 하나의 유전자를 선택하여 유전 알고리즘을 적용하는 단계, 및 상기 유전 알고리즘을 적용하여 새로운 유전자를 생성하고, 상기 새로운 유전자에 기초하여 최적의 수술과정을 도출하는 단계를 포함한다.
본 발명의 일 실시예에 따른 컴퓨터가 수행하는 최적화된 수술도구 제공 방법은, 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계, 상기 가상신체모델 내에서 수술도구를 이용하여 수술동작을 시뮬레이션하는 단계, 및 상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 수술도구에 의해 수행된 수술동작을 적용하기에 적합한 상기 수술도구의 구성을 도출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술도구의 최적진입위치 제공 방법은, 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계, 상기 가상신체모델 내에서 상기 수술 대상자의 수술대상부위에 대해 수술동작을 가하는 수술도구의 동작부를 이용하여 시뮬레이션하는 단계, 및 상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 동작부에 의해 수행된 수술동작을 적용할 수 있도록 하는 상기 수술 대상자의 신체 표면에서의 최적진입위치를 산출하는 단계를 포함한다.
본 발명의 일 실시예에 따른 컴퓨터가 수행하는 최적화된 수술도구 제공 방법은, 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계, 상기 가상신체모델 내에서 상기 수술 대상자의 실제수술동작과 상응하는 수술동작을 시뮬레이션하는 단계, 및 상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 수술동작을 적용하기에 적합한 수술도구 또는 수술로봇을 도출하는 단계를 포함한다.
본 발명에 따르면, 유전 알고리즘을 적용함으로써 실제수술과정에서 수행된 수술프로세스에 비해서 보다 향상된 수술과정을 도출할 수 있다.
본 발명에 따르면, 유전 알고리즘을 통해 최적화된 수술과정을 포함하고 있는 수술 큐시트데이터를 도출하므로, 이를 실제 의료진들에게 제공할 수 있다. 또한, 실제 의료진들은 최적화된 수술 큐시트데이터를 실제 수술시에 활용할 수 있고, 이를 통해 보다 정확한 수술동작 및 수술과정을 수행할 수 있다.
본 발명에 따르면, 유전 알고리즘을 통해 최적화된 수술과정을 포함하고 있는 수술 큐시트데이터를 도출하므로, 이를 딥러닝과 같은 학습 과정에서 학습 데이터로 활용할 수 있다.
본 발명에 따르면, 의료진이 수술도구의 진입위치와 수술도구의 암 부분의 장기걸림을 고려하지 않고 수행한 수술시뮬레이션 결과를 반영하여 수술도구의 최적진입 위치를 결정하므로, 의료진이 가장 편한 수술동작을 수행할 수 있도록 한다.
본 발명에 따르면, 일반적인 수술도구 진입위치를 이용하지 않고 환자 신체조건에 최적화된 최적진입위치를 이용함에 따라, 의료진은 환자의 장기 배치 특성이나 수술도구의 길이 등에 의해 실제 수술과정에서 특정한 동작 수행에 제한이 발생하는 것을 방지할 수 있다.
본 발명에 따르면, 수술에서 이용되는 모든 수술도구를 특정한 개수의 수술도구 진입위치를 이용하여 수술을 수행하는 경우, 모든 수술도구에 최적화된 여러 개의 수술도구 진입위치를 결정할 수 있다. 또한, 특정한 개수의 최적진입위치 중에서 각 수술도구가 진입하여야 하는 진입위치를 정확하게 설정하여 줄 수 있다. 또한, 진입위치뿐만 아니라 수술도구의 종류에 따라 진입하는 진입위치의 개수를 최소화할 수 있다. 이에 따라, 환자의 수술 흉터를 줄이는 효과를 얻을 수 있다.
본 발명에 따르면, 복수의 수술로봇 또는 특정한 수술로봇 내의 동일한 액션(Action)을 수행하는 복수의 수술도구를 이용할 수 있는 경우, 환자 신체조건 및 의료진의 수술동작에 가장 적합한 수술로봇 또는 수술도구를 제안하여 주어서, 의료진이 효율적이고 빠른 수술을 수행할 수 있도록 한다.
본 발명에 따르면, 수술로봇이 자체적으로 수술을 수행하는 경우, 각 수술도구의 최적진입위치 산출을 통해 최적화된 수술이 수행되도록 할 수 있다.
본 발명에 따르면, 의료진이 수술도구의 진입위치와 수술도구의 암 부분의 장기걸림을 고려하지 않고 수행한 수술시뮬레이션 결과를 반영하여 최적의 구조를 가진 수술도구를 결정하므로, 의료진이 자신의 수술동작 패턴에 따라 수술도구를 편리하게 동작시킬 수 있다. 이에 따라, 전체 수술과정이 효과적으로 수행될 수 있고, 수술 오류를 줄일 수 있다.
본 발명에 따르면, 최적화된 수술도구를 이용하여 수술을 수행함에 따라, 의료진은 환자의 장기 배치 특성이나 수술도구의 특성 등에 의해 실제 수술과정에서 특정한 수술동작 수행에 제한이 발생하는 것을 방지할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 수술 최적화 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 유전자를 생성하는 과정을 설명하기 위해 도시된 도면이다.
도 3은 본 발명의 일 실시예에 따른 유전 알고리즘을 적용하는 일례로, 유전자를 교배하는 과정을 설명하기 위해 도시된 도면이다.
도 4는 본 발명의 일 실시예에 따른 유전 알고리즘을 적용하는 일례로, 유전자를 돌연변이시키는 과정을 설명하기 위해 도시된 도면이다.
도 5는 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 6은 본 발명의 일 실시예에 따른 수술 최적화 방법을 수행하는 장치(400)의 구성을 개략적으로 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 8은 본 발명의 일 실시예에 따른 최적화된 수술도구 제공 방법을 개략적으로 도시한 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 최적화된 수술도구 제공 방법을 개략적으로 도시한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 수술도구의 최적진입위치 제공 방법을 개략적으로 도시한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 최적화된 수술도구 제공 방법 또는 수술도구의 최적진입위치 제공 방법을 수행하는 장치(200)의 구성을 개략적으로 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
이하에서는 도 1 내지 도 6을 참조하여, 본 발명의 실시예에 따른 수술 최적화 방법 및 장치에 관해 상세히 설명한다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
본 명세서에서 "유전자"는 유전 알고리즘(genetic algorithm)에서 사용되는 문제의 해에 상응하는 개념일 수 있다. 즉, "유전자"는 최적의 수술과정을 도출하기 위해 사용되는 유전 알고리즘 과정에서, 하나의 수술과정에 대응하는 개념일 수 있다. 예를 들어, "유전자"는 적어도 하나의 세부수술동작으로 구성되는 수술 큐시트데이터를 이용하여 표현될 수 있다. 또한, "유전자"는 유전 알고리즘에 의해 진화 과정을 거침에 따라 최적화된 세부수술동작으로 이루어지는 수술 큐시트데이터로 재구성될 수 있다.
본 명세서에서 "세부수술동작"은 수술프로세스를 구성하는 최소 동작 단위를 의미할 수 있다.
본 명세서에서 "수술 큐시트데이터"는 특정한 수술과정을 기록한 데이터로서, 적어도 하나의 세부수술동작으로 구성되는 데이터일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 수술 최적화 방법을 도시한 흐름도이다.
도 1의 방법은 설명의 편의를 위하여 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체가 특정 장치에 제한되는 것은 아니고 컴퓨팅 처리를 수행할 수 있는 장치를 포괄하는 의미로 사용될 수 있다. 즉, 본 실시예에서 컴퓨터는 본 발명의 실시예에 따른 수술 최적화 방법을 수행할 수 있는 장치를 의미할 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 수술 최적화 방법은, 적어도 하나의 세부수술동작으로 이루어지는 수술과정에 기초하여 상기 수술과정에 대응하는 복수의 유전자를 생성하는 단계(S100), 복수의 유전자 각각에 대해 가상수술을 수행하여 최적화된 수술인지를 평가하는 단계(S110), 상기 평가 결과를 기반으로 복수의 유전자 중 적어도 하나의 유전자를 선택하여 유전 알고리즘을 적용하는 단계(S120), 및 유전 알고리즘을 적용하여 새로운 유전자를 생성하고, 상기 새로운 유전자에 기초하여 최적의 수술과정을 도출하는 단계(S130)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
컴퓨터는 적어도 하나의 세부수술동작으로 이루어지는 수술과정에 기초하여 상기 수술과정에 대응하는 복수의 유전자를 생성할 수 있다(S100).
일 실시예로, 컴퓨터는 적어도 하나의 세부수술동작을 포함하여 구성되는 수술 큐시트데이터를 획득하고, 획득된 수술 큐시트데이터를 기초로 제1 유전자를 생성할 수 있다. 또한 컴퓨터는 다른 수술 큐시트데이터를 획득하여 제2 유전자를 생성할 수 있으며, 이러한 과정을 반복적으로 수행하여 복수의 유전자를 생성할 수 있다.
세부수술동작은 수술프로세스를 구성하는 최소 동작 단위를 말하는 것으로, 예컨대 수술프로세스 상에서 특정한 기준에 따라 분할된 수술동작의 최소단위일 수 있다. 예컨대, 세부수술동작은 수술유형(예: 복강경수술, 로봇수술, 내시경을 이용한 수술 등), 수술이 수행되는 해부학적 신체부위, 수술 시에 사용되는 수술도구, 수술도구의 개수, 화면상에 수술도구가 나타나는 방향 또는 위치, 수술도구의 움직임(예: 전진/후퇴 등) 등을 기준으로 최소단위로 수술동작을 분할하여 생성된 것일 수 있다. 따라서, 세부수술동작은 수술유형 정보, 수술동작 유형 정보, 수술부위 정보, 및 수술도구 정보 중 적어도 하나의 정보를 포함할 수 있다.
수술 큐시트데이터는 특정한 수술과정을 기록한 데이터로서, 적어도 하나의 세부수술동작으로 구성될 수 있다. 예컨대, 수술 큐시트데이터는 하나의 완성된 특정한 수술과정을 세부수술동작으로 순서대로 나열한 것일 수 있다.
세부수술동작 및 세부수술동작으로 구성되는 수술 큐시트데이터는 실제 수술 과정에서 획득된 실제수술데이터에 기초하여 생성될 수 있다. 예를 들어, 의료진들은 환자에 대해 직접 수술을 수행할 수도 있고, 수술로봇, 복강경, 내시경 등을 이용하는 최소침습수술을 수행할 수도 있다. 이러한 수술 과정에서 행해진 수술동작이나 수술동작과 관련된 수술도구, 수술부위 등에 관한 다양한 정보(즉, 실제수술데이터)가 획득될 수 있다. 예컨대, 수술부위를 중심으로 수술과정을 촬영한 수술영상데이터를 실제수술데이터로 획득할 수도 있고, 수술과정에서 수행된 수술동작에 대해 기록된 데이터를 실제수술데이터로 획득할 수도 있다. 또한, 세부수술동작 및 세부수술동작으로 구성되는 수술 큐시트데이터는 가상수술(예컨대, 수술 시뮬레이션)을 수행하여 획득된 가상수술데이터에 기초하여 생성될 수도 있다. 예를 들어, 가상수술데이터는 환자에 대해 시뮬레이터를 이용하여 가상수술을 수행함으로써 획득되는 영상데이터일 수도 있고, 가상수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.
컴퓨터는 상기와 같이 실제수술데이터 또는 가상수술데이터에 기초하여 생성된 수술 큐시트데이터를 획득할 수 있고, 획득된 수술 큐시트데이터에 대응하는 유전자를 생성할 수 있다.
상술한 바와 같이, 유전자는 유전 알고리즘(genetic algorithm)에서 사용되는 문제의 해에 상응하는 개념으로, 본 발명의 실시예에서는 하나의 수술과정을 하나의 유전자로서 표현할 수 있다. 즉, 유전자는 적어도 하나의 세부수술동작으로 구성되는 수술과정을 나타내는 데이터일 수 있다.
도 2는 본 발명의 일 실시예에 따른 유전자를 생성하는 과정을 설명하기 위해 도시된 도면이다.
도 2를 참조하면, 컴퓨터는 하나의 특정한 수술과정(즉, 수술 큐시트데이터)에 대응하는 하나의 유전자를 생성할 수 있다. 즉, 컴퓨터는 제1 수술과정(즉, 제1 수술 큐시트데이터)에 대응하는 제1 유전자를 생성할 수 있고, 제2 수술과정(즉, 제2 수술 큐시트데이터)에 대응하는 제2 유전자를 생성할 수 있다. 따라서, 컴퓨터는 이와 같은 과정을 n번 반복하여 n개의 유전자를 생성할 수 있다. 이때, n개의 유전자는 임의(random)의 방식으로 생성될 수 있다. 또한 n개의 유전자는 각각 하나의 완성된 수술과정으로 이루어질 수 있다.
예를 들어, 도 2에 도시된 바와 같이, 제1 수술과정이 자르기, 지혈, 잡기 등의 m개의 세부수술동작들로 이루어진 경우, 컴퓨터는 m개의 세부수술동작들을 순서대로 나열하여 구성된 제1 수술 큐시트데이터를 획득하고, 이를 유전자를 나타내기 위한 특정 데이터 형태(예컨대, 비트열; bit string)로 구성하여 제1 유전자를 생성할 수 있다.
다시 도 1을 참조하면, 컴퓨터는 복수의 유전자 각각에 대해 가상수술을 수행하여 최적화된 수술인지를 평가할 수 있다(S110).
일 실시예로, 컴퓨터는 수술 큐시트데이터 내 세부수술동작에 기초하여 복수의 유전자 각각에 대해 가상수술을 수행할 수 있다. 컴퓨터는 복수의 유전자 각각에 대한 가상수술을 통해 각 유전자에 대한 적합도(fitness value)를 산출할 수 있고, 적합도를 기초로 각 유전자에 대응하는 수술이 최적화된 수술인지 여부를 평가할 수 있다.
각 유전자에 대해 가상수술을 수행함에 있어서, 각 유전자는 세부수술동작으로 구성되는 수술 큐시트데이터를 기반으로 생성된 것이므로, 컴퓨터는 각 유전자 내 세부수술동작을 따라 가상수술을 수행할 수 있다. 예컨대, 세부수술동작은 수술유형 정보(예: 복강경수술, 로봇수술, 내시경을 이용한 수술 등의 정보), 수술동작 유형 정보(예: 자르기, 지혈, 잡기 등의 정보), 수술부위 정보(신체내부의 장기, 혈관, 조직 등과 같은 수술이 수행되고 있는 특정 수술부위에 대한 위치, 종류 등의 정보), 및 수술도구 정보(예: 수술도구의 개수, 종류, 방향, 위치, 움직임 등의 정보) 등을 포함하여 기술된 데이터이기 때문에, 컴퓨터가 이러한 세부수술동작 내 정보를 이용하여 각 유전자에 대응하는 수술과정을 동일하게 재현할 수 있다.
각 유전자에 대한 적합도를 산출함에 있어서, 컴퓨터는 수술의 성공 여부에 대한 정보, 수술 시간 관련 정보, 및 수술도구 관련 정보 중 적어도 하나를 이용하여 적합도를 산출할 수 있다. 컴퓨터는 각 유전자에 대한 가상수술의 결과로 최적의 해를 도출하기 위해서 최적화 목적 함수를 이용할 수 있으며, 이때 수술의 성공 여부에 대한 정보, 수술 시간 관련 정보, 수술도구 관련 정보를 최적화 목적 함수의 변수로 사용하여 유전자에 대한 적합도를 산출할 수 있다.
일 실시예로, 컴퓨터는 아래 수학식 1과 같은 최적화 목적 함수를 이용하여 적합도를 계산할 수 있다.
[수학식 1]
Figure PCTKR2019002088-appb-I000001
여기서, x는 유전자로서, 수술 큐시트데이터를 포함하는 비트열로 구성된 정보일 수 있다.
w1 ~ w4는 가중치이며, 예컨대 학습을 통해서 각 변수의 중요도 등을 기초로 결정될 수 있다.
s는 수술 성공 여부를 나타내는 정보로, 예컨대 0이면 실패이고 1이면 성공을 나타낼 수 있다.
b는 (전체 출혈 시간) / (전체 수술 시간)일 수 있다.
L(A)는 1 / (A 집합에 있는 수술도구들이 움직인 총 거리의 합)일 수 있다.
c는 1 / (자르기 횟수)일 수 있다.
d는 1/ (전체 수술 시간)일 수 있다.
A는 수술에 이용된 모든 수술도구들을 원소로 갖는 집합일 수 있으며, 예컨대 A = {도구1, 도구2, 도구3, …}인 집합일 수 있다.
a는 1 / n(A)일 수 있고, 또는 1 / (수술에 사용된 총 수술도구 개수)일 수 있다.
수학식 1에 따르면, 컴퓨터는 수술이 성공해야 하고, 전체 수술 시간이 짧고, 출혈 시간이 짧고, 수술도구의 이동 거리가 짧고, 자르기 횟수가 적고, 사용된 수술도구의 개수가 적은 수술을 최적화된 수술로 평가할 수 있다. 즉, 컴퓨터는 각 유전자에 대한 가상수술을 수행함으로써 수학식 1과 같은 최적화 목적 함수의 변수들을 계산할 수 있으며, 각 변수들을 수학식 1에 대입하여 최종적으로 유전자에 대한 적합도를 산출할 수 있다.
적합도는 진화시키고자 하는 원하는 특성에 따라 정해질 수 있다. 위의 수학식 1은 적합도를 산출하기 위한 하나의 예시일 뿐이며, 목표한 최적화된 수술이 무엇인지에 따라 수술 성공 여부, 수술시간 관련 정보(예: 전체 수술 시간, 출혈 시간), 수술도구 관련 정보(예: 수술도구의 개수, 이동 거리), 수술동작 정보(예: 자르기 횟수 등) 등과 같은 요소들은 변경될 수 있다.
컴퓨터는 단계 S110에 따른 평가 결과를 기반으로 복수의 유전자 중 최적화된 수술로 평가된 적어도 하나의 유전자를 선택하여 유전 알고리즘을 적용할 수 있다(S120).
일 실시예로, 컴퓨터는 최적화된 수술인지를 평가하기 위해 산출된 각 유전자의 적합도를 기초로, 복수의 유전자 중에서 기설정된 조건에 부합하는 적합도를 갖는 적어도 하나의 유전자를 선택할 수 있다. 예컨대, 컴퓨터는 특정 기준값 이상의 적합도를 갖는 유전자를 선택하는 것을 조건으로 설정할 수도 있고, 가장 큰 값의 적합도를 갖는 유전자를 선택하는 것을 조건으로 설정할 수도 있다. 이후, 컴퓨터는 기설정된 조건에 따라 선택된 유전자에 대해 유전 알고리즘을 적용할 수 있다. 예컨대, 선택(selection), 교배(crossover), 돌연변이(mutation), 대치(replace) 등과 같은 유전 알고리즘을 적용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 유전 알고리즘을 적용하는 일례로, 유전자를 교배하는 과정을 설명하기 위해 도시된 도면이다.
일 실시예로, 컴퓨터는 도 2에 도시된 것과 같은 n개의 유전자를 생성하고, n개의 유전자 각각에 대해 가상수술을 수행하여 각 유전자의 적합도(예컨대, 수학식 1을 이용한 적합도)를 산출할 수 있다. 컴퓨터는 n개의 유전자 각각에 대해 산출된 적합도를 기초로, n개의 유전자 중에서 가장 큰 적합도를 갖는 유전자를 선택하거나 또는 특정 기준값 이상의 적합도를 갖는 유전자를 선택할 수 있다. 이때, 유전자를 선택하는 방식은 어떤 조건을 설정하는지에 따라 달라질 수 있다.
예컨대, n개의 유전자 중에서 조건에 부합하는 적합도 값(예: 가장 큰 적합도 값)을 갖는 2개의 유전자(예: 제2 유전자 및 제3 유전자)가 선택된 경우, 컴퓨터는 2개의 유전자(예: 제2 유전자 및 제3 유전자)를 교배시킬 수 있다.
도 3의 (a)를 참조하면, 컴퓨터는 제2 유전자 및 제3 유전자를 교배시키기 위한 특정 지점(200)을 설정하고, 설정된 특정 지점(200)을 기초로 제2 유전자 및 제3 유전자를 교배시킬 수 있다.
도 3의 (b)를 참조하면, 제2 유전자는 제3 유전자와의 교배를 한 결과, 특정 지점(200)을 기준으로 제3 유전자의 세부수술동작들로 교환될 수 있다. 또한, 제3 유전자는 제2 유전자와의 교배를 한 결과, 특정 지점(200)을 기준으로 제2 유전자의 세부수술동작들로 교환될 수 있다.
유전자 간 교배를 위한 특정 지점(200)은 임의로 선택될 수 있다. 이때, 특정 지점(200)은 하나의 지점이 사용될 수도 있고, 또는 복수의 지점이 사용될 수도 있다. 또한, 특정 지점(200)은 각 유전자마다 동일하게 선택될 수도 있고, 상이하게 선택될 수도 있다.
상기와 같은 유전자 교배 과정을 n번 반복 수행하면 총 2n개의 새로운 유전자가 생성될 수 있다. 일 실시예로, 컴퓨터는 유전자들을 어느 정도로 진화(변화)시킬지에 따라 유전자 교배 과정의 횟수를 결정할 수 있다. 예컨대, 컴퓨터는 초기에 생성된 유전자의 개수를 고려하여 유전자 교배 과정을 반복 수행할 수 있으며, 초기에 생성된 유전자(부모 유전자)의 개수가 n개라면 상기와 같은 유전자 교배 과정을 n/2번 수행하여 총 n개의 새로운 유전자(자식 유전자)를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 유전 알고리즘을 적용하는 일례로, 유전자를 돌연변이시키는 과정을 설명하기 위해 도시된 도면이다.
일 실시예로, 컴퓨터는 도 2에 도시된 것과 같은 n개의 유전자를 생성하고, n개의 유전자 각각에 대해 가상수술을 수행하여 각 유전자의 적합도(예컨대, 수학식 1을 이용한 적합도)를 산출할 수 있다. 컴퓨터는 n개의 유전자 각각에 대해 산출된 적합도를 기초로, n개의 유전자 중에서 가장 큰 적합도를 갖는 유전자를 선택하거나 또는 특정 기준값 이상의 적합도를 갖는 유전자를 선택할 수 있다. 이때, 유전자를 선택하는 방식은 어떤 조건을 설정하는지에 따라 달라질 수 있다.
예컨대, n개의 유전자 중에서 조건에 부합하는 적합도 값(예: 가장 큰 적합도 값)을 갖는 1개의 유전자(예: 제2 유전자)가 선택된 경우, 컴퓨터는 선택된 1개의 유전자(예: 제2 유전자)에 대해 돌연변이 유전 알고리즘을 적용할 수 있다.
도 4를 참조하면, 컴퓨터는 제2 유전자를 변이시키기 위한 특정 지점(300)을 선택하고, 선택된 특정 지점(300)에 해당하는 유전자(예컨대, 자르기 세부수술동작)을 다른 유전자(예컨대, 지혈 세부수술동작)으로 변경시킬 수 있다.
유전자를 변이시키기 위한 특정 지점(300)은 임의로 선택될 수 있다. 일 실시예로, 특정 지점(300)은 확률을 이용하여 선택될 수 있다. 예컨대 확률값 P(예: P는 0.001 등과 같은 작은 값)를 설정하고, 유전자의 위치(즉, 유전자 내 각 세부수술동작)에 랜덤 함수를 이용하여 랜덤 값을 생성한 다음 확률값 P와 비교하여 조건(예: 확률값 P 미만)에 맞는 유전자(즉, 세부수술동작)를 특정 지점(300)으로 선택할 수 있다. 또한, 특정 지점(300)은 하나의 지점이 사용될 수도 있고, 또는 복수의 지점이 사용될 수도 있다.
다시 도 1을 참조하면, 컴퓨터는 단계 S100에서 생성된 초기 유전자들(부모 유전자)로부터 유전 알고리즘을 적용하여 새로운 유전자(자식 유전자)를 생성할 수 있고, 새로운 유전자에 기초하여 최적의 수술과정을 도출할 수 있다(S130).
일 실시예로, 컴퓨터는 상술한 바와 같이 초기에 생성된 유전자들(부모 유전자)에 교배, 돌연변이 등의 유전 알고리즘을 적용함으로써, 적어도 하나의 새로운 유전자(자식 유전자)를 생성할 수 있다. 이때, 컴퓨터는 새로운 유전자(자식 유전자)에 대해 단계 S110 ~ S120을 반복적으로 수행할 수 있다. 이때, 반복 횟수는 미리 정해질 수 있다.
예를 들어, 컴퓨터는 새로운 유전자(자식 유전자)에 대해 가상수술을 수행하여 적합도를 산출할 수 있다. 또한, 컴퓨터는 새로운 유전자(자식 유전자)의 적합도가 기설정된 조건에 부합하는지를 판단하고, 조건에 부합하는 새로운 유전자(자식 유전자)를 선택하여 교배, 돌연변이 등의 유전 알고리즘을 적용할 수 있다. 이러한 유전 알고리즘을 새로운 유전자(자식 유전자)에 적용함으로써, 또 다시 새로운 자식 유전자를 생성할 수 있다. 즉, 컴퓨터는 최적의 수술인지를 평가하기 위한 적합도 결과를 기초로, 부모 유전자들로부터 자식 유전자들을 반복적으로 생성하여, 최종적으로 생성된 자식 유전자들 중에서 최적의 수술과정을 포함하는 유전자를 획득할 수 있다. 예컨대, 자식 유전자들 중에서 가장 높은 적합도를 가지는 유전자를 선택하여, 최적화된 수술과정으로 도출할 수 있다.
이때, 단계 S110 ~ S120과 같은 유전 과정을 반복 수행할 때마다 적합도가 높은 유전자들만 선택되어 계속적으로 진화하게 되므로, 자식 유전자들은 부모 유전자들보다 더 높은 적합도 값을 가지게 된다. 즉, 자식 유전자들은 부모 유전자들보다 향상된 수술과정으로 이루어진 세부수술동작들로 구성될 수 있다. 따라서, 컴퓨터는 최종적으로 생성된 자식 유전자들로부터 가장 높은 적합도를 가지는 유전자를 선택하고, 선택된 유전자로부터 최적화된 수술 큐시트데이터를 획득할 수 있다. 이때, 최적화된 수술 큐시트데이터는 수술시간, 수술도구의 동작, 수술도구의 사용 개수, 수술 예후 등의 측면에서 최적화된 수술과정으로 구성된 세부수술동작 정보를 포함하고 있다.
상술한 바와 같은 본 발명의 실시예에 따르면, 유전 알고리즘을 적용함으로써 실제수술과정에서 수행된 수술프로세스에 비해서 보다 향상된 수술과정을 도출할 수 있다.
또한, 본 발명의 실시예에 따르면, 유전 알고리즘을 통해 최적화된 수술과정을 포함하고 있는 수술 큐시트데이터를 도출하므로, 이를 실제 의료진들에게 제공할 수 있다. 또한, 실제 의료진들은 최적화된 수술 큐시트데이터를 실제 수술시에 활용할 수 있고, 이를 통해 보다 정확한 수술동작 및 수술과정을 수행할 수 있다.
또한, 본 발명의 실시예에 따르면, 유전 알고리즘을 통해 최적화된 수술과정을 포함하고 있는 수술 큐시트데이터를 도출하므로, 이를 딥러닝과 같은 학습 과정에서 학습 데이터로 활용할 수 있다.
도 5는 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 5에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(100) 및 수술실에 구비된 제어부(30), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.
일 실시 예에서, 수술로봇(34)은 촬영장치(36) 및 수술도구(38)를 포함한다.
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.
서버(100)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.
제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.
촬영장치(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 촬영장치(36)는 적어도 하나의 카메라 장치를 포함하여, 대상체, 즉 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 촬영장치(36)는 수술로봇(34)의 수술 암(arm)과 결합된 적어도 하나의 카메라를 포함한다.
일 실시 예에서, 촬영장치(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.
일 실시 예에서, 수술로봇(34)은 수술부위의 절단, 클리핑, 고정, 잡기 동작 등을 수행할 수 있는 하나 이상의 수술도구(38)를 포함한다. 수술도구(38)는 수술로봇(34)의 수술 암과 결합되어 이용된다.
제어부(30)는 서버(100)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.
서버(100)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.
제어부(30)는 서버(100)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(100)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.
상술한 바와 같이 로봇수술을 수행할 경우, 수술 과정에서 촬영된 수술영상 또는 수술로봇의 제어과정에서 다양한 수술정보를 포함하는 데이터를 획득할 수 있다. 일 실시예로, 본 발명에서는 이와 같은 로봇수술 과정에서 획득된 수술정보(즉, 수술영상)를 기초로 상술한 수술 큐시트데이터를 구성하고, 이로부터 유전자를 생성할 수 있다. 또한, 본 발명에서는 도 1 내지 도 4의 실시예에서 설명한 바와 같은 최적화된 수술과정, 즉 최적화된 수술 큐시트데이터를 도출하여, 도 5의 로봇수술 과정에 적용할 수도 있다. 이 경우, 최적화된 수술 큐시트데이터에 따라 수술로봇이 수술을 수행할 수 있으므로, 보다 정확하고 효과적으로 수술을 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른 수술 최적화 방법을 수행하는 장치(400)의 구성을 개략적으로 나타내는 도면이다.
도 6을 참조하면, 프로세서(410)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(410)는 메모리(420)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 4와 관련하여 설명된 수술영상을 제공하는 방법을 수행한다.
예를 들어, 프로세서(410)는 메모리(420)에 저장된 하나 이상의 인스트럭션을 실행함으로써 세부수술동작을 기초로 복수의 유전자를 생성하고, 복수의 유전자 각각에 대해 가상수술을 수행하여 최적화된 수술인지를 평가하고, 평가 결과를 기반으로 복수의 유전자 중 적어도 하나의 유전자를 선택하여 유전 알고리즘을 적용하고, 유전 알고리즘을 적용하여 새로운 유전자를 생성하고, 새로운 유전자에 기초하여 최적의 수술과정을 도출할 수 있다.
한편, 프로세서(410)는 프로세서(410) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(410)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(420)에는 프로세서(410)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(420)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 수술 최적화 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
이하에서는 도 7 내지 도 11을 참조하여, 본 발명의 실시예에 따른 최적화된 수술도구 제공 방법 및 장치에 관해 상세히 설명한다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 7은 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 7에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(100) 및 수술실에 구비된 제어부(30), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.
일 실시 예에서, 수술로봇(34)은 촬영장치(36) 및 수술도구(38)를 포함한다.
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.
서버(100)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.
제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.
촬영장치(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 촬영장치(36)는 적어도 하나의 카메라 장치를 포함하여, 대상체, 즉 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 촬영장치(36)는 수술로봇(34)의 수술 암(arm)과 결합된 적어도 하나의 카메라를 포함한다.
일 실시 예에서, 촬영장치(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.
일 실시 예에서, 수술로봇(34)은 수술부위의 절단, 클리핑, 고정, 잡기 동작 등을 수행할 수 있는 하나 이상의 수술도구(38)를 포함한다. 수술도구(38)는 수술로봇(34)의 수술 암과 결합되어 이용된다.
제어부(30)는 서버(100)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.
서버(100)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.
제어부(30)는 서버(100)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(100)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.
상기와 같은 로봇수술이나 복강경 수술, 내시경을 이용하는 수술 등과 같은 최소침습수술의 경우, 환자(즉, 수술 대상자)의 신체 내부, 즉 수술부위에 수술도구 및 카메라를 진입시켜 수술을 수행한다. 이러한 경우, 환자의 신체 내부에는 장기, 혈관 등이 배치되어 있고 또한 신체 내부 공간이 좁기 때문에 수술도구를 삽입하여 수술동작을 수행하기 용이하지 않다. 따라서, 본 발명에서는 환자의 신체 내부에 존재하는 장기, 혈관 등의 배치 상태나 수술도구의 길이, 구조 등으로 인해 수술과정에서 제한이 발생하는 것을 최소화하고, 의료진이 가장 편한 수술동작을 수행할 수 있도록 하는 방법을 제공하고자 한다. 이하에서 구체적으로 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 최적화된 수술도구 제공 방법을 개략적으로 도시한 흐름도이다.
도 8에 도시된 각 단계들은 도 7에 도시된 서버(100) 또는 제어부(30)에서 시계열적으로 수행될 수 있다. 또는 이와는 별도로 구비된 컴퓨팅 장치에서 수행될 수도 있다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행되거나, 별도로 구비된 컴퓨팅 장치에서 수행될 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 컴퓨터가 수행하는 최적화된 수술도구 제공 방법은, 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계(S100), 가상신체모델 내에서 수술도구를 이용하여 수술동작을 시뮬레이션하는 단계(S110), 및 시뮬레이션 결과를 기초로 수술 대상자의 신체 내부 공간에서 수술도구에 의해 수행된 수술동작을 적용하기에 적합한 수술도구의 구성을 도출하는 단계(S120)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
컴퓨터는 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득할 수 있다(S100).
가상신체모델은 사전에 수술 대상자의 신체 내부를 촬영한 의료영상데이터(예: CT, PET, MRI 등을 통해 촬영된 의료영상)를 기반으로 생성된 3D 모델링 데이터일 수 있다. 예컨대, 수술 대상자의 신체와 부합하게 모델링된 것으로서, 실제 수술 상태와 동일한 상태로 보정된 것일 수도 있다.
의료진들은 수술 대상자의 신체 상태와 동일하게 구현된 가상신체모델을 이용하여 리허설 또는 시뮬레이션을 수행할 수 있고, 이를 통해 실제수술 시와 동일한 상태를 경험할 수 있다. 이때, 의료진들은 가상신체모델을 통해 환자의 신체 내부 공간에서 자유롭게 수술동작을 수행할 수 있다. 예컨대, 환자의 신체 내부 특성(예: 장기 배치, 혈관 상태 등)이나 수술도구의 특성 등에 따른 제약없이 의료진들의 수술동작 패턴에 따라 가상수술을 수행할 수 있다. 그리고 이러한 가상수술을 수행한 이후에 그 결과를 바탕으로 환자의 신체 내부 특성이나 수술도구의 특성 등을 고려하여 최적의 실제수술 과정을 도출할 수 있도록 한다. 또한 가상신체모델을 이용한 가상수술을 수행할 경우, 가상신체모델에 대한 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 획득할 수 있다. 예컨대, 가상신체모델 상에 가상수술(즉, 리허설 또는 시뮬레이션)을 수행한 영상데이터를 획득하거나, 가상신체모델에 대해 수행된 수술동작을 기록한 데이터를 획득할 수 있다.
컴퓨터는 가상신체모델 내에서 수술도구를 이용하여 수술동작을 시뮬레이션할 수 있다(S110).
수술도구는 수술부위에 대해 직접적으로 수술동작을 행하는 동작부 및 이와 연결되어 동작하는 암(arm) 부분을 포함하여 구성될 수 있다. 예를 들어, 동작부는 수술부위에 접근하여 목표 대상을 잡거나, 자르거나, 이동시키거나, 봉합하는 등의 수술동작을 수행할 수 있는 부분으로, 수술동작의 목적에 따라 다양한 기구로 구성될 수 있다. 암 부분은 동작부와 연결되어 동작부의 움직임에 따라 작동되거나, 또는 동작부의 움직임을 제어하기 위해 동작할 수 있다.
도 7의 로봇수술이나 복강경 수술과 같은 최소침습수술의 경우, 수술 대상자의 신체 내부에 삽입된 카메라에 의해 수술도구의 동작부만 촬영되어 화면을 통해 보이게 된다. 따라서, 수술도구의 암 부분의 동작 상태는 화면을 통해 제공되지 않는다.
일 실시예로, 컴퓨터는 가상신체모델 내에서 수술도구의 동작부만을 이용하여 수술동작을 시뮬레이션할 수 있다. 즉, 컴퓨터는 수술도구의 구성 중에서 가상신체모델 내부의 공간에 변화를 생성(예: 신체 내 장기, 혈관, 조직 등에 물리적 또는 화학적 변화를 일으키거나 가상신체모델 내부 공간에 클립, 거즈, 식염수 등의 외부객체를 제공)하는 동작부만을 가상신체모델 내부에 구현하여 시뮬레이션할 수 있다. 따라서, 이와 같은 시뮬레이션 시에는 수술도구의 암 부분의 특성이나, 암 부분의 동작에 따라 신체 내부 장기에 영향을 미치는지 여부나, 환자의 신체 표면 상의 진입위치 등을 고려하지 않은 상태에서, 가상신체모델 내에서 수술도구의 동작부만을 이용하여 가상수술을 수행함으로써, 가장 용이하고 익숙한 수술동작 패턴을 적용할 수 있다.
여기서, 가상신체모델에 대한 시뮬레이션(가상수술)은 의료진에 의해 수행될 수도 있고, 컴퓨터에 의해 자체적으로 수행될 수도 있다. 의료진에 의해 수행되는 경우, 컴퓨터는 의료진에 의해 컨트롤러 조작을 입력받는다. 또한, 컴퓨터가 자체적으로 시뮬레이션을 수행하는 경우, 컴퓨터가 기존 수술데이터를 학습한 결과를 기반으로 특정한 환자에 대한 가상수술을 수행할 수 있다.
컴퓨터는 시뮬레이션 결과를 기초로 수술 대상자의 신체 내부 공간에서 수술도구에 의해 수행된 수술동작을 적용하기에 적합한 수술도구의 구성을 도출할 수 있다(S120).
구체적으로, 컴퓨터는 가상신체모델을 통해 시뮬레이션한 결과를 기초로 수술도구의 움직임 정보를 획득할 수 있다. 움직임 정보는 수술동작을 수행함에 따라 발생되는 수술도구의 위치 변화를 나타내는 정보일 수 있으며, 예컨대 가상신체모델 좌표상에서 수술도구의 각 지점의 위치를 표시한 좌표값들의 집합일 수 있다. 그리고, 컴퓨터는 수술 대상자의 신체 내부 공간에서 수술도구의 움직임 정보를 적용하기에 적합한 수술도구의 구성을 도출할 수 있다. 즉, 컴퓨터는 가상신체모델을 통해 획득된 움직임 정보를 수술 대상자의 신체 내부에 적용함에 있어서 최적화된 동작부의 유형 및 암 부분의 구조를 도출할 수 있다.
일 실시예로, 컴퓨터는 가상신체모델을 통해 수술도구의 동작부만을 이용하여 수술동작을 시뮬레이션하여, 동작부의 움직임 정보를 획득할 수 있다. 컴퓨터는 동작부의 움직임 정보를 기초로 수술 대상자의 수술대상부위에 대해 수술동작을 가할 최적화된 동작부의 유형을 결정할 수 있다. 예를 들어, 컴퓨터는 동작부의 움직임 정보를 분석하여, 동작부에 의해 수행된 수술동작에 대한 움직임 패턴 정보를 파악할 수 있다. 동작부에 의해 수행된 수술동작이 자르기 동작인 경우, 컴퓨터는 움직임 패턴 정보로부터 자르기 동작임을 인식하고 자르기에 적합한 동작부의 유형(종류)을 도출할 수 있다. 또한, 동일한 수술동작을 행하더라도 수술의 종류나 수술대상부위에 따라 동작부의 움직임이 상이하게 나타날 수 있다. 이 경우, 컴퓨터는 동작부의 움직임 패턴 정보를 분석하여 해당 수술 또는 해당수술부위에 가장 적합한 동작부의 유형을 도출할 수 있다.
또한, 컴퓨터는 수술 대상자의 신체 내부 정보 및 신체 표면 정보를 획득하고, 이를 기초로 암 부분의 구조를 결정할 수 있다. 신체 내부 정보는 수술 대상자의 신체 내부 공간에 위치한 장기 배치 상태 정보를 포함하고, 신체 표면 정보는 수술 대상자의 신체 표면 형상 정보를 포함할 수 있다.
컴퓨터는 다양한 방식으로 신체 내부 정보 및 신체 표면 정보를 획득할 수 있다. 일 실시예로, 신체 내부 정보 또는 신체 표면 정보는 환자에 대한 의료영상데이터을 기복형성알고리즘에 적용하여 생성된 가상신체모델에서 획득될 수 있다. 기복형성알고리즘은 정상상태의 3차원 모델링데이터를 기복상태의 3차원 모델링데이터로 생성하는 알고리즘이다.
일반적인 개복수술 시와 달리, 복강경 수술이나 로봇 수술을 수행하는 경우, 신체 내부에 수술도구가 움직이는 공간을 형성하기 위해 신체 내부에 기체(즉, 기복제 이산화탄소)를 주입하여 환자 신체를 기복 상태로 형성한다. 즉, 환자가 복강경 수술이나 로봇 수술의 대상인 경우, 의료진이 실제 수술 시와 동일한 가상신체모델을 통해 시뮬레이션하기 위해서는 기복상태로 모델링하는 과정이 필요하다. 컴퓨터는 기복형성알고리즘을 적용하여 기복상태로 형성된 가상신체모델에서 환자 신체 표면으로부터 신체 표면 정보를 획득하고, 신체 내부의 장기 배치 정보를 추출하여 신체 내부 정보를 획득한다.
일 실시예로, 암 부분의 구조를 결정함에 있어서, 컴퓨터는 수술 대상자의 신체 내부 정보 및 신체 표면 정보로부터 암 부분의 동작수행범위를 산출하고, 암 부분의 동작수행범위를 기초로 암 부분과 동작부 간의 배치 관계를 도출할 수 있다. 컴퓨터는 동작부와의 배치 관계에 따라 암 부분의 길이, 관절부 유무, 및 관절부의 움직임 정보 중 적어도 하나를 결정할 수 있다. 이때, 암 부분의 동작수행범위는 수술 대상자의 신체 내부 정보 및 신체 표면 정보를 기초로 동작부의 움직임에 따라 암 부분의 동작이 가능한 범위를 말한다.
예를 들어, 컴퓨터는 수술 대상자의 신체 내부 정보로부터 장기 배치 상태를 파악할 수 있으므로, 동작부의 움직임에 따라 암 부분의 움직임이 발생할 때 이로 인해 장기에 영향이 발생하는지 여부를 판단할 수 있다. 이에 따라, 컴퓨터는 장기에 영향을 미치지 않고 동작을 수행할 있는 암 부분의 동작수행범위를 산출할 수 있다. 또한, 컴퓨터는 암 부분의 동작수행범위 내에서 수술 대상자의 신체 내부 장기 배치나 신체 표면 형상과의 위치 관계를 바탕으로 암 부분과 동작부 간의 배치 관계를 도출할 수 있다. 즉, 컴퓨터는 암 부분의 동작수행범위 내에서 동작부와의 배치 관계에 기초하여 최적화된 암 부분의 구조를 결정할 수 있다. 예컨대, 컴퓨터는 동작부와 암 사이의 각도, 기울기 정도, 꺽임 정도 등의 배치 관계를 산출할 수 있다. 컴퓨터는 이러한 배치 관계를 기초로 암 부분에 관절부가 필요한지 여부를 결정할 수 있다. 관절부는 동작부와 암 부분을 연결하거나, 암 부분이 복수개의 암을 포함할 때 암과 암 사이를 연결하는 부분일 수 있다. 암 부분에 관절부를 포함하는 경우, 컴퓨터는 관절의 개수, 관절의 자유도, 회전각도, 꺾임 정도 등의 움직임 정도를 결정할 수 있다.
본 발명의 일 실시예에서 수술도구의 구성을 도출함에 있어서, 컴퓨터는 수술도구가 삽입되는 수술 대상자의 신체 표면 상에서의 최적진입위치를 획득하고, 최적진입위치를 고려하여 수술도구의 구성을 결정할 수 있다. 이때, 컴퓨터는 미리 정해진 진입위치를 사용할 수도 있고, 후술할 도 4의 방법을 수행하여 최적진입위치를 획득할 수도 있다. 일 실시예로, 컴퓨터는 최적진입위치로 수술도구를 삽입할 때, 신체 내부 장기나 신체 표면 형상에 영향을 주지 않으면서 삽입할 수 있는 암 부분의 구조를 도출할 수 있다. 예컨대, 암 부분의 길이, 관절부 유무, 관절부의 움직임 정보 등을 도출할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 최적화된 수술도구 제공 방법을 개략적으로 도시한 흐름도이다.
도 9에 도시된 각 단계들은 도 7에 도시된 서버(100) 또는 제어부(30)에서 시계열적으로 수행될 수 있다. 또는 이와는 별도로 구비된 컴퓨팅 장치에서 수행될 수도 있다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행되거나, 별도로 구비된 컴퓨팅 장치에서 수행될 수 있다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 컴퓨터가 수행하는 최적화된 수술도구 제공 방법은, 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계(S200), 가상신체모델 내에서 수술 대상자의 실제수술동작과 상응하는 수술동작을 시뮬레이션하는 단계(S210), 및 시뮬레이션 결과를 기초로 수술 대상자의 신체 내부 공간에서 수술동작을 적용하기에 적합한 수술도구 또는 수술로봇을 도출하는 단계(S220)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
컴퓨터는 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득할 수 있다(S200). 이는 상술한 도 8의 단계 S100과 동일하게 수행될 수 있으므로, 여기서는 상세한 설명을 생략한다.
컴퓨터는 가상신체모델 내에서 수술 대상자의 실제수술동작과 상응하는 수술동작을 시뮬레이션할 수 있다(S210). 이는 상술한 도 8의 단계 S110과 동일하게 수행될 수 있으므로, 여기서는 상세한 설명을 생략한다.
컴퓨터는 시뮬레이션 결과를 기초로 수술 대상자의 신체 내부 공간에서 수술동작을 적용하기에 적합한 수술도구 또는 수술로봇을 도출할 수 있다(S220).
일 실시예로, 컴퓨터는 시뮬레이션 결과로부터 수술도구의 움직임 정보를 획득하고, 움직임 정보로부터 수술동작을 분석할 수 있다. 컴퓨터는 분석된 수술동작을 바탕으로 수술 대상자에 최적화된 특정한 수술로봇의 종류 또는 특정한 수술로봇에 포함된 수술도구의 종류를 결정할 수 있다.
즉, 수술로봇은 수술의 종류나 수술 대상자의 신체 특성 등에 따라 다양한 종류가 있을 수 있고, 각 회사마다 다른 종류의 수술로봇을 보유하고 있을 수 있다. 따라서, 본 발명에서는 가상신체모델을 통해 수술도구의 움직임 정보를 획득하여 해당수술동작에 가장 적합한 수술로봇의 종류를 도출하여 의료진에게 추천할 수 있다. 또한, 수술로봇마다 수술도구(즉, 동작부 및 암 부분)의 움직임 특성이 상이할 수 있으며, 각 회사의 수술로봇마다 보유한 수술도구의 종류에 차이가 있을 수 있다. 따라서, 본 발명에서는 가상신체모델을 통해 획득된 수술도구의 움직임을 구현하기에 최적인 특정한 수술로봇을 결정할 수 있다. 또한, 하나의 수술로봇에 동일한 수술동작을 수행하는 여러가지 수술도구를 포함할 수 있으므로, 컴퓨터는 특정한 수술로봇 내의 여러가지 수술도구 중에서 가상신체모델을 통해 획득된 수술도구의 움직임을 구현하기에 최적인 특정한 수술도구를 결정할 수 있다.
본 발명의 일 실시예에서 수술도구 또는 수술로봇을 도출함에 있어서, 컴퓨터는 수술도구가 삽입되는 수술 대상자의 신체 표면 상에서의 최적진입위치를 획득하고, 최적진입위치를 고려하여 수술도구 또는 수술로봇을 결정할 수 있다. 이때, 컴퓨터는 미리 정해진 진입위치를 사용할 수도 있고, 후술할 도 10의 방법을 수행하여 최적진입위치를 획득할 수도 있다. 일 실시예로, 컴퓨터는 최적진입위치로 수술도구를 삽입할 때, 신체 내부 장기나 신체 표면 형상에 영향을 주지 않으면서 삽입할 수 있는 수술도구 또는 해당 수술도구를 포함하는 수술로봇을 도출할 수 있다.
또한, 본 발명의 일 실시예에서, 컴퓨터는 수술시 수술도구의 움직임을 실시간으로 기록하고 저장할 수 있다. 이에, 컴퓨터는 상술한 바와 같이 시뮬레이션 결과를 기초로 적어도 하나의 최적의 수술도구를 결정하고, 결정된 수술도구 중 사용자로부터 하나의 수술도구를 선택받을 수 있다. 이때, 컴퓨터는 사용자로부터 선택된 수술도구를 이용하여 수술과정을 다시 시뮬레이션할 수 있다. 이를 통해 최적화된 실제수술과정(즉, 실제수술동작)을 도출할 수 있다.
도 10은 본 발명의 일 실시예에 따른 수술도구의 최적진입위치 제공 방법을 개략적으로 도시한 흐름도이다.
도 10에 도시된 각 단계들은 도 7에 도시된 서버(100) 또는 제어부(30)에서 시계열적으로 수행될 수 있다. 또는 이와는 별도로 구비된 컴퓨팅 장치에서 수행될 수도 있다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행되거나, 별도로 구비된 컴퓨팅 장치에서 수행될 수 있다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술도구의 최적진입위치 제공 방법은, 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계(S300), 가상신체모델 내에서 수술 대상자의 수술대상부위에 대해 수술동작을 가하는 수술도구의 동작부를 이용하여 시뮬레이션하는 단계(S310), 및 시뮬레이션 결과를 기초로 수술 대상자의 신체 내부 공간에서 동작부에 의해 수행된 수술동작을 적용할 수 있도록 하는 수술 대상자의 신체 표면에서의 최적진입위치를 산출하는 단계(S320)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
컴퓨터는 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득할 수 있다(S300). 이는 상술한 도 8의 단계 S100과 동일하게 수행될 수 있으므로, 여기서는 상세한 설명을 생략한다.
컴퓨터는 가상신체모델 내에서 수술 대상자의 수술대상부위에 대해 수술동작을 가하는 수술도구의 동작부를 이용하여 시뮬레이션할 수 있다(S310). 이는 상술한 도 8의 단계 S110과 동일하게 수행될 수 있으므로, 중복된 설명은 생략하도록 한다.
일 실시예로, 컴퓨터는 동작부의 수술동작에 따라 움직임이 발생하는 암 부분의 구성을 고려하지 않고, 가상신체모델 내에서 수술대상부위에 대해 동작부만을 이용하여 수술동작을 시뮬레이션할 수 있다. 컴퓨터는 시뮬레이션 결과로부터 동작부의 움직임 정보를 획득할 수 있다. 이때, 움직임 정보는 상술한 바와 같이 수술동작을 수행함에 따라 발생되는 수술도구의 위치 변화를 나타내는 정보일 수 있으며, 예컨대 가상신체모델 좌표상에서 수술도구의 각 지점의 위치를 표시한 좌표값들의 집합일 수 있다.
따라서, 이와 같은 시뮬레이션 시에는 수술도구의 암 부분의 특성이나, 암 부분의 동작에 따라 신체 내부 장기에 영향을 미치는지 여부나, 환자의 신체 표면 상의 진입위치 등을 고려하지 않은 상태에서, 가상신체모델 내에서 수술도구의 동작부만을 이용하여 가상수술을 수행함으로써, 가장 용이하고 익숙한 수술동작 패턴을 적용할 수 있다.
컴퓨터는 시뮬레이션 결과를 기초로 수술 대상자의 신체 내부 공간에서 동작부에 의해 수행된 수술동작을 적용할 수 있도록 하는 수술 대상자의 신체 표면에서의 최적진입위치를 산출할 수 있다(S320).
일 실시예로, 컴퓨터는 수술 대상자의 신체 내부 공간에서 동작부의 움직임 정보를 적용할 수 있는 수술 대상자의 신체 표면에서의 진입가능범위를 추출할 수 있다. 그리고, 컴퓨터는 동작부의 수술동작에 따라 움직임이 발생하는 암 부분의 동작수행범위를 반영하여 진입가능범위로부터 최적진입위치를 산출할 수 있다.
예를 들어, 컴퓨터는 수술 대상자의 전체 신체 표면에서 동작부의 움직임 정보를 적용할 수 있는 진입가능범위를 추출할 수 있다. 일례로, 진입가능범위는, i) 수술도구의 동작부가 수술동작을 수행할 때 도달하지 못하는 영역, 또는 ii) 특정 지점에 도달한 수술도구의 동작부가 특정 수술동작을 수행하지 못하는 경우에 해당하는 영역을 제외한 신체 표면에서의 위치일 수 있다. 다른 예로, 진입가능범위는 수술도구의 기능을 기반으로 산출될 수 있다. 예를 들어, 수술도구의 유형에 따라 잡는 기능, 자르는 기능, 지지는 기능(지형 기능) 등이 있으며, 각 기능에 따라 서로 다른 수술도구가 사용된다. 또는 하나의 수술도구(예컨대, Harmonic ACE)가 모든 기능을 수행하는 경우도 있을 수 있다. 따라서, 컴퓨터는 수술도구의 기능을 기반으로 각 기능에 따른 동작부의 움직임 정보를 적용할 수 있는 진입가능범위를 추출할 수 있다.
또한, 컴퓨터는 추출된 신체 표면의 진입가능범위 내에서 암 부분의 동작수행범위를 만족하는 특정 영역 또는 특정 지점을 산출하여 최적진입위치를 도출할 수 있다. 즉, 동작부가 움직임이 발생하면 이와 연결되어 있는 암 부분 역시 움직임이 발생하게 된다. 이때, 컴퓨터는 가상신체모델을 통해 동작부만을 표현한 상태에서 시뮬레이션한 결과를 획득하였기 때문에, 암 부분의 움직임을 추가적으로 고려하여 최적진입위치를 산출하여야 한다.
예를 들어, 컴퓨터는 수술 대상자의 신체 내부 정보(즉, 신체 내부 장기 배치 상태) 및 신체 표면 정보(즉, 신체 표면 형상 상태)를 기초로 암 부분이 장기나 신체 표면 상에 영향을 미치지 않으면서 최대로 동작할 수 있는 동작수행범위를 산출할 수 있다. 컴퓨터는 신체 표면의 진입가능범위 내에서 동작수행범위를 반영하여, 신체 내부 공간 상에서 수술도구의 움직임에 영향을 주지않는 최적의 진입위치를 결정할 수 있다.
또한, 본 발명의 일 실예에서, 컴퓨터는 최적진입위치로 수술도구를 삽입하여 수술동작을 수행하기에 적합한 수술도구의 구성을 도출할 수 있다. 최적의 수술도구를 도출하는 과정은 도 8 및 도 9의 실시예를 통해 상세히 설명하였기 때문에, 본 실시예에서는 설명을 생략하도록 한다.
한편, 상술한 실시예들에서는 설명의 편의를 위해 수술도구의 개수를 고려하지 않고 설명하였으나, 본 발명이 이에 한정되는 것은 아니며, 복수의 수술도구를 포함하여 수술을 수행하는 경우에도 각 수술도구에 대해 동일한 과정이 적용될 수 있다.
일례로서, 수술로봇 또는 복강경 수술 시에 A도구, B도구, C도구를 이용하는 경우, 컴퓨터는 A도구의 동작부가 수술동작을 수행할 때 도달하지 못하는 영역(즉, 수술도구의 길이 제한에 의해 동작부가 수술동작 수행 시에 도달하지 못하는 지점이 발생하는 신체 표면 영역)을 진입가능범위에서 제외할 수 있다. 또한, 컴퓨터는 A도구가 진입하여 수술동작을 수행하는 과정에서 신체 장기나 조직과 충돌하는 신체 표면 영역을 진입가능범위에서 제외할 수 있다. 또한, 컴퓨터는 진입가능범위 내의 각 신체 표면 지점에서 수술도구가 진입한 후 특정한 위치에서 요구되는 수술동작을 구현하지 못하면, 해당 신체 표면 지점을 진입가능범위에서 제외할 수 있다. 이를 통해, 컴퓨터는 A도구에 대한 진입가능범위를 산출할 수 있다. 컴퓨터는 각각의 수술도구(예를 들어, B도구 및 C도구)에 대해 각각 진입가능범위 산출 과정을 개별적으로 수행하여, 각 수술도구의 최적진입위치를 산출할 수 있다. 또한, 상술한 바와 같이 컴퓨터는 수술도구의 기능을 기초로 각 기능에 대해 진입가능범위 산출 과정을 개별적으로 수행하여, 각 수술도구의 기능을 적용할 수 있는 최적진입위치를 산출할 수도 있다.
다른 예로서, 하나의 최적진입위치로 여러 개의 수술도구가 진입하여야 하는 경우, 컴퓨터는 각 수술도구에 대한 최적진입범위를 추출한 후, 복수의 최적진입범위가 중첩되는 범위를 최적진입위치로 결정할 수 있다. 예를 들어, 수술 수행 과정에서 A도구가 D도구로 변경되는 경우, 컴퓨터는 A도구에 대한 진입가능범위와 D도구에 대한 진입가능범위의 중첩되는 영역을 최적진입위치 후보영역으로 산출할 수 있다. 수술도구가 진입될 수 있는 위치는 특정 개수(예를 들어, 3개)로 제한되므로, A도구에서 D도구로 변경되었을 때 동일한 진입위치를 사용할 수 밖에 없으므로, 컴퓨터는 A도구의 진입가능범위와 D도구의 진입가능범위를 모두 만족하는 위치를 최종 최적진입위치로 결정할 수 있다.
또 다른 예로서, 동일한 수술도구가 가상신체모델 내에서 여러 번 사용되는 경우, 수술도구의 수술동작을 수행하는 범위(즉, 움직임의 범위)가 넓은 경우에 하나의 수술도구 진입위치에서 모든 수술동작을 수행하기 어려울 수 있으므로, 컴퓨터는 해당 수술도구가 사용되는 범위(즉, 움직임의 범위)를 신체표면 상의 복수의 진입위치에서 도달 가능한 여러 개의 그룹으로 분할할 수 있다. 예를 들어, 신체 표면에 3개의 진입위치를 생성하여 복강경수술 또는 로봇수술을 수행하는 경우, 컴퓨터는 3개 이하의 그룹으로 수술도구의 움직임 범위를 분할한다. 이때, 컴퓨터는 다른 수술도구에 의해 선정된 복수의 진입가능범위로부터 도달 가능 여부를 바탕으로 움직임의 범위를 분할한다. 또한, 넓은 움직임 범위를 가지는 특정한 수술도구(즉, 제1수술도구)가 다른 수술도구(즉, 제2수술도구)와 동시에 사용되고 다른 수술도구(즉, 제2수술도구)가 필수적으로 진입하여야 하는 최적진입위치가 결정되는 경우, 컴퓨터는 제2수술도구와 함께 사용될 때의 제1수술도구의 움직임 범위를 제1수술도구가 제2수술도구의 최적진입위치(즉, 제2수술도구가 진입되는 키홀)를 통해서 접근할 수 없는 범위로 설정할 수 있다. 또한, 컴퓨터는, 다른 수술도구의 변경에도 불구하고 제1수술도구가 연속적으로 사용되는 경우, 컴퓨터는 사용자의 수술 시 편의성 및 수술 시 소요시간을 고려하여 동일한 진입위치로 진입하여 동작이 수행되어야 하는 그룹으로 설정할 수 있다.
또 다른 예로서, 하나 이상의 수술도구의 진입위치를 산출하는 과정에서, 컴퓨터는 카메라 진입범위와 어시스트(Assist) 도구 진입범위를 환자 신체표면의 진입가능범위에서 제외할 수 있다. 예를 들어, 카메라는 이동을 통해 환자 복부 내부를 전체적으로 촬영하기 위해 배꼽 주변 영역을 통해 진입한다. 이를 위해, 컴퓨터는 배꼽 주변 영역을 초기설정된 진입가능범위에서 제외한 후 진입가능범위를 축소하는 과정을 수행할 수 있다.
일실시예로, 컴퓨터는 몬테카를로 방법(Monte Carlo Method)을 이용하여 복수의 수술도구 사용 시의 하나 이상의 최적진입위치를 산출하는 과정을 수행할 수 있다.
상술한 바와 같은 본 발명의 실시예들에 따르면, 의료진이 수술도구의 진입위치와 수술도구의 암 부분의 장기걸림을 고려하지 않고 수행한 수술시뮬레이션 결과를 반영하여 수술도구의 최적진입 위치를 결정하므로, 의료진이 가장 편한 수술동작을 수행할 수 있도록 한다.
또한, 본 발명의 실시예들에 따르면, 일반적인 수술도구 진입위치를 이용하지 않고 환자 신체조건에 최적화된 최적진입위치를 이용함에 따라, 의료진은 환자의 장기 배치 특성이나 수술도구의 길이 등에 의해 실제 수술과정에서 특정한 동작 수행에 제한이 발생하는 것을 방지할 수 있다.
또한, 본 발명의 실시예들에 따르면, 수술에서 이용되는 모든 수술도구를 특정한 개수의 수술도구 진입위치를 이용하여 수술을 수행하는 경우, 모든 수술도구에 최적화된 여러 개의 수술도구 진입위치를 결정할 수 있다. 또한, 특정한 개수의 최적진입위치 중에서 각 수술도구가 진입하여야 하는 진입위치를 정확하게 설정하여 줄 수 있다.
또한, 본 발명의 실시예들에 따르면, 복수의 수술로봇 또는 특정한 수술로봇 내의 동일한 액션(Action)을 수행하는 복수의 수술도구를 이용할 수 있는 경우, 환자 신체조건 및 의료진의 수술동작에 가장 적합한 수술로봇 또는 수술도구를 제안하여 주어서, 의료진이 효율적이고 빠른 수술을 수행할 수 있도록 한다.
또한, 본 발명의 실시예들에 따르면, 수술로봇이 자체적으로 수술을 수행하는 경우, 각 수술도구의 최적진입위치 산출을 통해 최적화된 수술이 수행되도록 할 수 있다.
또한, 본 발명의 실시예들에 따르면, 의료진이 수술도구의 진입위치와 수술도구의 암 부분의 장기걸림을 고려하지 않고 수행한 수술시뮬레이션 결과를 반영하여 최적의 구조를 가진 수술도구를 결정하므로, 의료진이 자신의 수술동작 패턴에 따라 수술도구를 편리하게 동작시킬 수 있다. 이에 따라, 전체 수술과정이 효과적으로 수행될 수 있고, 수술 오류를 줄일 수 있다.
또한, 본 발명의 실시예들에 따르면, 최적화된 수술도구를 이용하여 수술을 수행함에 따라, 의료진은 환자의 장기 배치 특성이나 수술도구의 특성 등에 의해 실제 수술과정에서 특정한 수술동작 수행에 제한이 발생하는 것을 방지할 수 있다.
도 11은 본 발명의 일 실시예에 따른 최적화된 수술도구 제공 방법 또는 수술도구의 최적진입위치 제공 방법을 수행하는 장치(200)의 구성을 개략적으로 나타내는 도면이다.
도 11을 참조하면, 프로세서(210)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 8 내지 도 10과 관련하여 설명된 최적화된 수술도구 제공 방법 또는 수술도구의 최적진입위치 제공 방법을 수행한다.
일례로, 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하고, 상기 가상신체모델 내에서 수술도구를 이용하여 수술동작을 시뮬레이션하고, 상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 수술도구에 의해 수행된 수술동작을 적용하기에 적합한 상기 수술도구의 구성을 도출할 수 있다.
다른 예로, 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하고, 상기 가상신체모델 내에서 상기 수술 대상자의 실제수술동작과 상응하는 수술동작을 시뮬레이션하고, 상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 수술동작을 적용하기에 적합한 수술도구 또는 수술로봇을 도출할 수 있다.
또 다른 예로, 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하고, 상기 가상신체모델 내에서 상기 수술 대상자의 수술대상부위에 대해 수술동작을 가하는 수술도구의 동작부를 이용하여 시뮬레이션하고, 상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 동작부에 의해 수행된 수술동작을 적용할 수 있도록 하는 상기 수술 대상자의 신체 표면에서의 최적진입위치를 산출할 수 있다.
한편, 프로세서(210)는 프로세서(210) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(210)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(220)에는 프로세서(210)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(220)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 최적화된 수술도구 제공 방법 또는 수술도구의 최적진입위치 제공 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
한편 상기에서 설명된 본 발명의 실시예들에서, 프로그램은, 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (28)

  1. 컴퓨터가 수행하는 수술 최적화 방법에 있어서,
    적어도 하나의 세부수술동작으로 이루어지는 수술과정에 기초하여 상기 수술과정에 대응하는 복수의 유전자를 생성하는 단계;
    상기 복수의 유전자 각각에 대해 가상수술을 수행하여 최적화된 수술인지를 평가하는 단계;
    상기 평가 결과를 기반으로 상기 복수의 유전자 중 적어도 하나의 유전자를 선택하여 유전 알고리즘을 적용하는 단계; 및
    상기 유전 알고리즘을 적용하여 새로운 유전자를 생성하고, 상기 새로운 유전자에 기초하여 최적의 수술과정을 도출하는 단계를 포함하는 것을 특징으로 하는 수술 최적화 방법.
  2. 제1항에 있어서,
    상기 복수의 유전자를 생성하는 단계는,
    상기 적어도 하나의 세부수술동작을 포함하여 구성되는 수술 큐시트데이터를 획득하는 단계; 및
    상기 수술 큐시트데이터에 기초하여 상기 복수의 유전자 중 제1 유전자를 생성하는 단계를 포함하는 것을 특징으로 하는 수술 최적화 방법.
  3. 제2항에 있어서,
    상기 최적화된 수술인지를 평가하는 단계는,
    상기 수술 큐시트데이터 내 세부수술동작에 기초하여 상기 복수의 유전자 각각에 대한 가상수술을 수행하는 단계; 및
    상기 가상수술을 통해 상기 복수의 유전자 각각에 대한 적합도(fitness value)를 산출하여, 최적화된 수술인지를 평가하는 단계를 포함하는 것을 특징으로 하는 수술 최적화 방법.
  4. 제3항에 있어서,
    상기 적합도는,
    수술의 성공 여부에 대한 정보, 수술 시간 관련 정보, 및 수술도구 관련 정보 중 적어도 하나를 이용하여 산출되는 것을 특징으로 하는 수술 최적화 방법.
  5. 제3항에 있어서,
    상기 유전 알고리즘을 적용하는 단계는,
    상기 복수의 유전자 중에서, 기설정된 조건에 부합하는 적합도를 갖는 적어도 하나의 유전자를 선택하는 단계; 및
    상기 적어도 하나의 유전자에 대해 교배(crossover) 및 돌연변이(mutation) 중 적어도 하나의 유전자 알고리즘을 적용하는 단계를 포함하는 것을 특징으로 하는 수술 최적화 방법.
  6. 제3항에 있어서,
    상기 최적의 수술과정을 도출하는 단계는,
    상기 새로운 유전자에 대해 상기 가상수술을 수행하여 상기 적합도를 산출하는 단계; 및
    상기 새로운 유전자의 적합도가 기설정된 조건에 부합하는지를 판단하여, 상기 새로운 유전자에 적용된 최적화된 수술 큐시트데이터를 도출하는 단계를 포함하는 것을 특징으로 하는 수술 최적화 방법.
  7. 제2항에 있어서,
    상기 세부수술동작은,
    특정한 기준에 따라 분할된 수술동작의 최소단위로서, 수술유형 정보, 수술부위 정보, 및 수술도구 정보 중 적어도 하나를 포함하여 구성되며,
    상기 수술 큐시트데이터는,
    상기 적어도 하나의 세부수술동작으로 구성되어 특정한 수술과정을 기록한 것을 특징으로 하는 수술 최적화 방법.
  8. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    적어도 하나의 세부수술동작으로 이루어지는 수술과정에 기초하여 상기 수술과정에 대응하는 복수의 유전자를 생성하는 단계;
    상기 복수의 유전자 각각에 대해 가상수술을 수행하여 최적화된 수술인지를 평가하는 단계;
    상기 평가 결과를 기반으로 상기 복수의 유전자 중 적어도 하나의 유전자를 선택하여 유전 알고리즘을 적용하는 단계; 및
    상기 유전 알고리즘을 적용하여 새로운 유전자를 생성하고, 상기 새로운 유전자에 기초하여 최적의 수술과정을 도출하는 단계를 수행하는 것을 특징으로 하는 장치.
  9. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
  10. 컴퓨터가 수행하는 최적화된 수술도구 제공 방법에 있어서,
    수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계;
    상기 가상신체모델 내에서 수술도구를 이용하여 수술동작을 시뮬레이션하는 단계; 및
    상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 수술도구에 의해 수행된 수술동작을 적용하기에 적합한 상기 수술도구의 구성을 도출하는 단계를 포함하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  11. 제10항에 있어서,
    상기 수술도구의 구성을 도출하는 단계는,
    상기 시뮬레이션 결과를 기초로 상기 수술도구의 움직임 정보를 획득하는 단계; 및
    상기 수술 대상자의 신체 내부 공간에서 상기 움직임 정보를 적용하기에 적합한 상기 수술도구의 구성을 도출하는 단계를 포함하며,
    상기 수술도구의 구성은,
    수술대상부위에 대해 수술동작을 가하는 동작부 및 상기 동작부와 연결되어 동작하는 암 부분을 포함하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  12. 제11항에 있어서,
    상기 수술도구의 구성을 도출하는 단계는,
    상기 시뮬레이션 결과를 기초로 상기 동작부의 움직임 정보를 획득하는 단계; 및
    상기 동작부의 움직임 정보를 기초로 상기 수술 대상자의 수술대상부위에 대해 수술동작을 가할 최적화된 상기 동작부의 유형을 결정하는 단계를 포함하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  13. 제11항에 있어서,
    상기 수술도구의 구성을 도출하는 단계는,
    상기 수술 대상자의 신체 내부 정보 및 신체 표면 정보를 획득하는 단계; 및
    상기 신체 내부 정보 및 상기 신체 표면 정보를 기초로 상기 암 부분의 구조를 결정하는 단계를 포함하며,
    상기 신체 내부 정보는, 상기 수술 대상자의 신체 내부 공간에 위치한 장기 배치 상태 정보를 포함하며,
    상기 신체 표면 정보는, 상기 수술 대상자의 신체 표면 형상 정보를 포함하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  14. 제13항에 있어서,
    상기 암 부분의 구조를 결정하는 단계는,
    상기 신체 내부 정보 및 상기 신체 표면 정보로부터 상기 암 부분의 동작수행범위를 산출하는 단계; 및
    상기 암 부분의 동작수행범위를 기초로 상기 동작부와의 배치 관계를 도출하여, 상기 암 부분의 구조를 결정하는 단계를 포함하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  15. 제14항에 있어서,
    상기 암 부분의 구조를 결정하는 단계는,
    상기 동작부와의 배치 관계에 따라 상기 암 부분의 길이, 관절부 유무, 및 관절부의 움직임 정보 중 적어도 하나를 결정하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  16. 제10항에 있어서,
    상기 수술도구가 삽입되는 상기 수술 대상자의 신체 표면에서의 최적진입위치를 획득하는 단계를 더 포함하며,
    상기 수술도구의 구성을 도출하는 단계는,
    상기 최적진입위치를 고려하여 상기 수술도구의 구성을 결정하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  17. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계;
    상기 가상신체모델 내에서 수술도구를 이용하여 수술동작을 시뮬레이션하는 단계; 및
    상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 수술도구에 의해 수행된 수술동작을 적용하기에 적합한 상기 수술도구의 구성을 도출하는 단계를 수행하는 것을 특징으로 하는 장치.
  18. 컴퓨터가 수행하는 수술도구의 최적진입위치 제공 방법에 있어서,
    수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계;
    상기 가상신체모델 내에서 상기 수술 대상자의 수술대상부위에 대해 수술동작을 가하는 수술도구의 동작부를 이용하여 시뮬레이션하는 단계; 및
    상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 동작부에 의해 수행된 수술동작을 적용할 수 있도록 하는 상기 수술 대상자의 신체 표면에서의 최적진입위치를 산출하는 단계를 포함하는 것을 특징으로 하는 수술도구의 최적진입위치 제공 방법.
  19. 제18항에 있어서,
    상기 시뮬레이션하는 단계는,
    상기 동작부의 수술동작에 따라 움직임이 발생하는 상기 수술도구의 암 부분의 구성을 고려하지 않고, 상기 가상신체모델 내에서 수술대상부위에 대해 상기 동작부를 이용하여 수술동작을 시뮬레이션함에 따라 상기 동작부의 움직임 정보를 획득하는 것을 특징으로 하는 수술도구의 최적진입위치 제공 방법.
  20. 제19항에 있어서,
    상기 최적진입위치를 산출하는 단계는,
    상기 수술 대상자의 신체 내부 공간에서 상기 동작부의 움직임 정보를 적용할 수 있는 상기 수술 대상자의 신체 표면에서의 진입가능범위를 추출하는 단계; 및
    상기 동작부의 수술동작에 따라 움직임이 발생하는 상기 암 부분의 동작수행범위를 반영하여 상기 진입가능범위로부터 상기 최적진입위치를 산출하는 단계를 포함하는 것을 특징으로 하는 수술도구의 최적진입위치 제공 방법.
  21. 제20항에 있어서,
    상기 암 부분의 동작수행범위는,
    상기 수술 대상자의 신체 내부 정보 및 신체 표면 정보를 기초로 상기 동작부의 움직임에 따라 상기 암 부분의 동작이 가능한 범위이며,
    상기 신체 내부 정보는, 상기 수술 대상자의 신체 내부 공간에 위치한 장기 배치 상태 정보를 포함하며,
    상기 신체 표면 정보는, 상기 수술 대상자의 신체 표면 형상 정보를 포함하는 것을 특징으로 하는 수술도구의 최적진입위치 제공 방법.
  22. 제18항에 있어서,
    상기 최적진입위치로 상기 수술도구를 삽입하여 수술동작을 수행하기에 적합한 상기 수술도구의 구성을 도출하는 단계를 더 포함하는 것을 특징으로 하는 수술도구의 최적진입위치 제공 방법.
  23. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계;
    상기 가상신체모델 내에서 상기 수술 대상자의 수술대상부위에 대해 수술동작을 가하는 수술도구의 동작부를 이용하여 시뮬레이션하는 단계; 및
    상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 동작부에 의해 수행된 수술동작을 적용할 수 있도록 하는 상기 수술 대상자의 신체 표면에서의 최적진입위치를 산출하는 단계를 수행하는 것을 특징으로 하는 장치.
  24. 컴퓨터가 수행하는 최적화된 수술도구 제공 방법에 있어서,
    수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계;
    상기 가상신체모델 내에서 상기 수술 대상자의 실제수술동작과 상응하는 수술동작을 시뮬레이션하는 단계; 및
    상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 수술동작을 적용하기에 적합한 수술도구 또는 수술로봇을 도출하는 단계를 포함하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  25. 제24항에 있어서,
    상기 수술도구 또는 수술로봇을 도출하는 단계는,
    상기 시뮬레이션 결과를 기초로 상기 수술동작을 분석하여 상기 수술 대상자에 최적화된 특정한 수술로봇의 종류 또는 특정한 수술로봇에 포함된 수술도구의 종류를 결정하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  26. 제24항에 있어서,
    상기 수술도구가 삽입되는 상기 수술 대상자의 신체 표면에서의 최적진입위치를 획득하는 단계를 더 포함하며,
    상기 수술도구 또는 수술로봇을 도출하는 단계는,
    상기 최적진입위치를 고려하여 상기 수술도구 또는 상기 수술로봇을 결정하는 것을 특징으로 하는 최적화된 수술도구 제공 방법.
  27. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    수술 대상자의 신체 상태와 부합하게 생성된 가상신체모델을 획득하는 단계;
    상기 가상신체모델 내에서 상기 수술 대상자의 실제수술동작과 상응하는 수술동작을 시뮬레이션하는 단계; 및
    상기 시뮬레이션 결과를 기초로 상기 수술 대상자의 신체 내부 공간에서 상기 수술동작을 적용하기에 적합한 수술도구 또는 수술로봇을 도출하는 단계를 수행하는 것을 특징으로 하는 장치.
  28. 하드웨어인 컴퓨터와 결합되어, 제10항, 제18항, 및 제24항 중 어느 하나 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2019/002088 2018-02-20 2019-02-20 수술 최적화 방법 및 장치 WO2019164270A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980014409.XA CN111741729B (zh) 2018-02-20 2019-02-20 手术最优化方法以及装置
EP19756860.3A EP3744283A4 (en) 2018-02-20 2019-02-20 OPERATION OPTIMIZATION METHOD AND DEVICE
US16/997,044 US11957415B2 (en) 2018-02-20 2020-08-19 Method and device for optimizing surgery

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
KR10-2018-0019867 2018-02-20
KR10-2018-0019866 2018-02-20
KR20180019868 2018-02-20
KR20180019866 2018-02-20
KR20180019867 2018-02-20
KR10-2018-0019868 2018-02-20
KR1020180027818 2018-03-09
KR10-2018-0027818 2018-03-09
KR10-2018-0115328 2018-09-27
KR1020180115328A KR102013868B1 (ko) 2018-02-20 2018-09-27 수술 최적화 방법 및 장치
KR1020180140771A KR20190100010A (ko) 2018-02-20 2018-11-15 최적화된 수술도구 제공 방법 및 장치
KR10-2018-0140771 2018-11-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/997,044 Continuation US11957415B2 (en) 2018-02-20 2020-08-19 Method and device for optimizing surgery

Publications (1)

Publication Number Publication Date
WO2019164270A1 true WO2019164270A1 (ko) 2019-08-29

Family

ID=67687803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002088 WO2019164270A1 (ko) 2018-02-20 2019-02-20 수술 최적화 방법 및 장치

Country Status (4)

Country Link
US (1) US11957415B2 (ko)
EP (1) EP3744283A4 (ko)
CN (1) CN111741729B (ko)
WO (1) WO2019164270A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021086417A1 (en) 2019-10-29 2021-05-06 Verb Surgical Inc. Virtual reality systems for simulating surgical workflow with patient model and customizable operation room

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117457150A (zh) * 2023-11-06 2024-01-26 中国人民解放军总医院第一医学中心 一种手术方案自动生成方法、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008173159A (ja) * 2007-01-16 2008-07-31 Hitachi Medical Corp 手術支援システム
KR20120046439A (ko) * 2010-11-02 2012-05-10 서울대학교병원 (분사무소) 3ｄ 모델링을 이용한 수술 시뮬레이션 방법 및 자동 수술장치
KR101152177B1 (ko) * 2009-04-09 2012-06-18 의료법인 우리들의료재단 수술위치 자동 유도 방법 및 그 시스템과 수술위치의 유도기능을 갖춘 장치
KR101206340B1 (ko) * 2011-04-29 2012-11-29 주식회사 코어메드 영상수술 리허설 제공방법 및 시스템, 그 기록매체
KR101700847B1 (ko) * 2014-03-31 2017-01-31 이미숙 영상수술 트레이닝 제공방법 및 그 기록매체

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3794901B2 (ja) * 1999-10-07 2006-07-12 オリンパス株式会社 手術システム
US7607440B2 (en) * 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US8560047B2 (en) * 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US20090017430A1 (en) * 2007-05-15 2009-01-15 Stryker Trauma Gmbh Virtual surgical training tool
KR101108927B1 (ko) * 2009-03-24 2012-02-09 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
IT1395018B1 (it) * 2009-07-22 2012-09-05 Surgica Robotica S R L Apparecchiatura per procedure chirurgiche minimamente invasive
WO2011040769A2 (ko) 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치, 영상 처리 방법, 복강경 조작 방법, 수술 로봇 시스템 및 그 동작 제한 방법
JP5763666B2 (ja) 2009-11-19 2015-08-12 ザ・ジョンズ・ホプキンス・ユニバーシティー 局所センサの協調セットを使用した低コストの画像誘導ナビゲーション／介入システム
US9607528B2 (en) * 2012-08-24 2017-03-28 Simquest International, Llc Combined soft tissue and bone surgical simulator
KR101401338B1 (ko) 2012-09-13 2014-05-29 주식회사 인피니트헬스케어 가상 나이프를 이용한 수술 시뮬레이션 방법 및 그 장치
KR102405656B1 (ko) * 2013-12-20 2022-06-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 절차 훈련을 위한 시뮬레이터 시스템
EP3252737A1 (en) * 2016-06-03 2017-12-06 Sofradim Production Abdominal model for laparoscopic abdominal wall repair/reconstruction simulation
CA3048999C (en) * 2016-06-13 2024-01-23 Synaptive Medical (Barbados) Inc. Virtual operating room layout planning and analysis tool
CN106901834A (zh) * 2016-12-29 2017-06-30 陕西联邦义齿有限公司 微创心脏外科手术的术前规划及手术虚拟现实模拟方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008173159A (ja) * 2007-01-16 2008-07-31 Hitachi Medical Corp 手術支援システム
KR101152177B1 (ko) * 2009-04-09 2012-06-18 의료법인 우리들의료재단 수술위치 자동 유도 방법 및 그 시스템과 수술위치의 유도기능을 갖춘 장치
KR20120046439A (ko) * 2010-11-02 2012-05-10 서울대학교병원 (분사무소) 3ｄ 모델링을 이용한 수술 시뮬레이션 방법 및 자동 수술장치
KR101206340B1 (ko) * 2011-04-29 2012-11-29 주식회사 코어메드 영상수술 리허설 제공방법 및 시스템, 그 기록매체
KR101700847B1 (ko) * 2014-03-31 2017-01-31 이미숙 영상수술 트레이닝 제공방법 및 그 기록매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3744283A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021086417A1 (en) 2019-10-29 2021-05-06 Verb Surgical Inc. Virtual reality systems for simulating surgical workflow with patient model and customizable operation room
EP4051155A4 (en) * 2019-10-29 2023-11-29 Verb Surgical Inc. VIRTUAL REALITY SYSTEMS FOR SIMULATING SURGICAL WORKFLOWS WITH PATIENT MODEL AND CUSTOMIZABLE OPERATING ROOM

Also Published As

Publication number Publication date
CN111741729B (zh) 2024-06-11
EP3744283A4 (en) 2022-02-23
US11957415B2 (en) 2024-04-16
CN111741729A (zh) 2020-10-02
US20200375662A1 (en) 2020-12-03
EP3744283A1 (en) 2020-12-02

Similar Documents

Publication Publication Date Title
KR102013837B1 (ko) 수술영상 제공 방법 및 장치
KR102654065B1 (ko) 스캔 기반 배치를 갖는 원격조작 수술 시스템
WO2019132614A1 (ko) 수술영상 분할방법 및 장치
US11806085B2 (en) Guidance for placement of surgical ports
KR102673560B1 (ko) 수술　절차　아틀라스를　갖는　수술시스템의　구성
WO2019164270A1 (ko) 수술 최적화 방법 및 장치
WO2021154060A1 (en) Method of predicting disease, gene or protein related to queried entity and prediction system built by using the same
WO2018131914A1 (en) Method and apparatus for providing guidance in a virtual environment
EP3373834A1 (en) Surgical system with training or assist functions
KR102633401B1 (ko) 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2019009451A1 (ko) 정량적 구조-성능 관계식의 수치적 반전과 분자동역학 전산모사를 통한 표적신약의 스크리닝 방법
WO2014041491A1 (en) A mixed reality simulation method and system
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
WO2014200230A1 (en) Method and apparatus for image registration
WO2021157851A1 (ko) 초음파 진단 장치 및 그 동작 방법
JP2019536537A (ja) 患者健康記録ベース器具制御を備える遠隔操作手術システム
JPWO2019244896A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
WO2014035138A1 (ko) 의료 정보 처리 시스템
Miller et al. Intuitive Surgical: an overview
US20230293236A1 (en) Device, method and computer program product for validating surgical simulation
WO2016190636A1 (ko) 라이브웨어의 상태변환 예측 및 상태 개선 방법, 그리고 상기 방법을 구현하는 장치
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
WO2023282405A1 (ko) 인공지능 모델을 활용한 최적의 자극 위치 산출 방법, 전극 모델 시뮬레이션 방법, 서버 및 컴퓨터프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19756860

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019756860

Country of ref document: EP

Effective date: 20200825