KR102694614B1 - Apparatus and method for generating a virtual lung model of a patient - Google Patents
Apparatus and method for generating a virtual lung model of a patient Download PDFInfo
- Publication number
- KR102694614B1 KR102694614B1 KR1020220006757A KR20220006757A KR102694614B1 KR 102694614 B1 KR102694614 B1 KR 102694614B1 KR 1020220006757 A KR1020220006757 A KR 1020220006757A KR 20220006757 A KR20220006757 A KR 20220006757A KR 102694614 B1 KR102694614 B1 KR 102694614B1
- Authority
- KR
- South Korea
- Prior art keywords
- lung
- image data
- patient
- data during
- classification area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 210000004072 lung Anatomy 0.000 claims abstract description 226
- 238000001356 surgical procedure Methods 0.000 claims abstract description 60
- 210000000779 thoracic wall Anatomy 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 21
- 230000003434 inspiratory effect Effects 0.000 claims description 9
- 210000004204 blood vessel Anatomy 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000003902 lesion Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000034994 death Effects 0.000 description 3
- 231100000517 death Toxicity 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 230000004199 lung function Effects 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 238000013538 segmental resection Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00681—Aspects not otherwise provided for
- A61B2017/00707—Dummies, phantoms; Devices simulating patient or parts of patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00743—Type of operation; Specification of treatment sites
- A61B2017/00809—Lung operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 환자의 가상 폐 모델을 생성하는 장치에 의해 수행되는, 방법에 있어서, 상기 환자의 수술시 폐 영상데이터를 획득하는 단계, 상기 환자의 수술시 폐와 흉벽 간의 거리 및 폐의 특정 부위의 길이 중 적어도 하나를 포함하는 정보를 파악하는 단계, 상기 파악된 정보를 기반으로 상기 폐의 크기를 예측하는 단계, 상기 예측 결과를 기반으로 기 구비된 학습모델을 통해 상기 폐를 복수의 영역으로 분할하는 단계 및 상기 분할된 결과가 반영된 가상 폐 모델을 생성하는 단계를 포함할 수 있다.The present invention relates to a method performed by a device for generating a virtual lung model of a patient, the method including: a step of acquiring lung image data of the patient during surgery; a step of identifying information including at least one of a distance between a lung and a chest wall and a length of a specific part of the lung during surgery of the patient; a step of predicting the size of the lung based on the identified information; a step of segmenting the lung into a plurality of regions using a learning model provided based on the prediction result; and a step of creating a virtual lung model in which the segmentation result is reflected.
Description
본 발명은 환자의 가상 폐 모델을 생성하는 장치 및 방법에 관한 것이다.The present invention relates to a device and method for generating a virtual lung model of a patient.
최근 의료진들이 실제와 유사한 상황에서 훈련을 수행할 수 있도록 하는 수술 시뮬레이션 장치의 필요성이 높아지고 있다. 일반적으로 수술 시뮬레이션 장치는 환자의 상황과 유사하게 제작한 후 훈련을 수행하는 방식이다. Recently, there has been an increasing need for surgical simulation devices that allow medical staff to train in situations similar to reality. In general, surgical simulation devices are manufactured to resemble the patient's situation and then used for training.
그러나, 이러한 시뮬레이션 장치들은 환자에게 발생하는 여러가지 상황을 제공하지 못하며 시뮬레이션 시에 현실감이 떨어지는 문제점이 존재한다. 또한, 외과적 수술의 경우, 의료진이 실제 수술과 동일한 조건에서 시뮬레이션을 할 수 없는 문제가 존재한다.However, these simulation devices do not provide various situations that occur to patients and there is a problem of lack of realism in simulation. In addition, in the case of surgical operations, there is a problem that medical staff cannot perform simulations under the same conditions as actual operations.
즉, 가상현실을 이용하여 수술 시뮬레이션을 수행하는 경우, 실제 수술시와 동일한 조건에서 훈련을 수행하여야 수술 시뮬레이션이 리허설로서의 역할을 수행할 수 있지만 현재의 기술로는 어려운 상황이다. In other words, when performing a surgical simulation using virtual reality, training must be performed under the same conditions as the actual surgery so that the surgical simulation can serve as a rehearsal, but this is difficult with current technology.
한편, 2015년 사망자 중 암으로 사망한 사람은 총 76,855명, 전체 사망자의 27.9%가 암으로 사망하였고, 그 중 폐암이 전체 암 사망자의 22.6%인 17,399명을 차지했다. 또한, 2032년에도 암 사망률 1위는 폐암일 것으로 예측되고 있다.Meanwhile, in 2015, 76,855 people died from cancer, accounting for 27.9% of all deaths, and lung cancer accounted for 17,399 people, or 22.6% of all cancer deaths. It is also predicted that lung cancer will be the leading cause of cancer deaths in 2032.
이에 따라, 폐 수술 또한 증가하고 있으며, 폐 수술에 대한 수술 시뮬레이션 장치의 필요성 또한 높아지고 있다.Accordingly, pulmonary surgery is also increasing, and the need for surgical simulation devices for pulmonary surgery is also increasing.
여기서, 폐 수술은 전체 폐를 절제하는 전폐 절제술(Pneumonectomy), 폐의 일정 크기를 절제하는 폐엽 절제술(Lobectomy) 및 폐구역 절제술(Segmentectomy)을 포함할 수 있다. 전폐 절제술의 경우, 한쪽 폐 전부를 제거하는 수술법으로 폐실질의 50%가 소실되며 폐 기능 저하가 초래되고, 수술 후 운동등의 일상 활동에 제약이 존재하게 된다. 또한, 폐엽 절제술의 경우, 폐엽 하나를 제거하는 수술로, 수술 후 폐기능이 80% 이하로 감소하며, 수술 후 가벼운 운동 등 일상 생활을 가능하다. 또한, 폐구역 절제술(Segmentectomy)의 경우, 종양이 있는 폐 실질의 일부만 절제하는 수술로, 폐 실질을 최대한 보존 가능하여 수술 후 수술정과 다름없는 일상 생활이 가능한 수술이다.Here, lung surgery may include pneumonectomy, which removes the entire lung, lobectomy, which removes a certain size of the lung, and segmentectomy. In the case of pneumonectomy, it is a surgical method to remove the entire lung, and 50% of the lung parenchyma is lost, resulting in decreased lung function and restrictions on daily activities such as exercise after the surgery. In addition, in the case of lobectomy, it is a surgery to remove one lung lobe, and the lung function decreases to 80% or less after the surgery, and light exercise and daily life are possible after the surgery. In addition, in the case of segmentectomy, it is a surgery to remove only a part of the lung parenchyma where the tumor is, and it is a surgery that preserves the lung parenchyma as much as possible, so daily life is possible no different from before the surgery.
하지만, 폐의 경우, 흡기시와 호기시의 크기가 다르며, 실제 환자의 수술시 폐의 크기 또한 다르다. However, in the case of the lungs, the size during inspiration and expiration is different, and the size of the lungs of actual patients during surgery is also different.
따라서, 폐 수술을 수술 시뮬레이션 장치를 통해 가상환경에서 수술을 진행하기 위해서는 실제 환자의 수술시 폐의 크기를 예측하여 이를 가상 모델로 구현할 필요가 있다.Therefore, in order to perform lung surgery in a virtual environment using a surgical simulation device, it is necessary to predict the size of the lungs of an actual patient during surgery and implement it as a virtual model.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 환자의 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터를 기반으로 상기 환자의 가상 폐 모델을 생성하는 것을 그 목적으로 한다.The present invention, which aims to solve the above-described problems, aims to create a virtual lung model of a patient based on lung image data during inhalation, lung image data during expiration, and lung image data during surgery.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 발명에 따른 환자의 가상 폐 모델을 생성하는 장치에 의해 수행되는, 방법에 있어서, 상기 환자의 수술시 폐 영상데이터를 획득하는 단계, 상기 환자의 수술시 폐와 흉벽 간의 거리 및 폐의 특정 부위의 길이 중 적어도 하나를 포함하는 정보를 파악하는 단계, 상기 파악된 정보를 기반으로 상기 폐의 크기를 예측하는 단계, 상기 예측 결과를 기반으로 기 구비된 학습모델을 통해 상기 폐를 복수의 영역으로 분할하는 단계 및 상기 분할된 결과가 반영된 가상 폐 모델을 생성하는 단계를 포함할 수 있다.In order to solve the above-described problem, a method is performed by a device for generating a virtual lung model of a patient according to the present invention, the method may include the steps of: acquiring lung image data of the patient during surgery; identifying information including at least one of a distance between a lung and a chest wall and a length of a specific part of the lung during surgery of the patient; predicting the size of the lung based on the identified information; segmenting the lung into a plurality of regions using a learning model provided based on the prediction result; and generating a virtual lung model in which the segmentation result is reflected.
또한, 상기 분할 단계는, 상기 환자의 흡기 시 폐 영상데이터 및 호기 시 폐 영상데이터를 획득하고, 상기 학습모델을 통해, 상기 흡기 시 폐 영상데이터 및 호기 시 폐 영상데이터를 상기 복수의 영역으로 분할할 수 있다.In addition, the segmentation step may acquire lung image data during inspiration and lung image data during expiration of the patient, and segment the lung image data during inspiration and lung image data during expiration into the plurality of regions through the learning model.
또한, 상기 분할 단계는, 상기 학습모델을 기반으로, 상기 흡기시 폐 영상데이터를 제1 기준에 따라 제1 중분류 영역으로 분할하고, 상기 제1 중분류 영역을 제2 기준에 따라 제1 소분류 영역으로 분할하고, 상기 학습모델을 기반으로, 상기 호기시 폐 영상데이터를 상기 제1 기준에 따라 제2 중분류 영역으로 분할하고, 상기 제1 중분류 영역 및 상기 제2 중분류 영역 간의 크기 변화 비율을 산출하고, 상기 크기 변화 비율을 기반으로 상기 제2 중분류 영역을 제2 소분류 영역으로 분할하고, 상기 생성 단계는, 상기 예측 결과 및 상기 크기 변화 비율에 따라 소분류까지 분할된 상기 가상 폐 모델을 생성할 수 있다.In addition, the division step may divide the lung image data during inspiration into a first intermediate classification region according to a first criterion based on the learning model, divide the first intermediate classification region into a first sub-classification region according to a second criterion, divide the lung image data during expiration into a second intermediate classification region according to the first criterion based on the learning model, calculate a size change ratio between the first intermediate classification region and the second intermediate classification region, and divide the second intermediate classification region into second sub-classification regions based on the size change ratio, and the generation step may generate the virtual lung model divided into sub-classifications according to the prediction result and the size change ratio.
또한, 상기 제1 기준은, 상기 흡기시 폐 영상데이터 또는 상기 호기시 폐 영상데이터를 엽(Lobe)에 따라 상기 제1 중분류 영역 또는 상기 제2 중분류 영역으로 분할하는 기준이고, 상기 제2 기준은, 상기 제1 중분류 영역을 혈관에 따라 상기 제1 소분류 영역으로 분할하는 기준일 수 있다.In addition, the first criterion may be a criterion for dividing the inspiratory lung image data or the expiratory lung image data into the first intermediate classification region or the second intermediate classification region according to the lobe, and the second criterion may be a criterion for dividing the first intermediate classification region into the first sub-classification region according to the blood vessel.
또한, 상기 학습모델은, 복수의 기존 환자 별 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터에 기초한 학습데이터 세트를 구축하고, 상기 구축된 학습데이터 세트를 기반으로 기계 학습되는 것일 수 있다.In addition, the above learning model may construct a learning data set based on multiple existing patient-specific inhalation lung image data, expiration lung image data, and surgical lung image data, and may be machine-learned based on the constructed learning data set.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 통신부 및 환자의 가상 폐 모델을 생성하는 프로세서를 포함하고, 상기 프로세서는, 상기 환자의 수술시 폐 영상데이터를 획득하고, 상기 환자의 수술시 폐와 흉벽 간의 거리 및 폐의 특정 부위의 길이 중 적어도 하나를 포함하는 정보를 파악하고, 상기 파악된 정보를 기반으로 상기 폐의 크기를 예측하고, 상기 예측 결과를 기반으로 기 구비된 학습모델을 통해 상기 폐를 복수의 영역으로 분할하고, 상기 분할된 결과가 반영된 가상 폐 모델을 생성할 수 있다.In addition, the present invention includes a communication unit for solving the above-described problem and a processor for generating a virtual lung model of a patient, wherein the processor obtains lung image data of the patient during surgery, determines information including at least one of a distance between a lung and a chest wall and a length of a specific part of the lung during surgery of the patient, predicts the size of the lung based on the determined information, and divides the lung into a plurality of regions based on the prediction result using a learning model provided in advance, and generates a virtual lung model in which the division result is reflected.
또한, 상기 프로세서는, 상기 분할할 때, 상기 환자의 흡기 시 폐 영상데이터 및 호기 시 폐 영상데이터를 획득하고, 상기 학습모델을 통해, 상기 흡기 시 폐 영상데이터 및 호기 시 폐 영상데이터를 상기 복수의 영역으로 분할할 수 있다.In addition, the processor may, when performing the division, obtain lung image data during inspiration and lung image data during expiration of the patient, and divide the lung image data during inspiration and lung image data during expiration into the plurality of regions through the learning model.
또한, 상기 프로세서는, 상기 학습모델을 기반으로, 상기 흡기시 폐 영상데이터를 제1 기준에 따라 제1 중분류 영역으로 분할하고, 상기 제1 중분류 영역을 제2 기준에 따라 제1 소분류 영역으로 분할하고, 상기 학습모델을 기반으로, 상기 호기시 폐 영상데이터를 상기 제1 기준에 따라 제2 중분류 영역으로 분할하고, 상기 제1 중분류 영역 및 상기 제2 중분류 영역 간의 크기 변화 비율을 산출하고, 상기 크기 변화 비율을 기반으로 상기 제2 중분류 영역을 제2 소분류 영역으로 분할하고, 상기 예측 결과 및 상기 크기 변화 비율에 따라 소분류까지 분할된 상기 가상 폐 모델을 생성할 수 있다.In addition, the processor may divide the lung image data during inspiration into a first intermediate classification region according to a first criterion based on the learning model, divide the first intermediate classification region into a first sub-classification region according to a second criterion, divide the lung image data during expiration into a second intermediate classification region according to the first criterion based on the learning model, calculate a size change ratio between the first intermediate classification region and the second intermediate classification region, divide the second intermediate classification region into second sub-classification regions based on the size change ratio, and generate the virtual lung model divided into sub-classifications based on the prediction result and the size change ratio.
또한, 상기 제1 기준은, 상기 흡기시 폐 영상데이터 또는 상기 호기시 폐 영상데이터를 엽(Lobe)에 따라 상기 제1 중분류 영역 또는 상기 제2 중분류 영역으로 분할하는 기준이고, 상기 제2 기준은, 상기 제1 중분류 영역을 혈관에 따라 상기 제1 소분류 영역으로 분할하는 기준일 수 있다.In addition, the first criterion may be a criterion for dividing the inspiratory lung image data or the expiratory lung image data into the first intermediate classification region or the second intermediate classification region according to the lobe, and the second criterion may be a criterion for dividing the first intermediate classification region into the first sub-classification region according to the blood vessel.
또한, 상기 학습모델은, 복수의 기존 환자 별 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터에 기초한 학습데이터 세트를 구축하고, 상기 구축된 학습데이터 세트를 기반으로 기계 학습되는 것일 수 있다.In addition, the above learning model may construct a learning data set based on multiple existing patient-specific inhalation lung image data, expiration lung image data, and surgical lung image data, and may be machine-learned based on the constructed learning data set.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 장치, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition, other methods for implementing the present invention, other devices, other systems, and computer-readable recording media recording a computer program for executing the method may be further provided.
상기와 같은 본 발명에 따르면, 환자의 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터를 기반으로 상기 환자의 가상 폐 모델을 생성함으로써 상기 환자의 수술시 폐의 크기와 분할 구역까지 분할된 실제 폐와 유사도가 높은 상기 가상 폐 모델을 수술 시뮬레이션 환경에 제공할 수 있는 효과가 있다.According to the present invention as described above, by generating a virtual lung model of the patient based on the patient's lung image data during inhalation, lung image data during expiration, and lung image data during surgery, it is possible to provide the virtual lung model having a high degree of similarity to the actual lung, segmented down to the size and segmented area of the lung during surgery, to a surgical simulation environment.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명에 따른 환자의 가상 폐 모델을 생성하기 위한 장치를 설명하기 위한 도면이다.
도 2는 본 발명에 따른 환자의 흡기시 폐 영상데이터와 호기시 폐 영상데이터를 나타낸 도면이다.
도 3은 본 발명에 따른 환자의 흡기시 폐 영상데이터를 제1 중분류 영역과 제1 소분류 영역으로 분할하는 것을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 환자의 호기시 폐 영상데이터를 제2 중분류 영역과 제2 소분류 영역으로 분할하는 것을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 환자의 가상 폐 모델을 생성하는 과정을 나타낸 흐름도이다.FIG. 1 is a drawing for explaining a device for creating a virtual lung model of a patient according to the present invention.
Figure 2 is a diagram showing lung image data during inhalation and lung image data during expiration of a patient according to the present invention.
FIG. 3 is a drawing for explaining dividing lung image data during inhalation of a patient according to the present invention into a first medium classification region and a first small classification region.
FIG. 4 is a drawing for explaining dividing the patient's lung image data during expiration according to the present invention into a second middle classification area and a second small classification area.
Figure 5 is a flow chart illustrating a process for creating a virtual lung model of a patient according to the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention, and the methods for achieving them, will become clear with reference to the embodiments described in detail below together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and these embodiments are provided only to make the disclosure of the present invention complete and to fully inform a person skilled in the art of the scope of the present invention, and the present invention is defined only by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing embodiments only and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. The terms "comprises" and/or "comprising" as used in the specification do not exclude the presence or addition of one or more other components in addition to the mentioned components. Like reference numerals refer to like components throughout the specification, and "and/or" includes each and every combination of one or more of the mentioned components. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it should be understood that a first component mentioned below may also be a second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with the meaning commonly understood by those skilled in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries shall not be ideally or excessively interpreted unless explicitly specifically defined.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명에 따른 환자의 가상 폐 모델을 생성하기 위한 장치(10)를 설명하기 위한 도면이다.FIG. 1 is a drawing for explaining a device (10) for creating a virtual lung model of a patient according to the present invention.
도 2는 본 발명에 따른 환자의 흡기시 폐 영상데이터와 호기시 폐 영상데이터를 나타낸 도면이다.Figure 2 is a diagram showing lung image data during inhalation and lung image data during expiration of a patient according to the present invention.
도 3은 본 발명에 따른 환자의 흡기시 폐 영상데이터를 제1 중분류 영역과 제1 소분류 영역으로 분할하는 것을 설명하기 위한 도면이다.FIG. 3 is a drawing for explaining dividing lung image data during inhalation of a patient according to the present invention into a first medium classification region and a first small classification region.
도 4는 본 발명에 따른 환자의 호기시 폐 영상데이터를 제2 중분류 영역과 제2 소분류 영역으로 분할하는 것을 설명하기 위한 도면이다.FIG. 4 is a drawing for explaining dividing the patient's lung image data during expiration according to the present invention into a second middle classification area and a second small classification area.
이하, 도 1 내지 도 4를 참조하여, 본 발명에 따른 환자의 가상 폐 모델을 생성하기 위한 장치(10)에 대해서 설명하도록 한다.Hereinafter, with reference to FIGS. 1 to 4, a device (10) for creating a virtual lung model of a patient according to the present invention will be described.
본 발명에 따른 장치(10)는 환자의 수술시 폐 영상데이터를 획득하고, 상기 폐 영상데이터를 기반으로 상기 환자의 수술시 폐와 흉벽 간의 거리 및 폐의 특정 부위(Fissure line, Lobe 등)의 길이 등 방사선 영상과 수술 영상에서 확인 가능한 적어도 하나의 정보를 파악할 수 있다.The device (10) according to the present invention obtains lung image data during a patient's surgery, and based on the lung image data, can determine at least one piece of information that can be confirmed in a radiographic image and a surgical image, such as the distance between the lung and the chest wall and the length of a specific part of the lung (fissure line, lobe, etc.) during the patient's surgery.
그리고, 장치(10)는 상기 파악된 적어도 하나의 정보를 기반으로 상기 폐의 크기를 예측하고, 상기 예측 결과를 기반으로 기 구비된 학습모델을 통해 상기 폐를 복수의 영역으로 분할하여 상기 분할된 결과가 반영된 가상 폐 모델을 생성할 수 있다.And, the device (10) can predict the size of the lung based on at least one piece of information identified above, and divide the lung into a plurality of regions based on the prediction result using a learning model provided in advance, and generate a virtual lung model reflecting the division result.
이에 따라, 장치(10)는 의료진이 실제 폐 수술 전에 미리 수술을 시뮬레이션 수행하여 실제 폐 수술 시에 발생할 수 있는 다양한 변수에 대한 대비책을 확보하길 원할 때, 실제 폐 수술과 동일한 형태의 가상 폐 모델을 가상의 수술 시뮬레이션 환경에 제공할 수 있다.Accordingly, the device (10) can provide a virtual lung model in the same form as an actual lung surgery to a virtual surgery simulation environment when medical staff wants to perform a simulation of the surgery in advance before an actual lung surgery to secure countermeasures for various variables that may occur during an actual lung surgery.
구체적으로, 장치(10)는 환자의 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터를 기반으로 상기 환자의 가상 폐 모델을 생성함으로써 상기 환자의 수술시 폐의 크기와 분할 구역까지 분할된 실제 폐와 유사도가 높은 상기 가상 폐 모델을 상기 가상의 수술 시뮬레이션 환경에 제공할 수 있는 효과가 있다.Specifically, the device (10) generates a virtual lung model of the patient based on the patient's lung image data during inhalation, lung image data during expiration, and lung image data during surgery, thereby providing the virtual lung model with a high degree of similarity to the actual lung, segmented down to the size and segmented area of the lung during surgery, to the virtual surgery simulation environment.
이러한, 장치(10)는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다. These devices (10) may include various devices that can perform computational processing and provide results to the user.
여기서, 장치(10)는 컴퓨터의 형태가 될 수 있다. 보다 상세하게는, 상기 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다. Here, the device (10) may be in the form of a computer. More specifically, the computer may include various devices that can perform computational processing and provide results to the user.
예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. For example, a computer may include not only a desktop PC or notebook, but also a smart phone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), a synchronous/asynchronous IMT-2000 (International Mobile Telecommunication-2000) mobile terminal, a Palm Personal Computer, a PDA (Personal Digital Assistant), etc. In addition, if a head mounted display (HMD) device includes computing functions, the HMD device may be a computer.
또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.Additionally, the computer may be a server that receives requests from clients and performs information processing.
그리고, 장치(10)는 통신부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. 여기서, 장치(10)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수 있다. And, the device (10) may include a communication unit (110), a memory (120), and a processor (130). Here, the device (10) may include fewer or more components than the components illustrated in FIG. 1.
통신부(110)는 장치(10)와 외부 장치(미도시), 장치(10)와 외부 서버(미도시) 사이 또는 장치(10)와 통신망(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.The communication unit (110) may include one or more modules that enable wireless communication between the device (10) and an external device (not shown), between the device (10) and an external server (not shown), or between the device (10) and a communication network (not shown).
여기서, 외부 장치(미도시)는 폐를 촬영하는 의료영상 촬영장비일 수 있다. 여기서, 외부 장치는 폐를 촬영하여 폐 영상데이터를 획득할 수 있다. 이러한 폐 영상데이터는 상기 환자의 폐를 3차원 모델로 구현 가능한 모든 의료영상을 포함할 수 있다. Here, the external device (not shown) may be a medical imaging device that photographs the lungs. Here, the external device may photograph the lungs to obtain lung image data. Such lung image data may include all medical images that can implement the patient's lungs as a three-dimensional model.
또한, 폐 영상데이터는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 중 적어도 하나를 포함할 수 있다.Additionally, the lung imaging data may include at least one of a computed tomography (CT) image, a magnetic resonance imaging (MRI) image, and a positron emission tomography (PET) image.
또한, 외부 서버(미도시)는 복수의 환자에 대한 환자별 상태정보를 저장하는 서버일 수 있다.Additionally, the external server (not shown) may be a server that stores patient-specific status information for multiple patients.
또한, 통신망(미도시)은 장치(10), 외부 장치(미도시) 및 외부 서버(미도시) 간의 다양한 정보를 송수신할 수 있다. 통신망은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.In addition, the communication network (not shown) can transmit and receive various information between the device (10), the external device (not shown), and the external server (not shown). The communication network can use various types of communication networks, and for example, wireless communication methods such as WLAN (Wireless LAN), Wi-Fi, Wibro, WiMAX, and HSDPA (High Speed Downlink Packet Access), or wired communication methods such as Ethernet, xDSL (ADSL, VDSL), HFC (Hybrid Fiber Coax), FTTC (Fiber to The Curb), and FTTH (Fiber to The Home) can be used.
한편, 통신망은 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.Meanwhile, the communication network is not limited to the communication methods presented above, and may include all other forms of communication methods that are widely known or will be developed in the future in addition to the above-described communication methods.
통신부(110)는 장치(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The communication unit (110) may include one or more modules that connect the device (10) to one or more networks.
메모리(120)는 장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(120)는 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 장치(10)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(120)에 저장되고, 장치(10) 상에 설치되어, 프로세서(130)에 의하여 상기 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.The memory (120) can store data that supports various functions of the device (10). The memory (120) can store a plurality of application programs (or applications) that are run on the device (10), data for the operation of the device (10), and commands. At least some of these application programs may exist for the basic functions of the device (10). Meanwhile, the application programs may be stored in the memory (120), installed on the device (10), and driven by the processor (130) to perform the operation (or function) of the device (10).
여기서, 메모리(120)는 환자의 가상 폐 모델을 생성하기 위한 학습모델을 저장할 수 있다.Here, the memory (120) can store a learning model for generating a virtual lung model of the patient.
프로세서(130)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 장치(10)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operations related to the above application, the processor (130) can typically control the overall operation of the device (10). The processor (130) can process signals, data, information, etc. input or output through the components discussed above, or can operate an application program stored in the memory (120) to provide or process appropriate information or functions to the user.
또한, 프로세서(130)는 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(130)는 상기 응용 프로그램의 구동을 위하여, 장치(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.In addition, the processor (130) can control at least some of the components examined with reference to FIG. 1 in order to drive an application program stored in the memory (120). Furthermore, the processor (130) can operate at least two or more of the components included in the device (10) in combination with each other in order to drive the application program.
프로세서(130)는 환자의 수술시 폐 영상데이터를 획득할 수 있다. 여기서, 수술시 폐 영상데이터는 상기 환자의 폐 수술시 삽입되는 카메라(Endoscope)를 통해 획득될 수 있다.The processor (130) can obtain lung image data during a patient's surgery. Here, the lung image data during the surgery can be obtained through a camera (endoscope) inserted during the patient's lung surgery.
프로세서(130)는 상기 환자의 수술시 폐와 흉벽 간의 거리 및/또는 폐의 특정 부위의 길이 등을 포함하는 적어도 하나의 정보를 파악할 수 있다.The processor (130) can determine at least one piece of information including the distance between the lung and the chest wall and/or the length of a specific part of the lung during surgery of the patient.
여기서, 폐와 흉벽 간의 거리 및/또는 폐의 특정 부위의 길이 등을 포함하는 적어도 하나의 정보는, 상기 환자의 폐 수술시 삽입되는 실 또는 수술도구를 이용하여 파악될 수 있다.Here, at least one piece of information including the distance between the lung and the chest wall and/or the length of a specific part of the lung can be identified using a thread or surgical tool inserted during lung surgery of the patient.
또는, 폐와 흉벽 간의 거리 및/또는 폐의 특정 부위의 길이 등을 포함하는 적어도 하나의 정보는, 프로세서(130)가 상기 수술시 폐 영상데이터를 기반으로 파악할 수 있다.Alternatively, at least one piece of information including the distance between the lung and the chest wall and/or the length of a specific part of the lung may be determined by the processor (130) based on the lung image data during the surgery.
즉, 프로세서(130)는 상기 수술시 폐 영상데이터를 기반으로 폐의 특정 부분의 경계 영역과 상기 흉벽 간의 최단 거리 및/또는 폐의 특정 부위의 길이 등을 포함하는 적어도 하나의 정보를 파악할 수 있다.That is, the processor (130) can determine at least one piece of information including the shortest distance between the boundary area of a specific part of the lung and the chest wall and/or the length of a specific part of the lung based on the lung image data during the surgery.
프로세서(130)는 상기 파악된 적어도 하나의 정보를 기반으로 상기 폐의 크기를 예측할 수 있다.The processor (130) can predict the size of the lung based on at least one piece of information identified above.
여기서, 폐의 크기는 상기 폐의 특정 부분에 상기 흉벽까지의 최단 거리가 짧을수록 폐의 특정 부위의 길이가 길수록 크다고 예측될 수 있다.Here, the size of the lung can be predicted to be larger the shorter the shortest distance from the specific part of the lung to the chest wall and the longer the length of the specific part of the lung.
또한, 프로세서(130)는 상기 수술시 폐 영상데이터에서 병변을 인식할 수 있다. Additionally, the processor (130) can recognize a lesion in lung image data during the surgery.
즉, 프로세서(130)는 상기 수술시 폐 영상데이터에서 상기 병변의 크기, 위치 및 형태 중 적어도 하나를 인식할 수 있다.That is, the processor (130) can recognize at least one of the size, location, and shape of the lesion from the lung image data during the surgery.
프로세서(130)는 상기 예측 결과를 기반으로 기 구비된 학습모델을 통해 상기 폐를 복수의 영역으로 분할할 수 있다.The processor (130) can divide the lung into multiple regions using a pre-installed learning model based on the above prediction results.
여기서, 학습모델은, 복수의 기존 환자 별 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터에 기초한 학습데이터 세트를 구축하고, 상기 구축된 학습데이터 세트를 기반으로 기계 학습되는 것일 수 있다.Here, the learning model may be a machine-learning model that constructs a learning data set based on multiple existing patient-specific inspiratory lung image data, expiratory lung image data, and surgical lung image data, and performs machine learning based on the constructed learning data set.
구체적으로, 프로세서(130)는 상기 환자의 흡기시 폐 영상데이터 및 호기시 폐 영상데이터를 획득할 수 있다. Specifically, the processor (130) can acquire lung image data during inspiration and lung image data during expiration of the patient.
도 2를 참조하면, 흡기시 폐 영상데이터는 환자가 숨을 들이마신 상태에서 상기 외부 장치(미도시)를 통해 촬영된 것일 수 있다. 또한, 호기시 폐 영상데이터는 환자가 숨을 내쉰 상태에서 상기 외부 장치(미도시)를 통해 촬영된 것일 수 있다.Referring to Fig. 2, the lung image data during inspiration may be captured by an external device (not shown) while the patient is inhaling. Additionally, the lung image data during expiration may be captured by an external device (not shown) while the patient is exhaling.
여기서, 흡기시 폐 영상데이터의 폐 크기는 공기가 폐로 들어가면서 폐가 확장된 상태에서 촬영되었기 때문에 공기가 배출되면서 폐가 줄어든 상태에서 촬영된 호기시 폐 영상데이터의 폐 크기보다 클 수 있다.Here, the lung size of the inspiratory lung image data may be larger than the lung size of the expiratory lung image data, which was captured in a state where the lungs were expanded as air entered the lungs, compared to the lung size of the expiratory lung image data, which was captured in a state where the lungs were contracted as air was exhaled.
여기서, 프로세서(130)는 상기 학습모델을 통해 상기 흡기시 폐 영상데이터 및 호기시 폐 영상데이터를 상기 복수의 영역으로 분할할 수 있다.Here, the processor (130) can divide the inhalation lung image data and the exhalation lung image data into the plurality of regions through the learning model.
이에 따라, 프로세서(130)는 상기 분할된 결과가 반영된 가상 폐 모델을 생성할 수 있다.Accordingly, the processor (130) can generate a virtual lung model reflecting the segmented result.
보다 상세하게는, 프로세서(130)는 상기 학습모델을 기반으로, 상기 흡기시 폐 영상데이터를 제1 기준에 따라 제1 중분류 영역으로 분할하고, 상기 제1 중분류 영역을 제2 기준에 따라 제1 소분류 영역으로 분할할 수 있다.More specifically, the processor (130) can divide the lung image data during inspiration into a first intermediate classification area according to a first criterion based on the learning model, and divide the first intermediate classification area into a first sub-classification area according to a second criterion.
여기서, 제1 기준은, 상기 흡기시 폐 영상데이터 또는 상기 호기시 폐 영상데이터를 엽(Lobe)에 따라 상기 제1 중분류 영역 또는 상기 제2 중분류 영역으로 분할하는 기준일 수 있다.Here, the first criterion may be a criterion for dividing the inspiratory lung image data or the expiratory lung image data into the first intermediate classification region or the second intermediate classification region according to the lobe.
또한, 제2 기준은, 상기 제1 중분류 영역을 혈관에 따라 상기 제1 소분류 영역으로 분할하는 기준일 수 있다.Additionally, the second criterion may be a criterion for dividing the first medium-classified area into the first small-classified areas according to blood vessels.
도 3을 보면, 프로세서(130)는 상기 학습모델을 기반으로 상기 흡기시 폐 영상데이터를 엽(Lobe)에 따라 상기 제1 중분류 영역으로 분할할 수 있다.Referring to FIG. 3, the processor (130) can divide the lung image data during inspiration into the first intermediate classification area according to the lobe based on the learning model.
일 예로, 프로세서(130)는 상기 흡기시 폐 영상데이터를 상기 제1 기준인 엽에 따라 우폐는 우상엽 영역, 우중엽 영역 및 우하엽 영역, 좌폐는 좌상엽 영역 및 좌하엽 영역을 포함한 상기 제1 중분류 영역으로 분할할 수 있다.For example, the processor (130) may divide the lung image data during inspiration into the first middle-classification region including the right upper lobe region, the right middle lobe region, and the right lower lobe region for the right lung, and the left upper lobe region and the left lower lobe region for the left lung, based on the first reference lobe.
그리고, 프로세서(130)는 상기 학습모델을 기반으로 상기 흡기시 폐 영상데이터를 혈관 또는 기관지의 연결부분에 따라 상기 제1 소분류 영역으로 분할할 수 있다.And, the processor (130) can divide the lung image data during inspiration into the first sub-classification region according to the connection part of the blood vessel or bronchus based on the learning model.
그리고, 프로세서(130)는 상기 학습모델을 기반으로, 상기 호기시 폐 영상데이터를 상기 제1 기준에 따라 제2 중분류 영역으로 분할할 수 있다.And, the processor (130) can divide the lung image data during expiration into a second intermediate classification area according to the first criterion based on the learning model.
도 4를 보면, 프로세서(130)는 상기 학습모델을 기반으로 상기 호기시 폐 영상데이터를 엽에 따라 상기 제2 중분류 영역으로 분할할 수 있다.Referring to FIG. 4, the processor (130) can divide the lung image data during expiration into the second intermediate classification area according to the leaf based on the learning model.
일 예로, 프로세서(130)는 상기 호기시 폐 영상데이터를 상기 제1 기준인 엽에 따라 우폐는 우상엽 영역, 우중엽 영역 및 우하엽 영역, 좌폐는 좌상엽 영역 및 좌하엽 영역을 포함한 상기 제2 중분류 영역으로 분할할 수 있다.For example, the processor (130) may divide the lung image data during expiration into the second middle-classification regions including the right upper lobe region, the right middle lobe region, and the right lower lobe region for the right lung, and the left upper lobe region and the left lower lobe region for the left lung, based on the first criterion, the lobe.
여기서, 프로세서(130)는 상기 제1 중분류 영역 및 상기 제2 중분류 영역 간의 크기 변화 비율을 산출할 수 있다.Here, the processor (130) can calculate a size change ratio between the first intermediate classification area and the second intermediate classification area.
그리고, 프로세서(130)는 상기 크기 변화 비율을 기반으로 상기 제2 중분류 영역을 제2 소분류 영역으로 분할할 수 있다.And, the processor (130) can divide the second medium classification area into second small classification areas based on the size change ratio.
호기시 폐 영상데이터의 폐의 크기는 흡기시 폐 영상데이터의 폐의 크기보다 작으므로 상기 제1 기준인 엽에 따라 상기 제2 중분류 영역까지는 분할이 가능하지만 혈관이나 기관지 연결부분에 따라 소분류 영역까지 분류가 어렵기 때문에 상기 크기 변화 비율을 기반으로 상기 제2 소분류 영역으로 분할할 수 있다.Since the size of the lung in the lung image data during expiration is smaller than the size of the lung in the lung image data during inspiration, it is possible to divide up to the second medium classification area based on the first criterion, the lobe, but it is difficult to divide up to the small classification area based on the blood vessel or bronchial connection part, so it is possible to divide up to the second small classification area based on the size change ratio.
즉, 프로세서(130)는 상기 제2 중분류 영역 별 크기 변화 비율을 기반으로 제2 소분류 영역을 분할할 수 있다.That is, the processor (130) can divide the second sub-classification area based on the size change ratio of each second medium-classification area.
일 예로, 먼저, 프로세서(130)는 우폐에서 제2 중분류 영역 중 우상엽 영역의 제1 크기 변화 비율을 기반으로 상기 우상엽 영역을 적어도 하나의 소분류 영역으로 분할하고, 상기 제2 중분류 영역 중 우중엽 영역의 제2 크기 변화 비율을 기반으로 상기 우중엽 영역을 적어도 하나의 소분류 영역으로 분할하고, 상기 제2 중분류 영역 중 우하엽 영역의 제3 크기 변화 비율을 기반으로 상기 우하엽 영역을 적어도 하나의 소분류 영역으로 분할할 수 있다.For example, first, the processor (130) may divide the upper right lobe region into at least one sub-region based on a first size change ratio of the upper right lobe region among the second intermediate classification regions in the right lung, divide the right middle lobe region into at least one sub-region based on a second size change ratio of the right middle lobe region among the second intermediate classification regions, and divide the right lower lobe region into at least one sub-region based on a third size change ratio of the right lower lobe region among the second intermediate classification regions.
다음으로, 프로세서(130)는 좌폐에서 제2 중분류 영역 중 좌상엽 영역의 제4 크기 변화 비율을 기반으로 상기 좌상엽 영역을 적어도 하나의 소분류 영역으로 분할하고, 상기 제2 중분류 영역 중 좌하엽 영역의 제5 크기 변화 비율을 기반으로 상기 좌하엽 영역을 적어도 하나의 소분류 영역으로 분할할 수 있다.Next, the processor (130) may divide the left upper lobe region into at least one sub-region based on the fourth size change ratio of the left upper lobe region among the second intermediate classification regions in the left lung, and may divide the left lower lobe region into at least one sub-region based on the fifth size change ratio of the left lower lobe region among the second intermediate classification regions.
여기서, 제1 크기 변화 비율 내지 제5 크기 변화 비율을 동일하거나 각각 다를 수 있다.Here, the first to fifth size change ratios may be the same or different.
이후, 프로세서(130)는 상기 수술시 폐 영상데이터에서 인식한 상기 병변, 상기 폐의 크기를 예측한 상기 예측 결과 및 상기 크기 변화 비율에 따라 소분류까지 분할된 상기 가상 폐 모델을 생성할 수 있다.Thereafter, the processor (130) can generate the virtual lung model divided into subcategories according to the lesion recognized in the lung image data during the surgery, the predicted result predicting the size of the lung, and the size change ratio.
구체적으로, 프로세서(130)는 상기 수술시 폐 영상데이터에서 인식한 상기 병변, 상기 수술시 폐 영상데이터에서 폐의 크기를 폐와 흉벽 간의 거리 및/또는 폐의 특정 부위의 길이 등을 포함하는 적어도 하나의 정보를 기반으로 예측한 상기 예측 결과, 및 상기 흡기시 폐 영상데이터와 상기 호기시 폐 영상데이터에 대해 상기 학습모델을 통해 산출한 상기 크기 변화 비율에 따라 상기 가상 폐 모델을 생성할 수 있다.Specifically, the processor (130) can generate the virtual lung model based on the predicted result, which is based on at least one piece of information including the lesion recognized in the lung image data during the surgery, the distance between the lung and the chest wall, and/or the length of a specific part of the lung, and the size change ratio calculated through the learning model for the lung image data during inspiration and the lung image data during expiration.
여기서, 가상 폐 모델은 상기 소분류 영역까지 분할되어 표시되고, 상기 환자의 실제 병변까지 동일한 위치에 표시될 수 있다. Here, the virtual lung model is displayed segmented into the above-mentioned sub-areas, and the actual lesion of the patient can be displayed at the same location.
이에 따라, 장치(10)는 상기 환자의 수술시 폐 영상데이터, 흡기시 폐 영상데이터 및 호기시 폐 영상데이터를 확보하는 경우, 상기 학습모델을 통해 상기 환자의 수술시 폐와 거의 유사한 상기 가상 폐 모델을 생성할 수 있는 효과가 있다.Accordingly, when the device (10) acquires lung image data during surgery, lung image data during inspiration, and lung image data during expiration of the patient, it has the effect of being able to create a virtual lung model that is almost similar to the lung of the patient during surgery through the learning model.
따라서, 장치(10)는 상기 환자의 수술시 폐와 거의 유사한 상기 가상 폐 모델을 상기 가상의 수술 시뮬레이션 환경에 제공함으로써, 실제 수술 환경과 유사도가 높은 상기 가상의 수술 시뮬레이션 환경을 제공할 수 있다.Accordingly, the device (10) can provide a virtual surgery simulation environment having a high degree of similarity to an actual surgery environment by providing a virtual lung model that is almost similar to the lungs of the patient during surgery to the virtual surgery simulation environment.
도 5는 본 발명에 따른 환자의 가상 폐 모델을 생성하는 과정을 나타낸 흐름도이다. 여기서, 프로세서(130)의 동작은 장치(10)에서 동일하게 수행 가능할 수 있다. 다만, 도 5는 폐의 크기를 예측하기 위한 정보로서 폐와 흉벽 간의 거리 및 폐의 특정 부위의 길이 중 적어도 하나를 이용하는 경우로 한정한 일 실시예로서, 폐 영상데이터를 통해 파악 가능한 그 외 다른 정보들을 더 이용하도록 할 수도 있으며, 그 이용하는 정보의 개수 및 종류는 한정하지 않는다.FIG. 5 is a flowchart illustrating a process of creating a virtual lung model of a patient according to the present invention. Here, the operation of the processor (130) may be performed in the same manner in the device (10). However, FIG. 5 is an example that is limited to using at least one of the distance between the lung and the chest wall and the length of a specific part of the lung as information for predicting the size of the lung, and other information that can be identified through lung image data may be further used, and the number and type of information used are not limited.
프로세서(130)는 상기 환자의 수술시 폐 영상데이터를 획득할 수 있다(S501).The processor (130) can obtain lung image data during surgery of the patient (S501).
여기서, 프로세서(130)는 수술시 폐 영상데이터는 상기 환자의 폐 수술시 삽입되는 카메라(Endoscope)를 통해 획득될 수 있다.Here, the processor (130) can obtain lung image data during surgery through a camera (endoscope) inserted into the patient during lung surgery.
프로세서(130)는 상기 환자의 수술 시 폐와 흉벽 간의 거리 및 폐의 특정 부위의 길이 중 적어도 하나를 포함하는 정보를 파악할 수 있다(S502).The processor (130) can determine information including at least one of the distance between the lung and the chest wall and the length of a specific part of the lung during surgery of the patient (S502).
여기서, 폐와 흉벽 간의 거리 및/또는 폐의 특정 부위의 길이는, 상기 환자의 폐 수술시 삽입되는 실 또는 수술도구를 이용하여 파악될 수 있다.Here, the distance between the lung and the chest wall and/or the length of a specific part of the lung can be determined using a thread or surgical instrument inserted during lung surgery on the patient.
또는, 폐와 흉벽 간의 거리 및/또는 폐의 특정 부위의 길이는, 프로세서(130)가 상기 수술시 폐 영상데이터를 기반으로 파악할 수 있다.Alternatively, the distance between the lung and the chest wall and/or the length of a specific portion of the lung can be determined by the processor (130) based on lung image data during the surgery.
즉, 프로세서(130)는 상기 수술시 폐 영상데이터를 기반으로 폐의 특정 부분의 경계 영역과 상기 흉벽 간의 최단 거리 및 폐의 특정 부위의 길이 중 적어도 하나를 포함하는 정보를 파악할 수 있다.That is, the processor (130) can determine information including at least one of the shortest distance between the boundary area of a specific part of the lung and the chest wall and the length of a specific part of the lung based on the lung image data during the surgery.
프로세서(130)는 상기 파악된 정보를 기반으로 상기 폐의 크기를 예측할 수 있다(S503).The processor (130) can predict the size of the lung based on the identified information (S503).
여기서, 폐의 크기는 상기 폐의 특정 부분에 상기 흉벽까지의 최단 거리가 짧을수록 폐의 특정 부위의 길이가 길수록 크다고 예측될 수 있다.Here, the size of the lung can be predicted to be larger the shorter the shortest distance from the specific part of the lung to the chest wall and the longer the length of the specific part of the lung.
프로세서(130)는 상기 수술시 폐 영상데이터에서 병변을 인식할 수 있다(S504).The processor (130) can recognize a lesion in lung image data during the above surgery (S504).
구체적으로, 프로세서(130)는 상기 수술시 폐 영상데이터에서 상기 병변의 크기, 위치 및 형태 중 적어도 하나를 인식할 수 있다.Specifically, the processor (130) can recognize at least one of the size, location, and shape of the lesion in the lung image data during the surgery.
프로세서(130)는 상기 예측 결과를 기반으로 기 구비된 학습모델을 통해 상기 폐를 복수의 영역으로 분할할 수 있다(S505).The processor (130) can divide the lung into multiple regions using a pre-installed learning model based on the above prediction results (S505).
여기서, 학습모델은, 복수의 기존 환자 별 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터에 기초한 학습데이터 세트를 구축하고, 상기 구축된 학습데이터 세트를 기반으로 기계 학습되는 것일 수 있다.Here, the learning model may be a machine-learning model that constructs a learning data set based on multiple existing patient-specific inspiratory lung image data, expiratory lung image data, and surgical lung image data, and performs machine learning based on the constructed learning data set.
구체적으로, 프로세서(130)는 상기 환자의 흡기시 폐 영상데이터 및 호기시 폐 영상데이터를 획득하고, 상기 학습모델을 통해 상기 흡기시 폐 영상데이터 및 호기시 폐 영상데이터를 상기 복수의 영역으로 분할할 수 있다.Specifically, the processor (130) can obtain lung image data during inspiration and lung image data during expiration of the patient, and divide the lung image data during inspiration and lung image data during expiration into the plurality of regions through the learning model.
여기서, 흡기시 폐 영상데이터는 환자가 숨을 들이마신 상태에서 상기 외부 장치(미도시)를 통해 촬영된 것일 수 있다. 또한, 호기시 폐 영상데이터는 환자가 숨을 내쉰 상태에서 상기 외부 장치(미도시)를 통해 촬영된 것일 수 있다.Here, the lung image data during inspiration may be captured by an external device (not shown) while the patient is inhaling. Additionally, the lung image data during expiration may be captured by an external device (not shown) while the patient is exhaling.
보다 상세하게는, 프로세서(130)는 상기 학습모델을 기반으로, 상기 흡기시 폐 영상데이터를 제1 기준에 따라 제1 중분류 영역으로 분할하고, 상기 제1 중분류 영역을 제2 기준에 따라 제1 소분류 영역으로 분할할 수 있다.More specifically, the processor (130) can divide the lung image data during inspiration into a first intermediate classification area according to a first criterion based on the learning model, and divide the first intermediate classification area into a first sub-classification area according to a second criterion.
여기서, 제1 기준은, 상기 흡기시 폐 영상데이터 또는 상기 호기시 폐 영상데이터를 엽(Lobe)에 따라 상기 제1 중분류 영역 또는 상기 제2 중분류 영역으로 분할하는 기준이고, 제2 기준은, 상기 제1 중분류 영역을 혈관에 따라 상기 제1 소분류 영역으로 분할하는 기준일 수 있다.Here, the first criterion may be a criterion for dividing the inspiratory lung image data or the expiratory lung image data into the first intermediate classification region or the second intermediate classification region according to the lobe, and the second criterion may be a criterion for dividing the first intermediate classification region into the first sub-classification region according to the blood vessel.
그리고, 프로세서(130)는 상기 학습모델을 기반으로, 상기 호기시 폐 영상데이터를 상기 제1 기준에 따라 제2 중분류 영역으로 분할할 수 있다.And, the processor (130) can divide the lung image data during expiration into a second intermediate classification area according to the first criterion based on the learning model.
여기서, 프로세서(130)는 상기 제1 중분류 영역 및 상기 제2 중분류 영역 간의 크기 변화 비율을 산출할 수 있다.Here, the processor (130) can calculate a size change ratio between the first intermediate classification area and the second intermediate classification area.
이후, 프로세서(130)는 상기 크기 변화 비율을 기반으로 상기 제2 중분류 영역을 제2 소분류 영역으로 분할할 수 있다.Thereafter, the processor (130) can divide the second medium-classified area into second small-classified areas based on the size change ratio.
즉, 프로세서(130)는 상기 제2 중분류 영역 별 크기 변화 비율을 기반으로 제2 소분류 영역을 분할할 수 있다.That is, the processor (130) can divide the second sub-classification area based on the size change ratio of each second medium-classification area.
프로세서(130)는 상기 인식된 병변 및 상기 분할된 결과가 반영된 가상 폐 모델을 생성할 수 있다(S506).The processor (130) can generate a virtual lung model reflecting the recognized lesion and the segmented result (S506).
구체적으로, 프로세서(130)는 상기 수술시 폐 영상데이터에서 인식한 상기 병변, 상기 폐의 크기를 예측한 상기 예측 결과 및 상기 크기 변화 비율에 따라 소분류까지 분할된 상기 가상 폐 모델을 생성할 수 있다.Specifically, the processor (130) can generate the virtual lung model divided into subcategories according to the lesion recognized in the lung image data during the surgery, the prediction result predicting the size of the lung, and the size change ratio.
도 5는 단계 S501 내지 단계 S506를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 단계 S501 내지 단계 S506 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.Although FIG. 5 describes that steps S501 to S506 are executed sequentially, this is only an example to explain the technical idea of the present embodiment, and those skilled in the art to which the present embodiment belongs can modify and apply various modifications and variations by changing the order described in FIG. 5 without departing from the essential characteristics of the present embodiment or executing one or more steps among steps S501 to S506 in parallel, and therefore FIG. 5 is not limited to a chronological order.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 장치(10)일 수 있다.The method according to one embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and may be stored in a medium. Here, the computer may be the device (10) described above.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described program may include codes coded in a computer language, such as C, C++, JAVA, or machine language, that can be read by the processor (CPU) of the computer through the device interface of the computer, so that the computer reads the program and executes the methods implemented as a program. Such codes may include functional codes related to functions that define functions necessary for executing the methods, and may include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. In addition, such codes may further include memory reference-related codes regarding which location (address address) of the internal or external memory of the computer should be referenced for additional information or media necessary for the processor of the computer to execute the functions. In addition, if the processor of the computer needs to communicate with another computer or server located remotely in order to execute the functions, the code may further include communication-related code regarding how to communicate with another computer or server located remotely using the communication module of the computer, what information or media to send and receive during communication, etc.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with the embodiments of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination of these. The software module may reside in a Random Access Memory (RAM), a Read Only Memory (ROM), an Erasable Programmable ROM (EPROM), an Electrically Erasable Programmable ROM (EEPROM), a Flash Memory, a hard disk, a removable disk, a CD-ROM, or any other form of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Above, while the embodiments of the present invention have been described with reference to the attached drawings, it will be understood by those skilled in the art that the present invention may be implemented in other specific forms without changing the technical idea or essential features thereof. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.
10: 장치
110: 통신부
120: 메모리
130: 프로세서10: Device
110: Communications Department
120: Memory
130: Processor
Claims (10)
상기 환자의 수술시 폐 영상데이터를 획득하는 단계;
상기 환자의 수술시 폐와 흉벽 간의 거리 및 폐의 특정 부위의 길이 중 적어도 하나를 포함하는 정보를 파악하는 단계;
상기 파악된 정보를 기반으로 상기 폐의 크기를 예측하는 단계;
상기 예측 결과를 기반으로 기 구비된 학습모델을 통해 상기 폐를 복수의 영역으로 분할하는 단계; 및
상기 분할된 결과가 반영된 가상 폐 모델을 생성하는 단계;
를 포함하며,
상기 분할 단계는,
상기 환자의 흡기시 폐 영상데이터 및 호기시 폐 영상데이터를 획득하고,
상기 학습모델을 통해, 상기 흡기시 폐 영상데이터 및 호기시 폐 영상데이터를 상기 복수의 영역으로 분할하며,
상기 분할 단계는,
상기 학습모델을 기반으로, 상기 흡기시 폐 영상데이터를 제1 기준에 따라 제1 중분류 영역으로 분할하고, 상기 제1 중분류 영역을 제2 기준에 따라 제1 소분류 영역으로 분할하고,
상기 학습모델을 기반으로, 상기 호기시 폐 영상데이터를 상기 제1 기준에 따라 제2 중분류 영역으로 분할하고,
상기 제1 중분류 영역 및 상기 제2 중분류 영역 간의 크기 변화 비율을 산출하고,
상기 크기 변화 비율을 기반으로 상기 제2 중분류 영역을 제2 소분류 영역으로 분할하고,
상기 생성 단계는,
상기 예측 결과 및 상기 크기 변화 비율에 따라 소분류까지 분할된 상기 가상 폐 모델을 생성하는, 환자의 가상 폐 모델 생성 방법.
A method, performed by a device for generating a virtual lung model of a patient,
A step of acquiring lung image data during surgery of the above patient;
A step of obtaining information including at least one of the distance between the lung and the chest wall and the length of a specific part of the lung during surgery of the patient;
A step of predicting the size of the lung based on the above identified information;
A step of dividing the lung into multiple regions using a learning model based on the above prediction results; and
A step of creating a virtual lung model reflecting the above segmented results;
Including,
The above division step is,
Obtain lung image data during inspiration and expiration of the patient above,
Through the above learning model, the lung image data during inspiration and the lung image data during expiration are divided into the above multiple regions.
The above division step is,
Based on the above learning model, the lung image data during inspiration is divided into a first intermediate classification area according to a first criterion, and the first intermediate classification area is divided into a first sub-classification area according to a second criterion.
Based on the above learning model, the above exhaled lung image data is divided into the second intermediate classification area according to the first criterion,
Calculate the size change ratio between the first intermediate classification area and the second intermediate classification area,
Based on the above size change ratio, the second medium classification area is divided into second small classification areas,
The above generation steps are:
A method for generating a virtual lung model of a patient, wherein the virtual lung model is divided into subcategories according to the above prediction results and the size change ratio.
상기 제1 기준은,
상기 흡기시 폐 영상데이터 또는 상기 호기시 폐 영상데이터를 엽(Lobe)에 따라 상기 제1 중분류 영역 또는 상기 제2 중분류 영역으로 분할하는 기준이고,
상기 제2 기준은,
상기 제1 중분류 영역을 혈관에 따라 상기 제1 소분류 영역으로 분할하는 기준인, 환자의 가상 폐 모델 생성 방법.
In the first paragraph,
The first criterion above is,
The above is a criterion for dividing the lung image data during inspiration or the lung image data during expiration into the first intermediate classification area or the second intermediate classification area according to the lobe.
The second criterion above is,
A method for creating a virtual lung model of a patient, which is a criterion for dividing the first intermediate classification area into the first sub-classification area according to blood vessels.
상기 학습모델은,
복수의 기존 환자 별 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터에 기초한 학습데이터 세트를 구축하고,
상기 구축된 학습데이터 세트를 기반으로 기계 학습되는 것인, 환자의 가상 폐 모델 생성 방법.
In the first paragraph,
The above learning model is,
We build a learning data set based on multiple existing patient-specific inspiratory lung image data, expiratory lung image data, and surgical lung image data.
A method for creating a virtual lung model of a patient, which is machine-learned based on the above-mentioned constructed learning data set.
환자의 가상 폐 모델을 생성하는 프로세서;를 포함하고,
상기 프로세서는,
상기 환자의 수술시 폐 영상데이터를 획득하고,
상기 환자의 수술시 폐와 흉벽 간의 거리 및 폐의 특정 부위의 길이 중 적어도 하나를 포함하는 정보를 파악하고,
상기 파악된 정보를 기반으로 상기 폐의 크기를 예측하고,
상기 예측 결과를 기반으로 기 구비된 학습모델을 통해 상기 폐를 복수의 영역으로 분할하고,
상기 분할된 결과가 반영된 가상 폐 모델을 생성하며,
상기 프로세서는,
상기 분할할 때, 상기 환자의 흡기 시 폐 영상데이터 및 호기 시 폐 영상데이터를 획득하고,
상기 학습모델을 통해, 상기 흡기 시 폐 영상데이터 및 호기 시 폐 영상데이터를 상기 복수의 영역으로 분할하며,
상기 프로세서는,
상기 학습모델을 기반으로, 상기 흡기시 폐 영상데이터를 제1 기준에 따라 제1 중분류 영역으로 분할하고, 상기 제1 중분류 영역을 제2 기준에 따라 제1 소분류 영역으로 분할하고,
상기 학습모델을 기반으로, 상기 호기시 폐 영상데이터를 상기 제1 기준에 따라 제2 중분류 영역으로 분할하고,
상기 제1 중분류 영역 및 상기 제2 중분류 영역 간의 크기 변화 비율을 산출하고,
상기 크기 변화 비율을 기반으로 상기 제2 중분류 영역을 제2 소분류 영역으로 분할하고,
상기 예측 결과 및 상기 크기 변화 비율에 따라 소분류까지 분할된 상기 가상 폐 모델을 생성하는, 환자의 가상 폐 모델을 생성하는 장치.
Department of Communications; and
a processor for generating a virtual lung model of a patient;
The above processor,
Obtain lung imaging data during surgery for the above patient,
Obtain information including at least one of the distance between the lung and the chest wall and the length of a specific part of the lung during surgery for the above patient,
Based on the above identified information, the size of the lung is predicted,
Based on the above prediction results, the lungs are divided into multiple regions using a pre-existing learning model.
A virtual lung model is created that reflects the above segmented results,
The above processor,
When performing the above division, the patient's lung image data during inspiration and lung image data during expiration are acquired,
Through the above learning model, the lung image data during inspiration and the lung image data during expiration are divided into the above multiple regions.
The above processor,
Based on the above learning model, the lung image data during inspiration is divided into a first intermediate classification area according to a first criterion, and the first intermediate classification area is divided into a first sub-classification area according to a second criterion.
Based on the above learning model, the above exhaled lung image data is divided into the second intermediate classification area according to the first criterion,
Calculate the size change ratio between the first intermediate classification area and the second intermediate classification area,
Based on the above size change ratio, the second medium classification area is divided into second small classification areas,
A device for generating a virtual lung model of a patient, which generates the virtual lung model divided into subcategories according to the above prediction results and the size change ratio.
상기 제1 기준은,
상기 흡기시 폐 영상데이터 또는 상기 호기시 폐 영상데이터를 엽(Lobe)에 따라 상기 제1 중분류 영역 또는 상기 제2 중분류 영역으로 분할하는 기준이고,
상기 제2 기준은,
상기 제1 중분류 영역을 혈관에 따라 상기 제1 소분류 영역으로 분할하는 기준인, 환자의 가상 폐 모델을 생성하는 장치.
In Article 6,
The first criterion above is,
The above is a criterion for dividing the lung image data during inspiration or the lung image data during expiration into the first intermediate classification area or the second intermediate classification area according to the lobe.
The second criterion above is,
A device for generating a virtual lung model of a patient, which is a criterion for dividing the first intermediate classification area into the first sub-classification area according to blood vessels.
상기 학습모델은,
복수의 기존 환자 별 흡기시 폐 영상데이터, 호기시 폐 영상데이터 및 수술시 폐 영상데이터에 기초한 학습데이터 세트를 구축하고,
상기 구축된 학습데이터 세트를 기반으로 기계 학습되는 것인, 환자의 가상 폐 모델을 생성하는 장치.In Article 6,
The above learning model is,
We build a learning data set based on multiple existing patient-specific inspiratory lung image data, expiratory lung image data, and surgical lung image data.
A device for generating a virtual lung model of a patient, which is machine-learned based on the above-mentioned constructed learning data set.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220006757A KR102694614B1 (en) | 2022-01-17 | 2022-01-17 | Apparatus and method for generating a virtual lung model of a patient |
| PCT/KR2023/000766 WO2023136695A1 (en) | 2022-01-17 | 2023-01-17 | Apparatus and method for generating virtual lung model of patient |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220006757A KR102694614B1 (en) | 2022-01-17 | 2022-01-17 | Apparatus and method for generating a virtual lung model of a patient |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230111043A KR20230111043A (en) | 2023-07-25 |
| KR102694614B1 true KR102694614B1 (en) | 2024-08-13 |
Family
ID=87279488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220006757A KR102694614B1 (en) | 2022-01-17 | 2022-01-17 | Apparatus and method for generating a virtual lung model of a patient |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102694614B1 (en) |
| WO (1) | WO2023136695A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830302B (en) * | 2024-03-04 | 2024-07-30 | 瀚依科技(杭州)有限公司 | Optimization method and device for lung segment segmentation, electronic equipment and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170224301A1 (en) * | 2016-02-05 | 2017-08-10 | Pulmonx Corporation | Methods, systems, and devices for analyzing lung imaging data |
| US20210142485A1 (en) | 2019-11-11 | 2021-05-13 | Ceevra, Inc. | Image analysis system for identifying lung features |
| US20210183071A1 (en) | 2017-06-30 | 2021-06-17 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for image segmentation |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11011077B2 (en) | 2017-06-29 | 2021-05-18 | Verb Surgical Inc. | Virtual reality training, simulation, and collaboration in a robotic surgical system |
| KR102014385B1 (en) * | 2018-02-20 | 2019-08-26 | (주)휴톰 | Method and apparatus for learning surgical image and recognizing surgical action based on learning |
| CN109544528B (en) * | 2018-11-19 | 2021-02-12 | 上海馨孚科技有限公司 | Lung nodule image identification method and device |
| CN112450960A (en) * | 2020-12-21 | 2021-03-09 | 周永 | Virtual endoscope display method based on VR/AR combined digital lung technology |
-
2022
- 2022-01-17 KR KR1020220006757A patent/KR102694614B1/en active IP Right Grant
-
2023
- 2023-01-17 WO PCT/KR2023/000766 patent/WO2023136695A1/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170224301A1 (en) * | 2016-02-05 | 2017-08-10 | Pulmonx Corporation | Methods, systems, and devices for analyzing lung imaging data |
| US20210183071A1 (en) | 2017-06-30 | 2021-06-17 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for image segmentation |
| US20210142485A1 (en) | 2019-11-11 | 2021-05-13 | Ceevra, Inc. | Image analysis system for identifying lung features |
Non-Patent Citations (2)
| Title |
|---|
| Filipe T. Ferreira 외 4인, End-to-End Supervised Lung Lobe Segmentation(2018) 1부. |
| Hao Tang 외 2인, Automatic Pulmonary Lobe Segmentation Using Deep Learning(2019) 1부. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230111043A (en) | 2023-07-25 |
| WO2023136695A1 (en) | 2023-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102013806B1 (en) | Method and apparatus for generating artificial data | |
| US20110311116A1 (en) | System and methods for anatomical structure labeling | |
| JP5222082B2 (en) | Information processing apparatus, control method therefor, and data processing system | |
| JP5178119B2 (en) | Image processing apparatus and image processing method | |
| WO2021082416A1 (en) | Network model training method and device, and focus area determination method and device | |
| JP2007307205A (en) | Apparatus and program of recognizing medical image section | |
| US8929623B2 (en) | Method and computer for aiding determination of obstructive sleep apnea | |
| KR102694614B1 (en) | Apparatus and method for generating a virtual lung model of a patient | |
| EP3054844A1 (en) | Difficult intubation or ventilation or extubation prediction system | |
| JP5539478B2 (en) | Information processing apparatus and information processing method | |
| CN116075901A (en) | System and method for processing medical data | |
| US20240087304A1 (en) | System for medical data analysis | |
| Choi et al. | Mask R-CNN based multiclass segmentation model for endotracheal intubation using video laryngoscope | |
| CN113538414B (en) | Lung image registration method and lung image registration device | |
| CN115100723B (en) | Face color classification method, device, computer readable program medium and electronic equipment | |
| KR102667467B1 (en) | Apparatus and Method for Providing a Virtual Reality-based Surgical Environment Using a Patient's Virtual Lung Model | |
| KR102496567B1 (en) | Apparatus and Method for Providing Oral Health Analysis Services | |
| Hara et al. | Surgical planning of Isshiki type I thyroplasty using an open-source Digital Imaging and Communication in Medicine viewer OsiriX | |
| US20230201504A1 (en) | System and method for generating patient-specific ventilation settings based on lung modeling | |
| KR20240041355A (en) | Coronary artery disease analysis system | |
| Oyamada et al. | Asymmetry of the vocal folds in patients with vocal fold immobility | |
| KR102709930B1 (en) | Apparatus and Method for Generating a Virtual Pneumoperitoneum Model | |
| KR102628325B1 (en) | Apparatus and Method for matching the Real Surgical Image with the 3D based Virtual Simulated Surgical Image based on POI Definition and Phase Recognition | |
| De Rosa et al. | The Future of Artificial Intelligence Using Images and Clinical Assessment for Difficult Airway Management | |
| KR102692189B1 (en) | Apparatus and method for determining disease of target object based on patch image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |