KR101926123B1

KR101926123B1 - Device and method for segmenting surgical image

Info

Publication number: KR101926123B1
Application number: KR1020180022962A
Authority: KR
Inventors: 이종혁
Original assignee: (주)휴톰
Priority date: 2017-12-28
Filing date: 2018-02-26
Publication date: 2018-12-06
Also published as: WO2019132614A1; KR20190080736A

Abstract

Disclosed is a method for segmenting a surgical image comprising the steps of: obtaining a surgical image by using a computer; recognizing at least one object included in each of one or more frames of the surgical image; determining a position and a motion of an imaging device to take a photograph of the surgical image and each of the at least one recognized object; and segmenting the surgical image into at least one first classification unit group capable of recognizing an operation of a predetermined first classification unit based on the determined result.

Description

&Lt; Desc / Clms Page number 1 > DEVICE AND METHOD FOR SEGMENTING SURGICAL IMAGE &

본 발명은 수술영상 분할방법 및 장치에 관한 것이다. The present invention relates to a surgical image segmentation method and apparatus.

수술과정에서, 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술행위를 인식할 수 있어야 한다.In the surgical procedure, development of techniques capable of providing information for assisting the surgeon of the doctor is required. In order to provide information for assisting the operation, it is necessary to be able to recognize the operation.

따라서, 컴퓨터가 수술영상으로부터 수술행위를 인식할 수 있는 기술의 개발이 요구된다.Therefore, it is required to develop a technique in which a computer can recognize a surgical operation from a surgical image.

또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.In recent years, deep learning has been widely used in the analysis of medical images. Deep learning is defined as a set of machine learning algorithms that try to achieve high levels of abstraction (a task that summarizes key content or functions in large amounts of data or complex data) through a combination of several nonlinear transformation techniques. Deep learning can be viewed as a field of machine learning that teaches computers how people think in a big way.

본 발명이 해결하고자 하는 과제는 수술영상 분할방법 및 장치를 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a surgical image segmentation method and apparatus.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems which are not mentioned can be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 수술영상 분할방법은, 컴퓨터가 수술영상을 획득하는 단계, 상기 수술영상의 하나 이상의 프레임 각각에 포함된 하나 이상의 객체를 인식하는 단계, 상기 수술영상을 촬영하는 촬영장치 및 상기 인식된 하나 이상의 객체 각각의 위치 및 움직임을 판단하는 단계 및 상기 판단 결과에 기초하여, 상기 수술영상을 기 설정된 제1 분류단위의 동작을 인식할 수 있는 하나 이상의 제1 분류단위 그룹으로 분할(segmentation)하는 단계를 포함한다.According to an aspect of the present invention, there is provided a surgical image segmentation method comprising: obtaining a surgical image by a computer; recognizing at least one object included in each of one or more frames of the surgical image; The method of claim 1, further comprising the steps of: determining a position and a motion of each of the at least one recognized object; and determining, based on the determination result, Segmentation into one group of classification units.

또한, 상기 제1 분류단위 그룹으로 분할하는 단계는, 상기 촬영장치 및 상기 하나 이상의 객체 각각의 위치 및 움직임에 대한 판단 결과에 기초하여, 상기 촬영장치 및 상기 하나 이상의 객체 각각의 위치 및 움직임을 기 설정된 제2 분류단위의 동작으로 인식 할 수 있는 하나 이상의 제2 분류단위 그룹으로 상기 수술영상을 분할하는 단계를 포함할 수 있다.The step of dividing into the first classification unit group may include a step of dividing the position and the movement of each of the photographing apparatus and the one or more objects based on a result of the determination as to the position and the motion of the photographing apparatus and the one or more objects, And dividing the surgical image into at least one second classification unit group that can be recognized as an operation of the set second classification unit.

또한, 상기 제2 분류단위 그룹으로 분할하는 단계는, 상기 촬영장치 및 상기 하나 이상의 객체 각각에 대하여 인식된 하나 이상의 제2 분류단위 동작에 기초하여 기 설정된 제3 분류단위의 동작을 인식 할 수 있는 하나 이상의 제3 분류단위 그룹으로 상기 수술영상을 분할하되, 상기 제3 분류단위 그룹은 하나 이상의 상기 제2 분류단위 그룹을 포함하는, 단계를 포함할 수 있다.The step of dividing into the second group of classification units may include a step of recognizing an operation of the predetermined third classification unit based on the at least one second classification unit operation recognized for each of the photographing apparatus and the at least one object Dividing the surgical image into one or more third classification unit groups, wherein the third classification unit group includes one or more of the second classification unit groups.

또한, 상기 수술영상으로부터 상기 제1 분류단위의 동작을 인식 하는 단계; 를 더 포함하고, 상기 제1 분류단위의 동작을 인식하는 단계는, 상기 수술영상에 포함된 신체부위와 상기 하나 이상의 객체 사이의 위치관계 및 상기 하나 이상의 객체의 움직임에 기초하여 상기 제1 분류단위의 동작을 인식하는 단계를 포함할 수 있다.Recognizing an operation of the first classification unit from the surgical image; Wherein the step of recognizing the operation of the first classification unit comprises the step of recognizing the motion of the first classification unit based on a positional relationship between the body part and the at least one object included in the surgical image, And recognizing the operation of the mobile terminal.

또한, 상기 제1 분류단위의 동작을 인식하는 단계는, 상기 신체부위에 대응하는 모델링 정보를 획득하는 단계, 상기 모델링 정보 및 가상의 상기 하나 이상의 객체를 포함하는 수술 시뮬레이션을 수행 하되, 상기 시뮬레이션에서 상기 하나 이상의 가상의 객체는 상기 하나 이상의 객체의 움직임에 따라 움직이는, 단계 및 상기 시뮬레이션 결과를 이용하여 상기 제1 분류단위의 동작을 인식하는 단계를 포함할 수 있다.The recognizing operation of the first classification unit may include acquiring modeling information corresponding to the body part, performing a surgical simulation including the modeling information and the virtual one or more objects, The one or more virtual objects moving according to the movement of the one or more objects, and recognizing the operation of the first classification unit using the simulation result.

또한, 상기 제1 분류단위 그룹으로 분할하는 단계는, 하나 이상의 상기 제1 분류단위 그룹 각각에 대하여 인식된 하나 이상의 제1 분류단위의 동작에 기초하여 기 설정된 제4 분류단위의 동작을 인식 할 수 있는 하나 이상의 제4 분류단위 그룹으로 상기 수술영상을 분할하되, 상기 제4 분류단위 그룹은 하나 이상의 상기 제1 분류단위 그룹을 포함하는, 단계를 포함할 수 있다.The dividing into the first classification unit group may include recognizing an operation of the predetermined fourth classification unit based on the operation of the at least one first classification unit recognized for each of the at least one first classification unit group Dividing the surgical image into one or more fourth classification unit groups, wherein the fourth classification unit group includes one or more of the first classification unit groups.

또한, 상기 분류된 하나 이상의 제1 분류단위 그룹 각각에 대응하는 하나 이상의 상기 제1 분류단위의 동작을 인식하는 단계 및 상기 하나 이상의 제1 분류단위의 동작에 기초하여 상기 분류된 하나 이상의 제4 분류단위 그룹 각각에 대응하는 하나 이상의 상기 제4 분류단위의 동작을 인식 하는 단계를 더 포함할 수 있다.The method according to claim 1, further comprising recognizing an operation of at least one of the first classification units corresponding to each of the at least one first classification unit group classified as the classified one or more first classification units, And recognizing an operation of at least one of the fourth classification units corresponding to each of the unit groups.

또한, 상기 제1 분류단위는 기 설정된 하나 이상의 동작에 대한 정보를 포함하고, 상기 기 설정된 하나 이상의 동작 각각에는 상기 기 설정된 하나 이상의 동작 각각을 식별할 수 있는 코드가 부여될 수 있다.The first classification unit may include information on one or more predetermined operations, and each of the predetermined one or more operations may be assigned a code capable of identifying each of the one or more predetermined operations.

또한, 상기 수술영상에서 발생하는 이벤트를 인식 하는 단계 및 상기 인식된 이벤트를 포함하는 하나 이상의 이벤트 그룹으로 상기 수술영상을 분할하는 단계를 더 포함할 수 있다.The method may further include recognizing an event occurring in the surgical image and dividing the surgical image into one or more event groups including the recognized event.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 수술영상을 분할하는 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 수술영상을 획득하고, 상기 수술영상의 하나 이상의 프레임 각각에 포함된 하나 이상의 객체를 인식하고, 상기 수술영상을 촬영하는 촬영장치 및 상기 인식된 하나 이상의 객체 각각의 위치 및 움직임을 판단하고, 상기 판단 결과에 기초하여, 상기 수술영상을 기 설정된 제1 분류단위의 동작을 인식할 수 있는 하나 이상의 제1 분류단위 그룹으로 분할한다.According to an aspect of the present invention, there is provided an apparatus for segmenting a surgical image, the apparatus comprising: a memory for storing one or more instructions; and a processor for executing the one or more instructions stored in the memory, An imaging device that acquires a surgical image by executing one or more instructions, recognizes one or more objects included in each of the one or more frames of the surgical image, captures the surgical image, And divides the surgical image into at least one first classification unit group capable of recognizing an operation of a predetermined first classification unit, based on the determination result.

상술한 과제를 해결하기 위하여 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 수술영상 분할방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.A computer program stored in a recording medium readable by a computer to perform a surgical image segmentation method according to the disclosed embodiments in combination with a computer, which is hardware, is provided to solve the above-described problems.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

개시된 실시 예에 따르면, 단계적인 분할을 통해 수술영상을 분할 및 인식함으로써 더 정확하게 수술영상에 포함되는 동작들을 분할하여 인식할 수 있으며, 수술의 종류나 환자의 신체상태가 상이한 경우에도 범용적으로 이용될 수 있는 수술영상 분할 및 인식방법을 제공할 수 있는 효과가 있다.According to the disclosed embodiment, it is possible to divide and recognize the operations included in the surgical image more accurately by dividing and recognizing the surgical image through the stepwise division, and it is possible to divide and recognize the operations included in the surgical image even if the type of surgery or the physical condition of the patient is different. There is an effect that a surgical image segmentation and recognition method can be provided.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따라 수술영상을 분할하는 방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따라 수술영상을 공간적으로 분할하는 방법을 도시한 흐름도이다.
도 4는 수술영상의 일 예를 도시한 도면이다.
도 5는 일 실시 예에 따라 수술영상을 시간적으로 분할하는 방법을 도시한 흐름도이다.
도 6은 수술영상을 분할하여 단계적으로 인식하는 일 예를 도시한 흐름도이다.
도 7은 수술동작을 단계적으로 인식하는 방법의 일 예를 도시한 도면이다.1 is a diagram illustrating a robot surgery system in accordance with the disclosed embodiment.
2 is a flowchart illustrating a method of segmenting a surgical image according to an embodiment.
3 is a flowchart illustrating a method of spatially segmenting a surgical image according to an embodiment.
4 is a diagram showing an example of a surgical image.
5 is a flowchart illustrating a method of temporally dividing an operation image according to an embodiment.
6 is a flowchart illustrating an example of segmenting and recognizing a surgical image step by step.
7 is a diagram showing an example of a method of recognizing a surgical operation step by step.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein, Is provided to fully convey the scope of the present invention to a technician, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms " comprises "and / or" comprising "used in the specification do not exclude the presence or addition of one or more other elements in addition to the stated element. Like reference numerals refer to like elements throughout the specification and "and / or" include each and every combination of one or more of the elements mentioned. Although "first "," second "and the like are used to describe various components, it is needless to say that these components are not limited by these terms. These terms are used only to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical scope of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense that is commonly understood by one of ordinary skill in the art to which this invention belongs. In addition, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.As used herein, the term "part" or "module" refers to a hardware component, such as a software, FPGA, or ASIC, and a "component" or "module" performs certain roles. However, "part" or " module " is not meant to be limited to software or hardware. A "module " or " module " may be configured to reside on an addressable storage medium and configured to play back one or more processors. Thus, by way of example, "a" or " module " is intended to encompass all types of elements, such as software components, object oriented software components, class components and task components, Microcode, circuitry, data, databases, data structures, tables, arrays, and variables, as used herein. Or " modules " may be combined with a smaller number of components and "parts " or " modules " Can be further separated.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.The terms spatially relative, "below", "beneath", "lower", "above", "upper" And can be used to easily describe a correlation between an element and other elements. Spatially relative terms should be understood in terms of the directions shown in the drawings, including the different directions of components at the time of use or operation. For example, when inverting an element shown in the figures, an element described as "below" or "beneath" of another element may be placed "above" another element . Thus, the exemplary term "below" can include both downward and upward directions. The components can also be oriented in different directions, so that spatially relative terms can be interpreted according to orientation.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다. As used herein, the term "image" may refer to multi-dimensional data composed of discrete image elements (e.g., pixels in a two-dimensional image and voxels in a 3D image). For example, the image may include a medical image or the like of the object obtained by the CT photographing apparatus.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다. As used herein, an " object "may be a person or an animal, or part or all of a person or an animal. For example, the subject may comprise at least one of the following: liver, heart, uterus, brain, breast, organs such as the abdomen, and blood vessels.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.As used herein, the term "user" may be a doctor, a nurse, a clinical pathologist, a medical imaging specialist, or the like, and may be a technician repairing a medical device.

본 명세서에서 “의료영상데이터”는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. “의료영상데이터”는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 등을 포함할 수 있다.In the present specification, the term " medical image data " is a medical image captured by a medical image capturing apparatus, and includes all medical images capable of realizing a body of a subject as a three-dimensional model. "Medical image data" may include a computed tomography (CT) image, a magnetic resonance imaging (MRI), a positron emission tomography (PET) image, and the like.

본 명세서에서 “가상신체모델”은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. “가상신체모델”은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.As used herein, the term " virtual body model " refers to a model generated based on medical image data in accordance with an actual patient's body. The " virtual body model " may be generated by modeling the medical image data in three dimensions as it is, or may be corrected after modeling as in actual surgery.

본 명세서에서 “세부수술동작”은 특정한 기준에 따라 분할된 수술동작의 최소단위를 의미한다.As used herein, the term " detailed operation " means a minimum unit of a surgical operation divided according to a specific criterion.

본 명세서에서 “컴퓨터” 및 “장치” 는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.As used herein, the terms " computer " and " device " encompass all of the various devices that can perform computational processing to provide results to a user. For example, the computer may be a smart phone, a tablet PC, a cellular phone, a personal communication service phone (PCS phone), a synchronous / asynchronous A mobile terminal of IMT-2000 (International Mobile Telecommunication-2000), a Palm Personal Computer (PC), a personal digital assistant (PDA), and the like. In addition, when the head mounted display (HMD) device includes a computing function, the HMD device can be a computer. Also, the computer may correspond to a server that receives a request from a client and performs information processing.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.1 is a diagram illustrating a robot surgery system in accordance with the disclosed embodiment.

도 1을 참조하면, 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이 도시되어 있다.Referring to FIG. 1, there is shown a simplified schematic representation of a system capable of performing robotic surgery in accordance with the disclosed embodiments.

도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.1, the robotic surgery system includes a medical imaging apparatus 10, a server 20, a control unit 30 provided in an operating room, a display 32, and a surgical robot 34. Depending on the embodiment, the medical imaging equipment 10 may be omitted from the robotic surgery system according to the disclosed embodiment.

일 실시 예에서, 수술로봇(34)은 촬영장치(36) 및 수술도구(38)를 포함한다.In one embodiment, the surgical robot 34 includes a photographing device 36 and a surgical tool 38.

일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.In one embodiment, robotic surgery is performed by the user controlling the surgical robot 34 using the control unit 30. [ In one embodiment, robot surgery may be performed automatically by the control unit 30 without user control.

서버(20)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.The server 20 is a computing device including at least one processor and a communication unit.

제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.The control unit 30 includes a computing device including at least one processor and a communication unit. In one embodiment, the control unit 30 includes hardware and software interfaces for controlling the surgical robot 34.

촬영장치(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 촬영장치(36)는 적어도 하나의 카메라 장치를 포함하여, 대상체의 신체부위, 즉 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 촬영장치(36)는 수술로봇(34)의 수술 암(arm)과 결합된 적어도 하나의 카메라를 포함한다.The photographing apparatus 36 includes at least one image sensor. That is, the photographing device 36 includes at least one camera device, and is used for photographing a body part of the object, that is, a surgical part. In one embodiment, the imaging device 36 includes at least one camera coupled with a surgical arm of the surgical robot 34.

일 실시 예에서, 촬영장치(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.In one embodiment, the image photographed at the photographing device 36 is displayed on the display 340. [

일 실시 예에서, 수술로봇(34)은 수술부위의 절단, 클리핑, 고정, 잡기 동작 등을 수행할 수 있는 하나 이상의 수술도구(38)를 포함한다. 수술도구(38)는 수술로봇(34)의 수술 암과 결합되어 이용된다.In one embodiment, the surgical robot 34 includes one or more surgical tools 38 that can perform cutting, clipping, anchoring, grabbing, etc., of the surgical site. The surgical tool 38 is used in combination with the surgical arm of the surgical robot 34.

제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.The control unit 30 receives information necessary for surgery from the server 20, or generates information necessary for surgery and provides the information to the user. For example, the control unit 30 displays on the display 32 information necessary for surgery, which is generated or received.

예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.For example, the user operates the control unit 30 while viewing the display 32 to perform the robot surgery by controlling the movement of the surgical robot 34.

서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체(환자)의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다. The server 20 generates information necessary for robot surgery using the medical image data of the object (patient) photographed beforehand from the medical imaging apparatus 10, and provides the generated information to the control unit 30. [

제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.The control unit 30 provides the information received from the server 20 to the user by displaying the information on the display 32 or controls the surgical robot 34 using the information received from the server 20. [

일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다. In one embodiment, the means that can be used in the medical imaging equipment 10 is not limited, and various other medical imaging acquiring means such as CT, X-Ray, PET, MRI and the like may be used.

개시된 실시 예에서, 촬영장치(36)에서 획득되는 수술영상은 제어부(30)로 전달된다.In the disclosed embodiment, the surgical image obtained in the photographing device 36 is transmitted to the control section 30. [

일 실시 예에서, 제어부(30)는 수술 중에 획득되는 수술영상을 실시간으로 분할(segmentation)할 수 있다.In one embodiment, the control unit 30 may segment the surgical image obtained during the operation in real time.

일 실시 예에서, 제어부(30)는 수술 중 또는 수술이 완료된 후 수술영상을 서버(20)에 전송한다.In one embodiment, the control unit 30 transmits a surgical image to the server 20 during or after surgery.

서버(20)는 수술영상을 분할하여 분석할 수 있다.The server 20 can divide and analyze the surgical image.

이하에서는, 도면을 참조하여 서버(20) 또는 제어부(30)가 수술영상을 분할 및 분석하는 방법에 대하여 구체적으로 설명한다. 본 명세서에서 개시되는 실시 예에 따른 수술영상 분할방법의 일부 또는 전부가 각각 서버(20) 또는 제어부(30)에서 수행될 수 있다.Hereinafter, a method of dividing and analyzing a surgical image by the server 20 or the control unit 30 will be described in detail with reference to the drawings. Some or all of the surgical image segmentation method according to the embodiment disclosed herein may be performed in the server 20 or the control unit 30, respectively.

이하에서는, 설명의 편의를 위해 “컴퓨터”가 본 명세서에서 개시되는 실시 예에 따른 수술영상 분할방법을 수행하는 것으로 설명한다. “컴퓨터”는 서버(20)와 제어부(30)를 모두 의미할 수 있다.Hereinafter, for convenience of explanation, it is assumed that the " computer " performs the surgical image segmentation method according to the embodiment disclosed herein. The " computer " may mean both the server 20 and the control unit 30. [

일 실시 예에서, 수술 영상은 다양한 기준으로 분할될 수 있다. 일 예로, 수술 영상은 영상에 포함된 객체의 종류를 기초로 하여 분할될 수 있다. 객체의 종류를 기초로 하는 분할방법은 컴퓨터가 각 객체를 인식하는 단계를 필요로 한다.In one embodiment, the surgical image may be segmented by various criteria. As an example, a surgical image may be segmented based on the type of object included in the image. The division method based on the kind of object requires a step in which the computer recognizes each object.

수술 영상에서 인식되는 객체는 크게 인체, 외부에서 유입된 객체 및 자체적으로 생성된 객체를 포함한다. 인체는 수술에 선행되는 의료영상 촬영(예를 들어, CT)에 의하여 촬영되는 신체부위와 촬영되지 않는 신체부위를 포함한다.The object recognized in the surgical image includes the human body, the object introduced from the outside, and the object generated by itself. The human body includes a body part taken by medical imaging (e.g., CT) followed by surgery and a body part not taken.

예를 들어, 의료영상 촬영에 의하여 촬영되는 신체부위는 장기, 혈관, 뼈, 힘줄 등을 포함하며, 이러한 신체부위는 의료영상에 기초하여 생성되는 3D 모델링 영상에 기초하여 인식될 수 있다. For example, a body part photographed by a medical imaging includes an organ, a blood vessel, a bone, a tendon, etc., and such a body part can be recognized based on a 3D modeling image generated based on a medical image.

구체적으로, 각 신체부위의 위치와 크기, 모양 등이 의료영상에 기초한 3D 분석방법에 의하여 사전에 인지된다. 컴퓨터는 실시간으로 수술영상에 대응하는 신체부위의 위치를 파악할 수 있는 알고리즘을 정의하고, 이에 기초하여 별도의 이미지 인식을 수행하지 않아도 수술영상에 포함되는 각 신체부위의 위치, 크기 및 모양 등에 대한 정보를 획득할 수 있다.또한, 의료영상 촬영에 의하여 촬영되지 않는 신체부위는 오멘텀(omentum) 등을 포함하며, 이는 의료영상에 의하여 촬영되지 않으므로 수술중에 실시간으로 인식하는 것이 필요하다. 예를 들어, 컴퓨터는 이미지 인식방법을 통하여 오멘텀의 위치 및 크기를 판단하고, 오멘텀 내부에 혈관이 있는 경우 혈관의 위치 또한 예측할 수 있다.Specifically, the position, size, and shape of each body part are recognized in advance by a 3D analysis method based on a medical image. The computer defines an algorithm that can grasp the position of a body part corresponding to a surgical image in real time, and based on the information, information on the position, size, and shape of each body part included in the surgical image The body part that is not captured by the medical imaging includes the omentum and the like, which is not captured by the medical image, so it is necessary to recognize it in real time during the operation. For example, the computer can determine the location and size of the omentum using image recognition methods, and predict the location of the vessel in the presence of blood vessels within the omentum.

외부에서 유입된 객체는, 예를 들어 수술도구, 거즈, 클립 등을 포함한다. 이는 기 설정된 형태적 특징을 가지므로, 컴퓨터가 수술중에 이미지 분석을 통하여 실시간으로 인식할 수 있다.Objects introduced from the outside include, for example, surgical tools, gauzes, clips, and the like. Since it has predetermined morphological characteristics, it can recognize the computer in real time through image analysis during surgery.

내부에서 생성되는 객체는, 예를 들어 신체부위에서 발생하는 출혈 등을 포함한다. 이는 컴퓨터가 수술중에 이미지 분석을 통하여 실시간으로 인식할 수 있다.Internally generated objects include, for example, bleeding from the body part. This allows the computer to recognize images in real time during image analysis during surgery.

신체부위에 포함된 장기나 오멘텀의 움직임, 그리고 객체가 내부에서 생성되는 원인은 모두 외부에서 유입된 객체의 움직임에 기인한다.The movements of organs and organs included in body parts and the causes of objects are all caused by the movement of objects from outside.

따라서, 수술 영상은 각 객체를 인식하는 것에 더하여, 각 객체의 움직임에 기초하여 분할될 수 있다. 일 실시 예에서, 수술 영상은 외부에서 유입된 객체의 움직임, 즉 액션에 기초하여 분할될 수 있다.Thus, in addition to recognizing each object, a surgical image can be segmented based on the motion of each object. In one embodiment, the surgical image may be segmented based on the motion, i.e., action, of the externally introduced object.

컴퓨터는 수술영상에서 인식된 각 객체의 종류를 판단하고, 각 객체의 종류에 따라 사전에 정의된 특정한 동작, 일련의 동작, 동작에 따라 발생하는 상황이나 결과 등에 기초하여, 각 객체의 움직임, 즉 액션을 인식할 수 있다.The computer judges the type of each object recognized in the surgical image. The computer determines a motion of each object, that is, a motion of each object based on a predetermined operation defined in advance, a series of operations, The action can be recognized.

컴퓨터는 각 액션의 종류를 인식하고, 나아가 각 액션의 원인 또한 인식할 수 있다. 컴퓨터는 인식되는 액션에 기초하여 수술영상을 분할할 수 있고, 단계적 분할을 통해 각각의 세부수술동작부터 전체 수술의 종류까지 인식할 수 있다.The computer recognizes the type of each action, and also recognizes the cause of each action. The computer can divide the surgical image based on the recognized action, and it can recognize from each detailed operation to the type of the whole operation through the stepwise division.

나아가, 컴퓨터는 액션에 대한 판단으로부터 수술영상에 대응하는, 기 정의된 수술의 종류를 판단한다. 수술의 종류를 판단하는 경우, 전체 수술 프로세스에 대한 정보를 획득할 수 있다. 동일한 종류의 수술에 대하여 복수 개의 수술 프로세스가 존재하는 경우, 의사의 선택에 따라서, 또는 특정 시점까지 인식된 액션들에 기초하여 하나의 수술 프로세스를 선택할 수 있다.Furthermore, the computer determines the type of predefined operation corresponding to the surgical image from the judgment of the action. When determining the type of surgery, information about the entire surgical procedure can be obtained. If there are multiple surgical processes for the same kind of surgery, one surgical process may be selected based on the doctor's choice, or based on actions recognized up to a certain point in time.

컴퓨터는 획득된 수술 프로세스에 기초하여 수술단계를 인식 및 예측할 수 있다. 예를 들어, 일련의 수술 프로세스 중 특정 단계가 인식되는 경우, 이에 후속되는 단계들을 예측하거나 가능한 단계들의 후보를 추려낼 수 있다. 따라서, 오멘텀 등에 의하여 발생하는 수술영상 인식의 오류율을 크게 낮출 수 있다. 또한, 수술영상이 예측가능한 수술단계로부터 소정의 오차범위 이상 크게 벗어나는 경우, 수술오류(surgical error)상황이 발생한 것으로 인식할 수도 있다.The computer can recognize and predict the surgical stage based on the acquired surgical procedure. For example, if a particular step in a series of surgical procedures is recognized, then the steps following it can be predicted or candidates for possible steps can be culled. Therefore, it is possible to greatly reduce the error rate of the surgical image recognition caused by the occlusion or the like. Further, when the surgical image deviates greatly from the predictable surgical stage by more than a predetermined error range, it may be recognized that a surgical error situation has occurred.

또한, 컴퓨터는 각각의 액션에 대한 인식에 기반하여, 각각의 액션에 대한 판단을 할 수 있다. 예를 들어, 컴퓨터는 각각의 액션에 대한 필요성(necessity)과 효율성(effectiveness)을 인식할 수 있다.In addition, the computer can make a judgment on each action based on the recognition of each action. For example, a computer can recognize the necessity and effectiveness of each action.

구체적으로, 컴퓨터는 각각의 액션이 필요한 것이었는지, 또는 불필요한 것이었는지에 대한 판단을 할 수 있다. 또한, 컴퓨터는 각각의 액션이 필요한 것이었던 경우에도, 각 액션이 효율적으로 수행되었는지에 대한 판단을 할 수 있다. 이는 수술성적 리포트를 제공하고, 수술과정에서 불필요한 동작을 배제하고, 비효율적인 동작을 효율화하는 데 이용된다.Specifically, the computer can make a judgment as to whether each action was necessary or unnecessary. In addition, the computer can determine whether each action was performed efficiently, even if each action was required. This is used to provide an operative report, eliminate unnecessary operations in the surgical procedure, and streamline inefficient operations.

상술한 바와 같이, 수술영상은 크게 신체부위(장기 및 오멘텀), 외부에서 유입된 객체, 내부에서 생성되는 객체, 액션, 수술의 종류, 각 액션의 필요성과 효율성을 포함하는 구성요소들로 분할될 수 있다. 즉, 컴퓨터는 수술영상을 전체로서 인식하는 대신, 수술영상의 가능한 한 모든 요소를 포함하되, 상호간 중복을 최소화하는 구성요소 단위로 수술영상을 분할하고, 분할된 구성요소 단위에 기초하여 수술영상을 인식함으로써, 더 구체적이고 더 용이하게 수술영상을 인식할 수 있다.As described above, the surgical image is largely divided into components including body parts (organ and omentum), objects introduced from the outside, objects generated inside, actions, types of surgery, necessity and efficiency of each action . That is, instead of recognizing the surgical image as a whole, the computer divides the surgical image into a component unit that minimizes mutual overlapping, including all elements of the surgical image as much as possible. Based on the divided component units, By recognizing, the surgical image can be recognized more specifically and more easily.

본 명세서에서는, 이하에서 컴퓨터가 상술한 구성요소들 중 특히 액션에 기초하여 수술영상을 분할하고, 수술동작을 단계적으로 인식하는 방법을 구체적으로 설명한다.Hereinafter, a method for dividing a surgical image and recognizing a surgical operation step by step, based on an action, among the above-described components will be described in detail.

도 2는 일 실시 예에 따라 수술영상을 분할하는 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method of segmenting a surgical image according to an embodiment.

단계 S110에서, 컴퓨터는 수술영상을 획득한다.In step S110, the computer acquires a surgical image.

일 실시 예에서, 수술영상은 도 1에 도시된 촬영장치(36)로부터 획득된다. 수술영상은 하나 이상의 프레임을 포함한다. In one embodiment, a surgical image is acquired from the imaging device 36 shown in FIG. The surgical image includes one or more frames.

일 실시 예에서, 수술영상은 대상체의 신체부위 일부, 즉 수술부위를 포함한다. 일 실시 예에서, 수술영상은 하나 이상의 객체를 포함한다. 일 실시 예에서, 수술영상에 포함되는 하나 이상의 객체는 하나 이상의 수술도구(38)를 포함한다. 또한, 수술영상에 포함되는 하나 이상의 객체는 거즈나 클립 등 수술에 이용되는 도구 및 소모품을 포함할 수 있다.In one embodiment, the surgical image comprises a portion of a body part of a subject, i.e., a surgical site. In one embodiment, the surgical image comprises one or more objects. In one embodiment, the one or more objects included in the surgical image include one or more surgical tools 38. In addition, one or more objects included in the surgical image may include tools and consumables used in surgery, such as gauze or clip.

단계 S120에서, 컴퓨터는 단계 S110에서 획득된 수술영상의 하나 이상의 프레임 각각에 포함된 하나 이상의 객체를 인식한다.In step S120, the computer recognizes one or more objects included in each of one or more frames of the surgical image obtained in step S110.

일 실시 예에서, 컴퓨터는 수술로봇(34)으로부터 촬영장치(36) 및 하나 이상의 수술도구(38)의 위치에 대한 정보를 획득하고, 획득된 정보에 기초하여 수술영상에 포함된 하나 이상의 객체의 위치를 판단 및 인식할 수 있다. 또한, 컴퓨터는 수술로봇(34)으로부터 획득된 정보에 기초하여 하나 이상의 객체의 종류를 판단할 수 있다.In one embodiment, the computer obtains information about the location of the imaging device 36 and the one or more surgical tools 38 from the surgical robot 34, and based on the acquired information, The position can be judged and recognized. In addition, the computer can determine the kind of one or more objects based on the information obtained from the surgical robot 34. [

일 실시 예에서, 컴퓨터는 수술영상에 대한 이미지 분석을 수행하여, 하나 이상의 객체를 인식할 수 있다. 또한, 컴퓨터는 수술영상에 대한 이미지 분석을 수행하여, 인식된 하나 이상의 객체의 종류를 판단할 수 있다.In one embodiment, the computer may perform image analysis of the surgical image to recognize one or more objects. The computer may also perform image analysis of the surgical image to determine the type of one or more recognized objects.

일 실시 예에서, 컴퓨터는 하나 이상의 객체의 위치 및 종류가 라벨링된 수술영상에 기초하여 학습을 수행할 수 있다. 학습방법의 종류는 제한되지 않으며, 지도학습, 비지도학습 및 강화학습 등 다양한 기계학습(machine learning) 방법이 사용될 수 있다. 컴퓨터는 학습 결과에 기초하여 이미지 분석을 수행, 하나 이상의 객체의 위치 및 종류를 판단할 수 있다.In one embodiment, the computer can perform learning based on a surgical image labeled with the location and type of one or more objects. The types of learning methods are not limited, and various machine learning methods such as instructional learning, non-instructional learning, and reinforcement learning can be used. The computer can perform image analysis based on the learning results and determine the location and type of one or more objects.

일 실시 예에서, 컴퓨터는 수술영상에 대한 이미지 분석 결과 및 수술로봇(34)으로부터 획득되는 정보를 함께 이용하여 하나 이상의 객체의 위치 및 종류를 판단할 수 있다.In one embodiment, the computer may use the image analysis results for the surgical image and the information obtained from the surgical robot 34 to determine the location and type of one or more objects.

단계 S130에서, 컴퓨터는 단계 S120에서 인식된 하나 이상의 객체 각각의 위치 및 움직임을 판단한다. 또한, 컴퓨터는 수술영상을 촬영하는 촬영장치(36)의 위치 및 움직임을 판단한다.In step S130, the computer determines the position and movement of each of the one or more objects recognized in step S120. Further, the computer determines the position and movement of the photographing device 36 for photographing the surgical image.

본 명세서에서, “위치 및 움직임을 판단” 한다는 것은 위치 및 움직임의 변화가 없는 상태를 인식하는 것을 포함하는 개념으로 이해된다. 따라서, 컴퓨터가 촬영장치 또는 객체의 위치 및 움직임 중 하나만을 판단하거나 인식하는 경우에도, 이에 따라 나머지 하나(즉, 움직임 또는 위치) 또한 유추가능하게 판단되는 것으로 이해될 수 있다.In this specification, " determining position and motion " is understood as a concept including recognizing a state in which there is no change in position and motion. Accordingly, even when the computer judges or recognizes only one of the position and the motion of the photographing apparatus or the object, it can be understood that the other one (i.e., the motion or the position) is also determined to be inferable.

일 실시 예에서, 컴퓨터는 촬영장치(36)의 위치 및 움직임을 판단함으로써, 대상체의 어느 부위가 촬영되고 있는지 판단할 수 있다.In one embodiment, the computer can determine which portion of the object is being photographed by determining the position and motion of the imaging device 36. [

일 실시 예에서, 컴퓨터는 의료영상 촬영장비(10)로부터 촬영된 대상체의 수술부위 영상에 기초하여 대상체의 수술부위를 포함하는 가상신체모델을 생성할 수 있다. 예를 들어, 가상신체모델은 대상체의 수술부위를 포함하는 3D 모델링 영상을 생성할 수 있다.In one embodiment, the computer may generate a virtual body model that includes the surgical site of the object based on the surgical site image of the object photographed from the medical imaging equipment 10. [ For example, the virtual body model can generate a 3D modeling image including the surgical site of the object.

컴퓨터는 가상신체모델을 실제 대상체와 정합하고, 카메라의 위치를 가상신체모델 정보에 반영하여 카메라와 가상신체모델 사이의 위치관계를 판단할 수 있다.The computer can determine the positional relationship between the camera and the virtual body model by matching the virtual body model with the actual object and reflecting the position of the camera to the virtual body model information.

컴퓨터는 카메라의 위치 및 움직임을 판단하여, 카메라가 사용자의 신체부위 중 어느 부분을 촬영하고 있는지에 대한 정보를 가상신체모델에 기반하여 판단할 수 있다.The computer can determine the position and movement of the camera and determine information on which part of the user's body part the camera is shooting based on the virtual body model.

컴퓨터는 수술로봇(34)으로부터 획득되는 정보에 기초하여 하나 이상의 객체(예를 들어, 수술도구(38))의 위치 및 움직임을 판단할 수 있다. 또한, 컴퓨터는 하나 이상의 객체의 위치 및 움직임을 가상신체모델 정보에 반영하여 하나 이상의 객체와 가상신체모델 사이의 위치관계를 판단할 수 있다. The computer can determine the position and movement of one or more objects (e.g., surgical tool 38) based on information obtained from the surgical robot 34. In addition, the computer may determine the positional relationship between the one or more objects and the virtual body model by reflecting the position and motion of one or more objects on the virtual body model information.

다른 실시 예에서, 컴퓨터는 촬영장치(36)가 촬영하고 있는 수술영상에 대한 이미지 분석을 수행함으로써, 수술영상에 포함된 신체부위에 대한 정보, 즉 촬영장치(36)가 촬영하고 있는 신체부위의 위치 및 모양을 판단할 수 있다.In another embodiment, the computer performs image analysis of the surgical image taken by the imaging device 36, thereby obtaining information on the body part included in the surgical image, that is, information of the body part taken by the imaging device 36 The position and the shape can be judged.

마찬가지로, 컴퓨터는 이미지 분석 방법을 이용하여 하나 이상의 객체의 위치 및 움직임을 판단할 수 있다.Likewise, the computer can use image analysis methods to determine the location and movement of one or more objects.

일 실시 예에서, 촬영장치(36) 및 하나 이상의 객체의 위치는 2차원 또는 3차원 좌표로 표현될 수 있다.In one embodiment, the location of the imaging device 36 and one or more objects may be represented by two-dimensional or three-dimensional coordinates.

또한, 촬영장치(36) 및 하나 이상의 객체의 움직임은 2차원 또는 3차원 좌표상의 움직임의 방향, 거리, 속도 등으로 표현될 수 있다.In addition, the motion of the photographing device 36 and one or more objects can be expressed by the direction, distance, speed, and the like of the motion on two-dimensional or three-dimensional coordinates.

단계 S140에서, 컴퓨터는 단계 S130의 판단 결과에 기초하여, 촬영장치(36)로부터 획득되는 수술영상을 기 설정된 제1 분류단위의 동작을 인식할 수 있는 하나 이상의 제1 분류단위 그룹으로 분할(segmentation)한다. 일 실시 예에서, 각각의 그룹은 하나 이상의 프레임을 포함할 수 있다.In step S140, based on the determination result in step S130, the computer divides the surgical image acquired from the photographing device 36 into at least one first classification unit group capable of recognizing the operation of the predetermined first classification unit )do. In one embodiment, each group may comprise one or more frames.

일 실시 예에서, 제1 분류단위는 공간적으로 분할되는 개념일 수도 있고, 시간적으로 분할되는 개념일 수도 있다. 각각의 분할 개념에 대해서는 이하에서 도면과 함께 구체적으로 설명한다.In one embodiment, the first classification unit may be a concept that is spatially divided, or may be a concept that is temporally divided. The concept of each division will be described in detail below with reference to the drawings.

개시된 실시 예에서, 수술동작은 여러 단계의 계층(hierarchy)를 갖도록 단계적으로 분할될 수 있다. 예를 들어, 수술동작은 대분류, 중분류, 소분류 등으로 분할될 수 있고, 수술의 종류, 각 수술의 종류에 따른 분할동작(Segment), 세부분할동작(Subsegment) 및 구성요소(component)의 순으로 단계적으로 분할될 수 있으나, 이에 제한되지 않는다.In the disclosed embodiment, the surgical operation may be stepwise divided to have a hierarchy of steps. For example, the surgical operation can be divided into a large class, a middle class, a small class, and the like, and can be classified into three types according to the type of operation, the segment according to each operation type, the subsegment and the component But it is not limited thereto.

일 실시 예에서, 컴퓨터는 수술영상을 가장 작은 분류단위로 분할하고, 이에 기초하여 단계적으로 더 큰 분류단위로 수술영상을 분할한다.In one embodiment, the computer divides the surgical image into the smallest classification units and divides the surgical image into smaller, larger, classification units based thereon.

일 실시 예에서, 컴퓨터는 수술영상을 분할하는 것 자체가 목적일 수도 있고, 분할되는 부분 각각에 기초하여 수술동작을 분할하여 인식하는 것이 목적일 수도 있다. 개시된 실시 예에 따르면, 컴퓨터는 수술동작을 분할하여 인식하며, 인식 결과만을 저장할 수도 있고, 분할하여 인식된 수술동작 각각에 대응하는 분할된 수술영상을 저장할 수도 있다. 또한, 컴퓨터는 수술동작을 분할하여 인식한 결과를 저장하며, 각각의 분할된 수술동작에 대응하는 영상의 구간을 지시하는 정보를 함께 저장할 수도 있다.In one embodiment, the computer may be aimed at segmenting the surgical image by itself, or it may be the purpose of segmenting and recognizing the surgical operation based on each of the segmented portions. According to the disclosed embodiment, the computer divides and recognizes the operation operation, may store only the recognition result, or may divide and store the divided surgical image corresponding to each recognized operation operation. In addition, the computer may store the result of recognizing the surgical operation, and may also store information indicating an interval of the image corresponding to each divided surgical operation.

기 설정된 제1 분류단위의 동작은 사전에 정의된 수술동작들을 포함하며, 각각의 동작에 대하여 기 설정된 명칭 및 각각의 동작을 식별할 수 있도록 부여된 기 설정된 코드를 포함한다.The operation of the predetermined first classification unit includes predefined surgical operations, and includes a preset name for each operation and predetermined code assigned to identify each operation.

일 실시 예에서, 컴퓨터는 단계 S130에서 촬영장치(36) 및 하나 이상의 객체의 종류, 위치 및 움직임에 대한 정보를 획득한다. 컴퓨터는 획득된 정보에 기초하여 수술영상에 포함된 기 설정된 제1 분류단위의 동작을 인식한다.In one embodiment, the computer obtains information about the type, location, and movement of the imaging device 36 and one or more objects in step S130. The computer recognizes the operation of the predetermined first classification unit included in the surgical image based on the obtained information.

예를 들어, 제1 분류단위의 동작은 자르기, 잡기, 이동 등을 포함할 수 있다.For example, the operation of the first classification unit may include cropping, catching, moving, and the like.

일 실시 예에서, 컴퓨터는 각 분류단위의 동작이 각 동작의 명칭 또는 코드로 라벨링된 수술영상을 이용하여 학습될 수 있다. 컴퓨터가 학습에 이용하는 방법은 제한되지 않으며, 상술한 바와 같은 기계학습 방법에 의하여 학습될 수 있다.In one embodiment, the computer may learn the operation of each classification unit using a surgical image labeled with the name or code of each operation. The method used by the computer for learning is not limited, and can be learned by the above-described machine learning method.

일 실시 예에서, 컴퓨터는 수술영상 자체를 입력으로 하여, 각 수술영상에 대응하는 수술동작을 출력하도록 학습될 수 있다.In one embodiment, the computer may be learned to output the surgical operation corresponding to each surgical image, with the surgical image itself being an input.

다른 실시 예에서, 컴퓨터는 수술영상으로부터 단계 S130에 따라 판단되는 촬영장비(36) 및 하나 이상의 객체의 위치 및 움직임을 판단한 결과를 입력으로 하고, 이에 대응하는 수술동작을 출력하도록 학습될 수도 있으나, 이에 제한되는 것은 아니다.In another embodiment, the computer may learn from the surgical image to input the result of judging the position and motion of the imaging equipment 36 and one or more objects determined according to step S130, and output the corresponding surgical operation, But is not limited thereto.

이하에서는, 도면을 참조하여 수술영상을 공간적으로 분할 및 인식하는 방법에 대해서 구체적으로 설명한다.Hereinafter, a method of spatially dividing and recognizing a surgical image will be described in detail with reference to the drawings.

도 3은 일 실시 예에 따라 수술영상을 공간적으로 분할하는 방법을 도시한 흐름도이다.3 is a flowchart illustrating a method of spatially segmenting a surgical image according to an embodiment.

도 3에 도시된 방법 도 2에 도시된 단계 S140의 구체적인 일 실시 예로서 이해될 수 있다.The method shown in Fig. 3 can be understood as a specific embodiment of step S140 shown in Fig.

단계 S210에서, 컴퓨터는 수술영상에 포함되는 촬영장치 및 하나 이상의 객체 각각의 위치 및 움직임을 판단한다. 컴퓨터가 촬영장치 및 하나 이상의 객체 각각의 위치 및 움직임을 판단하는 방법으로는 도 2와 관련하여 설명된 방법이 이용될 수 있다.In step S210, the computer determines the position and movement of each of the photographing apparatus and one or more objects included in the surgical image. The method described in connection with FIG. 2 may be used as a method by which the computer determines the position and movement of each of the imaging device and one or more objects.

단계 S220에서, 컴퓨터는 촬영장치(36) 및 하나 이상의 객체 각각의 위치 및 움직임에 대한 판단 결과에 기초하여, 상기 촬영장치(36) 및 하나 이상의 객체 각각의 동작을 기 설정된 제2 분류단위의 동작으로 인식할 수 있는 하나 이상의 제2 분류단위 그룹으로 수술영상을 분할할 수 있다.In step S220, the computer determines the operation of each of the photographing apparatus 36 and one or more objects based on the determination result of the position and the motion of each of the photographing apparatus 36 and the one or more objects, The first and second classification unit groups can be divided into at least one second classification unit group.

즉, 제2 분류단위는 수술영상에 포함된 촬영장치(36) 및 하나 이상의 객체 각각의 동작을 정의하는 분류단위이다. 예를 들어, 제2 분류단위의 동작은 카메라의 이동, 회전, 방향전환, 수술도구의 잡기, 자르기, 이동, 클리핑 동작 등을 포함할 수 있다.That is, the second classification unit is a classification unit that defines the operation of each of the photographing apparatus 36 and one or more objects included in the surgical image. For example, the operation of the second classification unit may include moving, rotating, redirecting, gripping, cutting, moving, and clipping operations of the camera.

일 실시 예에서, 컴퓨터는 획득된 수술영상에서 하나 이상의 객체의 위치를 인식하고, 인식된 하나 이상의 객체가 포함된 부분만을 따로 분석함으로써 하나 이상의 객체 각각의 동작을 판단할 수 있다. In one embodiment, the computer can determine the position of one or more objects in the acquired surgical image, and determine the motion of each of the one or more objects by separately analyzing only the portion containing the recognized one or more objects.

예를 들어, 컴퓨터는 각 수술도구에 대응하는 수술 암의 관절의 위치, 각 수술도구의 끝단의 좌표 등을 인식하고, 이를 트래킹함으로써 각각의 수술도구의 움직임을 인식할 수 있다.For example, the computer recognizes the position of the joint of the surgical arm corresponding to each surgical tool, the coordinate of the end of each surgical tool, and the like, and tracks the motion of each surgical tool by tracking the same.

따라서, 컴퓨터는 전체 수술영상을 프로세싱할 필요 없이, 하나 이상의 객체가 인식된 일부 영역만을 분할하고, 분할된 영역만을 프로세싱하여 하나 이상의 객체 각각의 동작을 개별적으로 판단할 수 있다.Thus, the computer can divide only a portion of the recognized region of one or more objects, and process the divided region alone, without separately processing the entire surgical image, thereby individually determining the operation of each of the one or more objects.

도 4를 참조하면, 수술영상의 일 예가 도시되어 있다.Referring to FIG. 4, an example of a surgical image is shown.

도 4를 참조하면, 수술영상(300)에 하나 이상의 객체가 포함되어 있다. 예를 들어, 하나 이상의 객체 각각은 하나 이상의 수술도구(310 및 320) 및 하나 이상의 클립(330)을 포함할 수 있다.Referring to FIG. 4, one or more objects are included in a surgical image 300. For example, each of the one or more objects may include one or more surgical tools 310 and 320 and one or more clips 330.

일 실시 예에서, 컴퓨터는 수술영상(300)의 각 프레임으로부터 수술도구(310 및 320)가 인식되는 위치의 일부 영역(302 및 304)을 분할하고, 분할된 일부 영역(302 및 304)의 영상만을 프로세싱하여 각 수술도구(310 및 320)의 동작을 판단할 수 있다.In one embodiment, the computer divides some of the regions 302 and 304 of the locations where the surgical tools 310 and 320 are recognized from each frame of the surgical image 300, May be processed to determine the operation of each surgical tool 310 and 320.

컴퓨터는 프레임이 전환됨에 따라 수술도구(310 및 320)의 움직임이 인식되면, 이에 따라 수술도구(310 및 320)가 인식되는 영역(302 및 304) 또한 따라서 이동하고, 이동된 위치의 영역(302 및 304)에 기초하여 수술영상을 분할하고, 분할된 수술영상을 프로세싱하여 수술도구(310)의 동작을 인식할 수 있다.As the frame is switched, the computer recognizes the movement of the surgical tools 310 and 320 so that the areas 302 and 304 where the surgical tools 310 and 320 are recognized also move accordingly and the area 302 of the moved position And 304, and the operation of the surgical tool 310 can be recognized by processing the divided surgical images.

일 실시 예에서, 수술영상(300)에는 하나 이상의 신체부위가 포함될 수 있다. 예를 들어, 수술영상(300)에는 혈관(340)과 장기(350, 예를 들어, 위장)가 포함될 수 있다.In one embodiment, the surgical image 300 may include one or more body parts. For example, the surgical image 300 may include a blood vessel 340 and an organ (350, e.g., stomach).

일 실시 예에서, 컴퓨터는 수술영상(300)에 포함된 신체부위와 하나 이상의 객체 사이의 위치관계 및 상기 하나 이상의 객체의 움직임에 기초하여 하나 이상의 객체의 동작을 인식할 수 있다.In one embodiment, the computer can recognize the motion of one or more objects based on the positional relationship between the body part and one or more objects included in the surgical image 300 and the motion of the one or more objects.

예를 들어, 컴퓨터는 수술도구(310)가 혈관(340)쪽으로 이동하여, 클립(330)으로 클리핑된 부위의 혈관을 자르는 동작을 수행하는 것을 인식할 수 있다.For example, the computer may recognize that the surgical tool 310 is moved toward the blood vessel 340 and performs an operation of cutting the blood vessel of the clipped region to the clip 330.

컴퓨터는 이미지 프로세싱을 통해 수술영상(300)에서 수술도구(310)와 혈관(340) 사이의 위치관계를 판단할 수 있다. 또한, 컴퓨터는 이미지 프로세싱을 통해 수술영상(300)에서 수술도구(310)가 혈관(340)을 자르는 동작을 인식하고, 혈관(340)이 잘린 결과를 인식함으로써 수술도구(310)가 혈관(340)을 자르는 동작을 수행했음을 판단할 수 있다.The computer can determine the positional relationship between the surgical tool 310 and the blood vessel 340 in the surgical image 300 through image processing. The computer recognizes the operation of cutting the blood vessel 340 by the surgical tool 310 from the surgical image 300 through the image processing and recognizes the result of the cutting of the blood vessel 340, ) Can be judged to have been performed.

일 실시 예에서, 컴퓨터는 가상신체모델을 이용하여 각 수술도구(310 및 320)의 동작을 판단할 수 있다. In one embodiment, the computer may use the virtual body model to determine the operation of each surgical tool 310 and 320.

예를 들어, 컴퓨터는 가상신체모델 및 가상의 객체를 이용하여 수술 시뮬레이션을 수행할 수 있다. 수술 시뮬레이션은 실제 수술상황 또는 수술영상과 동일하게 가상신체모델을 이용하여 수행될 수 있다.For example, a computer can perform a surgical simulation using a virtual body model and a virtual object. The surgical simulation can be performed using the virtual body model in the same manner as the actual surgical situation or the surgical image.

예를 들어, 수술 시뮬레이션 상에서 하나 이상의 가상의 객체는 실제 수술영상에 포함된 하나 이상의 객체의 움직임에 따라 움직이거나, 실제 수술영상에 포함된 하나 이상의 객체의 동작을 따라한다.For example, in a surgical simulation, one or more virtual objects move according to the motion of one or more objects included in the actual surgical image, or follow the motion of one or more objects included in the actual surgical image.

컴퓨터는 수술영상에 포함된 하나 이상의 객체의 움직임을 인식 또는 판단하거나, 인식 또는 판단한 정보를 전달받고, 이에 기초하여 가상의 객체를 움직일 수 있다.The computer recognizes or determines the movement of one or more objects included in the surgical image, receives the recognized or determined information, and moves the virtual object based on the information.

또한, 컴퓨터는 수술영상(300)에 포함된 하나 이상의 객체의 동작을 판단하거나, 객체의 동작을 판단한 정보(예를 들어, 제2 분류단위의 동작에 대응하는 명칭 또는 코드)를 전달받고, 이에 기초하여 가상의 객체의 동작을 결정할 수 있다.In addition, the computer may determine the operation of one or more objects included in the surgical image 300, receive information that determines the operation of the object (e.g., a name or code corresponding to the operation of the second classification unit) The motion of the virtual object can be determined based on the motion of the virtual object.

컴퓨터는 하나 이상의 가상의 객체의 움직임 또는 동작에 따른 가상신체모델과의 상관관계를 판단하고, 이로부터 수술영상(300)에 포함된 하나 이상의 객체의 동작을 판단할 수 있다.The computer can determine the correlation of the virtual body model with motion or motion of one or more virtual objects and determine the operation of one or more objects included in the surgical image 300 from the correlation.

예를 들어, 컴퓨터는 수술도구(310)가 자르기 동작을 수행한 것을 인식하였을 때, 가상신체모델 시뮬레이션을 통하여 수술도구(310)가 혈관(340)이 클리핑된 위치에서 자르기 동작을 수행하였음을 판단하고, 이로부터 수술도구(310)가 혈관(340)의 클리핑된 위치를 자르는 동작을 수행하였음을 인식할 수 있다.For example, when the computer recognizes that the surgical tool 310 has performed the trimming operation, the computer determines through the virtual body model simulation that the surgical tool 310 has performed the trimming operation at the position where the blood vessel 340 is clipped And it is recognized that the surgical tool 310 has performed an operation of cutting the clipped position of the blood vessel 340.

단계 S230에서, 컴퓨터는 단계 S220에서 분할된 제2 분류단위 그룹에 기초하여 인식된 제2 분류단위의 동작에 기초하여, 기 설정된 제3 분류단위의 동작을 인식 할 수 있는 하나 이상의 제3 분류단위 그룹으로 수술영상을 분할한다. 제3 분류단위 그룹은 하나 이상의 제2 분류단위 그룹을 포함한다.In step S230, based on the operation of the second classification unit recognized on the basis of the second classification unit group divided in step S220, the computer determines whether the operation of the one or more third classification units Surgical images are divided into groups. The third classification unit group includes one or more second classification unit groups.

즉, 제3 분류단위 그룹은 촬영장치의 동작 및 수술영상에 포함된 하나 이상의 객체의 동작을 포함하는, 전체 시스템의 동작을 인식하기 위한 분류단위이다.That is, the third classification unit group is a classification unit for recognizing the operation of the entire system, including the operation of the photographing apparatus and the operation of one or more objects included in the surgical image.

예를 들어, 제3 분류단위 그룹은 동일한 프레임에 포함된 하나 이상의 객체의 동작을 포괄하는 동작이 무엇을 의미하는가를 인식하고, 수술영상을 분할하기 위한 분류단위일 수 있다.For example, the third classification unit group may be a classification unit for recognizing what an operation involving the operation of one or more objects included in the same frame means and dividing a surgical image.

예를 들어, 제2 분류단위에 기초하여 수술영상을 분할 및 인식하는 경우, 각각의 수술도구의 동작은 인식할 수 있으나 해당 동작의 원인이나, 해당 동작의 목표를 알기 어려울 수 있다.For example, when the surgical image is divided and recognized based on the second classification unit, the operation of each surgical tool can be recognized, but it may be difficult to know the cause of the operation or the target of the operation.

제3 분류단위는 하나 이상의 객체로부터 인식된 제2 분류단위의 동작 및 각 동작이 발생한 위치를 함께 이용하여, 수술영상에 대응하는 수술동작을 판단한다. 예를 들어, 수술도구(320)가 특정 부위를 잡고 들어올리는 동작을 수행하고, 수술도구(310)가 이를 절단하는 동작을 수행할 수 있다. 이를 개별적으로 판단하면 그 원인이나 목적을 알기 어렵지만, 이를 함께 이용하여 판단하면 수술동작 전체의 원인이나 목적을 판단할 수 있다.The third classification unit determines the operation operation corresponding to the operation image by using the operation of the second classification unit recognized from one or more objects and the position where each operation occurs. For example, the operation tool 320 may perform an operation of holding and lifting a specific part, and the operation tool 310 may perform an operation of cutting the same. It is difficult to know the cause or purpose of judgment individually, but if we use it together, we can judge the cause and purpose of the whole surgical operation.

따라서, 제3 분류단위 그룹은 하나 이상의 제2 분류단위 그룹을 포함한다.Thus, the third classification unit group includes one or more second classification unit groups.

일 실시 예에서, 컴퓨터는 하나 이상의 제2 분류단위의 동작으로부터 제3 분류단위의 동작을 인식할 수 있도록 학습될 수 있다. 학습 데이터는 각 분류단위별로 일일이 라벨링되어 있을 수도 있고, 수술영상에 기초하여 수술영상의 일부 영역 또는 일부 구간에 대해서만 라벨링되어 있을 수도 있다. 이 경우, 컴퓨터는 수술영상을 분석하여 필요한 학습데이터를 생성할 수 있다.In one embodiment, the computer may be trained to recognize the operation of the third classification unit from the operation of one or more second classification units. The learning data may be individually labeled for each classification unit, or may be labeled only for a part of the surgical image or a part of the surgical image based on the surgical image. In this case, the computer can analyze the surgical image and generate necessary learning data.

도 5는 일 실시 예에 따라 수술영상을 시간적으로 분할하는 방법을 도시한 흐름도이다.5 is a flowchart illustrating a method of temporally dividing an operation image according to an embodiment.

단계 S410에서, 컴퓨터는 제1 분류단위의 동작을 인식한다.In step S410, the computer recognizes the operation of the first classification unit.

일 실시 예에서, 제1 분류단위는 수술영상을 시간적으로 분할하는 방법의 한 단위를 의미할 수 있다. 예를 들어, 제1 분류단위는 수술영상을 시간적으로 분할하는 방법의 최소단위를 의미할 수 있으나, 이에 제한되지 않는다.In one embodiment, the first classification unit may refer to a unit of a method for temporally segmenting a surgical image. For example, the first classification unit may mean a minimum unit of a method of temporally dividing a surgical image, but is not limited thereto.

일 실시 예에서, 제1 분류단위의 동작은 도 3과 관련하여 설명된 바와 마찬가지로 공간적 분할방법에 의하여 각각의 프레임 또는 하나 이상의 프레임에 포함된 하나 이상의 객체의 동작에 기반하여 인식된 수술동작을 포함할 수 있다.In one embodiment, the operation of the first classification unit includes recognized surgical operations based on the motion of one or more objects contained in each frame or one or more frames by a spatial segmentation method as described in connection with FIG. can do.

예를 들어, 제1 분류단위는 시간적 분할의 단위를 의미하고, 시간적으로 분할된 수술영상은 공간적으로 다시 분할되어, 제2 분류단위 및 제3 분류단위를 통하여 분석될 수 있다.For example, the first classification unit means a unit of temporal division, and the temporally divided surgical image can be spatially re-divided and analyzed through the second classification unit and the third classification unit.

다른 실시 예에서, 제1 분류단위의 동작은 도 3과 관련하여 설명된, 수술영상에 포함된 하나 이상의 객체의 제2 분류단위 동작 각각의 집합으로서 설명될 수도 있다.In another embodiment, the operation of the first classification unit may be described as a set of each of the second classification unit operations of one or more objects included in the surgical image, described in connection with FIG.

일 실시 예에서, 제1 분류단위의 동작을 인식함에 있어서 하나 이상의 객체 각각의 위치 및 움직임뿐 아니라, 각각의 위치 및 움직임의 원인을 판단하는 단계가 더 포함될 수 있다. In one embodiment, in recognizing the operation of the first classification unit, it may further include determining the location and movement of each of the one or more objects, as well as the cause of each location and movement.

컴퓨터는 하나 이상의 객체 각각의 위치 및 움직임에 더하여, 각각의 위치 및 움직임의 원인을 함께 이용하여 수술동작을 판단할 수 있다.In addition to the location and movement of each of the one or more objects, the computer may use the location of each location and the cause of the motion together to determine the surgical operation.

단계 S420에서, 컴퓨터는 단계 S410에서 인식된 하나 이상의 제1 분류단위 동작에 기초하여 기 설정된 제4 분류단위의 동작을 인식 할 수 있는 하나 이상의 제4 분류단위 그룹으로 수술영상을 분할한다. 제4 분류단위 그룹은 하나 이상의 제1 분류단위 그룹을 포함한다.In step S420, the computer divides the surgical image into one or more fourth classification unit groups capable of recognizing the operation of the predetermined fourth classification unit based on the one or more first classification unit operations recognized in step S410. The fourth classification unit group includes one or more first classification unit groups.

일 실시 예에서, 제4 분류단위는 수술영상을 시간적으로 분할하는 방법의 한 단위를 의미할 수 있다. 예를 들어, 제4 분류단위는 수술영상을 시간적 개념에 기초하여 단계적으로 분할하는 방법에 있어서 제1 분류단위와 연속된 상위 단위를 의미할 수 있으나, 이에 제한되지 않는다.In one embodiment, the fourth classification unit may refer to a unit of a method of temporally segmenting the surgical image. For example, the fourth classification unit may refer to an upper unit successive to the first classification unit in the method of stepwise dividing the surgical image based on the temporal concept, but is not limited thereto.

일 실시 예에서, 컴퓨터는 하나 이상의 제1 분류단위의 동작을 포함하는 제4 분류단위의 동작을 인식할 수 있다.In one embodiment, the computer may recognize the operation of the fourth classification unit, which includes the operation of one or more first classification units.

일 실시 예에서, 컴퓨터는 하나 이상의 제1 분류단위의 동작에 기초하여 제4 분류단위의 동작을 인식할 수 있도록 학습된다. 컴퓨터가 이용할 수 있는 학습방법은 제한되지 않으며, 상술한 기계학습 방법이 활용될 수 있다.In one embodiment, the computer is trained to recognize the operation of the fourth classification unit based on the operation of one or more first classification units. The learning method that can be used by the computer is not limited, and the above-described machine learning method can be utilized.

일 실시 예에서, 학습 데이터는 각 분류단위별로 일일이 라벨링되어 있을 수도 있고, 수술영상에 기초하여 수술영상의 일부 영역 또는 일부 구간에 대해서만 라벨링되어 있을 수도 있다. 이 경우, 컴퓨터는 수술영상을 분석하여 필요한 학습데이터를 생성할 수 있다.In one embodiment, the learning data may be labeled for each classification unit, or may be labeled for only a portion of the surgical image or a portion of the surgical image based on the surgical image. In this case, the computer can analyze the surgical image and generate necessary learning data.

예를 들어, 각 수술도구의 잡기, 이동, 자르기 등을 포함하는 일련의 동작이 소정의 순서로 수행되는 경우, 이는 수술의 특정 동작을 수행하는 것임을 알 수 있다. 예를 들어, 클리핑, 이동, 자르기 등의 세부동작이 연속적으로 수행되는 경우, 이는 혈관을 자르는 동작이라는 것을 판단할 수 있다. 다른 예로, 잡기, 들어올리기, 자르기, 걷어내기 등의 동작이 연속적으로 수행되는 경우, 이는 지방을 걷어내는 동작이라는 것을 판단할 수 있다.For example, it can be seen that when a series of operations including capturing, moving, cutting, etc. of each surgical instrument are performed in a predetermined order, this is a specific operation of the surgery. For example, when detailed operations such as clipping, moving, and cropping are performed continuously, it can be determined that this is an operation of cutting a blood vessel. As another example, when operations such as catching, lifting, cutting, and kicking are performed continuously, it can be determined that this is an action to remove fat.

이러한 원리로, 컴퓨터는 제1 분류단위의 동작이 소정의 순서로 수행되는 정보에 기초하여 제4 분류단위의 동작을 인식할 수 있도록 하는 학습을 수행할 수 있다.With this principle, the computer can perform learning to allow the operation of the first classification unit to recognize the operation of the fourth classification unit based on information performed in a predetermined order.

컴퓨터는 학습 결과에 기초하여 수술영상을 제4 분류단위로 분할하고, 분할된 부분들에 대응하는 제4 분류단위의 수술동작을 인식할 수 있다.The computer may divide the surgical image into fourth classification units based on the learning result and recognize the operation of the fourth classification unit corresponding to the divided portions.

도 6을 참조하면, 수술영상을 분할하여 단계적으로 인식하는 일 예가 도시되어 있다. Referring to FIG. 6, an example in which a surgical image is segmented and recognized step by step is shown.

도 6을 참조하면, 컴퓨터는 단계 S510, S520, S530 및 S540에 따라 수술영상에 포함된 제1 분류단위, 제4 분류단위, 제5 분류단위 및 제6 분류단위의 동작을 차례로 인식할 수 있다.Referring to FIG. 6, the computer can sequentially recognize the operations of the first classification unit, the fourth classification unit, the fifth classification unit, and the sixth classification unit included in the surgical image according to steps S510, S520, S530, and S540 .

일 실시 예에서, 제1 분류단위는 구성요소(component)단위이고, 제4 분류단위는 세부 분할동작(subsegment) 단위이고, 제5 분류단위는 분할동작(segment) 단위이고, 제6 분류단위는 수술(operation) 단위일 수 있다.In one embodiment, the first classification unit is a component unit, the fourth classification unit is a subsegment unit, the fifth classification unit is a segmentation unit, the sixth classification unit is a segmentation unit, May be an operation unit.

도 7을 참조하면, 수술동작을 단계적으로 인식하는 방법의 일 예가 도시되어 있다.Referring to FIG. 7, an example of a stepwise recognition of a surgical operation is shown.

도 7을 참조하면, 수술동작을 제1 분류단위(610)로 분할하여 인식하고, 이로부터 제4 분류단위(620), 제5 분류단위(630) 및 제6 분류단위(640)로 각각 단계적으로 분할하여 인식하는 방법이 개념적으로 도시되어 있다.Referring to FIG. 7, the surgical operation is divided into a first classification unit 610 and recognized, and the fourth classification unit 620, the fifth classification unit 630, and the sixth classification unit 640 are stepwise And a method of recognizing the divided data is schematically shown.

일 실시 예에서, 도 7에 도시된 각각의 코드는 각각의 분류단위에 포함되는 동작들을 식별할 수 있는 코드를 의미할 수 있다.In one embodiment, each code shown in FIG. 7 may refer to a code that can identify actions included in each classification unit.

제한되지 않는 예로서, 제1 분류단위의 동작은 잡기, 자르기, 이동하기 등을 포함하고, 제4 분류단위의 동작은 혈관절단, 지방제거 등을 포함하고, 제5 분류단위의 동작은 개복, 장기절제, 장기연결, 봉합 등을 포함하고, 제6 분류단위의 동작은 위암수술을 포함할 수 있다.By way of example and not limitation, the operation of the first classification unit may include catching, cutting, moving, etc., and the operation of the fourth classification unit may include vascularization, fat removal, Long term resection, long term resection, suture, etc., and the operation of the sixth classification unit may include gastric cancer surgery.

즉, 위암수술을 예로 들었을 때 위암수술의 각 동작은 크게 개복, 위절제, 장기연결 및 봉합을 포함할 수 있고, 각각의 동작은 더 구체적으로 혈관절단, 위의 각 부위 절단, 위의 각 부위와 다른 장기의 일부 부위의 연결 등을 포함할 수 있고, 각각의 동작은 더 구체적으로 혈관절단, 지방 등 장애물 제거 등으로 구체화될 수 있으며, 이는 더 세부적으로 단순한 이동, 잡기, 절단 등의 동작으로 더 구체화될 수 있다.In other words, when gastric cancer surgery is taken as an example, each operation of gastric cancer surgery can largely include laparotomy, gastrectomy, long-term connection and suture, and each operation is more concretely a vasectomy, And the connection of some parts of other organs and the like, and each operation can be more specifically embodied by cutting the blood vessels, removing obstacles such as fat, etc., and this can be accomplished by more simple operations such as movement, Can be further specified.

개시된 실시 예에 따르면 이러한 hierarchy를 역으로 이용하여, 수술동작을 최소 세부단위로 분할하여 인식하고, 분할하여 인식된 결과를 이용하여 단계적으로 상위 동작을 인식하도록 컴퓨터를 학습시킬 수 있다.According to the disclosed embodiment, the hierarchy can be used in reverse, and the operation can be divided into the minimum detail unit, and the computer can be learned to recognize the upper operation step by step using the divided result.

이러한 단계적 접근방법 없이 수술영상을 이미지 프로세싱하여 상위 단계에 해당하는 수술동작을 정확하게 인식하기는 상대적으로 어려울 수 있다. 수술부위는 환자마다, 질병마다 모양이 다르고, 또한 수술의 종류에 따라 수술동작의 양상은 모두 상이하기 때문이다.It is relatively difficult to accurately recognize the surgical operation corresponding to the upper stage by image processing the surgical image without such a stepwise approach. The surgical site is different for each patient, each disease differs in shape, and the operation patterns are different depending on the type of operation.

개시된 실시 예에 따르면, 상대적으로 환자의 신체조건이나 수술의 종류 등에 의하여 영향을 덜 받는 세부 수술동작(예를 들어, 자르기, 잡기 등)을 인식하는 것에서부터 시작해, 기계학습을 통해 일련의 세부동작들이 의미하는 상위 수술동작을 인식하고, 단계적으로 더 큰 단위의 수술동작, 나아가 수술의 종류까지 인식할 수 있는 학습모델을 제공할 수 있다.According to the disclosed embodiment, it is possible to start from a recognition of a detailed operation (for example, cutting, catching, etc.) less affected by the physical condition of the patient or the type of operation, It is possible to provide a learning model capable of recognizing the upper operation operation which is meant by a larger unit of operation and further recognizing the type of surgery.

개시된 실시 예에 따른 학습모델을 이용하면, 환자의 신체상태나 수술의 종류와 상관없이 어디에나 적용가능한 수술동작 인식모델을 제공할 수 있으며, 필요한 경우 미세조정(fine tuning)을 이용하여 각 환자의 신체상태 또는 수술의 종류에 맞도록 특화된 수술동작 인식모델을 제공할 수도 있다.Using the learning model according to the disclosed embodiment, it is possible to provide a surgical motion recognition model that can be applied to the patient regardless of the physical condition of the patient or the type of surgery, and, if necessary, Or may provide a surgical motion recognition model that is tailored to the type of condition or surgery.

일 실시 예에서, 컴퓨터는 수술영상에서 발생하는 이벤트를 인식할 수 있다. 예를 들어, 이벤트는 출혈 등 수술오류(surgical error)상황을 포함한다. 이벤트가 발생하는 경우, 컴퓨터는 수술영상에 대한 이미지 프로세싱을 통하여 이를 인식할 수 있다.In one embodiment, the computer can recognize an event that occurs in a surgical image. For example, the event includes a surgical error situation, such as bleeding. When an event occurs, the computer can recognize this through image processing of the surgical image.

컴퓨터는 이벤트가 인식되는 경우, 수술영상을 인식된 이벤트를 포함하는 하나 이상의 이벤트 그룹으로 분할할 수 있다. 분할된 이벤트 그룹은 별도로 관리될 수도 있고, 개시된 실시 예에 따른 분류단위에 포함되거나, 독립적인 분류단위로서 수술동작의 분석에 활용될 수도 있다.When the event is recognized, the computer may divide the surgical image into one or more event groups including recognized events. The divided event groups may be managed separately, included in a classification unit according to the disclosed embodiment, or may be utilized as an independent classification unit for analysis of a surgical operation.

일 실시 예에서, 컴퓨터는 인식된 이벤트와, 이벤트가 인식된 시점 전후의 수술동작에 기초하여 이벤트의 발생원인을 판단할 수 있다.In one embodiment, the computer can determine the cause of the event based on the recognized event and the surgical operation before and after the event was recognized.

예를 들어, 컴퓨터는 이벤트가 발생하는 경우, 이벤트가 발생한 시점 전후의 소정 분류단위의 동작들을 이벤트에 대한 정보와 함께 저장함으로써 이벤트의 발생원인을 분석하기 위한 학습 데이터를 생성할 수 있다. For example, when an event occurs, the computer may generate learning data for analyzing the cause of the event by storing the operations of the predetermined classification unit before and after the occurrence of the event together with information on the event.

컴퓨터는 생성된 학습 데이터를 이용하여 학습을 수행하고, 각 분류단위의 수술동작들과 이벤트 간의 상관관계를 학습할 수 있다.The computer can perform learning using the generated learning data, and learn the correlation between the operation and the events of each classification unit.

컴퓨터는 학습 결과에 기초하여, 이벤트가 발생하는 경우 그 원인을 판단하고 사용자에게 피드백을 제공할 수 있다.Based on the learning result, the computer can determine the cause of the event occurrence and provide feedback to the user.

일 실시 예에서, 컴퓨터는 소정 분류단위의 동작에 기초하여 수술동작의 최적화를 위한 학습을 수행할 수 있다.In one embodiment, the computer may perform learning for optimization of surgical operations based on operation of a given classification unit.

예를 들어, 컴퓨터는 환자의 신체상태 및 수술의 종류별로 각 분류단위의 동작을 수행하는 순서 및 방법에 있어 최적화된 순서 및 방법을 학습할 수 있다.For example, the computer can learn an optimized sequence and method for performing the operation of each classification unit according to the physical condition of the patient and the type of surgery.

일 실시 예에서, 컴퓨터는 제1 분류단위의 동작에 기초하여 수술동작의 최적화를 위한 학습을 수행할 수 있다. 예를 들어, 컴퓨터는 하나 이상의 레퍼런스 수술정보를 획득할 수 있다. 컴퓨터는 하나 이상의 레퍼런스 수술정보에 포함되는 수술동작의 순서에 기초하여 학습을 수행하고, 학습 결과에 따라 수술별로 최적화된 수술동작의 순서를 판단할 수 있다.In one embodiment, the computer may perform learning for optimization of the surgical operation based on the operation of the first classification unit. For example, the computer may obtain one or more reference surgery information. The computer can perform learning based on the order of the operation operations included in the one or more reference operation information and determine the order of the optimized operation operations for each operation according to the learning results.

제1 분류단위의 동작은 어느 수술에서든 공통적으로 적용되는 최소단위의 동작이므로, 제1 분류단위에 기초하여 학습을 수행하는 경우, 수술의 종류 및 환자의 신체상태와 무관하게 최적화된 수술동작의 순서를 판단할 수 있는 학습모델을 획득할 수 있다. 마찬가지로, 또한 학습된 모델에 대한 미세조정을 통하여 수술의 종류 및 환자의 신체상태에 따라 최적화된 학습모델을 획득하는 것도 가능하다.Since the operation of the first classification unit is a minimum unit operation commonly applied in any operation, when learning is performed based on the first classification unit, the order of the optimized operation operations regardless of the type of operation and the body condition of the patient Can be obtained. Likewise, it is also possible to obtain an optimized learning model according to the type of surgery and the patient's physical condition through fine adjustment to the learned model.

도 8은 일 실시 예에 따른 장치(700)의 구성도이다.8 is a block diagram of an apparatus 700 according to an embodiment.

프로세서(710)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.The processor 710 may include one or more cores (not shown) and a connection path (e. G., Bus, etc.) to transmit and receive signals to and / or from a graphics processing unit .

일 실시예에 따른 프로세서(710)는 메모리(720)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 7과 관련하여 설명된 수술영상 분할방법을 수행한다.The processor 710 according to one embodiment performs the surgical image segmentation method described with respect to Figures 1-7 by executing one or more instructions stored in the memory 720. [

예를 들어, 프로세서(710)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술영상을 획득하고, 상기 수술영상의 하나 이상의 프레임 각각에 포함된 하나 이상의 객체를 인식하고, 상기 수술영상을 촬영하는 촬영장치 및 상기 인식된 하나 이상의 객체 각각의 위치 및 움직임을 판단하고, 상기 판단 결과에 기초하여, 상기 수술영상을 기 설정된 제1 분류단위의 동작을 인식할 수 있는 하나 이상의 제1 분류단위 그룹으로 분할한다.For example, the processor 710 may be configured to acquire a surgical image by executing one or more instructions stored in memory, to recognize one or more objects included in each of the one or more frames of the surgical image, And a controller for determining the position and motion of each of the recognized one or more objects and dividing the surgical image into at least one first classification unit group capable of recognizing the operation of the predetermined first classification unit based on the determination result .

한편, 프로세서(710)는 프로세서(710) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(710)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다. The processor 710 may include a random access memory (RAM) (not shown) and a read-only memory (ROM) for temporarily and / or permanently storing signals (or data) , Not shown). In addition, the processor 710 may be implemented as a system-on-chip (SoC) including at least one of a graphics processing unit, a RAM, and a ROM.

메모리(720)에는 프로세서(710)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(720)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.The memory 720 may store programs (one or more instructions) for processing and control of the processor 710. Programs stored in the memory 720 can be divided into a plurality of modules according to functions.

이상에서 전술한 본 발명의 일 실시예에 따른 수술영상 분할방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.As described above, the surgical image segmentation method according to an embodiment of the present invention may be implemented as a program (or an application) to be executed in combination with a hardware computer and stored in a medium.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다. The above-described program may be stored in a computer-readable medium such as C, C ++, JAVA, machine language, or the like that can be read by the processor (CPU) of the computer through the device interface of the computer, And may include a code encoded in a computer language of the computer. Such code may include a functional code related to a function or the like that defines necessary functions for executing the above methods, and includes a control code related to an execution procedure necessary for the processor of the computer to execute the functions in a predetermined procedure can do. Further, such code may further include memory reference related code as to whether the additional information or media needed to cause the processor of the computer to execute the functions should be referred to at any location (address) of the internal or external memory of the computer have. Also, when the processor of the computer needs to communicate with any other computer or server that is remote to execute the functions, the code may be communicated to any other computer or server remotely using the communication module of the computer A communication-related code for determining whether to communicate, what information or media should be transmitted or received during communication, and the like.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The medium to be stored is not a medium for storing data for a short time such as a register, a cache, a memory, etc., but means a medium that semi-permanently stores data and is capable of being read by a device. Specifically, examples of the medium to be stored include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, but are not limited thereto. That is, the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer. In addition, the medium may be distributed to a network-connected computer system so that computer-readable codes may be stored in a distributed manner.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with the embodiments of the present invention may be embodied directly in hardware, in software modules executed in hardware, or in a combination of both. The software module may be a random access memory (RAM), a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, a CD- May reside in any form of computer readable recording medium known in the art to which the invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. Therefore, it should be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

10: 의료영상 촬영장비
20: 서버
30: 제어부
32: 디스플레이
34: 수술용 로봇
36: 영상촬영부
38: 수술도구10: Medical imaging equipment
20: Server
30:
32: Display
34: Surgical robot
36:
38: Surgical tools

Claims

The computer obtains the surgical image, wherein the surgical image is generated by photographing the inside of the body during laparoscopic surgery or robot surgery, or acquiring a surgical image, which is a body internal image generated by performing a virtual operation on the virtual body model step;
Wherein the computer recognizes one or more objects included in each of the one or more frames of the surgical image, the object being any one of a body organ or tissue, an object introduced from the outside, ;
The computer calculates a spatial classification unit by determining a position or motion of a part of the surgical tools included in the recognized one or more objects, wherein the spatial classification unit is a unit for defining a motion of some surgical instruments among the whole surgical tools, Classification unit calculation step;
The computer segmenting one or more image frames into at least one first classification unit group capable of recognizing an operation of a predetermined first classification unit based on one or more of the spatial classification units, A first classification unit group dividing step, which is a group of one or more image frames including at least one of the spatial classification units defining a minimum operation unit to be performed at the time of surgery;
The computer recognizing the operation of the first classification unit based on at least one of the spatial classification units;
The computer is classified into at least one fourth classification unit group capable of recognizing the operation of the predetermined fourth classification unit based on the operation of the at least one first classification unit recognized for each of the at least one first classification unit group , And the fourth classification unit group includes at least one of the first classification unit groups continuously performed; And
And recognizing a surgical stage of at least one of the fourth classification units corresponding to each of the at least one fourth classification unit group based on the operation of the at least one first classification unit,
The spatial classification unit calculation step may include:
The computer generating a plurality of divided regions by spatially dividing an image frame included in the first classification unit based on a position of a specific surgical tool;
Dividing the spatial classification unit based on a movement of a surgical tool performed in each of the plurality of divided regions; And
And the computer recognizing the operation of the surgical tool included in each of the divided spatial classification units.

delete

The method according to claim 1,
The surgical tool motion recognition step may include:
The computer recognizing coordinates of a joint of a surgical arm corresponding to each surgical tool in each image frame and coordinates of an end position of each surgical tool; And
And recognizing movement of each surgical tool by tracking the position coordinates and the end position coordinates of the joint in successive image frames.

The method according to claim 1,
Wherein the step of recognizing the operation of the first classification unit comprises:
Wherein the operation of the first classification unit is recognized based on a positional relationship between the body part included in the surgical image and the at least one object, and a motion of the at least one object.

5. The method of claim 4,
Wherein the step of recognizing the operation of the first classification unit comprises:
Obtaining modeling information corresponding to the body part;
Performing simulation of a surgical operation including the modeling information and the virtual one or more objects, wherein the one or more virtual objects move in accordance with movement of the one or more objects in the simulation; And
Recognizing the operation of the first classification unit using the result of the simulation; Wherein the method comprises the steps of:

The method according to claim 1,
Wherein the first classification unit includes information on one or more predetermined operations,
Wherein the predetermined one or more operations are each assigned a code capable of identifying each of the one or more predetermined operations.

The method according to claim 1,
Before the fourth classification unit group classification step,
Recognizing an event generated in at least one image frame included in the surgical image;
Dividing the surgical image into one or more event groups including the recognized events; Further comprising the steps of:

The method according to claim 1,
After the fourth classification unit group classification step,
Further comprising classifying a fifth classification unit group corresponding to an upper layer based on at least one of the fourth classification units in which the computer is continuous.

9. The method of claim 8,
After the fifth classification unit group classification step,
Generating a hierarchical structure for the entire operation based on at least one of the first classification unit, the at least one fourth classification unit and the at least one fifth classification unit.

A memory for storing one or more instructions; And
And a processor executing the one or more instructions stored in the memory,
The processor executing the one or more instructions,
Obtaining a surgical image;
Recognize one or more objects included in each of one or more frames of the surgical image,
The computer calculates a spatial classification unit by determining a position or motion of a part of the surgical tools included in the recognized one or more objects,
Segmenting one or more image frames into at least one first classification unit group capable of recognizing an operation of a predetermined first classification unit based on one or more of the spatial classification units,
Recognizing an operation of the first classification unit based on at least one of the spatial classification units,
Classifying the group into at least one fourth classification unit group capable of recognizing the operation of the predetermined fourth classification unit based on the operation of the at least one first classification unit recognized for each of the at least one first classification unit group,
Recognizing a surgical stage of at least one of the fourth classification units corresponding to each of the at least one fourth classification unit group based on the operation of the at least one first classification unit,
The surgical image is an image of the inside of the body generated by photographing the inside of the body during laparoscopic surgery or robotic surgery, or by performing virtual surgery on the virtual body model,
The object is any one of a body organ or tissue, an object introduced from the outside, or an object newly generated in the surgical procedure,
The spatial classification unit is a unit that defines the motion of some of the surgical instruments among all the surgical instruments,
Wherein the first classification unit group is a group of one or more image frames including at least one spatial classification unit that defines a minimum operation unit to be performed at the time of surgery,
Wherein the fourth classification unit group includes at least one first classification unit group continuously performed,
In calculating the spatial classification unit,
Generating a plurality of divided regions by spatially dividing an image frame included in the first classification unit based on a position of a specific surgical tool,
Dividing the spatial classification unit based on movement of a surgical tool performed in each of the plurality of divided regions,
And recognizes the operation of the surgical tool contained in each of the divided spatial classification units.

A computer program stored in a computer readable recording medium in combination with a computer which is hardware and which is capable of performing the method of claim 1. Description: