KR102056436B1 - Medical navigation system and the method thereof - Google Patents
Medical navigation system and the method thereof Download PDFInfo
- Publication number
- KR102056436B1 KR102056436B1 KR1020170101529A KR20170101529A KR102056436B1 KR 102056436 B1 KR102056436 B1 KR 102056436B1 KR 1020170101529 A KR1020170101529 A KR 1020170101529A KR 20170101529 A KR20170101529 A KR 20170101529A KR 102056436 B1 KR102056436 B1 KR 102056436B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- coordinates
- measurement target
- dimensional
- tool device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000005259 measurement Methods 0.000 claims abstract description 114
- 238000002591 computed tomography Methods 0.000 claims description 26
- 238000012544 monitoring process Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000003287 optical effect Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 5
- 238000001356 surgical procedure Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods
- A61B17/24—Surgical instruments, devices or methods for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Robotics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Otolaryngology (AREA)
- Pulmonology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 발명은 3차원 스캐닝을 이용한 의료용 광학식 네비게이션 기술에 관한 것으로서, 측정 대상 부위에 환자 트래커의 부착 없이 수술이 가능하고, 데이터의 정합 및 재정합 등의 과정이 불필요한 기술을 제공할 수 있다. The present invention relates to a medical optical navigation technology using a three-dimensional scanning, it is possible to operate without attaching the patient tracker to the measurement target site, it is possible to provide a technology that does not require a process such as data registration and realignment.
Description
본 발명은 의료용 네비게이션 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 3차원 스캐닝을 이용한 의료용 광학식 네비게이션 기술에 관한 것이다. The present invention relates to a medical navigation system and a method thereof, and more particularly to a medical optical navigation technology using three-dimensional scanning.
수술 네비게이션 시스템은 환자와 수술도구에 부착된 트래커(Tracker)를 이용하여 수술도구의 현재 위치를 파악하고, 미리 촬영된 컴퓨터단층촬영장치(Computed Tomography, CT) 및 자기공명영상장치(magnetic resonance imaging, MRI) 등의 영상 정보를 이용하여 모니터 상에 재현된 인체 내부 영상에 수술도구의 위치를 도시하는 시스템이다. The surgical navigation system uses a tracker attached to the patient and the surgical instrument to determine the current position of the surgical instrument, and is pre-computed computed tomography (CT) and magnetic resonance imaging (magnetic resonance imaging) It is a system showing the position of the surgical tool on the internal image reproduced on the monitor by using the image information such as MRI (MRI).
이러한 수술 네비게이션 시스템을 사용하면, 피부나 다른 장기로 인하여 가려지는 수술 도구의 위치를 직관적으로 파악할 수 있다. Using this surgical navigation system, it is possible to intuitively determine the location of surgical instruments that are obscured by skin or other organs.
기존의 수술 네비게이션 시스템은 수술 전, 측정 대상(환자)에 대한 CT 촬영 데이터에 기반하여 측정 대상의 수술 부위에 환자 트래커(Patient Tracker)의 좌표를 표시하고, 표시된 환자 트랙터의 좌표와 측정 대상의 신체 내부로 삽입되는 툴 트래커(Tool Tracker)의 좌표를 추적하여 영상 정보를 제공한다.The existing surgical navigation system displays the coordinates of the patient tracker on the surgical site of the measurement target based on the CT imaging data of the measurement target (patient) before surgery, and displays the coordinates of the displayed patient tractor and the body of the measurement target. Provides image information by tracking the coordinates of a tool tracker inserted into the inside.
다만, 기존 기술은 측정 대상의 수술 부위에 환자 트래커의 좌표를 지정하는 것이므로, 수술 중에 측정 대상의 움직임이 발생하는 경우, CT 촬영 데이터 및 환자 트래커의 좌표를 재 정합하여야 한다는 문제점이 존재하였다. However, since the existing technology is to designate the coordinates of the patient tracker in the surgical site of the measurement target, there was a problem that if the movement of the measurement target occurs during surgery, the coordinates of the CT scan data and the patient tracker must be re-aligned.
또한, 기존 기술은 측정 대상의 수술 부위에 환자 트래커의 좌표를 밴드 또는 테이프 등으로 고정시켜야 한다는 단점이 존재하며, 환자 트래커가 측정 대상의 수술 부위로부터 떨어지거나 변동되는 경우, 기술의 정확성이 떨어진다는 한계가 존재하였다.In addition, the existing technology has a disadvantage in that the coordinates of the patient tracker to be fixed to the surgical site of the measurement target with a band or tape, etc., and if the patient tracker falls or changes from the surgical site of the measurement target, the accuracy of the technology is inferior. There was a limit.
나아가, 최근에는 3차원(3D) 스캐닝 장치에 대한 관심이 증가하는 추세이다.In recent years, interest in three-dimensional (3D) scanning apparatus has been increasing.
3차원 스캐닝 장치는 물체의 3D 형상 및 색상 정보를 획득하는 광학기기로서 상업, 건축, 의학, 공업, 학술, 문화 등 광범위한 분야에 걸쳐 사용된다. 3D 스캐닝 장치는 레이저 삼각법, 구조광 투영, TOF(Time Of Flight) 등 여러 가지의 방법으로 구현이 가능하며, 획득된 물체의 3차원 형상 정보를 컴퓨터에서 사용할 수 있는 3차원 파일 형식으로 저장한다.The three-dimensional scanning device is an optical device for acquiring 3D shape and color information of an object, and is used in a wide range of fields such as commerce, architecture, medicine, industry, science, and culture. The 3D scanning apparatus can be implemented by various methods such as laser triangulation, structured light projection, and TOF (Time Of Flight), and stores the 3D shape information of the obtained object in a 3D file format that can be used in a computer.
3D 스캐닝 기술은 물체의 형상 정보를 획득하여 컴퓨터 모델로 저장하며, 로봇의 주행, 부품의 결함 검사, 리버스(reverse) 엔지니어링, HCI(Human Computer Interaction), 문화재복원 등의 분야에서 그 요구가 점차 증가하고 있다.3D scanning technology acquires and stores object shape information as a computer model, and its demand is gradually increasing in areas such as robot driving, component defect inspection, reverse engineering, human computer interaction, and cultural restoration. Doing.
이에 따라서, 본 발명은 3D 스캐닝 기술을 이용하여 증강 현실의 의료용 네비게이션 기술을 제안한다. Accordingly, the present invention proposes a medical navigation technology of augmented reality using 3D scanning technology.
본 발명의 목적은 측정 대상 부위에 부착하는 환자 트래커 대신, 3차원(3D) 스캐닝을 이용하는 수술용 광학식 네비게이션을 제공하고자 한다.An object of the present invention is to provide a surgical optical navigation using three-dimensional (3D) scanning, instead of a patient tracker attached to the measurement target site.
또한, 본 발명의 목적은 측정 대상 부위에 환자 트래커의 부착 없이 수술이 가능하고, 데이터의 정합 및 재정합 등의 과정이 불필요한 기술을 제공하고자 한다.In addition, an object of the present invention is to provide a technique that can be operated without the attachment of the patient tracker to the measurement target site, a process such as data registration and realignment is unnecessary.
또한, 본 발명의 목적은 측정 대상의 미세한 움직임도 반영하고, 수술의 정확도를 향상시키며, 수술 시간을 단축할 수 있는 기술을 제공하고자 한다.In addition, an object of the present invention is to provide a technique that can reflect the minute movement of the measurement target, improve the accuracy of the operation, and reduce the operation time.
또한, 본 발명의 목적은 전자기식, 광학식 및 하이브리드 네비게이션 기술에 적용되며, 내시경 또는 현미경 사용의 수술 시, 수술 도구의 정밀한 위치 파악이 가능한 기술을 제공하고자 한다. In addition, the object of the present invention is applied to electromagnetic, optical and hybrid navigation technology, to provide a technique capable of precise positioning of the surgical tool during the operation of the endoscope or microscope.
본 발명의 실시예에 따른 의료용 네비게이션 방법은 측정 대상을 3차원(3D) 스캐닝하는 단계, 스캐닝된 3차원 스캔 데이터와 상기 측정 대상에 대한 영상 촬영 데이터를 정합하는 단계 및 상기 정합 데이터를 기반으로 추적되는 측정 대상 부위에 대한 상기 측정 대상의 좌표와, 상기 측정 대상 내 삽입되는 툴 기기의 좌표에 따른 모니터링 영상 정보를 제공하는 단계를 포함한다.According to an exemplary embodiment of the present invention, a medical navigation method includes: scanning a measurement object in three dimensions (3D), matching scanned three-dimensional scan data with image photographing data of the measurement object, and tracking based on the matching data. And providing monitoring image information according to the coordinates of the measurement target with respect to the measurement target site and the coordinates of the tool device inserted into the measurement target.
상기 3차원 스캐닝하는 단계는 3차원 형상 및 색상 정보를 획득하는 3차원 스캐너(3D Scanner)를 이용하여 상기 측정 대상에 대한 상기 3차원 스캔 데이터를 획득할 수 있다.In the 3D scanning, the 3D scan data for the measurement target may be obtained by using a 3D scanner which acquires 3D shape and color information.
상기 데이터를 정합하는 단계는 CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 상기 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 상기 영상 촬영 데이터와, 상기 3차원 스캔 데이터를 정합할 수 있다.The step of matching the data may include at least one of an axial plane, a sagittal plane, and a coronal plane of the measurement target photographed using computed tomography (CT). The photographing data and the three-dimensional scan data can be matched.
상기 데이터를 정합하는 단계는 상기 영상 촬영 데이터로부터 상기 측정 대상의 표면 점 좌표들을 추출하고, 상기 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터를 정합할 수 있다.The step of matching the data may include extracting surface point coordinates of the measurement target from the image capturing data, and applying an iterative closest point (ICP) algorithm to the extracted surface point coordinates to capture the image capturing data and the 3D scan data. Can be matched.
상기 모니터링 영상 정보를 제공하는 단계는 상기 정합 데이터 또는 상기 3차원 스캔 데이터로부터 획득되는 상기 측정 대상의 좌표를 상기 모니터링 영상 정보로 제공할 수 있다.The providing of the monitoring image information may provide coordinates of the measurement target obtained from the matching data or the 3D scan data as the monitoring image information.
상기 모니터링 영상 정보를 제공하는 단계는 상기 측정 대상의 좌표를 나타내는 상기 모니터링 영상 정보에, 상기 측정 대상에 삽입되는 상기 툴 기기의 좌표를 포함시켜 상기 모니터링 영상 정보로 제공할 수 있다.The providing of the monitoring image information may be provided as the monitoring image information by including the coordinates of the tool device inserted into the measurement object in the monitoring image information indicating the coordinates of the measurement object.
상기 모니터링 영상 정보를 제공하는 단계는 상기 측정 대상의 좌표 및 상기 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑시키며, 상기 매핑된 좌표에 대해 상기 모니터링 영상 정보로 제공할 수 있다.The providing of the monitoring image information may be performed by applying a coordinate system mapping algorithm to the coordinates of the measurement target and the coordinates of the tool device, and may provide the mapped image information as the monitoring image information.
상기 툴 기기의 좌표는 상기 툴 기기에 포함된 일정 영역을 감지하는 추적 장치(Tracking Device)로부터 추적될 수 있다.Coordinates of the tool device may be tracked from a tracking device that detects a certain area included in the tool device.
본 발명의 실시예에 따른 의료용 네비게이션 시스템은 측정 대상을 3차원(3D) 스캐닝하는 3차원 스캐너, 상기 3차원 스캐너로부터 스캐닝된 3차원 스캔 데이터와 상기 측정 대상에 대한 영상 촬영 데이터를 정합하는 데이터 정합부, 상기 정합 데이터를 기반으로 추적되는 측정 대상 부위에 대한 상기 측정 대상의 좌표와, 상기 측정 대상 내 삽입되는 툴 기기의 좌표를 매핑하는 좌표 매핑부 및 상기 정합 데이터 및 상기 매핑된 좌표에 대한 모니터링 영상 정보를 제공하는 영상 제공부를 포함한다.According to an embodiment of the present invention, a medical navigation system includes a three-dimensional scanner for three-dimensional (3D) scanning of a measurement target, a data registration for matching three-dimensional scan data scanned from the three-dimensional scanner with image capturing data for the measurement target. The coordinate mapping unit may be configured to map coordinates of the measurement target with respect to the measurement target region tracked based on the registration data, coordinates of a tool device inserted into the measurement target, and monitor the registration data and the mapped coordinates. It includes an image providing unit for providing the image information.
상기 데이터 정합부는 CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 상기 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 상기 영상 촬영 데이터와, 상기 3차원 스캔 데이터를 정합할 수 있다.The data matching unit may include the image capturing data of at least one of an axial plane, a sagittal plane, and a coronal plane of the measurement target photographed using computed tomography (CT). The 3D scan data may be matched.
상기 데이터 정합부는 상기 영상 촬영 데이터로부터 상기 측정 대상의 표면 점 좌표들을 추출하고, 상기 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터를 정합할 수 있다.The data matching unit extracts surface point coordinates of the measurement target from the image capturing data, and applies the Iterative Closest Point (ICP) algorithm to the extracted surface point coordinates to match the image capturing data and the 3D scan data. Can be.
상기 툴 기기의 좌표는 상기 툴 기기에 포함된 일정 영역을 감지하는 추적 장치(Tracking Device)로부터 추적될 수 있다.Coordinates of the tool device may be tracked from a tracking device that detects a certain area included in the tool device.
상기 좌표 매핑부는 상기 3차원 스캐너와 상기 추적 장치 간의 상기 측정 대상의 좌표 및 상기 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑할 수 있다.The coordinate mapping unit may map by applying a coordinate system mapping algorithm to the coordinates of the measurement target and the coordinates of the tool device between the 3D scanner and the tracking device.
본 발명의 실시예에 따른 의료용 네비게이션 시스템은 상기 3차원 스캐너, 추적 장치(Tracking Device) 및 상기 툴 기기 중 적어도 어느 하나의 동작을 제어하는 제어부를 더 포함할 수 있다. Medical navigation system according to an embodiment of the present invention may further include a control unit for controlling the operation of at least one of the three-dimensional scanner, the tracking device (Tracking Device) and the tool device.
본 발명의 실시예에 따르면, 측정 대상 부위에 환자 트래커의 부착 없이 수술이 가능하고, 데이터의 정합 및 재정합 등의 과정이 불필요한 기술을 제공할 수 있다.According to an exemplary embodiment of the present invention, surgery may be performed without attaching a patient tracker to a measurement target site, and a technology that does not require a process such as data registration and realignment may be provided.
또한, 본 발명의 실시예에 따르면, 측정 대상의 미세한 움직임도 반영하고, 수술의 정확도를 향상시키며, 수술 시간을 단축할 수 있다.In addition, according to an embodiment of the present invention, it is possible to reflect the minute movement of the measurement target, improve the accuracy of the operation, and shorten the operation time.
또한, 본 발명의 실시예에 따르면, 전자기식, 광학식 및 하이브리드 네비게이션 기술에 적용할 수 있다. Further, according to embodiments of the present invention, the present invention can be applied to electromagnetic, optical and hybrid navigation technologies.
또한, 본 발명의 실시예에 따르면, 시중의 해외 의료기기와 대비해 저렴한 국산 의료기기 개발로 수입의 대체와 수출의 증대가 발생할 수 있고, 환자의 치료효과나 수술 후유증 측면에서 더 향상된 안전성을 보장할 수 있다. In addition, according to an embodiment of the present invention, the replacement of imports and exports may increase due to the development of inexpensive domestic medical devices in comparison with the overseas medical devices on the market, and it is possible to ensure more improved safety in terms of treatment effects and postoperative sequelae of patients Can be.
도 1은 본 발명의 실시예에 따른 의료용 네비게이션 방법의 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 의료용 네비게이션 시스템의 세부 구성에 대한 블록도를 도시한 것이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 의료용 네비게이션 시스템의 적용 예를 설명하기 위해 도시한 것이다.
도 4는 본 발명의 실시예에 따른 데이터 정합의 예를 설명하기 위해 도시한 것이다.
도 5는 본 발명의 실시예에 따른 모니터의 디스플레이 예를 설명하기 위해 도시한 것이다.1 illustrates a flowchart of a medical navigation method according to an embodiment of the present invention.
2 is a block diagram of a detailed configuration of a medical navigation system according to an embodiment of the present invention.
3A and 3B are diagrams for explaining an application example of the medical navigation system according to an exemplary embodiment of the present invention.
4 illustrates an example of data matching according to an embodiment of the present invention.
5 is a view illustrating a display example of a monitor according to an exemplary embodiment of the present invention.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited or limited by the embodiments. Also, like reference numerals in the drawings denote like elements.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Also, the terminology used herein is a term used to properly express a preferred embodiment of the present invention, which may vary depending on a viewer, an operator's intention, or customs in the field to which the present invention belongs. Therefore, the definitions of the terms should be made based on the contents throughout the specification.
본 발명은 의료 분야 중 이비인후과 수술에 필요한 네비게이션 시스템으로, 시술기구(이하, '툴 기기'라 칭함)와 환자(이하, '측정 대상'이라 칭함)와의 정합이 필요한 기존 네비게이션 시스템과는 달리 3차원 스캔 기술을 접목한 새로운 정합 및 시스템 기술을 제안한다. The present invention is a navigation system required for otorhinolaryngology surgery in the medical field, unlike a conventional navigation system that requires matching between a surgical instrument (hereinafter referred to as a 'tool device') and a patient (hereinafter referred to as a 'measurement object'). We propose a new matching and system technique that combines scanning techniques.
다만, 이하에서는 측정 대상의 안면 부분에 대한 실시예들을 설명하고 있으나, 본 발명의 의료용 네비게이션 시스템 및 그 방법은 이비인후과뿐만 아니라 다양한 의료 분야에 적용 가능함은 당연하다. However, hereinafter, the embodiments of the face portion of the measurement target are described, but it is obvious that the medical navigation system and method thereof of the present invention can be applied to various medical fields as well as an otolaryngologist.
이러한 본 발명의 실시예들에 따른 시스템 및 방법에 대해 도 1 내지 도 5를 참조하여 상세히 설명한다. Such a system and method according to embodiments of the present invention will be described in detail with reference to FIGS. 1 to 5.
도 1은 본 발명의 실시예에 따른 의료용 네비게이션 방법의 흐름도를 도시한 것이고, 도 2는 본 발명의 실시예에 따른 의료용 네비게이션 시스템의 세부 구성에 대한 블록도를 도시한 것이다.1 is a flowchart illustrating a medical navigation method according to an embodiment of the present invention, and FIG. 2 is a block diagram of a detailed configuration of a medical navigation system according to an embodiment of the present invention.
본 발명의 실시예에 따른 의료용 네비게이션 시스템(200)은 스캐닝된 3차원 스캔 데이터와 영상 촬영 데이터를 정합하고, 측정 대상의 좌표와 툴 기기의 좌표를 매핑하여 모니터링 영상 정보를 제공한다.The
이를 위해, 본 발명의 실시예에 따른 의료용 네비게이션 시스템(200)은 3차원 스캐너(210), 데이터 정합부(220), 좌표 매핑부(230) 및 영상 제공부(240)를 포함한다. 또한, 본 발명의 실시예에 따른 의료용 네비게이션 시스템(200)은 3차원 스캐너(210), 추적 장치(Tracking Device) 및 툴 기기(Tool Rigid Body, 툴 리지드바디 혹은 전자기식 트래커가 부착된 툴)의 동작을 제어하는 제어부(250)를 더 포함할 수 있다. To this end, the
이 때, 3차원 스캐너(210), 데이터 정합부(220), 좌표 매핑부(230) 및 영상 제공부(240)는 도 1의 단계들(110~130)을 수행하기 위해 구성될 수 있다.In this case, the
단계 110에서, 3차원 스캐너(210)는 측정 대상을 3차원(3D) 스캐닝한다.In
개시된 발명의 실시예에서, 측정 대상은 진단의 대상이 되는 환자 또는 피검체를 의미하는바, 측정 대상 부위는 수술 또는 시술하기 위한 환자 신체의 특정 부위를 일컫을 수 있다. 예를 들어, 측정 대상 부위는 뇌, 안면, 치아, 척추, 관절, 유방 및 흉부 중 어느 하나의 특정 부위일 수 있다. In an embodiment of the disclosed invention, the measurement target refers to a patient or a subject to be diagnosed, and the measurement target region may refer to a specific part of the patient's body for surgery or a procedure. For example, the site to be measured may be a specific site of any one of the brain, face, teeth, spine, joints, breast and chest.
단계 110에서 3차원 스캐너(210)는 측정 대상에 대한 3차원 형상 및 색상 정보를 포함하는 3차원 스캔 데이터를 스캐닝할 수 있다.In
예를 들면, 3차원 스캐너(210)는 측정 대상에 대한 3차원 모델을 생성하는 것으로, 측정 대상으로 광원을 조사하고, 조사된 빛에 의해 반사된 후 입사되는 광원을 전기적 영상신호로 변환하며, 영상신호에 따른 복수의 영상을 결합하여 3차원 영상의 3차원 스캔 데이터를 생성할 수 있다. 즉, 3차원 스캐너(210)는 측정 대상의 특정 부위 또는 신체 전체에 대한 3차원 형상과, 3차원 형상 각각에 따른 색상 정보를 포함하는 3차원 모델의 3차원 스캔 데이터를 스캐닝할 수 있다. 다만, 3차원 스캐너(210)의 모델, 형태 및 동작 방법은 한정되지 않으며, 측정 대상에 대한 실시간 3차원 모델을 생성하는 스캐너이면 가능하다. For example, the three-
실시예에 따라서, 본 발명에 따른 3차원 스캐너(210)는 두경부의 스캔을 위주로 하며, 광학 렌즈 및 기하학적(Geometry) 설계를 기반으로, 실시간 3D 스캐닝 결과를 생성하며, SIMD(SingleInstruction Multiple Data)/GPU(Graphics Processing Unit) 기반의 영상 처리 및 좌표 계산을 산출하는 것을 특징으로 한다.According to an embodiment, the three-
단계 120에서, 데이터 정합부(220)는 스캐닝된 3차원 스캔 데이터와 측정 대상에 대한 영상 촬영 데이터를 정합한다.In
이 때, 영상 촬영 데이터는 영상 기기를 이용하여 수술 또는 시술하고자 하는 측정 대상 부위를 촬영한 데이터일 수 있다. 예를 들면, 영상 기기는 측정 대상을 스캔하여 내부의 영상 데이터를 획득하는 바, 이를 위해 엑스선이나 자기 공명 현상을 이용할 수 있다. 보다 구체적인 예로서, 영상 기기는 엑스선을 이용하는 토모신세시스(Tomosynthesis), 컴퓨터 단층촬영(Computed tomography; CT) 및 양전자 단층촬영(Positron Emission Tomography) 중 어느 하나일 수 있으며, 자기공명촬영(Magnetic Resonance Imaging)을 수행하는 기기일 수 있다. 또한, 영상 기기는 촬영 방식 중 둘 이상의 방식을 결합하여 수행하는 기기일 수 있다. In this case, the image capturing data may be data obtained by photographing a measurement target region to be operated or performed using an imaging device. For example, the imaging apparatus scans a measurement target to acquire internal image data. For this, X-ray or magnetic resonance may be used. As a more specific example, the imaging device may be any one of tomosynthesis using X-ray, computed tomography (CT), and positron emission tomography, and magnetic resonance imaging (Magnetic Resonance Imaging). It may be a device for performing the. In addition, the imaging device may be a device which combines two or more methods of a photographing method.
또 다른 예로, 영상 기기는 측정 대상에 대한 영상 데이터를 이용하여 3차원 볼륨을 복원하고, 측정 대상의 3차원 볼륨을 x축 방향, y축 방향 및 z축 방향 중 적어도 하나의 방향에서 재투영(reprojection)하여 적어도 하나의 재투영 영상으로부터 미리 설정된 특징 정보를 추출하는 기기일 수도 있다.As another example, the imaging apparatus restores a three-dimensional volume using image data of a measurement object, and reprojects the three-dimensional volume of the measurement object in at least one of an x-axis direction, a y-axis direction, and a z-axis direction. It may be a device that extracts predetermined feature information from at least one reprojection image by reprojection.
본 발명의 실시예에 따른 단계 120에서 데이터 정합부(220)는 CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 영상 촬영 데이터와 3차원 스캔 데이터를 정합할 수 있다. In
보다 구체적으로, 단계 120에서 데이터 정합부(220)는 CT로부터 획득된 영상 촬영 데이터와 3차원 스캔 데이터를 기반으로, 영상 촬영 데이터 및 3차원 스캔 데이터에 포함된 측정 대상 부위의 위치 및 크기를 동일하게 배치시킨 후, 영상 촬영 데이터로부터 CT의 HU(Hounsfield Unit)으로 분류하거나, 별도의 분할 알고리즘을 이용하여 측정 대상의 표면 점 좌표들을 추출하고, 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 데이터를 정합할 수 있다. 이 때, 데이터 정합부(220)는 CT로부터 획득된 영상 촬영 데이터를 기준 데이터로 설정하고, 3차원 스캐너(210)로부터 획득된 3차원 스캔 데이터를 새 데이터로 설정하여 ICP 알고리즘을 적용시키며, ICP 알고리즘은 영상 촬영 데이터 및 3차원 스캔 데이터 간의 점과 점 스캔 매핑에 따른 쌍을 산출하여 정확한 위치를 보정하고 정합할 수 있다. 이에 따라서, 본 발명의 실시예에 따른 의료용 네비게이션 시스템(200)은 CT 촬영 시, 측정 대상 부위에 대한 피부두께로부터 발생할 수 있는 오류의 영향을 최소화하기 위해 추출된 피부 좌표를 보정할 수 있다. More specifically, in
단계 130에서, 좌표 매핑부(230)는 정합 데이터를 기반으로 추적되는 측정 대상의 좌표와, 측정 대상 내 삽입되는 툴 기기(Tool Rigid Body, 툴 리지드바디 혹은 전자기식 트래커가 부착된 툴)의 좌표를 매핑하고, 영상 제공부(240)는 정합 데이터 및 매핑된 좌표에 대한 모니터링 영상 정보를 제공한다. In
예를 들면, 상기 측정 대상의 좌표는 수술 또는 시술하기 위한 측정 대상 부위의 위치를 나타내고, 3차원 스캐너(210)로부터 추적되는 것을 기본으로 하며, 영상 촬영 데이터 및 3차원 스캔 데이터의 정합 데이터로부터 추적될 수도 있다. 또한, 상기 툴 기기의 좌표는 수술 또는 시술을 하기 위한 수술기구(또는 툴 기기)의 위치를 나타내며, 툴 기기에 포함된 일정 영역(마커, marker)을 탐지하는 추적 장치(Tracking Device)로부터 추적될 수 있다. 여기서, 툴 기기(또는 수술기구)는 뇌, 안면, 치아, 척추, 관절, 유방 및 흉부 중 어느 하나의 측정 대상 부위에 대한 수술 또는 시술 시 사용되는 의료용 기구로, 측정 대상 부위에 따른 서로 다른 종류의 기구일 수 있으며, 복수 개의 기구를 의미할 수도 있다. For example, the coordinate of the measurement target indicates the position of the measurement target site for surgery or procedure, and is basically tracked from the
또한, 상기 추적 장치는 자기장을 이용하여 툴 기기에 포함된 일정 영역의 위치정보를 파악하는 센서가 구비될 수 있으며, 툴 기기의 위치정보를 파악하여 이동경로를 추적할 수 있다. In addition, the tracking device may be provided with a sensor for identifying the location information of a certain area included in the tool device by using a magnetic field, and may track the movement route by identifying the location information of the tool device.
본 발명의 실시예에 따른 단계 130에서 좌표 매핑부(230)는 측정 대상의 좌표 및 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑시킬 수 있다. 이 때, 측정 대상의 좌표 및 툴 기기의 좌표 간 매핑은 수술 전 또는 중에 매핑 작업이 진행될 수 있으며, 매핑된 측정 대상의 좌표 및 툴 기기의 좌표는 수술 또는 시술 동안 변동되지 않고 고정될 수 있다. 이 때, 상기 좌표계 매핑 알고리즘은 오차 보정을 위해 기존 기술에 일반적으로 사용되는 알고리즘이므로, 상세한 설명을 생략하기로 한다. In
또한, 단계 130에서 영상 제공부(240)는 3차원 스캐너(210)로부터 추적되거나 영상 촬영 데이터 및 3차원 스캔 데이터의 정합 데이터로부터 추적되는 측정 대상의 좌표를 모니터링 영상 정보로 제공할 수 있으며, 측정 대상의 좌표를 나타내는 모니터링 영상 정보에, 측정 대상에 삽입되는 툴 기기의 좌표를 포함시켜 제공할 수도 있다. In
예를 들면, 단계 130에서 본 발명의 실시예에 따른 제어부(250)는 모니터링하고자 하는 측정 대상 부위에 대응하는 모니터링 영상 정보를 모니터를 통해 디스플레이되도록 제어할 수 있다. 나아가, 제어부(250)는 측정 대상 부위의 상태를 보다 명확하게 모니터링할 수 있도록 화면 모드 및 측정 대상 부위에 기초하여 영상 및 파형, 수치로 디스플레이할 수 있으며, 모니터 내 화면을 복수 개로 분할하고, 분할된 화면 각각에 2차원 영상 정보, 3차원 영상 정보, 좌표 정보, 측정 대상의 식별 정보 및 측정 대상 부위의 정보 중 적어도 어느 하나 이상의 모니터링 영상 정보가 디스플레이되도록 제어할 수도 있다. 또한, 제어부(250)는 기 설정된 수술 또는 시술 시 안정 범위를 벗어나는 경우 소리, 진동 및 색상 변화 중 적어도 어느 하나의 경고 신호를 제공하도록 제어할 수도 있다. For example, in
도 3a 및 도 3b는 본 발명의 실시예에 따른 의료용 네비게이션 시스템의 적용 예를 설명하기 위해 도시한 것이다.3A and 3B are diagrams for explaining an application example of the medical navigation system according to an exemplary embodiment of the present invention.
도 3a 및 도 3b를 참조하면, 본 발명의 실시예에 따른 의료용 네비게이션 시스템(300)은 측정 대상(10)을 3차원 스캐닝하는 3차원 스캐너(310), 측정 대상(10) 내 삽입되는 툴 기기(330), 좌표를 추적하는 추적 장치(320) 및 모니터(340)를 포함한다.3A and 3B, the
본 발명의 실시예에 따른 의료용 네비게이션 시스템(300) 내 3차원 스캐너(310)는 측정 대상(10)을 3차원 스캐닝(a)하여 측정 대상(10)에 대한 수술 또는 시술 시, 측정 대상 부위의 위치를 나타내는 측정 대상의 좌표를 추적한다.The three-
이에 따른 의료인은 모니터(240)로부터 측정 대상의 좌표를 확인하여 툴 기기(330)를 이용해 수술 또는 시술을 진행(b)할 수 있다. 이 때, 모니터(240)는 측정 대상의 좌표뿐만 아니라, 측정 대상(10) 내부에 툴 기기의 위치를 나타내는 툴 기기의 좌표를 제공할 수 있다. Accordingly, the medical person may check the coordinates of the measurement target from the
본 발명의 실시예에 따른 의료용 네비게이션 시스템(300)의 추적 장치(320)는 3차원 스캐너(310)를 통한 측정 대상의 좌표를 추적(c)할 수 있으며, 툴 기기에 포함된 일정 영역(마커, marker)을 탐지하여 툴 기기의 좌표를 추적(d)할 수도 있다. 이 때, 추적 장치(320)는 자기장을 이용하여 툴 기기(330)에 포함된 일정 영역의 위치정보를 파악하는 센서를 구비할 수 있다. The
도 4는 본 발명의 실시예에 따른 데이터 정합의 예를 설명하기 위해 도시한 것이다.4 illustrates an example of data matching according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 3차원 스캐너를 이용하여 스캐닝된 측정 대상에 대한 3차원 스캔 데이터와, 측정 대상에 대한 영상 촬영 데이터를 정합한다.Referring to FIG. 4, the medical navigation system according to an embodiment of the present invention matches three-dimensional scan data of a measurement object scanned using a three-dimensional scanner and image photographing data of the measurement object.
이 때, 영상 촬영 데이터는 영상 기기를 이용하여 수술 또는 시술하고자 하는 측정 대상 부위를 촬영한 데이터일 수 있다. 예를 들면, 영상 기기는 측정 대상을 스캔하여 내부의 영상 데이터를 획득하는 바, 이를 위해 엑스선이나 자기 공명 현상을 이용할 수 있다. 보다 구체적인 예로서, 영상 기기는 엑스선을 이용하는 토모신세시스(Tomosynthesis), 컴퓨터 단층촬영(Computed tomography; CT) 및 양전자 단층촬영(Positron Emission Tomography) 중 어느 하나일 수 있으며, 자기공명촬영(Magnetic Resonance Imaging)을 수행하는 기기일 수 있다. 또한, 영상 기기는 촬영 방식 중 둘 이상의 방식을 결합하여 수행하는 기기일 수도 있다. In this case, the image capturing data may be data obtained by photographing a measurement target region to be operated or performed using an imaging device. For example, the imaging apparatus scans a measurement target to acquire internal image data. For this, X-ray or magnetic resonance may be used. As a more specific example, the imaging device may be any one of tomosynthesis using X-ray, computed tomography (CT), and positron emission tomography, and magnetic resonance imaging (Magnetic Resonance Imaging). It may be a device for performing the. In addition, the imaging device may be a device that combines two or more methods of a photographing method.
다만, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 CT를 통해 촬영된 영상 촬영 데이터를 사용한다.However, the medical navigation system according to the embodiment of the present invention uses image photographing data photographed through CT.
다시 도 4를 참조하면, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 수술(또는 시술) 전, CT를 이용하여 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 영상 촬영 데이터(또는, CT 스캔 데이터)를 수집할 수 있다. 이 때, 영상 촬영 데이터는 2차원인 것을 기본으로 하나, 적용되는 실시예에 따라서는 2차원 데이터를 3차원 데이터로 구현하여 사용할 수도 있다.Referring back to FIG. 4, a medical navigation system according to an embodiment of the present invention uses at least one of an axial plane, a sagittal plane, and a coronal plane of a measurement target using a CT before surgery (or a procedure). Image capture data (or CT scan data) for any one or more may be collected. In this case, the image photographing data is basically two-dimensional, but depending on the embodiment, the two-dimensional data may be implemented as three-dimensional data.
즉, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 수술 전, 영상 촬영 데이터(또는, CT 스캔 데이터)를 기준 데이터로 설정하고, 동일하게 수술 전이나 수술 중 3차원 스캐너를 이용하여 스캐닝되는 3차원 스캔 데이터를 새 데이터로 설정할 수 있다. That is, the medical navigation system according to the embodiment of the present invention sets the image data (or CT scan data) before the operation as reference data, and is three-dimensionally scanned using a three-dimensional scanner before or during surgery. You can set the scan data as new data.
이후, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 영상 촬영 데이터 및 3차원 스캔 데이터를 도 4에 도시된 바와 같이, 측정 대상 부위(예를 들면, 안면)의 위치 및 크기가 동일하도록 배치시킨 후, 영상 촬영 데이터로부터 CT의 HU(Hounsfield Unit)으로 분류하거나, 별도의 분할 알고리즘을 이용하여 측정 대상의 표면 점 좌표들을 추출한다. 이후, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 데이터를 정합한다. 즉, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 ICP 알고리즘을 이용하여 CT 촬영 시, 발생할 수 있는 데이터 간의 오차를 보정할 수 있다. Thereafter, the medical navigation system according to the embodiment of the present invention arranges the image capturing data and the 3D scan data such that the position and size of the measurement target part (for example, the face) are the same as shown in FIG. 4. In addition, the image data may be classified into Hounsfield Units (HU) of the CT, or surface point coordinates of the measurement target may be extracted using a separate segmentation algorithm. Thereafter, the medical navigation system according to the embodiment of the present invention applies an ICP algorithm to the extracted surface point coordinates to match the data. That is, the medical navigation system according to an embodiment of the present invention may correct an error between data that may occur during CT imaging using an ICP algorithm.
도 5는 본 발명의 실시예에 따른 모니터의 디스플레이 예를 설명하기 위해 도시한 것이다.5 is a view illustrating a display example of a monitor according to an exemplary embodiment of the present invention.
도 5를 참조하면, 본 발명의 실시예에 따른 모니터는 화면을 복수 개로 분할하고, 분할된 화면 각각에 2차원 영상 정보, 3차원 영상 정보, 좌표 정보, 측정 대상의 식별 정보 및 측정 대상 부위의 정보 중 적어도 어느 하나 이상의 모니터링 영상 정보를 디스플레이할 수 있다. 이 때, 각 분할된 화면은 서로 다른 측정 대상 부위에 대한 모니터링 영상 정보를 디스플레이할 수 있다.Referring to FIG. 5, a monitor according to an embodiment of the present invention divides a screen into a plurality of screens, and each of the divided screens includes two-dimensional image information, three-dimensional image information, coordinate information, identification information of a measurement target, and a measurement target site. At least one of monitoring information may be displayed. In this case, each of the divided screens may display monitoring image information about different measurement target sites.
또한, 본 발명의 실시예에 따른 모니터는 측정 대상의 좌표와 툴 기기의 좌표를 실시간으로 디스플레이할 수 있으며, 툴 기기의 좌표에 다른 위치 및 경로를 제공할 수도 있다. In addition, the monitor according to the embodiment of the present invention may display the coordinates of the measurement target and the coordinates of the tool device in real time, and may provide different positions and paths to the coordinates of the tool device.
또한, 본 발명의 실시예에 따른 모니터는 사용자(또는 관리자, 의료인 등)의 선택 입력을 수신하고, 수신된 선택 입력에 기반하여 모니터링 영상 정보를 전환 및 변경하여 디스플레이할 수 있으며, 서로 다른 수치 값, 파형 및 색상으로 디스플레이할 수도 있다. In addition, the monitor according to an embodiment of the present invention may receive a selection input of a user (or an administrator, a medical person, etc.), convert and display monitoring image information based on the received selection input, and display different numerical values. It can also be displayed as waveforms and colors.
또한, 본 발명의 실시예에 따른 모니터는 기 설정된 수술 또는 시술 시, 안정 범위를 벗어나는 경우 소리, 진동 및 색상 변화 중 적어도 어느 하나의 경고 신호를 제공할 수도 있다.In addition, the monitor according to an embodiment of the present invention may provide a warning signal of at least one of sound, vibration, and color change when out of a stable range during a preset surgery or procedure.
즉, 본 발명의 실시예에 따른 모니터는 도 5에 도시된 데이터 외에 측정 대상의 병리학적 상태에 기초하여 보다 다양한 데이터를 디스플레이할 수 있으며, 디스플레이되는 화면 및 정보의 위치, 개수 및 크기는 이에 한정되지 않는다. That is, the monitor according to the embodiment of the present invention may display more various data based on the pathological state of the object to be measured in addition to the data shown in FIG. 5, and the position, number, and size of the displayed screen and information are limited thereto. It doesn't work.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to the execution of the software. For ease of understanding, the processing device may be described as one used, but those skilled in the art will appreciate that the processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device. Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted. The software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner. Software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기광 매체(magnetooptical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Method according to the embodiment is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CDROMs, DVDs, and magneto-optical media such as floppy disks. (magnetooptical media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different manner than the described method, or other components. Or even if replaced or replaced by equivalents, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims which follow.
10: 측정 대상(환자)
200, 300: 의료용 네비게이션 시스템
310: 3차원 스캐너
320: 추적 장치
330: 툴 기기
340: 모니터10: Target of measurement (patient)
200, 300: medical navigation system
310: 3D scanner
320: tracking device
330: tool device
340: monitor
Claims (14)
측정 대상을 3차원(3D) 스캐닝하는 단계;
스캐닝된 3차원 스캔 데이터와 상기 측정 대상에 대한 영상 촬영 데이터를 정합하는 단계; 및
상기 정합 데이터를 기반으로 추적되는 측정 대상 부위에 대한 상기 측정 대상의 좌표와, 상기 측정 대상 내 삽입되는 툴 기기의 좌표에 따른 모니터링 영상 정보를 제공하는 단계를 포함하되,
상기 데이터를 정합하는 단계는
상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터에 포함된 측정 대상 부위의 위치 및 크기를 동일하게 배치한 후, 상기 영상 촬영 데이터로부터 상기 측정 대상의 표면 점 좌표들을 추출하고, 상기 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터 간의 점과 점 스캔 매핑에 따른 쌍을 산출하여 정확한 위치를 보정하여 정합하고,
상기 모니터링 영상 정보를 제공하는 단계는
상기 측정 대상의 좌표 및 상기 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑시키며, 상기 측정 대상의 좌표를 나타내는 상기 모니터링 영상 정보에, 상기 측정 대상에 삽입되는 상기 툴 기기의 좌표를 포함시켜 상기 모니터링 영상 정보로 제공하는 것을 특징으로 하는, 의료용 네비게이션 방법. In the operation method of the medical navigation system,
Three-dimensional (3D) scanning the measurement object;
Matching the scanned 3D scan data with the image photographing data of the measurement object; And
And providing monitoring image information according to the coordinates of the measurement target with respect to the measurement target region tracked based on the matching data and the coordinates of the tool device inserted into the measurement target.
Matching the data is
After arranging the position and size of the measurement target part included in the image capturing data and the 3D scan data in the same manner, the surface point coordinates of the measurement target are extracted from the image capturing data, and the extracted surface point coordinates are extracted. Applying an Iterative Closest Point (ICP) algorithm to calculate a pair based on a point-to-point scan mapping between the image photographing data and the three-dimensional scan data, correcting and correcting an exact position,
Providing the monitoring image information
Coordinate system mapping algorithms are applied to the coordinates of the measurement target and the coordinates of the tool device, and the monitoring image information representing the coordinates of the measurement target is included in the monitoring image information to include the coordinates of the tool device inserted into the measurement target. Medical navigation method, characterized in that provided as image information.
상기 3차원 스캐닝하는 단계는
3차원 형상 및 색상 정보를 획득하는 3차원 스캐너(3D Scanner)를 이용하여 상기 측정 대상에 대한 상기 3차원 스캔 데이터를 획득하는 의료용 네비게이션 방법.The method of claim 1,
The three-dimensional scanning step
Medical navigation method for acquiring the three-dimensional scan data for the measurement target by using a three-dimensional scanner (3D Scanner) for obtaining three-dimensional shape and color information.
상기 데이터를 정합하는 단계는
CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 상기 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 상기 영상 촬영 데이터와, 상기 3차원 스캔 데이터를 정합하는 의료용 네비게이션 방법.The method of claim 1,
Matching the data is
The three-dimensional image data of at least one of an axial plane, a sagittal plane, and a coronal plane of the measurement object photographed using computed tomography (CT) Medical navigation method to match scan data.
상기 모니터링 영상 정보를 제공하는 단계는
상기 정합 데이터 또는 상기 3차원 스캔 데이터로부터 획득되는 상기 측정 대상의 좌표를 상기 모니터링 영상 정보로 제공하는 의료용 네비게이션 방법.The method of claim 1,
Providing the monitoring image information
And a coordinate of the measurement target obtained from the registration data or the 3D scan data as the monitoring image information.
상기 툴 기기의 좌표는
상기 툴 기기에 포함된 일정 영역을 감지하는 추적 장치(Tracking Device)로부터 추적되는 의료용 네비게이션 방법.The method of claim 1,
Coordinates of the tool device
Medical navigation method tracked from a tracking device for detecting a certain area included in the tool device.
상기 3차원 스캐너로부터 스캐닝된 3차원 스캔 데이터와 상기 측정 대상에 대한 영상 촬영 데이터를 정합하는 데이터 정합부;
상기 정합 데이터를 기반으로 추적되는 측정 대상 부위에 대한 상기 측정 대상의 좌표와, 상기 측정 대상 내 삽입되는 툴 기기의 좌표를 매핑하는 좌표 매핑부; 및
상기 정합 데이터 및 상기 매핑된 좌표에 대한 모니터링 영상 정보를 제공하는 영상 제공부를 포함하되,
상기 데이터 정합부는
상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터에 포함된 측정 대상 부위의 위치 및 크기를 동일하게 배치한 후, 상기 영상 촬영 데이터로부터 상기 측정 대상의 표면 점 좌표들을 추출하고, 상기 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터 간의 점과 점 스캔 매핑에 따른 쌍을 산출하여 정확한 위치를 보정하여 정합하고,
상기 좌표 매핑부는
상기 3차원 스캐너와 추적 장치 간의 상기 측정 대상의 좌표 및 상기 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑하며,
상기 영상 제공부는 상기 측정 대상의 좌표를 나타내는 상기 모니터링 영상 정보에, 상기 측정 대상에 삽입되는 상기 툴 기기의 좌표를 포함시켜 상기 매핑된 좌표에 대해 상기 모니터링 영상 정보로 제공하는 것을 특징으로 하는, 의료용 네비게이션 시스템. A three-dimensional scanner for three-dimensional (3D) scanning a measurement object;
A data matching unit for matching the 3D scan data scanned from the 3D scanner with the image photographing data for the measurement target;
A coordinate mapping unit for mapping coordinates of the measurement target with respect to the measurement target region tracked based on the matching data and coordinates of a tool device inserted into the measurement target; And
Includes an image providing unit for providing the monitoring image information on the matching data and the mapped coordinates,
The data matching unit
After arranging the position and size of the measurement target part included in the image capturing data and the 3D scan data in the same manner, the surface point coordinates of the measurement target are extracted from the image capturing data, and the extracted surface point coordinates are extracted. Applying an Iterative Closest Point (ICP) algorithm to calculate a pair based on a point-to-point scan mapping between the image photographing data and the three-dimensional scan data, correcting and correcting an exact position,
The coordinate mapping unit
By applying a coordinate system mapping algorithm to the coordinates of the measurement target and the coordinates of the tool device between the 3D scanner and the tracking device,
The image providing unit may include the coordinates of the tool device inserted into the measurement target in the monitoring image information indicating the coordinates of the measurement target and provide the mapped coordinates as the monitoring image information. Navigation system.
상기 데이터 정합부는
CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 상기 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 상기 영상 촬영 데이터와, 상기 3차원 스캔 데이터를 정합하는 의료용 네비게이션 시스템. The method of claim 9,
The data matching unit
The three-dimensional image data of at least one of an axial plane, a sagittal plane, and a coronal plane of the measurement object photographed using computed tomography (CT) Medical navigation system to match scan data.
상기 툴 기기의 좌표는
상기 툴 기기에 포함된 일정 영역을 감지하는 상기 추적 장치(Tracking Device)로부터 추적되는 의료용 네비게이션 시스템.The method of claim 9,
Coordinates of the tool device
Medical navigation system tracked from the tracking device for detecting a certain area included in the tool device.
상기 3차원 스캐너, 상기 추적 장치(Tracking Device) 및 상기 툴 기기 중 적어도 어느 하나의 동작을 제어하는 제어부
를 더 포함하는 의료용 네비게이션 시스템.The method of claim 9,
Control unit for controlling the operation of at least one of the three-dimensional scanner, the tracking device and the tool device
Medical navigation system further comprising a.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20170048473 | 2017-04-14 | ||
KR1020170048473 | 2017-04-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180116090A KR20180116090A (en) | 2018-10-24 |
KR102056436B1 true KR102056436B1 (en) | 2019-12-16 |
Family
ID=64132326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170101529A KR102056436B1 (en) | 2017-04-14 | 2017-08-10 | Medical navigation system and the method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102056436B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021141307A1 (en) | 2020-01-08 | 2021-07-15 | 최홍희 | Medical multipurpose laser pointing device |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102264077B1 (en) * | 2019-07-01 | 2021-06-11 | 주식회사 리메드 | Medical navigation device |
KR20230013220A (en) * | 2021-07-16 | 2023-01-26 | 가톨릭대학교 산학협력단 | System and method for providing video for neurosurgery practice |
KR20230027471A (en) * | 2021-08-19 | 2023-02-28 | 인제대학교 산학협력단 | Method and apparatus for matching point cloud and ct image |
KR20240068176A (en) * | 2022-11-10 | 2024-05-17 | 재단법인 아산사회복지재단 | Medical image generating device using augmented reality based on image matching, and operating method thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008264520A (en) * | 2007-03-20 | 2008-11-06 | National Univ Corp Shizuoka Univ | Surgery support information display device, surgery support information display method, and surgery support information display program |
WO2016138076A1 (en) | 2015-02-25 | 2016-09-01 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Mapping of internal features on en face imagery |
-
2017
- 2017-08-10 KR KR1020170101529A patent/KR102056436B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008264520A (en) * | 2007-03-20 | 2008-11-06 | National Univ Corp Shizuoka Univ | Surgery support information display device, surgery support information display method, and surgery support information display program |
WO2016138076A1 (en) | 2015-02-25 | 2016-09-01 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Mapping of internal features on en face imagery |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021141307A1 (en) | 2020-01-08 | 2021-07-15 | 최홍희 | Medical multipurpose laser pointing device |
KR102278149B1 (en) | 2020-01-08 | 2021-07-16 | 최홍희 | Multipurpose laser pointing-equipment for medical |
US12167938B2 (en) | 2020-01-08 | 2024-12-17 | Hong Hee Choi | Multipurpose laser pointing-equipment for medical use |
Also Published As
Publication number | Publication date |
---|---|
KR20180116090A (en) | 2018-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11759261B2 (en) | Augmented reality pre-registration | |
US12197637B2 (en) | Medical augmented reality navigation | |
KR102056436B1 (en) | Medical navigation system and the method thereof | |
EP3007635B1 (en) | Computer-implemented technique for determining a coordinate transformation for surgical navigation | |
US9665936B2 (en) | Systems and methods for see-through views of patients | |
JP6644795B2 (en) | Ultrasound imaging apparatus and method for segmenting anatomical objects | |
US10951837B2 (en) | Generating a stereoscopic representation | |
CN109907833B (en) | Marker delineation in medical imaging | |
JP7566013B2 (en) | Placing medical views in augmented reality | |
US20210145372A1 (en) | Image acquisition based on treatment device position | |
US20220022964A1 (en) | System for displaying an augmented reality and method for generating an augmented reality | |
EP4193589B1 (en) | Real time augmentation | |
KR102184001B1 (en) | Medical image registration apparatus and method for surgical navigation | |
EP4128145B1 (en) | Combining angiographic information with fluoroscopic images | |
US20250040993A1 (en) | Detection of positional deviations in patient registration | |
JP7407831B2 (en) | Intervention device tracking | |
US12190410B2 (en) | Augmenting a medical image with an intelligent ruler | |
CN116758248A (en) | Methods, devices, equipment and media for augmented reality ToF depth sensor correction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20170810 |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190226 Patent event code: PE09021S01D |
|
E90F | Notification of reason for final refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20191014 Patent event code: PE09021S02D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20191115 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20191210 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20191211 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20221012 Start annual number: 4 End annual number: 4 |