Nothing Special   »   [go: up one dir, main page]

KR102205898B1 - 의료영상들을 정합하는 방법 및 장치 - Google Patents

의료영상들을 정합하는 방법 및 장치 Download PDF

Info

Publication number
KR102205898B1
KR102205898B1 KR1020130106309A KR20130106309A KR102205898B1 KR 102205898 B1 KR102205898 B1 KR 102205898B1 KR 1020130106309 A KR1020130106309 A KR 1020130106309A KR 20130106309 A KR20130106309 A KR 20130106309A KR 102205898 B1 KR102205898 B1 KR 102205898B1
Authority
KR
South Korea
Prior art keywords
medical image
anatomical
image
medical
entity
Prior art date
Application number
KR1020130106309A
Other languages
English (en)
Other versions
KR20150027637A (ko
Inventor
황영규
김정배
오영택
방원철
이민우
Original Assignee
삼성전자주식회사
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 사회복지법인 삼성생명공익재단 filed Critical 삼성전자주식회사
Priority to KR1020130106309A priority Critical patent/KR102205898B1/ko
Priority to EP14183504.1A priority patent/EP2846310A3/en
Priority to JP2014179864A priority patent/JP2015047506A/ja
Priority to US14/477,157 priority patent/US11013495B2/en
Priority to CN201410450193.0A priority patent/CN104424647A/zh
Publication of KR20150027637A publication Critical patent/KR20150027637A/ko
Application granted granted Critical
Publication of KR102205898B1 publication Critical patent/KR102205898B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명의 일 측면에 따라서 의료영상들을 정합(registration)하는 방법은, 비 실시간으로 획득된 제1 의료영상에서 적어도 하나의 지점을 선택받는 단계; 상기 제1 의료영상으로부터, 상기 선택된 지점을 포함하는 해부학적 개체 및 상기 선택된 지점의 인근에 위치하는 해부학적 개체를 각각 추출하는 단계; 실시간으로 획득되는 제2 의료영상으로부터, 상기 제1 의료영상에서 추출된 해부학적 개체들에 대응되는 해부학적 개체들을 추출하는 단계; 및 상기 제1 의료영상과 상기 제2 의료영상으로부터 추출된 해부학적 개체들 간의 기하학적 관계를 이용하여, 상기 제1 의료영상과 상기 제2 의료영상을 정합하는 단계를 포함한다.

Description

의료영상들을 정합하는 방법 및 장치{Method and Apparatus for registering medical images}
본 발명은 서로 다른 모달리티의 의료영상들을 정합하는 방법 및 장치에 관한 발명이다.
최근 의료기술의 발달로 인해 높은 해상도의 의료영상을 얻을 수 있고 의료 기구의 미세한 조작이 가능해 짐에 따라서, 시술 부위를 노출시키기 위한 절개를 하지 않고도 피부에 작은 구멍을 만든 뒤 혈관 혹은 기타 원하는 신체 부위에 직접 카테터나 의료용 바늘을 넣고 의학 영상 장비로 몸속을 관찰하면서 치료하는 방법이 개발되고 있다. 이를 "영상을 이용하는 시술법", "인터벤션(Interventional) 영상 시술법" 또는 "중재적 영상 시술법"이라고 부른다. 시술자는 장기나 병변의 위치를 영상을 통해 파악한다. 게다가 시술을 하는 동안 환자는 호흡을 하거나 움직이게 되는데 이에 따른 변화를 파악해야 한다. 따라서 시술자는 실시간 영상을 토대로 호흡이나 움직임을 정확하고 빠르게 파악하여 시술을 시행해야 하는데, 이 때 실시간 영상에서 장기와 병변의 형상을 육안으로 파악하기 쉽지 않다. 초음파 영상과 대조적으로, MR(Magnetic Resonance) 또는 CT 영상은 장기와 병변을 명확히 식별할 수 있다. 하지만, MR 또는 CT 영상은 의료 시술 중 실시간으로 영상이 획득될 수 없기 때문에, 의료 시술 중 발생되는 환자의 호흡과 움직임이 반영되지 않는 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는 비 실시간으로 획득된 의료영상과 실시간으로 획득되는 의료영상을 신속하고 정확하게 정합하는 방법 및 장치를 제공하는데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 일 측면에 따라서 의료영상들을 정합(registration)하는 방법은, 비 실시간으로 획득된 제1 의료영상에서 적어도 하나의 지점을 선택받는 단계; 상기 제1 의료영상으로부터, 상기 선택된 지점을 포함하는 해부학적 개체 및 상기 선택된 지점의 인근에 위치하는 해부학적 개체를 각각 추출하는 단계; 실시간으로 획득되는 제2 의료영상으로부터, 상기 제1 의료영상에서 추출된 해부학적 개체들에 대응되는 해부학적 개체들을 추출하는 단계; 및 상기 제1 의료영상과 상기 제2 의료영상으로부터 추출된 해부학적 개체들 간의 기하학적 관계를 이용하여, 상기 제1 의료영상과 상기 제2 의료영상을 정합하는 단계를 포함한다.
본 발명의 다른 일 측면에 따라서 상기된 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명의 또 다른 일 측면에 따라서 의료영상들을 정합하는 장치는, 비 실시간으로 획득된 제1 의료영상을 저장하는 저장부; 상기 저장된 제1 의료영상을 출력하고, 상기 제1 의료영상에서 적어도 하나의 지점을 선택받는 사용자 인터페이스; 상기 제1 의료영상과 상이한 모달리티를 갖는 제2 의료영상을 실시간으로 획득하는 제2 의료영상 획득부; 및 상기 제1 의료영상으로부터 상기 선택된 지점을 포함하는 해부학적 개체 및 상기 선택된 지점의 인근에 위치하는 해부학적 개체를 각각 추출하고, 상기 제2 의료영상으로부터 상기 제1 의료영상에서 추출된 해부학적 개체들에 대응되는 해부학적 개체들을 추출하고, 상기 제1 의료영상과 상기 제2 의료영상으로부터 추출된 해부학적 개체들 간의 기하학적 관계를 이용하여 상기 제1 의료영상과 상기 제2 의료영상을 정합하는 영상처리부를 포함한다.
본 발명의 일 실시예에 따르면, 비 실시간으로 획득된 의료영상과 실시간으로 획득되는 의료영상을 신속하고 정확하게 정합할 수 있을 뿐만 아니라, 정합에 필요한 사용자의 개입을 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 의료영상 정합장치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료영상 정합 방법의 흐름을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 해부학적 개체의 추출 방법을 도시한 도면이다.
도 5는 본 발명의 다른 일 실시예에 따른 해부학적 개체의 추출 방법을 도시한 도면이다.
도 6은 본 발명의 또 다른 일 실시예에 따른 해부학적 개체의 추출 방법을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 의료영상들의 좌표계를 사상(mapping)시키는 방법을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 좌표 변환 함수의 산출 방법을 도시한 도면이다.
도 9 내지 도 12는 본 발명의 실시예들에 따른 의료영상 정합 방법에서의 의료영상들을 예시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 시스템을 도시한다. 도 1을 참조하면 시스템(100)은 제1 의료장치(110), 제2 의료장치(120), 의료영상 정합장치(130) 및 영상표시 장치(140)를 포함한다.
제1 의료장치(110)와 제2 의료장치(120)은 각각 제1 의료영상과 제2 의료영상을 생성하여, 의료영상 정합장치(130)에 제공한다. 제1 의료영상과 제2 의료영상은 상이한 영상 모달리티를 갖는다. 즉, 제1 의료영상과 제2 의료영상은 생성 방식 및 원리가 상이하다. 의료영상 정합장치(130)는 제1 의료영상과 제2 의료영상을 각각 획득하고, 상이한 모달리티를 갖는 제1 의료영상과 제2 의료영상을 정합한다. 의료영상 정합장치(130)이 정합한 영상은 영상표시 장치(140)를 통해 디스플레이 된다.
도 1에 도시된 실시예에서는 제2 의료장치(120), 의료영상 정합장치(130) 및 디스플레이 장치(140)가 각각 독립된 장치를 구성하고 있으나, 다른 실시예에 따르면 제2 의료장치(120), 의료영상 정합장치(130) 및 디스플레이 장치(140)가 단일의 장치로 구현될 수 있다.
제1 의료장치(110)는 비 실시간으로 대상체의 관심 볼륨(VOI: Volume of Interest)에 대한 제1 의료영상을 생성한다. 제1 의료장치(110)의 비 실시간 특성을 고려할 때, 제1 의료영상은 의료 시술 이전에 미리 생성되는 것이 바람직하다.
예컨대, 제1 의료장치(110)는 CT(computed tomography) 영상 장치, MR(magnetic resonance)영상 장치, X-ray 영상 장치, SPECT 영상장치, PET 영상장치 중 어느 하나로 구성될 수 있다. 이하의 실시예에서는 설명의 편의를 위하여 제1 의료영상이 MR 또는 CT영상인 것을 가정하나, 본 발명의 권리범위는 이에 한정되지 않는다.
제1 의료장치(110)에서 생성한 CT 영상 또는 MR 영상의 경우 장기의 위치나 병변의 위치가 명확하게 구별이 되는 장점이 있다. 하지만 CT(computed tomography)영상 이나 MR(magnetic resonance)영상은 시술하는 동안 환자가 호흡을 하거나 뒤척일 때 장기가 변형되거나 위치가 변할 수 있는데, 이러한 환자의 움직임에 따른 장기의 변형과 변위를 영상에 실시간으로 반영할 수 없다는 문제점이 있다.
제1 의료장치(110)가 실시간으로 영상을 출력할 수 없는 각각의 이유는 CT(computed tomography)영상의 경우 방사선을 이용한 촬영방법이기 때문에 환자와 시술자가 장시간 방사능에 노출될 우려가 있기 때문에 짧은 시간의 촬영이 권장되며, MR(magnetic resonance)영상의 경우 한번 촬영하는데 시간이 오래 걸리기 때문이다. 일반적으로 CT 영상은 환자의 호흡이 일시적으로 정지된 상태, 예컨대 최대 들숨 상태에서 촬영된다.
제2 의료장치(120)는 대상체의 관심 볼륨에 대하여 실시간으로 제2 의료영상을 제공한다. 예를들어, 대상체의 신체 활동에 따른 장기의 변형과 변위가 발생되면, 실시간으로 제2 의료영상에 변화가 나타난다. 다만, 제2 의료영상의 경우 모든 장기와 병변이 명확히 관찰될 수 없는 경우가 있고, 후술하는 바와 같이 장기의 변형과 변위를 제2 의료영상만으로 파악하기는 어려움이 존재한다.
일 실시예에 따르면, 제2 의료장치(120)는 환자에 대한 중재적 의료 시술과정에서 실시간으로 영상을 생성하는 초음파 영상장치(ultrasonography machine)로 구성될 수 있다. 다만, 제2 의료장치(120)는 실시간으로 영상을 제공하는 OCT 등의 다른 의료장치일 수도 있으며, 본 발명의 권리범위가 초음파 영상장치에 한정되는 것은 아니다.
제2 의료장치(120)는 프로브(probe)(121)를 이용하여 초음파 신호를 관심영역에 조사하고, 반사되는 초음파 신호를 검출함으로써 초음파 영상을 생성한다. 프로브(121)는 일반적으로 압전 변환기(piezoelectric transducer)로 제조된다. 프로브(121)로부터 수 내지 수백 MHz 범위의 초음파가 환자 신체 내부의 특정 부위에 전달되면, 이 초음파는 여러 다른 조직들(tissues) 사이의 계층들로부터 부분적으로 반사된다. 초음파는 신체 내부에서의 밀도 변화가 있는 해부학적 개체들, 예를 들어, 혈장(blood plasma) 내의 혈구들(blood cells), 장기들(organs) 내의 작은 조직들(structures) 등에서 반사된다.
이와 같이 반사된 초음파들은 프로브(121)의 압전 변환기를 진동시키고, 압전 변환기는 이 진동들에 따른 전기적 펄스들(electrical pulses)을 출력한다. 이와 같은 전기적 펄스들이 영상으로 변환된다. 해부학적 개체들이 서로 상이한 초음파 반사 특성을 갖는 경우, B 모드의 초음파 영상에서는 각 해부학적 개체들이 서로 상이한 밝기 값으로 나타난다.
제1 의료장치(110) 또는 제2 의료장치(120)가 촬영하는 의료영상들은 2차원의 단면들을 축척하여 생성된 3차원 영상일 수 있다. 예컨대, 제1 의료장치(110)는 단면 영상의 위치(location)와 방향(orientation)을 변화시키면서, 다수의 단면 영상들을 촬영한다. 이와 같은 단면 영상들이 축적되면 환자 신체의 특정 부위를 3차원적으로 나타내는 3차원 볼륨(volume)의 영상 데이터가 생성될 수 있다. 이와 같이 단면 영상들을 축적하여 3차원 볼륨의 영상 데이터를 생성하는 방식을 MPR(Multiplanar reconstruction) 방식이라고 한다. 이하의 설명에서는 제1 의료장치(110)와 제2 의료장치(120)가 촬영하는 영상들은 모두 3차원인 것을 가정하여 설명한다. 또한, 제1 의료영상 또는 제2 의료영상은 환자의 관심장기의 밝기를 향상시키기 위하여, 조영 증강된 영상일 수 있다.
한편, 제2 의료장치(120)에 의해 얻을 수 있는 의료영상, 예를 들면 초음파 영상들은 실시간 영상을 얻을 수 있다는 장점이 있으나, 다수의 잡음이 포함되므로 장기의 윤곽, 내부 구조나 병변을 식별해내기가 어렵다는 단점이 있다. 왜냐하면, 병변과 주변 조직은 서로 유사한 초음파 특성을 갖기 때문에 초음파 영상에서는 병변과 주변 조직의 경계에서 나타나는 명암의 대비, 즉 개체의 에지 콘트라스트(Edge Contrast)가 상대적으로 낮다. 또한, 초음파의 간섭 및 산란으로 인한 잡음(noise)과 인공물(artifact)이 존재한다. 즉, 초음파 의료영상은 MR 또는 CT 영상보다 빠르게 획득 가능한 대신에, 신호 대 잡음비(SNR)와 개체의 에지 콘트라스트가 낮으므로 MR 또는 의료영상에서는 식별 가능한 장기 및 병변이 주변 조직과 명확히 구분되지 않는다는 단점이 있다.
예를들어, 제1 의료영상에서 나타나는 해부학적 개체들이 저 해상도 실시간으로 획득된 제2 의료영상에서는 모두 식별 가능한 것은 아니다. 예컨대, 간 영역에 대한 초음파 영상에서는 간의 형상에 대한 해부학적 정보들이 잡음과 섞여서 식별이 불가능하다. 대신에, 초음파 영상에서는 간의 혈관들이 배경에 비하여 어둡게 나타나는 특성이 있으므로 초음파 영상의 음영에 기초하여 간의 혈관 구조를 파악할 수 있다. 초음파 영상에서는 간의 혈관 구조를 통해 간의 위치를 추정할 수 있다. 또한, MR 또는 CT 영상에서 추출된 간의 혈관 구조를 상호간에 비교함으로써, 초음파 영상과 MR 또는 CT 영상의 정합을 수행할 수 있다. 그렇지만, 간 암환자 또는 간경변 환자는 간 조직의 괴사하는 등의 원인으로 초음파 영상에서 간의 혈관 구조가 식별되지 않는다. 그 결과, 간암 또는 간경변 환자의 초음파 영상은 MR 또는 CT 영상과 정합을 수행하기 어려운 문제점이 존재하였다.
의료영상 정합장치(130)는 제1 의료장치(110)로부터 획득한 제1 의료영상과 제2 의료장치(120)로부터 획득한 제2 의료영상을 정합(registration)한다. 의료영상들의 정합은 제1 의료장치(110)와 제2 의료장치(120)가 사용하는 좌표계를 서로 대응시키는 과정을 포함한다. 예컨대, 제1 의료장치(110)와 제2 의료장치(120)는 DICOM (Digital Imaging and Communication in Medicine)에 따른 좌표계를 사용할 수 있다.
본 발명의 의료영상 정합장치(130)는 상술된 문제점이 해결하여, 장기 또는 장기의 혈관 구조에 대한 해부학적 구조가 나타나지 않는 제2 의료영상을 제1 의료영상과 정합 할 수 있다. 의료영상 정합장치(130)는 제2 의료영상에서 잡음으로 식별이 불가능한 관심영역의 장기 및 병변에 대한 해부학적 구조를 이용하는 대신에, 장기의 외부에서 장기와 인접하여 위치하는 해부학적 개체들을 이용하여 정합을 수행한다. 예컨대, 간암 환자의 초음파 의료영상에서는 간의 형상과 병변에 대한 정보를 식별할 수는 없지만, 간의 경계면과 접하는 횡격막과 간에 인접하는 하대 정맥은 간암 환자의 초음파 영상에서도 명확하게 식별된다.
의료영상 정합장치(130)는 제1 의료영상과 제2 의료영상에서 모두 뚜렷하게 나타나는 횡격막과 하대정맥의 정보를 이용하여 간 영역에 대한 제1 의료영상과 제2 의료영상을 정합한다. 따라서, 관심장기인 간에 대한 정보가 제2 의료영상에서 모두 손실되었다 하더라도 하대정맥과 횡격막을 이용하면 간 영역에 대한 제1 의료영상과 제2 의료영상을 정합할 수 있다.
다만, 상술된 간, 횡격막, 하대정맥은 하나의 실시예일뿐, 본 발명의 권리범위가 이에 한정되는 것은 아니다. 예컨대, 관심장기가 간인 경우, 간에 인접한 신장, 담낭, Portal vein, Hepatic vein, IVC 중 적어도 하나 이상이 이용될 수 있다. 관심장기가 신장인 경우, 신장에 인접한 IVC, 간, 담낭, Spleen, Renal veins 중 적어도 하나 이상이 이용될 수 있다. 관심장기가 갑상샘인 경우, 갑상샘에 인접한 경동맥, 경정맥 중 적어도 하나 이상이 이용될 수 있다. 관심장기가 췌장인 경우, 췌장에 인접한 IVC, Splenic vein, Splenic artery, Spleen 중 적어도 하나 이상이 이용될 수 있다.
일 실시예에서, 정합된 영상은 제1 의료영상과 제2 의료영상이 융합된 영상(fusion image)일 수 있다. 다른 실시예에서 정합된 영상은 같은 관측시점에서의 제1 의료영상과 제2 의료영상을 나란하게 배치한 영상일 수도 있다. 정합된 영상은 영상 표시 장치(140)에 의해 디스플레이 된다.
도 2는 본 발명의 일 실시예에 따른 의료영상 정합장치를 도시한 도면이다. 도 2를 참조하면, 의료영상 정합장치(130)는 사용자 인터페이스(20), 저장부(21), 의료영상 획득부(22) 및 영상처리부(23)를 포함한다. 다만, 도시된 구성요소들이 모두 필수 구성요소들은 아니며, 도시된 구성요소들 이외에 다른 범용적인 구성요소들이 더 포함될 수도 있다.
의료영상 획득부(22)는 제1 의료장치(110) 및 제2 의료장치(120)으로부터 각각 제1 의료영상과 제2 의료영상을 획득한다. 의료영상 획득부(22)는 제1 의료장치(110) 및 제2 의료장치(120)로부터 제1 의료영상 및 제2 의료영상을 획득하기 위한 인터페이스들(211,222)을 포함한다. 제1 의료장치 인터페이스(211) 및 제2 의료장치 인터페이스(222)는 제1 의료장치(110) 및 제2 의료장치(120)와 직접 또는 간접으로 연결되기 위한 인터페이스를 의미한다.
제1 의료장치 인터페이스(211)는 제1 의료장치(110)가 의료시술 이전에 미리 촬영한 제1 의료영상을 획득하기 위하여, 제1 의료장치(110)과 직접 연결될 수 있다. 다른 실시예에서, 제1 의료영상이, 다른 외부 저장매체(USB, CD, DVD 등) 또는 네트워크 인터페이스를 통해서 획득되는 경우 제1 의료장치 인터페이스(211)는 생략될 수 있다. 의료영상 획득부(22)는 획득한 제1 의료영상을 저장부(21)에 저장한다. 제2 의료장치 인터페이스(222)는 제2 의료장치(120)가 촬영하는 제2 의료영상을 실시간으로 획득한다.
사용자 인터페이스(20)는 사용자로부터 의료영상 정합장치(130)을 조작하기 위한 입력을 수신하고, 의료영상 정합장치(130)가 획득한 제1 의료영상, 제2 의료영상 또는 정합된 의료영상을 출력한다. 사용자 인터페이스(20)는 사용자가 직접 의료영상 정합장치(130)를 조작하기 위한 버튼, 키 패드, 스위치, 다이얼 또는 터치 인터페이스를 포함할 수 있다. 사용자 인터페이스(20)는 영상을 디스플레이하기 위한 스크린을 포함할 수 있으며, 터치스크린으로 구현될 수 있다. 또 다른 실시예에서, 사용자 인터페이스(20)는 HID(Human Interface Device) 들을 연결하기 위한 I/O 포트를 구비할 수 있다. 사용자 인터페이스(20)는 영상의 입/출력을 위한 I/O 포트를 구비할 수 있다.
사용자 인터페이스(20)는 저장부(21)에 저장된 제1 의료영상에서 2차원 단면을 출력할 수 있다. 이어서, 사용자 인터페이스(20)는 출력된 단면에서 적어도 하나의 지점을 선택 받을 수 있다.
영상처리부(23)는 제1 의료영상과 제2 의료영상을 정합하고, 사용자 인터페이스(20)로 출력한다. 제1 의료영상은 저장부(21)로부터 로딩되고, 제2 의료영상은 제2 의료장치 인터페이스(222)를 통해서 실시간으로 획득될 수 있다.
영상처리부(23)는 사용자 인터페이스(20)를 통해 선택된 지점을 포함하는 제1 해부학적 개체를 제1 의료영상으로부터 추출한다. 영상처리부(23)는 사용자 인터페이스(20)를 통해 선택된 지점의 인근에 위치하는 제2 해부학적 개체를 제1 의료영상에서 추출한다. 영상처리부(23)는 제2 의료영상으로부터, 제1 해부학적 개체에 대응하는 제3 해부학적 개체 및 제2 해부학적 개체에 대응하는 제4 해부학적 개체를 각각 추출한다.
영상처리부(23)는 제1 의료영상과 상기 제2 의료영상으로부터 추출된 해부학적 개체들 간의 기하학적 관계를 이용하여 상기 제1 의료영상과 상기 제2 의료영상을 정합한다. 여기서, 기하학적 관계란, 해부학적 개체들의 상대적인 위치 관계를 나타내는 벡터를 포함할 수 있다.
영상처리부(23)는 제1 의료영상과 제2 의료영상의 정합 과정을 통해서, 제2 의료영상의 좌표를 제1 의료영상의 좌표로 변환 또는 역변환하는 좌표 변환함수를 산출한다. 좌표 변환함수가 산출된 이후 프로브(121)의 이동/회전에 따라서 제2 의료영상의 좌표가 변경되면, 영상처리부(23)는 변경된 제2 의료영상의 좌표에 대응하는 제1 의료영상을 출력하기 위하여, 앞서 산출된 좌표 변환함수를 이용한다. 영상처리부(23)는 좌표 변환함수를 이용하여, 제1 의료영상과 제2 의료영상의 좌표와 View 를 동기화할 수 있다.
영상처리부(23)는 제1 개체 추출부(231), 제2 개체 추출부(232), 이진화부(234), 제3 개체 추출부(235) 및 정합부를 포함한다. 본 실시예에서, 영상처리부(23)는 제1 의료영상에서 2개의 해부학적 개체들을 추출하고, 제2 의료영상에서 2개의 해부학적 개체들을 추출하는 것으로 예시하나, 이에 한정되지 않는다. 예를들어, 보다 많은 수의 해부학적 개체들을 추출하여, 영상 정합의 정확도를 향상시킬 수도 있다.
제1 개체 추출부(231)와 제2 개체 추출부(232)는 각각 제1 의료영상에서 제1 해부학적 개체와 제2 해부학적 개체를 추출한다.
제1 개체 추출부(231)는 사용자 인터페이스(20)를 통해서 선택된 지점의 해부학적 특징을 이용하여 제1 해부학적 개체를 추출한다. 제1 개체 추출부(231)는 제1 해부학적 개체의 영역을 결정하기 위하여, 선택된 지점과 인접하고, 선택된 지점과 유사한 해부학적 특징을 갖는 지점들을 검출한다. 제1 개체 추출부(231)는 검출된 지점들을 이용하여 선택된 지점을 포함하는 제1 해부학적 개체의 영역을 결정한다. 예를 들어, 제1 개체 추출부(231)는 선택된 지점과 유사한 해부학적 특징을 갖는 지점들을 검출하기 위하여, 조영 증강된(contrast enhanced) 제1 의료영상에서 선택된 지점과의 밝기 값의 차이, 즉 콘트라스트가 임계값 이하인 지점들을 검출할 수 있다.
제2 개체 추출부(232)는 조영 증강된(contrast enhanced) 제1 의료영상에서 기 설정된 밝기값 (Imin, Imax) 범위내에 있는 지점들을 검출하고, 검출된 지점들을 통해 구성된 클러스터들 중에서 부피가 최대인 클러스터를 추출할 수 있다. 한편, 제1 의료영상에서 선택된 지점의 밝기값은, 기 설정된 밝기값 범위(Imin, Imax)를 벗어나는 것이 바람직하다.
이진화 부(234)는 제2 의료영상의 밝기값에 기초하여, 제2 의료영상의 이진화 영상을 생성한다. 이진화 부(234)는 제2 의료영상에서 추출할 제3 해부학적 개체 또는 제4 해부학적 개체의 초음파 반사 특성에 따라서 임계 밝기값을 결정하고, 임계 밝기값을 이용하여 상기 제2 의료영상을 이진화할 수 있다. 이진화 부(234)는 제3 해부학적 개체 또는 제4 해부학적 개체의 후보가 되는 후보지점들과 나머지 지점들을, 1과 0으로 나타낸다. 전술한 바와 같이, B 모드 초음파 영상에서 횡격막은 상대적으로 밝기 값이 크게 나타나는 초음파 반사 특성이 있으며, IVC는 상대적으로 밝기 값이 작게 나타나는 초음파 반사 특성이 있다. 따라서, 횡격막을 추출시 이진화 영상에서 1 값을 갖는 지점들이 후보지점이 된다.
제3 개체 추출부(235)는 제2 의료영상에서 제3 해부학적 개체 및 제4 해부학적 개체를 추출한다. 예를들어, 제3 개체 추출부(235)는 이진화 영상의 각 후보지점에서, 제2 의료영상의 헤시안 행렬(Hessian matrix)의 고유값(eigen value)들을 산출한다. 제3 개체 추출부(235)는 산출된 고유값을 통해서 이진화 영상의 각 후보지점들이 제2 의료영상에서 추출할 제3 해부학적 개체 또는 제4 해부학적 개체에 포함되는지를 판단한다. 제3 개체 추출부(235)는 이진화 영상의 각 후보지점들이 제2 의료영상에서 추출할 제3 해부학적 개체 또는 제4 해부학적 개체에 포함되는지를 판단하기 위하여, 산출된 고유값들 중 어느 하나의 고유값의 크기를 나머지 고유값들의 크기들과 각각 비교할 수 있다. 제3 개체 추출부(235)는 판단 결과에 따라서, 제2 의료영상으로부터 제3 해부학적 개체 또는 제4 해부학적 개체를 추출한다.
제1 해부학적 개체는 제3 해부학적 개체에 대응하고, 제2 해부학적 개체는 제4 해부학적 개체에 대응한다. 여기서, 서로 대응하는 해부학적 개체는 서로 동일한 해부학적 개체일 수 있으나, 서로 인접한 해부학적 개체일 수도 있다. 예를 들어, 제1 해부학적 개체는 MR 영상에서의 IVC, 제2 해부학적 개체는 MR 영상에서의 간, 제3 해부학적 개체는 초음파 영상(이하, US 영상)에서의 IVC, 제4 해부학적 개체는 초음파 영상에서의 횡격막일 수 있다. 이때, 간과 횡격막은 동일한 해부학적 개체는 아니지만, 간의 경계면과 횡격막이 접하므로 양자는 서로 대응하는 해부학적 개체이다. 즉, 횡격막을 간의 경계면으로 간주하면, 횡격막의 위치를 통해서 간의 위치를 파악할 수 있다.
정합부(233)는 제1 의료영상과 제2 의료영상을 정합한다. 정합부(233)는 제1 해부학적 개체와 제2 해부학적 개체간의 기하학적 관계와, 제3 해부학적 개체와 제3 해부학적 개체간의 기하학적 관계를 비교하여 제1 의료영상과 제2 의료영상을 정합한다. 정합부(233)는 제1 개체 정합부(2331), 제2 개체 정합부(2332) 및 변환함수 산출부(2333)를 포함한다.
제1 개체 정합부(2331)는 제1 의료영상에서 추출된 제1 해부학적 개체를 이용하여, 제1 의료영상과 제2 의료영상을 각각 정렬한다. 예를 들어, 제1 개체 정합부(2331)는 제1 의료영상의 제1 해부학적 개체가 기 설정된 좌표축 방향으로 배치될 수 있도록, 제1 의료영상을 정렬한다. 제1 개체 정합부(2331)는 제1 해부학적 개체가 배치된 방향에 따라서 제3 해부학적 개체가 배치될 수 있도록, 제2 의료영상을 정렬한다.
제2 개체 정합부(2332)는 제1 의료영상과 제2 의료영상이 정렬된 상태에서, 제2 해부학적 개체를 이용하여 제1 의료영상 또는 제2 의료영상을 이동 또는 회전한다. 예를 들어, 제2 개체 정합부(2332)는 제2 해부학적 개체와 제4 해부학적 개체간의 거리차가 최소화 될 수 있도록, 제1 의료영상 또는 제2 의료영상을 회전 또는 이동한다. 이 때, 제2 개체 정합부(2332)는 제1 해부학적 개체와 제3 해부학적 개체의 정렬상태가 어긋나지 않는 범위에서, 제1 의료영상 또는 제2 의료영상을 회전 또는 이동한다.
제1 개체 정합부(2331) 및 제2 개체 정합부(2332)에 의해서, 제1 의료영상의 제1 해부학적 개체와 제2 해부학적 개체간의 기하학적 관계는, 제2 의료영상의 제3 해부학적 개체와 제4 해부학적 개체간의 기하학적 관계와 일치하게 된다.
변환함수 산출부(2333)는 제1 개체 정합부(2331) 및 제2 개체 정합부(2332)에 의해서 정렬, 회전 또는 이동된 제1 의료영상과 제2 의료영상의 좌표계를 서로 사상시킨다. 예를 들면, 변환함수 산출부(233)는 제1 개체 정합부(2331) 및 제2 개체 정합부(2332)를 거치기 전 원본의 제2 의료영상의 좌표를, 제1 개체 정합부(2331) 및 제2 개체 정합부(2332)를 거친 후 제2 의료영상의 좌표로 변환하는 변환함수를 산출한다.
의료영상 정합장치(130)의 보다 상세한 동작에 대해서는, 후술하는 의료영상 정합 방법을 참조하여 설명을 계속한다. 이하에서, 의료영상 정합장치(130)의 어느 구성요소가 각 프로세스를 수행하는지를 구체적으로 특정하지 않더라도, 당업자라면 전술한 설명으로부터 이를 파악할 수 있다.
도 3은 본 발명의 일 실시예에 따른 의료영상 정합 방법의 흐름을 도시한 도면이다.
도 3을 참조하면, 의료영상 정합장치(130)는 제1 의료영상 출력한다. 예를 들어, 의료영상 정합 장치(130)는 저장된 제1 의료영상의 2차원 단면을 출력한다(A305). 이때, 어떠한 단면을 출력할 것지를 사용자로부터 입력 받을 수 있다. 도 9의 이미지 G91은 의료영상 정합장치(130)가 출력한 간 영역의 어느 한 단면에 대한 MR 영상이다.
의료영상 정합장치(130)는 제1 의료영상에서 적어도 하나의 지점을 선택 받는다(A310). 예를 들면, 의료영상 정합장치(130)는 도 9의 이미지 G91에서 지점 G911을 사용자로부터 선택 받는다. 예를 들어, 사용자는 조영 증강된 MR 이미지 G91에서 IVC의 해부학적 특징 나타나는 지점 G91을 선택할 수 있다.
의료영상 정합장치(130)는 제1 의료영상으로부터, 제1 해부학적 개체 및 제2 해부학적 개체를 각각 추출한다(A315). 의료영상 정합장치(130)가 제1 해부학적 개체를 추출하는 과정의 일 실시예에 대하여 도 4를 참조하여 설명한다.
도 4를 참조하면, 의료영상 정합장치(130)는 제1 의료영상에서 어느 하나의 단면을 출력하고, 적어도 하나의 지점을 선택 받는다(A405). 이는 도 3에서 설명한 A305 및 A310 단계에 대응하므로 중복하는 설명은 생략한다.
의료영상 정합장치(130)는 선택된 지점의 밝기 값을 기준 밝기 값으로 설정한다(A410). 예를 들어, 의료영상 정합장치(130)는 지점 G91의 밝기 값을 기준 밝기 값으로 설정한다. 기준 밝기 값이란, 제1 의료영상에서의 임의의 지점이 제1 해부학적 개체에 포함되는 지점인지를 판단하기 위한 기준이 되는 밝기를 말한다.
의료영상 정합장치(130)는 제1 의료영상에서, 선택된 지점과 인접한 지점을 탐색한다(A415). 선택된 지점과 인접한 지점은 선택된 지점에 맞닿은 지점을 의미할 수 있으나, 이에 한정되는 것은 아니다. 의료영상 정합장치(130)는 선택된 지점으로부터 소정의 거리 범위 이내에 위치한 지점을 인접한 지점으로 탐색할 수 있다.
예를 들면, 의료영상 정합장치(130)에 제1 해부학적 개체의 특징 중 제1 해부학적 개체의 형상과 크기에 관한 정보가 미리 입력되어 있을 수 있다. 의료영상 정합장치(130)에 IVC의 직경에 관한 정보가 미리 입력되어 있다고 가정할 때, 의료영상 정합장치(130)는 선택된 지점으로부터 IVC의 직경을 벗어나지 않는 범위 내에서 선택된 지점에 인접한 지점을 탐색할 수 있다.
선택된 지점에 인접한 지점은 선택된 지점과 같은 단면에 위치할 수도 있으나, 선택된 지점을 포함하는 단면과 인접한 단면에 위치할 수 있다. 예를 들면, 이미지 G91 내에서 인접한 지점이 탐색될 수도 있지만, 이미지 G91과 인접한 단면들(미도시)에서 인접한 지점이 탐색될 수 도 있다. 즉, 의료영상 정합장치(130)는 선택된 지점을 기준으로, 제1 의료영상의 3차원 공간에서 인접한 지점을 탐색할 수 있다.
의료영상 정합장치(130)는 탐색된 지점의 밝기값을 기준 밝기값과 비교한다(A420). 예를 들면, 의료영상 정합장치(130)는 선택된 지점 G911의 밝기값과, 탐색된 지점의 밝기값의 차이를 계산한다. 의료영상 정합장치(130)는, 탐색된 지점의 밝기값과 기준 밝기값의 차기가 임계값 이하인지 여부를 판단한다. 임계값은 의료영상 정합장치(130)에 미리 설정되어 있을 수 있다.
의료영상 정합장치(130)는 탐색된 지점의 밝기값과 기준 밝기값의 차기가 임계값 이하인 경우, 탐색된 지점을 제1 해부학적 개체의 영역에 포함시킨다(A425). 이는, 선택된 지점을 제1 해부학적 개체 영역의 시드(seed)값으로 하여, 제1 해부학적 개체 영역을 확장하는 region growing 으로 이해될 수 있다. 의료영상 정합장치(130)는 의료영상 정합장치(130)는 탐색된 지점의 밝기값과 기준 밝기값의 차기가 임계값을 초과하는 경우에는, 탐색된 지점은 제1 해부학적 개체의 영역에 포함되지 않는 것으로 결정한다.
의료영상 정합장치(130)는 제1 의료영상에서 모든 지점들이 탐색되었는지 여부를 판단한다(A435). 의료영상 정합장치(130)는 미리 입력된 제1 해부학적 개체의 특징을 이용하여 제1 의료영상에서 모든 지점들이 탐색되었는지 여부를 판단할 수 있다. 예를 들면, 의료영상 정합장치(130)는 이미지 G91에서 선택된 지점 G911을 기준으로 IVC의 직경범위 내에서 모든 지점들이 탐색되었는지를 판단한다. 의료영상 정합장치(130)는 다른 단면들을 이미지 G91과 유사한 방식으로 탐색하는데, 다른 단면들은 간 영역에서의 IVC 의 길이를 고려하여 탐색할 단면들의 범위가 결정될 수 있다. 즉, IVC 길이가 짧을수록 탐색되는 단면들의 개수가 줄어들고, IVC 길이가 길수록 탐색되는 단면들의 개수가 늘어난다.
만약, 제1 의료영상에서 모든 지점들이 탐색된 것이 아니라면, 의료영상 정합장치(130)는 아직 탐색되지 않은 다른 지점들을 탐색한다(A430). 다른 지점들 탐색하는 방식은 A415에서 인접한 지점을 선택하는 방식과 유사하다. A430에서 의료영상정합장치(130)는 A425 단계에서 마지막으로 제1 해부학적 개체의 영역에 포함된 지점과 인접한 지점을 우선적으로 탐색하는 것이 바람직하다. 본 발명의 일 실시예에 따르면 A430 단계에서 기준 밝기값이 조절될 수 있는데, 예를 들면 A425 단계에서 마지막으로 제1 해부학적 개체의 영역에 포함된 지점의 밝기값을 통해서 기준 밝기값을 조절할 수 있으며 이에 한정되지 않는다.
만약, 제1 의료영상에서 모든 지점들이 탐색된 경우, 의료영상 정합장치(130)는 제1 해부학적 개체의 영역을 배경으로부터 분리(segmentation) 한다(A440). 예를 들면, 도 9의 이미지 G92에는 배경으로부터 분리된 3차원의 IVC G921 가 도시되어 있다.
의료영상 정합장치(130)가 제1 의료영상으로부터 제2 해부학적 개체를 추출하는 과정의 일 실시예에 대하여 도 5를 참조하여 설명한다.
의료영상 정합장치(130)는 제2 해부학적 개체의 해부학적 특징에 관한 정보를 입력 받는다(A505). 예를 들어, 의료영상 정합장치(130)에는 다양한 해부학적 개체들의 특징에 관한 정보가 미리 입력될 수 있다. 의료영상 정합장치(130)에는는 제1 의료영상이 간 영역의 영상인 경우, 제1 해부학적 개체를 IVC로, 제2 해부학적 개체를 간으로 선택하도록 미리 설정되어 있을 수 있다. 의료영상 정합장치(130)는 제2 해부학적 개체로 간이 선택되면, 제2 해부학적 개체의 해부학적 특징에 관한 정보를 로딩한다. 제2 해부학적 개체의 특징에 관한 정보는, 예를 들면, 제2 해부학적 개체의 밝기값 범위, 형상, 부피 등에 관한 정보를 포함할 수 있다.
의료영상 정합장치(130)는 제1 의료영상에서 제2 해부학적 개체의 특징을 만족하는 지점들을 탐색한다(A510). 예를 들면, 의료영상 정합장치(130)는 제2 해부학적 개체의 (최소 밝기값 Imin, 최대 밝기값 Imax) 범위에 속하는 지점들을 탐색한다. 의료영상 정합장치(130)는 어느 하나의 단면에 대해서만 탐색하는 것이 아니라, 복수개의 단면들에 대하여 탐색할 수 있다. 예를 들어, 제2 해부학적 개체의 형상과 부피에 관한 정보를 기초로, 탐색할 단면들의 개수가 결정될 수 있다.
의료영상 정합장치(130)는 탐색된 지점들 중 서로 인접하는 지점들을 클러스터링 한다(A515). 의료영상 정합장치(130)는, 탐색된 지점들 중 서로 인접한 지점들끼리 묶어서 적어도 하나 이상의 클러스터로 분류한다.
의료영상 정합장치(130)는 클러스터들 중에서 부피가 최대인 클러스터를 제2 해부학적 개체의 영역으로 선택한다(A520). 다른 실시예에서, 의료영상 정합장치(130)는 사전 입력된 제2 해부학적 개체의 부피에 가장 근접한 클러스터를 제2 해부학적 개체의 영역으로 선택할 수도 있다.
의료영상 정합장치(130)는 제2 해부학적 개체의 영역을 배경으로부터 분리(segmentation)한다(A525). 도 10에서 이미지 G101은 제1 의료영상의 2차원 단면으로서 박스 G1011는 추출 대상인 간을 나타낸다. 이미지 G102는, A520의 결과로 제1 의료영상의 어느 한 단면에서의 간의 영역 G1021을 도시한다. 이미지 G103은 제1 의료영상으로부터 분리된 간 G1031을 도시한다.
도 3으로 돌아가서, 의료영상 정합장치(130)는 제2 의료영상으로부터 제1 해부학적 개체에 대응되는 제3 해부학적 개체 및 제2 해부학적 개체에 대응되는 제4 해부학적 개체를 각각 추출한다(A320). 예를 들어, 의료영상 정합장치(130)는 제2 의료영상에서 IVC 및 횡격막을 추출한다.
의료영상 정합장치(130)가 제2 의료영상으로부터 제3 해부학적 개체와 제4 해부학적 개체를 추출하는 과정의 일 실시예에 대하여 도 6를 참조하여 설명한다. 도 6에서 A605 내지 A630은 어느 하나의 해부학적 개체를 추출하는 과정으로서, 제3 해부학적 개체 또는 제4 해부학적 개체 중 어느 하나가 추출될 수 있다. 다만, 제3 해부학적 개체와 제4 해부학적 개체의 추출과정이 서로 유사하므로, 도 6을 통해서 함께 설명하기로 한다.
의료영상 정합장치(130)는 추출 대상이 되는 해부학적 개체의 해부학적 특징에 대한 정보를 입력 받는다(A605). 예를 들어, 제3 해부학적 개체 또는 제4 해부학적 개체의 추출 이전에, 의료영상 정합장치(130)에는 제3 해부학적 개체와 제4 해부학적 개체의 특징에 관한 정보가 미리 입력되어 있을 수 있다. 사용자가 간 영역에 대한 의료영상 정합을 수해할 것을 의료영상 정합장치(130)에 요청하면, 의료영상 정합장치(130)는 초음파 영상에서 IVC 와 횡격막을 추출하기 위하여, IVC와 횡격막의 특징에 관한 정보를 로딩한다. 다만, IVC 와 횡격막은 제2 의료영상으로부터 차례대로 추출되므로, 의료영상 정합장치(130)는 IVC와 횡격막 중에서 먼저 추출할 해부학적 개체에 관한 정보를 로딩한다.
의료영상 정합장치(130)는 입력된 해부학적 특징에 대한 정보를 통해서, 임계 밝기값을 결정한다(A610). 임계 밝기값은 제2 의료영상을 이진화하는데 기준이 되는 밝기값으로서, 추출하고자 하는 해부학적 개체의 초음파 반사 특성에 따라서 결정된다. 예를 들어, IVC 와 횡격막은 서로 다른 초음파 반사 특성이 있으므로, IVC 와 횡격막의 임계 밝기값은 서로 상이하다. 도 11에서 이미지 G111은 제2 의료영상의 2차원 단면을 도시한다. 배경보다 밝게 도시된 G1111은 횡격막을 나타내고, 배경보다 어둡게 도시된 G1112는 IVC를 나타낸다.
제2 의료영상의 임의의 지점 (x,y,z)에서 임계 밝기값 T(x,y,z)는 수학식 1과 같이 결정될 수 있다.
Figure 112013081100424-pat00001
m(x,y,z)은 지점(x,y,z)를 중심으로 하는 w1 x w2 x w3 사이즈의 3차원 윈도우 영역에서 밝기의 평균(median)을 의미한다. δ(x,y,z)는 3차원 윈도우 영역에서의 밝기의 표준 편차(standard deviation)을 의미한다. λ는 추출할 해부학적 개체의 초음파 반사 특성에 따라서 미리 결정된 가중치를 의미한다. 예를 들어, λ는 0부터 1범위 내에서 결정될 수 있는데, IVC와 횡격막 중 무엇을 추출하는 지에 따라서 달리 결정될 수 있다. 윈도우 영역의 사이즈 w1 x w2 x w3 또한 추출할 해부학적 개체의 특징에 따라서 다르게 결정된다. 예를 들어, 횡격막은 얇은 곡면의 형상이고, IVC은 관의 형상인 점을 고려하여 윈도우 영역의 사이즈 w1 x w2 x w3가 결정될 수 있다. 상대적으로 부피가 큰 해부학적 개체일수록 윈도 영역의 사이즈가 증가한다.
의료영상 정합장치(130)는 제2 의료영상의 각 지점들의 밝기 값과 임계 밝기값을 비교하여 제2 의료영상을 이진화한다(A615). 예를 들어, 의료영상 정합장치(130)가 현재 횡격막을 추출하려 할때, 횡격막에 속하지 않는 것이 명백한 복셀들의 밝기값을 0으로 나머지 복셀들의 밝기값을 1로 이진화하여, 제2 의료영상의 이진화 영상을 생성한다. 1로 이진화된 복셀들은 횡격막의 후보지점을 의미한다.
제2 의료영상의 임의 지점 (x,y,z)에 대한 이진화 결과 b(x,y,z)는 수학식 2와 같이 나타낼 수 있다.
Figure 112013081100424-pat00002
I(x,y,z)는 지점 (x,y,z)의 밝기값을 의미한다. 한편, 실시예에 따라서 임계 밝기값 보다 어두운 영역만을 추출하도록 수학식 2를 변경할 수 있음을 당업자라면 이해할 수 있다.
의료영상 정합장치(130)는 이진화 영상의 각 후보지점에 대하여, 제2 의료영상의 헤시안 행렬(Hessian matrix)의 고유값들(eigen values)를 산출한다(A620). 헤시안 행렬은 전 미분 행렬이라고도 표현하며, 복셀 값에 대한 2계 미분함수를 이용하여 영상내에서 급격한 복셀 값이 변경되는 영역을 판정할 수 있다. 여기서, 복셀값이 급격히 변경되는 영역은 해부학적 개체의 경계영역으로 해석된다.
Figure 112013081100424-pat00003
수학식 3에서 Hσ(x,y,z)는 이진화 영상의 후보지점(x,y,z)에 대한 헤시안 행렬을 의미하고, Iσ는 후보지점(x,y,z)이 제2 의료영상에서 갖는 밝기값을 의미한다. 의료영상 정합장치(130)는 헤시안 행렬 Hσ에 대하여 고유 분해(eigen decomposition)을 수행하여, 고유값들 λ1,λ2,λ3 을 산출한다.
의료영상 정합장치(130)는 산출된 고유값들 중 어느 하나를 다른 고유값들과 비교한다(A625). 예를 들어 의료영상 정합장치(130)가 횡격막을 추출하는 경우, 의료영상 정합장치(130)는 수학식 4와 같은 flatness test를 수행한다.
Figure 112013081100424-pat00004
c1는 횡격막을 추출하기 위하여 미리 결정된 상수를 의미한다. 즉, λ1이 수학식 4를 만족하면, 후보지점(x,y,z)는 λ2,λ3 방향으로 정의되는 평면의 일 지점으로 판단된다. 따라서, 후보지점(x,y,z)는 횡격막에 포함되는 지점으로 결정된다.
또 다른 실시예에서, 의료영상 정합장치(130)가 IVC를 추출하는 경우, 수학식 5와 같은 vesselness test가 수행된다.
Figure 112013081100424-pat00005
c2는 IVC를 추출하기 위하여 미리 결정된 상수를 의미한다. 즉, λ1이 수학식 5를 만족하면, 후보지점(x,y,z)는 λ1 방향으로 정의되는 IVC의 일 지점으로 판단된다.
의료영상 정합장치(130)는 고유값들의 비교 결과를 이용하여, 제2 의료영상으로부터 해부학적 개체를 추출한다(A630). 예를 들어, 의료영상 정합장치(130)가 횡격막을 추출하는 경우에는 수학식 4를 만족하는 지점들을 추출하고, IVC를 추출하는 경우에는 수학식 5를 만족하는 지점들을 추출한다. 도 11에서 이미지 G112에서 G901은 추출된 횡격막을 나타내고, G901은 추출된 IVC를 나타낸다.
도 3으로 돌아가서, 의료영상 정합장치(130)는 제1 의료영상과 제2 의료영상으로부터 추출된 해부학적 개체들간의 기하학적 관계를 이용하여, 제1 의료영상과 제2 의료영상을 정합한다(A325). A 325의 보다 상세한 일 실시예에 대하여, 도 7 및 도 8을 참조하여 설명한다.
의료영상 정합장치(130)는 제1 해부학적 개체에 기초하여 제1 의료영상과 제2 의료영상을 각각 정렬한다(A705). 도 12를 예시하면, 이미지 G121은 정렬되기 이전의 제1 의료영상에서 IVC 및 Liver surface를 도시하고, 이미지 G123은 정렬 이전의 제2 의료영상에서 IVC 및 Liver surface를 도시한다. 이미지 G123에서 Liver surface는 횡격막을 추출한 것이지만, 횡격막과 Liver가 서로 접해있고 횡격막은 매우 얇은 평면이므로, 횡격막은 Liver surface로 간주할 수 있다. 이미지 G121, G122에서 우측 하단의 좌표계 (XMR,YMR,ZMR)는 제1 의료장치(110)이 사용하는 제1 좌표계를 의미한다. 이미지 G123에서 우측 하단의 좌표계 (XUS,YUS,ZUS)는 제2 의료장치(120)이 사용하는 제2 좌표계를 의미한다.
이미지 G121 내지 G124에서 우측 상단의 좌표계 (Xc,Yc,Zc)는 의료영상 정합을 위하여 의료영상 정합장치(130)가 사용하는 제3 좌표계를 의미한다. 제3 좌표계가 사용되는 이유는, 의료영상 정합장치(130)에서 의료영상 정합시 계산의 편의를 위함이다. 한편, 실시예에 따라서는 제3 좌표계가 생략될 수 있다. 제3 좌표계가 생략되는 경우, 의료영상 정합장치(130)는 제1 좌표계 또는 제2 좌표계 중 어느 하나를 기준으로 다른 하나의 좌표계를 직접 맵핑할 수도 있다.
이미지 G121 및 G122에서 VMR은 제1 좌표계에서 IVC의 위치와 방향을 나타내는 벡터다. 이미지 G123 및 G124에서 VUS은 제2 좌표계에서 IVC의 위치와 방향을 나타내는 벡터다.
의료영상 정합장치(130)는 제1 해부학적 개체를 기준으로 제1 의료영상을 정렬한다. 이어서, 의료영상 정합장치(130)는 제3 해부학적 개체가 제1 해부학적 개체와 같은 방향으로 배열되도록, 제2 의료영상을 정렬한다.
도 12를 예시하면, 의료영상 정합장치(130)는 G121에서 VMR이, 제3 좌표계의 Yc 방향과 평행하도록 제1 의료영상 정렬한다. G122는 정렬된 제1 의료영상을 도시한다. 마찬가지로, 의료영상 정합장치(130)는 Vus가 제3 좌표계의 Yc 방향과 평행하도록 제2 의료영상 정렬한다. 의료영상 정합장치(130)는 VUS와 VMR가 같은 공간에 위치하도록 제2 의료영상을 정렬하는 것이 바람직하다. 예를 들어, VMR 과 VUS가 제3 좌표계 값으로 표현될 때, VMR 과 VUS는 하나의 직선 상에 존재하되 VMR 과 VUS가 서로 겹치도록 제2 의료영상을 정렬하는 것이 바람직하다. 따라서, IVC의 중심축이 제1 의료영상과 제2 의료영상에서 일치하도록 정렬된 것으로 이해할 수 있다.
A705에 따라서 제1 의료영상과 제2 의료영상이 정렬되면 IVC 는 위치가 서로 일치하지만, Liver surface는 우연히 일치하게 되는 경우를 제외하면 Liver surface의 위치는 제1 의료영상과 제2 의료영상에서 일치되지 않은 상태이다.
의료영상 정합장치(130)는 제2 해부학적 개체에 기초하여 제1 의료영상 또는 제2 의료영상을 회전 또는 이동한다(A705). 이하에서는 설명의 편의를 위하여 제2 의료영상만 회전 또는 이동하는 것을 예시한다.
예를 들면, 도 12의 이미지 G124에서 Liver surface와 이미지 G122에서 Liver surface는 서로 일치하지 않는다. 양자를 일치시키기 위해서는, 제2 의료영상의 회전 또는 이동이 필요한데, 다만 A705에서 IVC를 기초로 한 정렬이 흐트러지지 않도록 제2 의료영상을 이동 또는 회전하는 것이 바람직하다. 제2 의료영상을 Yc 방향으로만 이동시키거나, Yc 를 축으로만 회전하면 A705에서의 정렬 결과를 유지할 수 있다. 다른 실시예에서는, Zc, Xc 방향으로의 제2 의료영상의 이동을 일정 범위 내로 제한하거나 또는 Zc, Xc 축 방향으로의 제2 의료영상의 회전을 일정 각도 내로 제한할 수 있다. 이미지 G124에서 Liver surface와 이미지 G122에서 Liver surface를 서로 일치시키는 일 실시예에 대해서는, 도 8을 참조하여 설명한다.
도 8을 참조하면, 의료영상 정합장치(130)는 제2 의료영상의 제4 해부학적 개체의 각 지점에서 제1 의료영상의 제2 해부학적 개체의 가장 근접한 지점에 이르는 유클리드 거리의 평균을 산출한다(A805). 예를 들어, 의료영상 정합장치(130)는 이미지 G122의 Liver surface에 존재하는 N개의 지점들에 대한 제3 좌표계의 좌표값들 [M1,M2,...,MN]을 계산한다. 마찬가지로, 의료영상 정합장치(130)는 이미지 G124의 Liver surface에 존재하는 K개의 지점들에 대한 제3 좌표계의 좌표값들 [U1,U2,...,UK]을 계산한다. 의료영상 정합장치(130)는 Uk (0<k<K+1, i는 정수)와 가장 가까운 지점 Mn (0<n<N+1, n은 정수)의 거리 Dk를 계산한다.
의료영상 정합장치(130)는, 계산된 거리 Dk를 합산하여 수학식 6과 같이 평균한다.
Figure 112013081100424-pat00006
의료영상 정합장치(130)는, 산출된 평균값 DA가 임계값 이하인지 여부를 판단한다(A810). 예를 들어, DA가 0인 경우에는 이미지 G124에서 Liver surface와 이미지 G122에서 Liver surface가 정확하게 일치하는 것으로 이해될 수 있다. 여기서, 임계값은 정합의 정확도에 관련된 것으로서, 사용자가 임계값을 설정할 수 있다. 예를 들어 시간이 걸리더라도 보다 정확한 정합이 필요한 경우 임계값을 감소시키고, 빠른 시간에 정합이 필요하다면 임계값을 증가시킬 수 있다.
산출된 평균값 DA가 임계값을 초과하면, 의료영상 정합장치(130)는 산출된 평균값을 감소시키는 방향으로 제2 의료영상을 이동 또는 회전시킨다(A815). 여기서, 산출된 평균값을 감소시키는 방향은 앞서, 계산된 [M1,M2,...,MN]값들과 [U1,U2,,...,UK]을 통해서 결정될 수 있다. 예를 들어, 지점 Ui에 가장 가까운 지점 Mn로 향하는 벡터들 또는 벡터들의 합을 이용하여, 제2 의료영상의 이동 또는 회전 방향을 결정할 수 있다. 단, 제2 의료영상의 회전 또는 이동 후에도 제2 의료영상의 IVC의 축이 제1 의료영상의 IVC 축을 벗어나지 않도록 제2 의료영상이 회전 또는 이동되어야 함은 앞서 설명하였다.
산출된 평균값 DA가 임계값 이하인 경우, 의료영상 정합장치(130)는 원본의 제2 의료영상의 좌표를 현재의 제2 의료영상의 좌표로 변환하는 함수를 산출한다(A820). 예를 들어, 이미지 G123이 원본의 제2 의료영상이고, 이미지 G124가 산출된 평균값 DA가 임계값 이하일 때의 제2 의료영상이라고 가정하고 설명한다. 이미지 G123에서 IVC의 시작지점 S과 중간지점 C과 끝 지점 E의 각각에 대한 제3 좌표계의 좌표값이 P1,P2,P3 이고, 이미지 G124에서 S, C, E의 각각에 대한 제3 좌표계의 좌표값이 P'1,P'2,P'3이라 할 때, 의료영상 정합장치(130)는 P1,P2,P3를 P'1,P'2,P'3로 변환하는 좌표 변환함수를 계산한다. 여기서, IVC의 지점들 S,C,E는 설명의 편의를 위하여 예시한 것일 뿐이며 이에 한정되는 것이 아니다. 한편, 산출된 좌표 변환함수는 원본의 제1 의료영상 G121에 대응하도록 수정될 수 있다. 즉, 이미지 G121가 이미지 G122로 정렬됨에 따라서, 발생된 좌표값의 변화를 좌표 변환함수에 반영할 수 있다. 이를 통해서, 제2 의료영상의 좌표계는 제1 의료영상의 좌표계와 사상될 수 있다.
또 다른 실시예에서, 이미지 G121에서 이미지 G122로 정렬되는 경우 제1 의료영상의 좌표변화를 +Δx,y,z 라고 할 때, 산출된 평균값 DA가 임계값 이하일 때 제2 의료영상에 -Δx,y,z 만큼 제2 의료영상을 회전 또는 이동시킨다. 즉, 제2 의료영상이 정렬되기 이전의 원본의 제1 의료영상과 대응되도록, 제2 의료영상을 -Δx,y,z 만큼 회전 또는 이동시킨다. 이어서, 의료영상 정합장치(130)는 원본의 제2 의료영상의 좌표를, 최종적으로-Δx,y,z 만큼 회전 또는 이동된 제2 의료영상의 좌표로 변환하는 좌표 변환함수를 산출한다.
이상의 설명에서는, 제1 의료영상을 기준으로 제2 의료영상을 회전 또는 이동시키는 과정을 설명하였으나, 이와 반대로 제2 의료영상을 기준으로 제1 의료영상을 회전 또는 이동시킬 수도 있음을 당업자라면 이해할 수 있다.
의료영상 정합장치(130)는 좌표 변환함수를 이용하여 실시간으로 변화하는 제2 의료영상과 제1 의료영상을 정합한 영상을 출력한다. 이미지 G125는 제1 의료영상과 제2 의료영상을 정합한 결과를 렌더링한 이미지이다. 이미지 G125는 이미지 G123과 동일한 view를 갖는다.
예를 들어, 프로브(121)가 이동하면 제2 의료영상이 실시간으로 변화하는데, 의료영상 정합장치(130)는 좌표 변환함수를 이용하여, 실시간으로 변화되는 제2 의료영상에 대응하는 제1 의료영상을 제2 의료영상과 정합한다. 정합된 영상은 제2 의료영상의 view를 기준으로 출력되는 것이 바람직하다.
한편, 본 발명의 일 실시예에 따르면 프로브(121)의 위치를 센싱하기 위한 센서가 프로브(121)에 포함되거나, 대상체에 소정의 마커를 부착하여 프로브(121)의 위치를 센싱 할 수도 있다. 본 발명의 다른 실시예에 따르면, 프로브(121)의 위치를 센싱하기 위한 센서나 마커가 생략될 수 있다. 예를 들어, 제2 의료영상의 이전 프레임과 현재 프레임의 비교를 통해서 프로브(121)의 움직임을 파악할 수도 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 상이한 모달리티(modality)의 의료영상들을 정합(registration)하는 방법에 있어서,
    비 실시간으로 획득된 제1 의료영상에서 적어도 하나의 지점을 선택받는 단계;
    상기 제1 의료영상으로부터, 상기 선택된 적어도 하나의 지점을 포함하는 제1 해부학적 개체 및 상기 선택된 지점의 인근에 위치하는 제2 해부학적 개체를 각각 추출하는 단계;
    실시간으로 획득되는 제2 의료영상으로부터, 상기 제1 해부학적 개체에 대응되는 제3 해부학적 개체 및 상기 제2 해부학적 개체에 대응되는 제4 해부학적 개체를 추출하는 단계; 및
    상기 제1 의료영상과 상기 제2 의료영상으로부터 추출된 해부학적 개체들 간의 기하학적 관계를 이용하여, 상기 제1 의료영상과 상기 제2 의료영상을 정합하는 단계를 포함하고,
    상기 제1 의료영상과 상기 제2 의료영상을 정합하는 단계는,
    상기 제1 해부학적 개체 및 상기 제3 해부학적 개체에 기초하여, 상기 제1 의료영상과 상기 제2 의료영상을 일 축에 대하여 정렬하는 단계; 및
    상기 제2 해부학적 개체 및 상기 제4 해부학적 개체에 기초하여, 상기 일 축에 대하여 정렬된 상기 제1 의료영상 및 상기 제2 의료영상 중 어느 하나를 이동하는 단계를 포함하고,
    상기 제1 해부학적 개체 및 상기 제3 해부학적 개체는 IVC(inferior vena cava)이고, 상기 제2 해부학적 개체는 간이고, 상기 제4 해부학적 개체는 횡격막인 것인, 방법.
  2. 제 1 항에 있어서, 상기 제1 의료영상으로부터 상기 선택된 적어도 하나의 지점을 포함하는 상기 제1 해부학적 개체를 추출하는 단계는,
    상기 선택된 적어도 하나의 지점과 인접하고, 상기 선택된 적어도 하나의 지점과 유사한 해부학적 특징을 갖는 지점들을 검출하는 단계; 및
    상기 검출된 지점들을 이용하여 상기 선택된 적어도 하나의 지점을 포함하는 상기 제1 해부학적 개체의 영역을 결정하는 단계를 포함하는 방법.
  3. 제 2 항에 있어서, 상기 선택된 적어도 하나의 지점과 유사한 해부학적 특징을 갖는 지점들을 검출하는 단계는,
    조영 증강된(contrast enhanced) 상기 제1 의료영상에서 상기 선택된 적어도 하나의 지점과의 콘트라스트가 임계값 이하인 지점들을 검출하는, 방법.
  4. 제 1 항에 있어서, 상기 제1 의료영상으로부터 상기 선택된 적어도 하나의 지점의 인근에 위치하는 상기 제2 해부학적 개체를 추출하는 단계는,
    조영 증강된(contrast enhanced) 상기 제1 의료영상에서 기 설정된 밝기값 범위내에 있는 지점들을 검출하는 단계; 및
    상기 검출된 지점들을 통해 구성된 클러스터들 중에서 부피가 최대인 클러스터를 추출하는 단계를 포함하는, 방법
  5. 제 4 항에 있어서,
    상기 제1 의료영상에서 선택된 적어도 하나의 지점의 밝기값은 상기 기 설정된 밝기값 범위를 벗어나는, 방법.
  6. 제 1 항에 있어서, 상기 제2 의료영상으로부터 상기 제3 해부학적 개체 및 상기 제4 해부학적 개체를 추출하는 단계는,
    상기 제2 의료영상의 밝기값에 기초하여, 상기 제2 의료영상의 이진화 영상을 생성하는 단계;
    상기 이진화 영상의 각 후보지점들에서 헤시안 행렬(Hessian matrix)의 고유값(eigen value)들을 산출하는 단계; 및
    상기 산출된 고유값을 통해서 상기 이진화 영상의 각 후보지점들이 상기 제2 의료영상에서 추출할 상기 제3 해부학적 개체 또는 상기 제4 해부학적 개체 중 적어도 하나에 포함되는지를 판단하는 단계를 포함하는 방법.
  7. 제 6 항에 있어서, 상기 제2 의료영상의 이진화 영상을 생성하는 단계는,
    상기 제2 의료영상에서 추출할 해부학적 개체의 초음파 반사 특성에 따라서 임계 밝기값을 결정하는 단계; 및
    상기 임계 밝기값을 이용하여 상기 제2 의료영상을 이진화하는 단계를 포함하는 방법.
  8. 제 6 항에 있어서, 상기 이진화 영상의 각 지점들이 상기 제2 의료영상에서 추출할 상기 제3 해부학적 개체 또는 상기 제4 해부학적 개체 중 적어도 하나에 포함되는지를 판단하는 단계는,
    상기 산출된 고유값들 중 어느 하나의 고유값의 크기를 나머지 고유값들의 크기들과 각각 비교하는, 방법.
  9. 삭제
  10. 제 1 항에 있어서, 상기 제1 의료영상과 상기 제2 의료영상을 정합하는 단계는,
    상기 제2 해부학적 개체에 기초하여 이동된 상기 어느 하나의 영상의 좌표계를 다른 하나의 영상의 좌표계와 사상(mapping)시키는 단계를 더 포함하는 방법.
  11. 제 1 항에 있어서,
    상기 제1 의료영상은 의료시술 이전에 촬영된 3차원의 MR, CT, PET, SPECT, 또는 X-ray 영상이고,
    상기 제2 의료영상은 의료시술 중 실시간으로 촬영되는 2차원 또는 3차원의 초음파 영상인, 방법.
  12. 상이한 모달리티(modality)의 의료영상들을 정합하는 장치에 있어서,
    비 실시간으로 획득된 제1 의료영상을 저장하는 저장부;
    상기 저장된 제1 의료영상을 출력하고, 상기 제1 의료영상에서 적어도 하나의 지점을 선택받는 사용자 인터페이스;
    상기 제1 의료영상과 상이한 모달리티를 갖는 제2 의료영상을 실시간으로 획득하는 제2 의료영상 획득부; 및
    상기 제1 의료영상으로부터 상기 선택된 적어도 하나의 지점을 포함하는 제1 해부학적 개체 및 상기 선택된 지점의 인근에 위치하는 제2 해부학적 개체를 각각 추출하고, 상기 제2 의료영상으로부터 상기 제1 해부학적 개체에 대응되는 제3 해부학적 개체 및 상기 제2 해부학적 개체에 대응되는 제4 해부학적 개체를 추출하고, 상기 제1 의료영상과 상기 제2 의료영상으로부터 추출된 해부학적 개체들 간의 기하학적 관계를 이용하여 상기 제1 의료영상과 상기 제2 의료영상을 정합하는 영상처리부를 포함하고,
    상기 영상처리부는,
    상기 제1 해부학적 개체 및 상기 제3 해부학적 개체에 기초하여, 상기 제1 의료영상과 상기 제2 의료영상을 일 축에 대하여 정렬하고, 상기 제2 해부학적 개체 및 상기 제4 해부학적 개체에 기초하여, 상기 일 축에 대하여 정렬된 상기 제1 의료영상 및 상기 제2 의료영상 중 어느 하나를 이동하는 정합부를 포함하며,
    상기 제1 해부학적 개체 및 상기 제3 해부학적 개체는 IVC(inferior vena cava)이고, 상기 제2 해부학적 개체는 간이고, 상기 제4 해부학적 개체는 횡격막인 것인, 장치.
  13. 제 12 항에 있어서, 상기 영상처리부는,
    상기 제1 의료영상에서, 상기 선택된 적어도 하나의 지점과 인접하고 상기 선택된 적어도 하나의 지점과 유사한 해부학적 특징을 갖는 지점들을 검출하고, 상기 검출된 지점들을 이용하여 상기 선택된 지점을 포함하는 해부학적 개체의 영역들을 결정하는 제1 개체 추출부를 포함하고,
    상기 제1 개체 추출부는, 상기 선택된 적어도 하나의 지점과 유사한 해부학적 특징을 갖는 지점들을 검출하기 위하여, 조영 증강된(contrast enhanced) 상기 제1 의료영상에서 상기 선택된 적어도 하나의 지점과의 콘트라스트가 임계값 이하인 지점들을 검출하는 장치.
  14. 제 12 항에 있어서,
    상기 영상처리부는, 조영 증강된(contrast enhanced) 상기 제1 의료영상에서 기 설정된 밝기값 범위내에 있는 지점들을 검출하고, 상기 검출된 지점들을 통해 구성된 클러스터들 중에서 부피가 최대인 클러스터를 추출하는 제2 개체 추출부를 포함하고,
    상기 제1 의료영상에서 선택된 적어도 하나의 지점의 밝기값은, 상기 기 설정된 밝기값 범위를 벗어나는, 장치.
  15. 제 12 항에 있어서, 상기 영상처리부는,
    상기 제2 의료영상의 밝기값에 기초하여, 상기 제2 의료영상의 이진화 영상을 생성하는 이진화부; 및
    상기 이진화 영상의 각 후보지점들에서 헤시안 행렬(Hessian matrix)의 고유값(eigen value)들을 산출하고, 상기 산출된 고유값을 통해서 상기 이진화 영상의 각 후보지점들이 상기 제2 의료영상에서 추출할 상기 제3 해부학적 개체 또는 상기 제4 해부학적 개체 중 적어도 하나에 포함되는지를 판단하는 제3 개체 추출부를 포함하는 장치.
  16. 제 15 항에 있어서, 상기 이진화부는,
    상기 제2 의료영상에서 추출할 해부학적 개체의 초음파 반사 특성에 따라서 임계 밝기값을 결정하고, 상기 임계 밝기값을 이용하여 상기 제2 의료영상을 이진화하는, 장치.
  17. 제 15 항에 있어서, 상기 제3 개체 추출부는,
    상기 이진화 영상의 각 후보지점들이 상기 제2 의료영상에서 추출할 상기 제3 해부학적 개체 또는 상기 제4 해부학적 개체에 포함되는지를 판단하기 위하여, 상기 산출된 고유값들 중 어느 하나의 고유값의 크기를 나머지 고유값들의 크기들과 각각 비교하는 장치.
  18. 삭제
  19. 제 12 항에 있어서, 상기 정합부는,
    상기 제2 해부학적 개체에 기초하여 이동된 상기 어느 하나의 영상의 좌표계를 다른 하나의 영상의 좌표계와 사상(mapping)시키는, 장치.
  20. 제 1 내지 제 8 항, 제 10 항 및 제 11 항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130106309A 2013-09-04 2013-09-04 의료영상들을 정합하는 방법 및 장치 KR102205898B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130106309A KR102205898B1 (ko) 2013-09-04 2013-09-04 의료영상들을 정합하는 방법 및 장치
EP14183504.1A EP2846310A3 (en) 2013-09-04 2014-09-04 Method and apparatus for registering medical images
JP2014179864A JP2015047506A (ja) 2013-09-04 2014-09-04 医療映像を整合する方法及びその装置
US14/477,157 US11013495B2 (en) 2013-09-04 2014-09-04 Method and apparatus for registering medical images
CN201410450193.0A CN104424647A (zh) 2013-09-04 2014-09-04 用于对医学图像进行配准的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130106309A KR102205898B1 (ko) 2013-09-04 2013-09-04 의료영상들을 정합하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150027637A KR20150027637A (ko) 2015-03-12
KR102205898B1 true KR102205898B1 (ko) 2021-01-21

Family

ID=51539132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130106309A KR102205898B1 (ko) 2013-09-04 2013-09-04 의료영상들을 정합하는 방법 및 장치

Country Status (5)

Country Link
US (1) US11013495B2 (ko)
EP (1) EP2846310A3 (ko)
JP (1) JP2015047506A (ko)
KR (1) KR102205898B1 (ko)
CN (1) CN104424647A (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102328266B1 (ko) * 2014-10-29 2021-11-19 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 영상 처리부가 마련된 초음파 영상 장치
WO2016134771A1 (en) * 2015-02-26 2016-09-01 Brainlab Ag Adaptation of image data sets to an updated atlas-based reference system
KR102333479B1 (ko) * 2015-03-31 2021-12-03 한국전자통신연구원 유방 병변 진단을 위한 영상 판독 보조 방법 및 장치
US10127655B2 (en) * 2015-07-09 2018-11-13 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
KR102522539B1 (ko) * 2015-08-17 2023-04-18 삼성전자주식회사 의료영상 표시장치 및 의료영상 처리방법
GB2542114B (en) * 2015-09-03 2018-06-27 Heartfelt Tech Limited Method and apparatus for determining volumetric data of a predetermined anatomical feature
US10049449B2 (en) * 2015-09-21 2018-08-14 Shanghai United Imaging Healthcare Co., Ltd. System and method for image reconstruction
KR102532287B1 (ko) * 2015-10-08 2023-05-15 삼성메디슨 주식회사 초음파 장치 및 그 제어방법
CN106846380B (zh) * 2016-12-26 2019-09-03 北京理工大学 一种医学图像配准方法及设备
WO2019180023A1 (en) * 2018-03-19 2019-09-26 Koninklijke Philips N.V. Multi-modal imaging alignment
KR102082270B1 (ko) * 2018-04-10 2020-02-27 광주과학기술원 혈관 조영 영상 및 x선 투시 영상의 정합 장치
KR102704243B1 (ko) * 2018-11-22 2024-09-09 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
CN114364323A (zh) * 2019-08-16 2022-04-15 未艾医疗技术(深圳)有限公司 基于vrds ai静脉影像的识别方法及产品
CN110517302B (zh) * 2019-08-30 2022-06-24 联想(北京)有限公司 一种图像处理的方法和装置
KR102427573B1 (ko) * 2019-09-09 2022-07-29 하이윈 테크놀로지스 코포레이션 의료 영상 등록 방법
KR102347496B1 (ko) * 2019-10-08 2022-01-10 사회복지법인 삼성생명공익재단 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법
US20220270256A1 (en) * 2019-12-13 2022-08-25 Siemens Healthcare Gmbh Compensation of organ deformation for medical image registration
KR102375910B1 (ko) * 2020-03-02 2022-03-16 연세대학교 산학협력단 초음파 영상유도 방법 및 장치
US20220257213A1 (en) * 2020-10-26 2022-08-18 Chison Medical Technologies Co., Ltd. Pulse wave velocity measuring method and ultrasound device
KR102695373B1 (ko) * 2020-10-29 2024-08-14 주식회사 크레스콤 통합 의료 영상 생성 방법, 통합 의료 영상 생성 장치, 및 통합 의료 영상 생성 시스템

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117026B2 (en) * 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
DE102004020587B4 (de) * 2004-04-27 2016-02-18 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung mit 2D-Durchleuchtungsbildern
US8233681B2 (en) * 2004-09-24 2012-07-31 The University Of North Carolina At Chapel Hill Methods, systems, and computer program products for hierarchical registration between a blood vessel and tissue surface model for a subject and a blood vessel and tissue surface image for the subject
US20090306509A1 (en) 2005-03-30 2009-12-10 Worcester Polytechnic Institute Free-hand three-dimensional ultrasound diagnostic imaging with position and angle determination sensors
US8184927B2 (en) * 2006-07-31 2012-05-22 Stc.Unm System and method for reduction of speckle noise in an image
US8437518B2 (en) 2006-08-08 2013-05-07 Koninklijke Philips Electronics N.V. Registration of electroanatomical mapping points to corresponding image data
GB2451416B (en) 2006-09-07 2010-05-19 Siemens Molecular Imaging Ltd ROI-based assessment of abnormality using transformation invariant features
US7996060B2 (en) * 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
IL188569A (en) 2007-01-17 2014-05-28 Mediguide Ltd Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system
US8290303B2 (en) 2007-10-11 2012-10-16 General Electric Company Enhanced system and method for volume based registration
EP2130497A1 (en) * 2008-06-05 2009-12-09 Medison Co., Ltd. Anatomical feature extraction from an ultrasound liver image
EP2131212A3 (en) 2008-06-05 2011-10-05 Medison Co., Ltd. Non-Rigid Registration Between CT Images and Ultrasound Images
US8345943B2 (en) 2008-09-12 2013-01-01 Fujifilm Corporation Method and apparatus for registration and comparison of medical images
US20100135546A1 (en) 2008-11-28 2010-06-03 General Electric Company Landmark guides for registration of multi-modality medical images
KR101132536B1 (ko) * 2008-12-02 2012-04-02 삼성메디슨 주식회사 영상 정합을 수행하는 시스템 및 방법
EP2194506B1 (en) 2008-12-02 2016-03-09 Samsung Medison Co., Ltd. Image based registration
KR101121353B1 (ko) * 2009-08-03 2012-03-09 한국과학기술원 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
US8396268B2 (en) * 2010-03-31 2013-03-12 Isis Innovation Limited System and method for image sequence processing
EP2584990B1 (en) * 2010-06-24 2019-04-24 UC-Care Ltd. Focused prostate cancer treatment system
US10290076B2 (en) * 2011-03-03 2019-05-14 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services System and method for automated initialization and registration of navigation system
US9259199B2 (en) 2011-05-27 2016-02-16 Kabushiki Kaisha Toshiba Image processing apparatus and X-ray diagnosis apparatus
KR101932721B1 (ko) * 2012-09-07 2018-12-26 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
GB201307590D0 (en) * 2013-04-26 2013-06-12 St Georges Hosp Medical School Processing imaging data to obtain tissue type information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WOO HYUN NAM 외 4명, Automatic registration between 3D intra-operative ultrasound and pre-operative CT images of the liver based on robust edge matching, Phys. Med. Biol. Vol.57 pp 69-91(2011.11.29. 공개)*

Also Published As

Publication number Publication date
EP2846310A2 (en) 2015-03-11
US20150065859A1 (en) 2015-03-05
EP2846310A3 (en) 2015-07-22
KR20150027637A (ko) 2015-03-12
CN104424647A (zh) 2015-03-18
US11013495B2 (en) 2021-05-25
JP2015047506A (ja) 2015-03-16

Similar Documents

Publication Publication Date Title
KR102205898B1 (ko) 의료영상들을 정합하는 방법 및 장치
US10362941B2 (en) Method and apparatus for performing registration of medical images
US10542955B2 (en) Method and apparatus for medical image registration
US9697639B2 (en) Three-dimensional model data generation device, method and program
KR102114415B1 (ko) 의료 영상 정합 방법 및 장치
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
CN107111875B (zh) 用于多模态自动配准的反馈
KR102233966B1 (ko) 의료 영상 정합 방법 및 그 장치
Turco et al. Interpretable machine learning for characterization of focal liver lesions by contrast-enhanced ultrasound
US9545242B2 (en) Sensor coordinate calibration in an ultrasound system
US7376254B2 (en) Method for surface-contouring of a three-dimensional image
US9521980B2 (en) Method for registering medical images, apparatus performing the method, and computer readable media including the method
US10076311B2 (en) Method and apparatus for registering medical images
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
Pourtaherian et al. Benchmarking of state-of-the-art needle detection algorithms in 3D ultrasound data volumes
Zang et al. 3D segmentation and reconstruction of endobronchial ultrasound
WO2021099171A1 (en) Systems and methods for imaging screening
Deng et al. A hierarchical model for automated breast lesion detection from ultrasound 3D data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right