KR102481564B1 - 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 - Google Patents
의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 Download PDFInfo
- Publication number
- KR102481564B1 KR102481564B1 KR1020210034596A KR20210034596A KR102481564B1 KR 102481564 B1 KR102481564 B1 KR 102481564B1 KR 1020210034596 A KR1020210034596 A KR 1020210034596A KR 20210034596 A KR20210034596 A KR 20210034596A KR 102481564 B1 KR102481564 B1 KR 102481564B1
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- type
- shape information
- learning
- neural network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 40
- 230000008569 process Effects 0.000 title description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000017531 blood circulation Effects 0.000 claims abstract description 46
- 238000003672 processing method Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 22
- 238000003745 diagnosis Methods 0.000 claims description 5
- 230000000747 cardiac effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 210000001765 aortic valve Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000000591 tricuspid valve Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000004115 mitral valve Anatomy 0.000 description 2
- 208000006029 Cardiomegaly Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 210000003102 pulmonary valve Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Cardiology (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
일 실시예에 따른 의료영상 처리 장치가 수행하는 의료영상 처리 방법은, 진단 대상자의 심장에 대한 신체 X선 영상을 기 학습된 인공 신경망 모델에 입력하여 상기 인공 신경망 모델의 출력으로서 상기 신체 X선 영상의 심장 내 인공판막의 종류를 추정하고, 상기 인공판막과 관련된 형태 정보를 획득하는 단계와, 상기 획득된 형태 정보에 기초하여 심장의 혈류 방향을 추정하는 단계와, 상기 추정된 인공판막의 종류와 상기 추정된 혈류 방향에 기초하여 상기 인공판막의 종류를 재추정한 결과로서 상기 인공판막의 종류를 결정하는 단계를 포함한다.
Description
본 발명은 신체에 대한 의료영상을 학습하는 방법 및 장치, 그리고 신체에 대한 의료영상을 처리하는 방법 및 장치에 관한 것이다.
의료영상은 의료영상 장치를 이용하여 진단 대상자의 신체 내부 구조에 대한 정보를 포함하도록 획득한 영상을 일컫는다. 이러한 의료영상을 획득하기 위해 이용되는 의료영상 장치는 비침습 검사 장치로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 사용자에게 보여준다. 의사 등의 사용자는 의료영상 장치에서 출력되는 의료영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다. 예를 들어, 의료영상 장치로는 대상체로 엑스(X)선을 조사하고 대상체를 통과한 X선을 감지하여 영상을 이미징하는 X레이(X-ray) 촬영 장치, 자기 공명 영상을 제공하기 위한 자기 공명 영상(MRI: magnetic resonance imaging) 장치, 컴퓨터 단층 촬영(CT: Computed Tomography) 장치, 및 초음파(Ultrasound) 진단 장치 등이 있다.
인공판막은 인간 또는 동물 신체 내에 이식되며 예를 들어, 혈관 내부에서 또는 그 근처에서 수동적인 하나의 직접적인 인공 판막으로서 사용될 수 있다. 인공 판막은 완전하게 미리 형성될 수 있고 그대로 이식될 수 있거나, 기능적 인공판막을 형성하는데 필요한 인공 및/또는 천연 부품을 사용하여 원위치에 형성될 수 있다.
이러한 인공판막은 재료에 따라 기계 판막(mechanical valve)과 조직 판막(tissue valve)으로 크게 나눌 수 있고, 위치에 따라 이첨판막(mitral valve), 대동맥판막(aortic valve), 삼첨판막(tricuspid valve) 및 폐동맥판막(pulmonary valve) 등으로 나눌 수 있는데, 인공판막을 갖는 인간 또는 동물을 대상으로 하여 촬영된 의료영상에는 인공판막이 함께 촬영되고, 이처럼 촬영된 의료영상 내에 포함된 인공판막에 대해서 의료행위 등을 위하여 그 종류를 구분할 필요가 있다.
종래 기술에 따르면, 의료영상에 대한 의사의 목시적 관찰에 의존하여 의료영상 내에 포함된 인공판막의 종류를 구분하였는데, 고도의 숙련된 의사만이 인공판막의 종류를 정확히 구분할 수 있었으며, 의사의 숙련도에 따라 의료영상 내에 포함된 인공판막의 종류 구분에 대한 정확도가 변화되는 문제점이 있었다.
실시예에 따르면, 의료영상 내에 포함된 인공판막에 대해 인공 신경망 모델 및 그 학습 기법을 이용하여 종류를 정확히 구분할 수 있도록 한 의료영상 처리 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 의료영상 처리 장치가 수행하는 의료영상 처리 방법은, 진단 대상자의 심장에 대한 신체 엑스(X)선 영상을 기 학습된 인공 신경망 모델에 입력하여 상기 인공 신경망 모델의 출력으로서 상기 신체 X선 영상의 심장 내 인공판막의 종류를 추정하고, 상기 인공판막과 관련된 형태 정보를 획득하는 단계와, 상기 획득된 형태 정보에 기초하여 심장의 혈류 방향을 추정하는 단계와, 상기 추정된 인공판막의 종류와 상기 추정된 혈류 방향에 기초하여 상기 인공판막의 종류를 재추정한 결과로서 상기 인공판막의 종류를 결정하는 단계를 포함한다.
제 2 관점에 따라 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체의 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 상기 의료영상 처리 장치가 수행하는 의료영상 처리 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 3 관점에 따라 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터프로그램은, 프로세서에 의해 실행되면, 상기 의료영상 처리 장치가 수행하는 의료영상 처리 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 4 관점에 따른 의료영상 처리 장치의 의료영상 학습 방법은, 제 1 학습 데이터 세트를 구성하는 입력으로서 심장에 대한 학습용 신체 X선 영상들을 준비하는 단계와, 상기 제 1 학습 데이터 세트를 구성하는 레이블로서 상기 학습용 신체 X선 영상들에 각각 대응하는 인공판막의 종류 정보 및 상기 인공판막과 관련된 형태 정보를 준비하는 단계와, 제 2 학습 데이터 세트를 구성하는 입력으로서 복수의 형태 정보 및 상기 복수의 형태 정보에 대응하는 심장 혈류 방향 정보를 준비하는 단계와, 상기 제 2 학습 데이터 세트를 구성하는 레이블로서 상기 복수의 형태 정보 및 상기 심장 혈류 방향 정보에 대응하는 인공판막의 종류 정보를 준비하는 단계와, 상기 제 1 학습 데이터 세트를 이용하여 인공 신경망 모델의 제 1 계층을 학습시키고, 상기 제 2 학습 데이터 세트를 이용하여 상기 인공 신경망 모델의 제 2 계층을 학습시키는 단계를 포함한다.
제 5 관점에 따라 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체의 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 상기 의료영상 처리 장치의 의료영상 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 6 관점에 따라 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터프로그램은, 프로세서에 의해 실행되면, 상기 의료영상 처리 장치의 의료영상 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 7 관점에 따른 의료영상 처리 장치는, 진단 대상자의 심장에 대한 신체 X선 영상을 입력 받는 입력부와, 상기 입력부를 통하여 입력 받은 상기 진단 대상자의 신체 X선 영상으로부터 인공 신경망 모델이 상기 신체 X선 영상 내 인공판막의 종류를 추정하고, 상기 인공판막과 관련된 형태 정보를 획득하는 인공 신경망 모델부와, 상기 획득된 형태 정보에 기초하여 심장의 혈류 방향을 추정하고, 상기 추정된 인공판막의 종류와 상기 추정된 혈류 방향에 기초하여 상기 인공판막의 종류를 재추정한 결과로서 상기 인공판막의 종류를 결정하는 처리부와, 상기 처리부에 의해 결정된 상기 인공판막의 종류에 대한 정보를 출력하는 출력부를 포함한다.
제 8 관점에 따른 의료영상 처리 장치는, 심장에 대한 학습용 신체 X선 영상들을 입력으로 포함하고 상기 학습용 신체 X선 영상들에 각각 대응하는 인공판막의 종류 정보 및 상기 인공판막과 관련된 형태 정보를 레이블로서 포함하는 제 1 학습 데이터 세트, 그리고 복수의 형태 정보 및 상기 복수의 형태 정보에 대응하는 심장 혈류 방향 정보를 입력으로 포함하고 상기 복수의 형태 정보 및 상기 심장 혈류 방향 정보에 대응하는 인공판막의 종류 정보를 레이블로서 포함하는 제 2 학습 데이터 세트를 입력 받는 입력부와, 상기 입력부를 통하여 입력 받은 상기 제 1 학습 데이터 세트를 인공 신경망 모델의 제 1 계층이 학습하고, 상기 입력부를 통하여 입력 받은 상기 제 2 학습 데이터 세트를 상기 인공 신경망 모델의 제 2 계층이 학습하는 인공 신경망 모델부를 포함한다.
일 실시예에 따르면 의료영상 내에 포함된 인공판막에 대해 인공 신경망 모델 및 그 학습 기법을 이용하여 종류를 정확히 구분할 수 있다. 이렇게 인공 신경망 모델을 이용해 구분한 인공판막의 종류에 대한 정보를 의료인에게 제공함으로써, 의료인이 신체 X선 영상에 포함된 인공판막의 종료를 정확하게 최종 결정할 수 있도록 지원하는 효과가 있다.
도 1은 일 실시예에 따른 의료영상 처리 장치의 구성도이다.
도 2는 본 발명의 제 1 실시예에 따라 의료영상 처리 장치의 인공 신경망 모델부의 인공 신경망 모델을 학습시키는 과정을 나타낸 흐름도이다.
도 3은 본 발명의 제 1 실시예에 따라 학습된 인공 신경망 모델을 포함하는 의료영상 처리 장치가 진단 대상자의 심장 내 인공판막의 종류를 결정하는 과정을 나타낸 흐름도이다.
도 4는 본 발명의 제 2 실시예에 따라 의료영상 처리 장치의 인공 신경망 모델부의 인공 신경망 모델을 학습시키는 과정을 나타낸 흐름도이다.
도 5는 인공판막의 종류별 그림자 형태를 나타낸 도면이다.
도 2는 본 발명의 제 1 실시예에 따라 의료영상 처리 장치의 인공 신경망 모델부의 인공 신경망 모델을 학습시키는 과정을 나타낸 흐름도이다.
도 3은 본 발명의 제 1 실시예에 따라 학습된 인공 신경망 모델을 포함하는 의료영상 처리 장치가 진단 대상자의 심장 내 인공판막의 종류를 결정하는 과정을 나타낸 흐름도이다.
도 4는 본 발명의 제 2 실시예에 따라 의료영상 처리 장치의 인공 신경망 모델부의 인공 신경망 모델을 학습시키는 과정을 나타낸 흐름도이다.
도 5는 인공판막의 종류별 그림자 형태를 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
본 명세서에서 진단 대상자나 환자 등은 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다.
또한, 본 명세서에서 '영상'은 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다.
본 발명의 의료영상 처리 장치, 그 의료영상 학습 방법 및 의료영상 처리 방법 등은 여러 가지의 실시예 형태로 구현할 수 있고, 이하의 설명에서는 제 1 실시예와 제 2 실시예에 대해 대표적으로 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 의료영상 처리 장치(100)의 구성도이고, 도시된 의료영상 처리 장치(100)는 여러 가지의 형태로 실시되는 의료영상 학습 방법 및 의료영상 처리 방법을 수행할 수 있는데, 이러한 의료영상 처리 장치(100)에 대한 설명을 제 1 실시예와 제 2 실시예로 나누어서 설명하기로 한다.
<제 1 실시예>
도 1은 일 실시예에 따른 의료영상 처리 장치(100)의 구성을 도시하고 있으며, 다만 도 1에 도시된 것은 예시적인 것에 불과하다. 이러한 의료영상 처리 장치(100)는 PC나 서버 등에서 구현되거나 이를 포함할 수 있다.
도 1을 참조하면, 의료영상 처리 장치(100)는 입력부(110), 인공 신경망 모델(artificial neutral network model)부(120), 처리부(130) 및 출력부(140)를 포함한다.
입력부(110)는 학습 데이터 세트를 구성하는 입력으로서 심장에 대한 학습용 신체 X선 영상들을 입력 받는다. 그리고, 입력부(110)는 학습 데이터 세트를 구성하는 레이블로서 신체 X선 영상의 심장 내 인공판막의 종류 정보 및 인공판막과 관련된 형태 정보를 입력 받는다. 또한, 입력부(110)는 진단 대상자의 심장에 대한 신체 X선 영상을 입력 받는다. 여기서, 학습 데이터 세트는 인공 신경망 모델부(120)를 학습시킬 때에 이용하기 위한 것이고, 진단 대상자의 심장에 대한 신체 X선 영상은 기 학습된 인공 신경망 모델부(120)에 입력하여 인공판막의 종류를 결정하기 위한 것이다.
인공 신경망 모델부(120)는 입력부(110)를 통하여 입력 받은 학습 데이터 세트를 인공 신경망 모델이 학습한다. 그리고, 학습된 인공 신경망 모델부(120)는 입력부(110)를 통하여 입력 받은 진단 대상자의 신체 X선 영상으로부터 인공 신경망 모델이 신체 X선 영상 내 인공판막의 종류를 추정하고, 인공판막과 관련된 형태 정보를 획득한다. 예를 들어, 인공 신경망 모델부(120)는 인공판막과 관련된 형태 정보로서 인공판막의 그림자 형태에 대한 정보를 획득할 수 있다. 예컨대, 인공 신경망 모델은 Mask R-CNN 모델일 수 있다. Mask R-CNN 모델은 심장에 대한 학습용 신체 X선 영상들을 Mask R-CNN 모델의 훈련 영상으로 이용할 수 있고, 학습용 신체 X선 영상들에 각각 대응하는 신체 X선 영상의 심장 내 인공판막의 종류 정보 및 인공판막과 관련된 형태 정보를 Mask R-CNN 모델의 마스크(Mask)로 이용할 수 있다. 예컨대, 인공 신경망 모델부(120)는 인공 신경망 모델로서 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서를 포함할 수 있다.
처리부(130)는 인공 신경망 모델부(120)에 의해 획득된 인공판막과 관련된 형태 정보에 기초하여 심장의 혈류 방향을 추정하고, 인공 신경망 모델부(120)에 의해 추정된 인공판막의 종류와 추정된 혈류 방향에 기초하여 인공판막의 종류를 재추정한 결과로서 인공판막의 종류를 결정한다. 예를 들어, 처리부(130)는 혈류 방향을 추정할 때에, 획득된 형태 정보와 기 설정된 형태 정보를 비교한 결과에 기초하여 심장의 혈류 방향을 추정할 수 있다. 예컨대, 기 설정된 형태 정보는 복수의 왕관 형태일 수 있고, 처리부(130)는 혈류 방향을 추정할 때에, 복수의 왕관 형태에 각각 대응하는 조직 판막 중 어느 하나에 대한 혈류 방향을 추정할 수 있다. 예컨대, 처리부(130)는 인공 신경망 모델부(120)에 의해 추정된 인공판막의 종류와 추정된 혈류 방향에 기초하여 인공판막의 종류를 재추정한 결과로서 인공판막의 종류를 결정하는 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서를 포함할 수 있다.
출력부(140)는 처리부(130)에 의해 결정된 인공판막의 종류에 대한 정보를 출력한다. 예를 들어, 출력부(140)는 처리부(130)에 의해 결정된 인공판막의 종류에 대한 정보를 외부에서 인지 가능하게 출력할 수 있다. 이러한 출력부(140)는 인공판막의 종류에 대한 정보를 출력하는 포트, 유선 통신 모듈 또는 무선 통신 모듈 등을 포함할 수 있다. 또는, 출력부(140)는 인공판막의 종류에 대한 정보를 영상 형태로 출력할 수 있는 영상 표시 장치를 포함할 수도 있다.
도 2는 본 발명의 제 1 실시예에 따라 의료영상 처리 장치(100)의 인공 신경망 모델부(120)의 인공 신경망 모델을 학습시키는 과정을 나타낸 흐름도이고, 도 3은 본 발명의 제 1 실시예에 따라 학습된 인공 신경망 모델을 포함하는 의료영상 처리 장치(100)가 진단 대상자의 심장 내 인공판막의 종류를 결정하는 과정을 나타낸 흐름도이다.
이하, 도 1 내지 도 3을 참조하여 본 발명의 제 1 실시예에 따른 인공 신경망 모델에 대한 학습 과정, 학습된 인공 신경망 모델을 이용하여 인공판막의 종류를 결정하는 과정 등에 대해 자세히 살펴보기로 한다.
먼저, 의료영상 처리 장치(100)의 운용자 등은 학습 데이터 세트를 구성하는 입력으로서 심장에 대한 학습용 신체 X선 영상들을 준비할 수 있고(S210), 학습 데이터 세트를 구성하는 레이블로서 신체 X선 영상의 심장 내 인공판막의 종류 정보 및 인공판막과 관련된 형태 정보를 준비할 수 있다(S220). 여기서, 레이블로서 학습 데이터 세트에 포함되는 인공판막과 관련된 형태 정보는 인공판막의 그림자 형태에 대한 정보일 수 있다.
이렇게 준비된 학습 데이터 세트가 입력부(110)를 통해 입력되면, 인공 신경망 모델부(120)의 인공 신경망 모델이 학습 데이터 세트를 학습한다(S230). 이렇게, 인공 신경망 모델부(120)가 학습 데이터 세트를 학습하는 횟수는 특별히 제한되지는 않으나, 실시예의 하나로서 최상의 학습 효과를 위해 적정 횟수 범위 이내에서 학습이 이루어질 수도 있다.
의료영상 처리 장치(100)의 인공 신경망 모델부(120)에 대한 학습이 이루어진 후에, 의료영상 처리 장치(100)의 운용자 등은 진단 대상자의 신체 X선 영상을 준비하여 입력부(110)를 통해 입력할 수 있다.
그러면, 단계 S210 내지 단계 S230을 통해 학습된 인공 신경망 모델부(120)는 입력부(110)를 통하여 입력 받은 진단 대상자의 신체 X선 영상으로부터 인공 신경망 모델이 신체 X선 영상 내 인공판막의 종류를 추정하고, 인공판막과 관련된 형태 정보를 획득한다. 여기서, 인공 신경망 모델부(120)는 인공판막과 관련된 형태 정보로서 인공판막의 그림자 형태에 대한 정보를 획득할 수 있다(S310).
여기서, 단계 S310을 통하여 인공 신경망 모델부(120)가 추정한 인공판막의 종류는 진단 대상자의 신체 내에 존재하는 인공판막의 실제 종류와 일치할 수도 있고 불일치할 수도 있다. 진단 대상자의 신체 내에 존재하는 여러 개의 인공판막이 비슷한 위치에 있거나 심장이 커지거나 체형 변화에 의해 일정한 방향으로 복수의 인공판막이 겹쳐진 형태로 X선 영상 내에 포함될 수 있고, 이러한 경우들에는 단계 S310에 의해 추정된 인공판막의 종류가 신체 내에 존재하는 인공판막의 실제 종류와 불일치할 가능성이 다른 예보다 상대적으로 높다.
이에, 의료영상 처리 장치(100)의 처리부(130)는 단계 S310에서 획득된 인공판막과 관련된 형태 정보에 기초하여 심장의 혈류 방향을 추정한다. 여기서, 처리부(130)가 심장의 혈류 방향을 추정하는 이유는 추정된 심장의 혈류 방향을 반영하여 인공판막의 종류를 좀 더 정확히 구분하기 위한 것인데, 모든 종류의 인공판막에 적용할 경우는 오히려 정확도가 저하될 가능성이 있다.
처리부(130)는 단계 S310에서 인공 신경망 모델부(120)가 획득한 인공판막과 관련된 형태 정보와 기 설정된 형태 정보를 비교하여 획득된 형태 정보가 기 설정된 형태 정보에 포함되는지를 확인한다. 예를 들어, 기 설정된 형태 정보를 복수의 왕관 형태, 즉 다양한 왕관 형태일 수 있다. 도 5는 인공판막의 종류별 그림자 형태를 나타낸 도면이다. 도 5를 살펴보면, 조직 판막 중에서도 대동맥판막(Aortic Bio), 폐동맥판막(Pulmonary Bio), 승모판막(Mitral Bio) 및 삼첨판막(Tricuspid Bio)이 왕관 형태의 그림자를 갖는 것을 알 수 있다.
이어서, 처리부(130)는 단계 S310에서 인공 신경망 모델부(120)가 획득한 인공판막과 관련된 형태 정보와 기 설정된 형태 정보를 비교한 결과에 기초하여 심장의 혈류 방향을 추정한다. 예를 들어, 복수의 왕관 형태 중 어떤 왕관 형태인가에 따라 심장의 하방에서 우상방으로 흐르는 혈류인지 아니면 심장의 우방에서 좌방으로 흐르는 혈류인지 등을 추정할 수 있다(S320).
다음으로, 처리부(130)는 단계 S310에서 추정된 인공판막의 종류와 단계 S320에서 추정된 혈류 방향에 기초하여, 단계 S310에서 입력된 신체 X선 영상의 심장 내 인공판막의 종류를 재추정한 결과로서 인공판막의 종류를 결정한다. 단계 S320에서 인공판막과 관련된 형태 정보가 기 설정된 형태 정보에 포함되지 않는다고 확인된 경우는 단계 S310에서 추정된 결과를 그대로 인공판막의 종류로서 최종 결정한다. 하지만, 단계 S320에서 인공판막과 관련된 형태 정보가 기 설정된 형태 정보에 포함된다고 확인된 경우는 단계 S310에서 추정된 결과를 그대로 사용하지 않고 추정된 혈류 방향을 반영하여 인공판막의 종류를 정정할 수 있다. 예를 들어, 심장의 하방에서 우상방으로 흐르는 혈류로 추정된 경우에는 단계 S310의 추정 결과와 상관없이 인공판막의 종류를 대동맥판막으로 최종 결정할 수 있고, 심장의 우방에서 좌방으로 흐르는 혈류로 추정된 경우에는 단계 S310의 추정 결과와 상관없이 인공판막의 종류를 삼첨판막으로 최종 결정할 수 있다(S330).
이후, 출력부(140)는 처리부(130)에 의해 결정된 인공판막의 종류에 대한 정보를 출력한다. 예를 들어, 출력부(140)는 처리부(130)에 의해 결정된 인공판막의 종류에 대한 정보를 외부에서 인지 가능하게 영상 형태로 출력하거나 유선 통신 모듈 또는 무선 통신 모듈 등을 통하여 별도의 전자장치로 송신할 수 있다.
<제 2 실시예>
제 2 실시예는 제 1 실시예에서 처리부(130)가 심장 내 인공판막의 종류를 재추정하였던 것까지 인공 신경망 모델부(120)가 수행하도록 한 경우라 할 수 있다.
도 1은 일 실시예에 따른 의료영상 처리 장치(100)의 구성을 도시하고 있으며, 다만 도 1에 도시된 것은 예시적인 것에 불과하다. 이러한 의료영상 처리 장치(100)는 PC나 서버 등에서 구현되거나 이를 포함할 수 있다.
도 1을 참조하면, 의료영상 처리 장치(100)는 입력부(110), 인공 신경망 모델부(120), 처리부(130) 및 출력부(140)를 포함한다.
입력부(110)는 제 1 학습 데이터 세트를 구성하는 입력으로서 심장에 대한 학습용 신체 X선 영상들을 입력 받는다. 그리고, 입력부(110)는 제 1 학습 데이터 세트를 구성하는 레이블로서 신체 X선 영상의 심장 내 인공판막의 종류 정보 및 인공판막과 관련된 형태 정보를 입력 받는다. 또, 입력부(110)는 제 2 학습 데이터 세트를 구성하는 입력으로서 복수의 형태 정보 및 복수의 형태 정보에 대응하는 심장 혈류 방향 정보를 입력 받는다. 그리고, 입력부(110)는 제 2 학습 데이터 세트를 구성하는 레이블로서 복수의 형태 정보 및 심장 혈류 방향 정보에 대응하는 인공판막의 종류 정보를 입력 받는다. 예를 들어, 제 1 학습 데이터 세트의 레이블로서 포함되는 인공판막과 관련된 형태 정보는 인공판막의 그림자 형태에 대한 정보일 수 있다. 그리고, 복수의 형태 정보는 복수의 왕관 형태일 수 있고, 심장 혈류 방향 정보는 복수의 왕관 형태에 각각 대응하는 조직 판막 중 어느 하나에 대한 혈류 방향일 수 있다. 또한, 입력부(110)는 진단 대상자의 심장에 대한 신체 X선 영상을 입력 받는다. 여기서, 제 1 학습 데이터 세트 및 제 2 학습 데이터 세트는 인공 신경망 모델부(120)를 학습시킬 때에 이용하기 위한 것이고, 진단 대상자의 심장에 대한 신체 X선 영상은 기 학습된 인공 신경망 모델부(120)에 입력하여 인공판막의 종류를 결정하기 위한 것이다.
인공 신경망 모델부(120)는 입력부(110)를 통하여 입력 받은 제 1 학습 데이터 세트를 인공 신경망 모델의 제 1 계층이 학습하고, 입력부(110)를 통하여 입력 받은 제 2 학습 데이터 세트를 인공 신경망 모델의 제 2 계층이 학습한다. 그리고, 학습된 인공 신경망 모델을 포함하는 인공 신경망 모델부(120)는 입력부(110)를 통하여 입력 받은 진단 대상자의 신체 X선 영상으로부터 인공 신경망 모델의 제 1 계층이 신체 X선 영상 내 인공판막의 종류를 추정하고, 인공판막과 관련된 형태 정보를 획득한다. 그리고, 획득된 인공판막과 관련된 형태 정보에 기초하여 인공 신경망 모델의 제 2 계층이 심장의 혈류 방향을 추정하고, 제 1 계층이 추정한 인공판막의 종류와 추정된 혈류 방향에 기초하여 인공판막의 종류를 재추정한 결과로서 인공판막의 종류를 결정한다. 예컨대, 인공 신경망 모델은 Mask R-CNN 모델일 수 있다. 예컨대, 인공 신경망 모델부(120)는 인공 신경망 모델로서 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서를 포함할 수 있다.
처리부(130)는 인공 신경망 모델부(120)에 의해 결정된 인공판막의 종류를 출력하도록 출력부(140)를 제어한다. 예를 들어, 처리부(130)는 다양한 명령어를 실행하는 마이크로프로세서를 포함할 수 있다.
출력부(140)는 처리부(130)의 제어에 따라 인공판막의 종류에 대한 정보를 출력한다. 예를 들어, 출력부(140)는 처리부(130)에 의해 결정된 인공판막의 종류에 대한 정보를 외부에서 인지 가능하게 출력할 수 있다. 이러한 출력부(140)는 인공판막의 종류에 대한 정보를 출력하는 포트, 유선 통신 모듈 또는 무선 통신 모듈 등을 포함할 수 있다. 또는, 출력부(140)는 인공판막의 종류에 대한 정보를 영상 형태로 출력할 수 있는 영상 표시 장치를 포함할 수도 있다.
도 4는 본 발명의 제 2 실시예에 따라 의료영상 처리 장치(100)의 인공 신경망 모델부(120)의 인공 신경망 모델을 학습시키는 과정을 나타낸 흐름도이다.
이하, 도 1 및 도 4를 참조하여 본 발명의 제 2 실시예에 따른 인공 신경망 모델에 대한 학습 과정, 학습된 인공 신경망 모델을 이용하여 인공판막의 종류를 결정하는 과정 등에 대해 자세히 살펴보기로 한다.
먼저, 의료영상 처리 장치(100)의 운용자 등은 제 1 학습 데이터 세트를 구성하는 입력으로서 심장에 대한 학습용 신체 X선 영상들을 준비할 수 있고(S410), 제 1 학습 데이터 세트를 구성하는 레이블로서 신체 X선 영상의 심장 내 인공판막의 종류 정보 및 인공판막과 관련된 형태 정보를 준비할 수 있다(S420). 여기서, 레이블로서 학습 데이터 세트에 포함되는 인공판막과 관련된 형태 정보는 인공판막의 그림자 형태에 대한 정보일 수 있다.
그리고, 의료영상 처리 장치(100)의 운용자 등은 제 2 학습 데이터 세트를 구성하는 입력으로서 복수의 형태 정보 및 복수의 형태 정보에 대응하는 심장 혈류 방향 정보를 준비할 수 있고(S430), 제 2 학습 데이터 세트를 구성하는 레이블로서 복수의 형태 정보 및 심장 혈류 방향 정보에 대응하는 인공판막의 종류 정보를 준비할 수 있다(S440).
이렇게 준비된 제 1 학습 데이터 세트 및 제 2 학습 데이터 세트가 입력부(110)를 통해 입력되면, 제 1 학습 데이터 세트를 인공 신경망 모델의 제 1 계층이 학습하고, 제 2 학습 데이터 세트를 인공 신경망 모델의 제 2 계층이 학습한다. 이렇게, 인공 신경망 모델부(120)가 학습 데이터 세트를 학습하는 횟수는 특별히 제한되지는 않으나, 실시예의 하나로서 최상의 학습 효과를 위해 적정 횟수 범위 이내에서 학습이 이루어질 수도 있다(S450).
의료영상 처리 장치(100)의 인공 신경망 모델부(120)에 대한 학습이 이루어진 후에, 의료영상 처리 장치(100)의 운용자 등은 진단 대상자의 신체 X선 영상을 준비하여 입력부(110)를 통해 입력할 수 있다.
그러면, 단계 S410 내지 단계 S450을 통해 학습된 인공 신경망 모델부(120)는 입력부(110)를 통하여 입력 받은 진단 대상자의 신체 X선 영상으로부터 인공 신경망 모델이 신체 X선 영상 내 인공판막의 종류를 결정한다. 이러한 인공 신경망 모델부(120)가 신체 X선 영상 내 인공판막의 종류를 결정하는 과정은 제 1 실시예의 단계 S310 내지 단계 S330을 인공 신경망 모델의 제 1 계층과 제 2 계층이 순차적으로 수행하는 것이라 할 수 있고, 전술한 설명들로부터 유추할 수 있는 것이기에 그 상세한 설명은 생략하기로 한다.
이후, 출력부(140)는 처리부(130)의 제어에 따라 인공 신경망 모델부(120)가 결정한 인공판막의 종류에 대한 정보를 출력한다. 예를 들어, 출력부(140)는 처리부(130)에 의해 결정된 인공판막의 종류에 대한 정보를 외부에서 인지 가능하게 영상 형태로 출력하거나 유선 통신 모듈 또는 무선 통신 모듈 등을 통하여 별도의 전자장치로 송신할 수 있다.
한편, 전술한 제 1 실시예 및 제 2 실시예에 따른 의료영상 학습 방법 및 의료영상 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
또한, 전술한 제 1 실시예 및 제 2 실시예에 따른 의료영상 학습 방법 및 의료영상 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된, 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 의료영상 처리 장치
110: 입력부
120: 인공 신경망 모델부
130: 처리부
140: 출력부
110: 입력부
120: 인공 신경망 모델부
130: 처리부
140: 출력부
Claims (13)
- 의료영상 처리 장치가 수행하는 의료영상 처리 방법으로서,
진단 대상자의 심장에 대한 신체 엑스(X)선 영상을 기 학습된 인공 신경망 모델에 입력하여 상기 인공 신경망 모델의 출력으로서 상기 신체 X선 영상의 심장 내 인공판막의 종류를 추정하고, 상기 인공판막과 관련된 형태 정보를 획득하는 단계와,
상기 획득된 형태 정보에 기초하여 심장의 혈류 방향을 추정하는 단계와,
상기 추정된 인공판막의 종류와 상기 추정된 혈류 방향에 기초하여 상기 인공판막의 종류를 재추정한 결과로서 상기 인공판막의 종류를 결정하는 단계를 포함하는
의료영상 처리 방법. - 제 1 항에 있어서,
상기 형태 정보를 획득하는 단계는 상기 인공판막의 그림자 형태에 대한 정보를 획득하는
의료영상 처리 방법. - 제 1 항에 있어서,
상기 혈류 방향을 추정하는 단계는 상기 획득된 형태 정보와 기 설정된 형태 정보를 비교하는 단계와,
상기 비교의 결과에 기초하여 상기 심장의 혈류 방향을 추정하는 단계를 포함하는
의료영상 처리 방법. - 제 3 항에 있어서,
상기 기 설정된 형태 정보는 복수의 왕관 형태이고,
상기 혈류 방향을 추정하는 단계는 상기 복수의 왕관 형태에 각각 대응하는 조직 판막 중 어느 하나에 대한 혈류 방향으로 추정하는
의료영상 처리 방법. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체. - 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램. - 의료영상 처리 장치의 의료영상 학습 방법으로서,
제 1 학습 데이터 세트를 구성하는 입력으로서 심장에 대한 학습용 신체 엑스(X)선 영상들을 준비하는 단계와,
상기 제 1 학습 데이터 세트를 구성하는 레이블로서 상기 학습용 신체 X선 영상들에 각각 대응하는 인공판막의 종류 정보 및 상기 인공판막과 관련된 형태 정보를 준비하는 단계와,
제 2 학습 데이터 세트를 구성하는 입력으로서 복수의 형태 정보 및 상기 복수의 형태 정보에 대응하는 심장 혈류 방향 정보를 준비하는 단계와,
상기 제 2 학습 데이터 세트를 구성하는 레이블로서 상기 복수의 형태 정보 및 상기 심장 혈류 방향 정보에 대응하는 인공판막의 종류 정보를 준비하는 단계와,
상기 제 1 학습 데이터 세트를 이용하여 인공 신경망 모델의 제 1 계층을 학습시키고, 상기 제 2 학습 데이터 세트를 이용하여 상기 인공 신경망 모델의 제 2 계층을 학습시키는 단계를 포함하는
의료영상 학습 방법. - 제 7 항에 있어서,
상기 인공판막과 관련된 형태 정보는 상기 인공판막의 그림자 형태에 대한 정보인
의료영상 학습 방법. - 제 7 항에 있어서,
상기 제 2 학습 데이터 세트의 입력으로 이용하는 복수의 형태 정보는 복수의 왕관 형태이고, 상기 제 2 학습 데이터 세트의 레이블로 이용하는 상기 인공판막의 종류 정보는 조직 판막 종류 정보인
의료영상 학습 방법. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제 7 항 내지 제 9 항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체. - 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제 7 항 내지 제 9 항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램. - 진단 대상자의 심장에 대한 신체 엑스(X)선 영상을 입력 받는 입력부와,
상기 입력부를 통하여 입력 받은 상기 진단 대상자의 신체 X선 영상으로부터 인공 신경망 모델이 상기 신체 X선 영상 내 인공판막의 종류를 추정하고, 상기 인공판막과 관련된 형태 정보를 획득하는 인공 신경망 모델부와,
상기 획득된 형태 정보에 기초하여 심장의 혈류 방향을 추정하고, 상기 추정된 인공판막의 종류와 상기 추정된 혈류 방향에 기초하여 상기 인공판막의 종류를 재추정한 결과로서 상기 인공판막의 종류를 결정하는 처리부와,
상기 처리부에 의해 결정된 상기 인공판막의 종류에 대한 정보를 출력하는 출력부를 포함하는
의료영상 처리 장치. - 심장에 대한 학습용 신체 엑스(X)선 영상들을 입력으로 포함하고 상기 학습용 신체 X선 영상들에 각각 대응하는 인공판막의 종류 정보 및 상기 인공판막과 관련된 형태 정보를 레이블로서 포함하는 제 1 학습 데이터 세트, 그리고 복수의 형태 정보 및 상기 복수의 형태 정보에 대응하는 심장 혈류 방향 정보를 입력으로 포함하고 상기 복수의 형태 정보 및 상기 심장 혈류 방향 정보에 대응하는 인공판막의 종류 정보를 레이블로서 포함하는 제 2 학습 데이터 세트를 입력 받는 입력부와,
상기 입력부를 통하여 입력 받은 상기 제 1 학습 데이터 세트를 인공 신경망 모델의 제 1 계층이 학습하고, 상기 입력부를 통하여 입력 받은 상기 제 2 학습 데이터 세트를 상기 인공 신경망 모델의 제 2 계층이 학습하는 인공 신경망 모델부를 포함하는
의료영상 처리 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210034596A KR102481564B1 (ko) | 2021-03-17 | 2021-03-17 | 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 |
| PCT/KR2022/003627 WO2022197074A1 (ko) | 2021-03-17 | 2022-03-15 | 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210034596A KR102481564B1 (ko) | 2021-03-17 | 2021-03-17 | 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220130288A KR20220130288A (ko) | 2022-09-27 |
| KR102481564B1 true KR102481564B1 (ko) | 2022-12-29 |
Family
ID=83321148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210034596A KR102481564B1 (ko) | 2021-03-17 | 2021-03-17 | 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102481564B1 (ko) |
| WO (1) | WO2022197074A1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140336995A1 (en) | 2013-05-10 | 2014-11-13 | Stenomics, Inc. | Modeling and simulation system for optimizing prosthetic heart valve treatment |
| KR101611475B1 (ko) | 2014-11-25 | 2016-04-12 | 재단법인 아산사회복지재단 | 경피적 인공심장판막치환을 위한 임상의사결정지원 방법 및 시스템 |
| US20170337488A1 (en) | 2013-10-23 | 2017-11-23 | Stenomics, Inc. | Machine learning system for assessing heart valves and surrounding cardiovascular tracts |
| JP2020502681A (ja) | 2016-12-15 | 2020-01-23 | シンテフ テーテーオー アクスイェ セルスカプ | 心臓血管疾患の決定支援および診断のため使用される対象特異的計算モデルを提供する方法およびプロセス |
| JP2020081303A (ja) | 2018-11-22 | 2020-06-04 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006068271A1 (ja) * | 2004-12-24 | 2006-06-29 | Yd, Ltd | 心臓弁データ計測方法および装置 |
| KR101517752B1 (ko) | 2012-06-28 | 2015-05-06 | 삼성메디슨 주식회사 | 진단 영상 장치 및 그 동작 방법 |
| CN106605257B (zh) * | 2014-06-09 | 2019-10-11 | 西门子保健有限责任公司 | 医学成像中具有空间和时间约束的界标检测 |
| JP6055565B1 (ja) * | 2016-03-15 | 2016-12-27 | 株式会社日立製作所 | 超音波診断装置 |
| KR102284700B1 (ko) * | 2019-08-19 | 2021-08-02 | 재단법인 아산사회복지재단 | 의료 영상 비식별화를 위한 신체 부위 위치 특정 방법, 프로그램 및 컴퓨팅 장치 |
-
2021
- 2021-03-17 KR KR1020210034596A patent/KR102481564B1/ko active IP Right Grant
-
2022
- 2022-03-15 WO PCT/KR2022/003627 patent/WO2022197074A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140336995A1 (en) | 2013-05-10 | 2014-11-13 | Stenomics, Inc. | Modeling and simulation system for optimizing prosthetic heart valve treatment |
| US20170337488A1 (en) | 2013-10-23 | 2017-11-23 | Stenomics, Inc. | Machine learning system for assessing heart valves and surrounding cardiovascular tracts |
| KR101611475B1 (ko) | 2014-11-25 | 2016-04-12 | 재단법인 아산사회복지재단 | 경피적 인공심장판막치환을 위한 임상의사결정지원 방법 및 시스템 |
| JP2020502681A (ja) | 2016-12-15 | 2020-01-23 | シンテフ テーテーオー アクスイェ セルスカプ | 心臓血管疾患の決定支援および診断のため使用される対象特異的計算モデルを提供する方法およびプロセス |
| JP2020081303A (ja) | 2018-11-22 | 2020-06-04 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022197074A1 (ko) | 2022-09-22 |
| KR20220130288A (ko) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101977645B1 (ko) | 안구영상 분석방법 | |
| JP6409073B2 (ja) | 多数の画像取得または再構築を使用する画像ベースのオブジェクトモデリングのためのシステム及び方法 | |
| US11922601B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| US20040153128A1 (en) | Method and system for image processing and contour assessment | |
| US20070014452A1 (en) | Method and system for image processing and assessment of a state of a heart | |
| WO2018205922A1 (en) | Methods and systems for pulmonary function test based on diagnostic medical imaging and machine learning | |
| CN105849773A (zh) | 解剖结构的基于模型的分割 | |
| KR102030533B1 (ko) | 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법 | |
| WO2008050222A2 (en) | Method and system for automatic quality control used in computerized analysis of ct angiography | |
| US11783477B2 (en) | Medical image process apparatus, medical image learning method, and medical image process method | |
| EP3989828B1 (en) | Automated coronary angiography analysis | |
| EP2427866A1 (en) | Automatic assessment of confidence in imaging data | |
| JP7203754B2 (ja) | 生理学的機能パラメータを決定する方法及び装置 | |
| CN107004305A (zh) | 医学图像编辑 | |
| US20210059758A1 (en) | System and Method for Identification, Labeling, and Tracking of a Medical Instrument | |
| CN113573640A (zh) | 对解剖结构的感兴趣区域进行建模 | |
| CN102232845A (zh) | 用ct系统自动识别患者血管中造影剂流动的方法及ct 系统 | |
| KR102354396B1 (ko) | 관상동맥석회화점수 산정 방법 및 장치 | |
| KR20150113393A (ko) | 의료 영상에서 아티팩트와 병변을 구분하는 방법 | |
| US11657519B2 (en) | Method for deformation correction | |
| JP2022517247A (ja) | 画像分析方法及びデバイス | |
| WO2020217462A1 (ja) | 生活習慣評価システムおよびそのプログラム | |
| KR102481564B1 (ko) | 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 | |
| CN106780720B (zh) | 医学图像显示方法及装置 | |
| EP4281929A1 (en) | Vessel shape |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |