Nothing Special   »   [go: up one dir, main page]

KR20200141730A - 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법 - Google Patents

혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법 Download PDF

Info

Publication number
KR20200141730A
KR20200141730A KR1020190068611A KR20190068611A KR20200141730A KR 20200141730 A KR20200141730 A KR 20200141730A KR 1020190068611 A KR1020190068611 A KR 1020190068611A KR 20190068611 A KR20190068611 A KR 20190068611A KR 20200141730 A KR20200141730 A KR 20200141730A
Authority
KR
South Korea
Prior art keywords
tracking
location
unit
neural network
feature data
Prior art date
Application number
KR1020190068611A
Other languages
English (en)
Other versions
KR102680085B1 (ko
Inventor
송태경
이정윤
정의석
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020190068611A priority Critical patent/KR102680085B1/ko
Publication of KR20200141730A publication Critical patent/KR20200141730A/ko
Application granted granted Critical
Publication of KR102680085B1 publication Critical patent/KR102680085B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 위치 추적장치는 뉴럴 네트워크부 및 위치추적부를 포함할 수 있다. 뉴럴 네트워크부는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부는 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다.
본 발명에 따른 위치 추적장치에서는 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 위치추적부가 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.

Description

혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법{VESSEL POSITION TRACKING DEVICE AND OPERATING METHOD THEREOF}
본 발명은 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법에 관한 것이다.
인체 내부의 장기에 존재하는 종양을 제거하기 위하여 치료 초음파가 이용될 수 있다. 치료 초음파를 이용하여 종양을 제거하는 경우, 인체 내부의 정상 조직을 손상시키지 않기 위해 호흡을 비롯한 다양한 원인에 의한 장기의 움직임을 정확하게 파악하여야 하는 것이 중요하다. 현재, 이를 위해 혈관과 같은 해부학적 지표를 추적하는 다양한 연구들이 진행되고 있다.
(특허공개문헌) KR 제10-2016-0047516호 (공개일자, 2016.05.02)
본 발명이 이루고자 하는 기술적 과제는 인체 내부의 혈관의 위치를 정확하게 파악할 수 있는 혈관 위치 트래킹 장치를 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 인체 내부의 혈관의 위치를 정확하게 파악할 수 있는 혈관 위치 트래킹 장치의 동작방법을 제공하는 것이다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적장치는 뉴럴 네트워크부 및 위치추적부를 포함할 수 있다. 뉴럴 네트워크부는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부는 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 상기 제2 추적위치를 제공할 수 있다.
일 실시예에 있어서, 상기 위치추적부는 필터제공부 및 추적위치 제공부를 포함할 수 있다. 필터제공부는 상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공할 수 있다. 추적위치 제공부는 상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공할 수 있다.
일 실시예에 있어서, 상기 필터제공부는 제1 특징추출부 및 상관관계 필터부를 포함할 수 있다. 제1 특징추출부는 상기 중심 윈도우에 대한 상기 제1 특징 데이터 제공할 수 있다. 상관관계 필터부는 상기 제1 특징 데이터 및 상기 기준함수에 기초하여 생성되는 상기 필터계수에 상응하는 상관관계 필터를 제공할 수 있다.
일 실시예에 있어서, 상기 추적위치 제공부는 제2 특징추출부 및 스코어 맵을 포함할 수 있다. 제2 특징추출부는 상기 입력 윈도우에 상응하는 제2 특징 데이터를 제공할 수 있다. 스코어 맵은 상기 제2 특징 데이터를 상기 상관계수 필터 사이의 상관관계 값을 저장할 수 있다.
일 실시예에 있어서, 상기 스코어 맵은 상기 상관관계 값이 가장 큰 값에 상응하는 위치를 상기 제2 추적위치로 제공할 수 있다.
일 실시예에 있어서, 상기 특정부분은 인체내부에 포함되는 혈관일 수 있다.
일 실시예에 있어서, 상기 기준함수는 가우신안 분포를 갖는 함수일 수 있다.
일 실시예에 있어서, 상기 뉴럴 네트워크부가 상기 제1 추적위치를 제공하는 경우, 상기 위치추적부는 상기 제2 추적위치를 제공하지 않을 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적장치의 동작방법에서는, 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출할 수 있다. 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다.
일 실시예에 있어서, 상기 위치 추적장치의 동작방법에서는 상기 뉴럴 네트워크부가 학습 입력 윈도우에 기초하여 특정부분의 위치를 학습하는 단계를 더 포함할 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적시스템은 뉴럴 네트워크부, 위치추적부 및 디스플레이부를 포함할 수 있다. 뉴럴 네트워크부는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부는 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다. 디스플레이부는 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타낼 수 있다.
일 실시예에 있어서, 상기 위치추적부는 필터제공부 및 추적위치 제공부를 포함할 수 있다. 필터제공부는 상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공할 수 있다. 추적위치 제공부는 상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공할 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적시스템의 동작방법에서는, 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출할 수 있다. 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다. 디스플레이부가 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타낼 수 있다.
일 실시예에 있어서, 상기 특정부분은 인체내부에 포함되는 혈관이고, 상기 기준함수는 가우신안 분포를 갖는 함수일 수 있다.
일 실시예에 있어서, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 중심 윈도우는 상기 제2 추적위치에 기초하여 생성될 수 있다.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.
본 발명에 따른 위치 추적장치에서는 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 위치추적부가 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.
본 발명에 따른 위치 추적장치의 동작방법에서는 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 위치추적부가 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.
도 1은 본 발명의 실시예들에 따른 위치 추적장치를 나타내는 도면이다.
도 2는 도 1의 위치 추적장치에 포함되는 위치추적부의 일 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 4는 도 2의 위치추적부에 포함되는 필터제공부의 일 예를 나타내는 도면이다.
도 5는 도 2의 위치추적부에 포함되는 추적위치 제공부의 일 예를 나타내는 도면이다.
도 6은 도 5의 추적위치 제공부의 동작을 설명하기 위한 도면이다.
도 7은 도 5의 추적위치 제공부에 포함되는 스코어 맵을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예들에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 10은 본 발명의 실시예들에 따른 위치 추적시스템을 나타내는 도면이다.
도 11은 본 발명의 실시예들에 따른 위치 추적시스템의 동작방법을 나타내는 순서도이다.
본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.
"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.
도 1은 본 발명의 실시예들에 따른 위치 추적장치를 나타내는 도면이고, 도 2는 도 1의 위치 추적장치에 포함되는 위치추적부의 일 예를 나타내는 도면이고, 도 3은 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 1 내지 3을 참조하면, 본 발명의 실시예에 따른 위치 추적장치(10)는 뉴럴 네트워크부(100) 및 위치추적부(200)를 포함할 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다. 예를 들어, 특정부분은 인체 내부의 혈관일 수 있다. 리전 기반 컨볼루션 뉴럴 네트워크는 뉴럴 네트워크부(100)가 동작하기 이전에 다수의 초음파 영상들에 기초하여 초음파 영상에서 혈관의 위치를 학습할 수 있다. 뉴럴 네트워크부(100)가 사전에 다수의 초음파 영상들에 기초하여 초음파 영상에서 혈관의 위치를 학습하는 경우, 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 혈관의 위치를 추적할 수 있고, 혈관의 위치에 상응하는 제1 추적위치(P_T1)를 제공할 수 있다.
위치추적부(200)는 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다. 위치추적부(200)는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 예를 들어, 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 이전 프레임에서 생성된 혈관의 위치에 상응하는 제1 특징 데이터(F_D1)가 사용될 수 있다. 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 현재 프레임에서 혈관의 위치에 상응하는 제2 추적위치(P_T2)를 제공할 수 있다.
일 실시예에 있어서, 위치추적부(200)는 필터제공부(210) 및 추적위치 제공부(230)를 포함할 수 있다. 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 예를 들어, 제1 특징 데이터(F_D1)는 제1 추적위치(P_T1) 또는 제2 추적위치(P_T2)로부터 생성될 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 혈관의 위치를 추적하여 제1 추적위치(P_T1)를 제공하는 경우, 제1 특징 데이터(F_D1)는 제1 추적위치(P_T1)로부터 생성될 수 있다. 또한, 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1)는 제2 추적위치(P_T2)로부터 생성될 수 있다. 예를 들어, 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 여기서, 예를 들어, 기준함수는 가우시안 함수일 수 있다.
추적위치 제공부(230)는 입력 윈도우(I_W) 및 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 예를 들어, 입력 윈도우(I_W)는 추적위치 제공부(230)에 제공될 수 있다. 입력 윈도우(I_W)가 추적위치 제공부(230)에 제공되는 경우, 추적위치 제공부(230)는 입력 윈도우(I_W) 및 필터제공부(210)로부터 제공되는 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다.
본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.
도 4는 도 2의 위치추적부에 포함되는 필터제공부의 일 예를 나타내는 도면이고, 도 5는 도 2의 위치추적부에 포함되는 추적위치 제공부의 일 예를 나타내는 도면이고, 도 6은 도 5의 추적위치 제공부의 동작을 설명하기 위한 도면이다.
도 4, 5 및 6을 참조하면, 필터제공부(210)는 제1 특징추출부(211) 및 상관관계 필터부(213)를 포함할 수 있다. 제1 특징추출부(211)는 중심 윈도우에 대한 제1 특징 데이터(F_D1) 제공할 수 있다. 상관관계 필터부(213)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다.
일 실시예에 있어서, 추적위치 제공부(230)는 제2 특징추출부(231) 및 스코어 맵(233)을 포함할 수 있다. 제2 특징추출부(231)는 입력 윈도우(I_W)에 상응하는 제2 특징 데이터(F_D2)를 제공할 수 있다. 스코어 맵(233)은 제2 특징 데이터(F_D2) 및 상관계수 필터(CO_F) 사이의 상관관계 값(CV)을 저장할 수 있다. 예를 들어, 제2 특징추출부(231)로부터 제공되는 입력 윈도우(I_W)에 상응하는 제2 특징 데이터(F_D2) 및 상관계수 필터(CO_F) 사이의 상관관계 값(CV)은 스코어 맵(233)에 저장될 수 있다. 상관계수 필터(CO_F)는 제1 방향(D1)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산할 수 있다. 또한, 상관계수 필터(CO_F)는 제2 방향(D2)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산할 수 있다.
본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.
도 7은 도 5의 추적위치 제공부에 포함되는 스코어 맵을 설명하기 위한 도면이다.
도 7을 참조하면, 스코어 맵(233)은 상관관계 값(CV)이 가장 큰 값에 상응하는 위치를 제2 추적위치(P_T2)로 제공할 수 있다. 스코어 맵(233)은 제2 특징 데이터(F_D2) 및 상관계수 필터(CO_F) 사이의 상관관계 값(CV)을 저장할 수 있다.
예를 들어, 상관계수 필터(CO_F)는 제1 방향(D1)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산하기 위하여 사용될 수 있다. 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제1 위치(S1)의 상관관계 값(CV)은 1일 수 있고, 상관관계 값(CV) 1은 스코어 맵(233)의 제1_1 위치(P1_S1)에 저장될 수 있다. 또한, 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제2 위치(S2)의 상관관계 값(CV)은 3일 수 있고, 상관관계 값(CV) 3은 스코어 맵(233)의 제1_2 위치(P1_S2)에 저장될 수 있다. 동일한 방식으로, 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제10 위치(S10)의 상관관계 값(CV)은 7일 수 있고, 상관관계 값(CV) 7은 스코어 맵(233)의 제1_10 위치(P1_S10)에 저장될 수 있다.
또한, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제1 위치(S1)의 상관관계 값(CV)은 4일 수 있고, 상관관계 값(CV) 4은 스코어 맵(233)의 제4_1 위치(P4_S1)에 저장될 수 있다. 또한, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제6 위치(S6)의 상관관계 값(CV)은 22일 수 있고, 상관관계 값(CV) 22은 스코어 맵(233)의 제4_6 위치(P4_S6)에 저장될 수 있다. 동일한 방식으로, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제10 위치(S10)의 상관관계 값(CV)은 8일 수 있고, 상관관계 값(CV) 8은 스코어 맵(233)의 제4_10 위치(P4_S10)에 저장될 수 있다.
스코어 맵(233)은 상관관계 값(CV)이 가장 큰 값에 상응하는 위치를 제2 추적위치(P_T2)로 제공할 수 있다. 예를 들어, 상관관계 값(CV)이 가장 큰 값은 22일 수 있다. 상관관계 값(CV)이 가장 큰 값인 22에 상응하는 스코어 맵(233)의 위치는 제4_6 위치(P4_S6)일 수 있다. 상관관계 값(CV)이 가장 큰 값인 22에 상응하는 스코어 맵(233)의 위치가 제4_6 위치(P4_S6)인 경우, 스코어 맵(233)은 제4_6 위치(P4_S6)를 제2 추적위치(P_T2)로 제공할 수 있다.
일 실시예에 있어서, 특정부분은 인체내부에 포함되는 혈관일 수 있고, 기준함수는 가우시안 분포를 갖는 함수일 수 있다. 또한, 일 실시예에 있어서, 뉴럴 네트워크부(100)가 제1 추적위치(P_T1)를 제공하는 경우, 위치추적부(200)는 제2 추적위치(P_T2)를 제공하지 않을 수 있다.
도 8은 본 발명의 실시예들에 따른 위치 추적장치의 동작방법을 나타내는 순서도이고, 도 9는 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 8 및 9를 참조하면, 위치 추적장치(10)의 동작방법에서는, 뉴럴 네트워크부(100)가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다(S200). 위치추적부(200)가 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다(S210). 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다(S220).
일 실시예에 있어서, 위치 추적장치(10)의 동작방법에서는 뉴럴 네트워크부(100)가 학습 입력 윈도우(I_W)에 기초하여 특정부분의 위치를 학습하는 단계(S190)를 더 포함할 수 있다.
본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.
도 10은 본 발명의 실시예들에 따른 위치 추적시스템을 나타내는 도면이다.
도10을 참조하면, 위치 추적시스템은 뉴럴 네트워크부(100), 위치추적부(200) 및 디스플레이부(300)를 포함할 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다. 위치추적부(200)는 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출하고, 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 디스플레이부(300)는 제1 추적위치(P_T1) 및 제2 추적위치(P_T2)에 기초하여 특정부분의 위치를 영상(IM)으로 나타낼 수 있다.
일 실시예에 있어서, 위치추적부(200)는 필터제공부(210) 및 추적위치 제공부(230)를 포함할 수 있다. 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 추적위치 제공부(230)는 입력 윈도우(I_W) 및 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다.
도 11은 본 발명의 실시예들에 따른 위치 추적시스템의 동작방법을 나타내는 순서도이다.
도 11을 참조하면, 위치 추적시스템의 동작방법에서는, 뉴럴 네트워크부(100)가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다(S200). 위치추적부(200)가 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다(S210). 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다(S220). 디스플레이부(300)가 제1 추적위치(P_T1) 및 제2 추적위치(P_T2)에 기초하여 특정부분의 위치를 영상(IM)으로 나타낼 수 있다(S230).
일 실시예에 있어서, 특정부분은 인체내부에 포함되는 혈관이고, 기준함수는 가우신안 분포를 갖는 함수일 수 있다. 또한, 일 실시예에 있어서, 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 중심 윈도우는 제2 추적위치(P_T2)에 기초하여 생성될 수 있다.
본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.
10: 위치 추적장치 100: 뉴럴 네트워크부
200: 위치추적부 210: 필터 제공부
211: 제1 특징추출부 213: 상관관계 필터부
230: 추적위치 제공부 231: 제2 특징추출부
233: 스코어 맵 300: 디스플레이부

Claims (15)

  1. 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 뉴럴 네트워크부;
    상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 상기 제2 추적위치를 제공하는 위치추적부를 포함하는 위치 추적장치.
  2. 제1항에 있어서,
    상기 위치추적부는,
    상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공하는 필터제공부; 및
    상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공하는 추적위치 제공부를 포함하는 것을 특징으로 하는 위치 추적장치.
  3. 제2항에 있어서,
    상기 필터제공부는,
    상기 중심 윈도우에 대한 상기 제1 특징 데이터 제공하는 제1 특징추출부; 및
    상기 제1 특징 데이터 및 상기 기준함수에 기초하여 생성되는 상기 필터계수에 상응하는 상관관계 필터를 제공하는 상관관계 필터부를 포함하는 것을 특징으로 하는 위치 추적장치.
  4. 제3항에 있어서,
    상기 추적위치 제공부는,
    상기 입력 윈도우에 상응하는 제2 특징 데이터를 제공하는 제2 특징추출부; 및
    상기 제2 특징 데이터를 상기 상관계수 필터 사이의 상관관계 값을 저장하는 스코어 맵을 포함하는 것을 특징으로 하는 위치 추적장치.
  5. 제4항에 있어서,
    상기 스코어 맵은 상기 상관관계 값이 가장 큰 값에 상응하는 위치를 상기 제2 추적위치로 제공하는 것을 특징으로 하는 위치 추적장치.
  6. 제5항에 있어서,
    상기 특정부분은 인체내부에 포함되는 혈관인 것을 특징으로 하는 위치 추적장치.
  7. 제6항에 있어서,
    상기 기준함수는 가우신안 분포를 갖는 함수인 것을 특징으로 하는 위치 추적장치.
  8. 제5항에 있어서,
    상기 뉴럴 네트워크부가 상기 제1 추적위치를 제공하는 경우,
    상기 위치추적부는 상기 제2 추적위치를 제공하지 않는 것을 특징으로 하는 위치 추적장치.
  9. 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 단계;
    위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하는 단계; 및
    상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 단계를 포함하는 위치 추적장치의 동작방법.
  10. 제9항에 있어서,
    상기 위치 추적장치의 동작방법은,
    상기 뉴럴 네트워크부가 학습 입력 윈도우에 기초하여 특정부분의 위치를 학습하는 단계를 더 포함하는 것을 특징으로 하는 위치 추적장치의 동작방법.
  11. 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 뉴럴 네트워크부;
    상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 위치추적부; 및
    상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타내는 디스플레이부를 포함하는 위치 추적시스템.
  12. 제11항에 있어서,
    상기 위치추적부는,
    상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공하는 필터제공부; 및
    상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공하는 추적위치 제공부를 포함하는 것을 특징으로 하는 위치 추적장치.
  13. 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 단계;
    위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하는 단계;
    상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 단계; 및
    디스플레이부가 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타내는 단계를 포함하는 위치 추적시스템의 동작방법.
  14. 제13항에 있어서,
    상기 특정부분은 인체내부에 포함되는 혈관이고, 상기 기준함수는 가우신안 분포를 갖는 함수인 것을 특징으로 하는 위치 추적시스템의 동작방법.
  15. 제13항에 있어서,
    상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우,
    상기 중심 윈도우는 상기 제2 추적위치에 기초하여 생성되는 것을 특징으로 하는 위치 추적시스템의 동작방법.
KR1020190068611A 2019-06-11 2019-06-11 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법 KR102680085B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190068611A KR102680085B1 (ko) 2019-06-11 2019-06-11 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190068611A KR102680085B1 (ko) 2019-06-11 2019-06-11 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법

Publications (2)

Publication Number Publication Date
KR20200141730A true KR20200141730A (ko) 2020-12-21
KR102680085B1 KR102680085B1 (ko) 2024-06-28

Family

ID=74090723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190068611A KR102680085B1 (ko) 2019-06-11 2019-06-11 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법

Country Status (1)

Country Link
KR (1) KR102680085B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4831281B1 (ko) * 1968-12-23 1973-09-28
JPS5715064B2 (ko) * 1974-02-27 1982-03-27
JP3378941B2 (ja) * 2000-06-29 2003-02-17 徳島県 位置自動追尾型超音波血流計測装置
JP2008539932A (ja) * 2005-05-10 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カニューレ挿入システム
KR101553958B1 (ko) * 2007-10-09 2015-09-17 가부시키가이샤 유넥스 혈관 초음파 화상 측정방법
JP2016010560A (ja) * 2014-06-30 2016-01-21 セイコーエプソン株式会社 血管探索装置、超音波計測装置及び血管探索方法
KR20160047516A (ko) 2013-08-27 2016-05-02 하트플로우, 인크. 관동맥 병변들의 위치, 발병, 및/또는 변화를 예측하기 위한 시스템들 및 방법들

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6464641B1 (en) 1998-12-01 2002-10-15 Ge Medical Systems Global Technology Company Llc Method and apparatus for automatic vessel tracking in ultrasound imaging
BRPI0917609A2 (pt) 2008-12-10 2019-10-15 Koninklijke Philips Electrnics N. V. ''sistema para executar a análise de vasos, estação de trabalho para imagens médicas, método para executar a análise de vasos, e, produto de programa de computador''

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4831281B1 (ko) * 1968-12-23 1973-09-28
JPS5715064B2 (ko) * 1974-02-27 1982-03-27
JP3378941B2 (ja) * 2000-06-29 2003-02-17 徳島県 位置自動追尾型超音波血流計測装置
JP2008539932A (ja) * 2005-05-10 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カニューレ挿入システム
KR101553958B1 (ko) * 2007-10-09 2015-09-17 가부시키가이샤 유넥스 혈관 초음파 화상 측정방법
KR20160047516A (ko) 2013-08-27 2016-05-02 하트플로우, 인크. 관동맥 병변들의 위치, 발병, 및/또는 변화를 예측하기 위한 시스템들 및 방법들
JP2016010560A (ja) * 2014-06-30 2016-01-21 セイコーエプソン株式会社 血管探索装置、超音波計測装置及び血管探索方法

Also Published As

Publication number Publication date
KR102680085B1 (ko) 2024-06-28

Similar Documents

Publication Publication Date Title
KR102013806B1 (ko) 인공데이터 생성 방법 및 장치
CN112932663B (zh) 一种提高腹腔镜胆囊切除术安全性的智能辅助系统
CN107886503A (zh) 一种消化道解剖位置识别方法及装置
US20240169579A1 (en) Prediction of structures in surgical data using machine learning
Pan et al. Saccade-target selection of dyslexic children when reading Chinese
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
CN111145173A (zh) 一种冠脉造影图像的斑块识别方法、装置、设备及介质
JP2022543643A (ja) 冠動脈カルシウム負荷の縦断的表示
CN109215079A (zh) 图像处理方法、手术导航设备、电子设备、存储介质
CN110765835A (zh) 一种基于边缘信息的手术视频流程识别方法
Speidel et al. Image-based tracking of the suturing needle during laparoscopic interventions
CN110742690A (zh) 一种用于配置内窥镜的方法及终端设备
Amini Khoiy et al. Automatic tracking of laparoscopic instruments for autonomous control of a cameraman robot
CN112331311B (zh) 一种腹腔镜手术中视频与术前模型融合显示的方法及装置
KR20200141730A (ko) 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법
Feng et al. Taxonomy of instructions given to residents in laparoscopic cholecystectomy
CN112053346A (zh) 一种操作引导信息的确定方法和系统
CN112613436B (zh) 考试作弊检测方法和装置
CN116030090A (zh) 基于CNN和Transformer结构的术中导航靶区实时跟踪系统和方法
US20230172535A1 (en) Method for predicting the recurrence of a lesion by image analysis
Lahane et al. Detection of unsafe action from laparoscopic cholecystectomy video
Kim et al. Cerebral microbleeds detection using a 3d feature fused region proposal network with hard sample prototype learning
CN115965589A (zh) 导管图像识别方法、装置、计算机设备及存储介质
CN108510497A (zh) 视网膜图像病灶信息的显示方法及显示装置
Wilms et al. Segmenting Medical Instruments in Minimally Invasive Surgeries using AttentionMask

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right