Nothing Special   »   [go: up one dir, main page]

KR20200141730A - Vessel position tracking device and operating method thereof - Google Patents

Vessel position tracking device and operating method thereof Download PDF

Info

Publication number
KR20200141730A
KR20200141730A KR1020190068611A KR20190068611A KR20200141730A KR 20200141730 A KR20200141730 A KR 20200141730A KR 1020190068611 A KR1020190068611 A KR 1020190068611A KR 20190068611 A KR20190068611 A KR 20190068611A KR 20200141730 A KR20200141730 A KR 20200141730A
Authority
KR
South Korea
Prior art keywords
tracking
location
unit
neural network
feature data
Prior art date
Application number
KR1020190068611A
Other languages
Korean (ko)
Other versions
KR102680085B1 (en
Inventor
송태경
이정윤
정의석
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020190068611A priority Critical patent/KR102680085B1/en
Publication of KR20200141730A publication Critical patent/KR20200141730A/en
Application granted granted Critical
Publication of KR102680085B1 publication Critical patent/KR102680085B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

According to an embodiment of the present invention, provided is a position tracking device which comprises a neural network unit and a position tracking unit. The neural network unit can provide a first tracking position by tracking a specific part in an input window based on a region based convolutional neural network (RCNN). The position tracking unit extracts first feature data for a central window of a certain size around the first tracking position, and can provide a second tracking position based on the first feature data and the input window when the neural network unit fails to provide the first tracking position for the specific part. According to the present invention, when the neural network unit fails to provide the first tracking position for the specific part, the position tracking device provides the second tracking position based on the first feature data and the input window, thereby identifying an accurate blood vessel position.

Description

혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법{VESSEL POSITION TRACKING DEVICE AND OPERATING METHOD THEREOF}Vessel location tracking device and how to operate the vessel location tracking device {VESSEL POSITION TRACKING DEVICE AND OPERATING METHOD THEREOF}

본 발명은 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법에 관한 것이다. The present invention relates to a blood vessel location tracking device and a method of operating the blood vessel location tracking device.

인체 내부의 장기에 존재하는 종양을 제거하기 위하여 치료 초음파가 이용될 수 있다. 치료 초음파를 이용하여 종양을 제거하는 경우, 인체 내부의 정상 조직을 손상시키지 않기 위해 호흡을 비롯한 다양한 원인에 의한 장기의 움직임을 정확하게 파악하여야 하는 것이 중요하다. 현재, 이를 위해 혈관과 같은 해부학적 지표를 추적하는 다양한 연구들이 진행되고 있다. Therapeutic ultrasound may be used to remove tumors present in organs inside the human body. When removing a tumor using therapeutic ultrasound, it is important to accurately grasp the movement of organs due to various causes including respiration in order not to damage normal tissues inside the human body. Currently, various studies are underway to track anatomical indicators such as blood vessels for this purpose.

(특허공개문헌) KR 제10-2016-0047516호 (공개일자, 2016.05.02)(Patent publication document) KR No. 10-2016-0047516 (Publication date, 2016.05.02)

본 발명이 이루고자 하는 기술적 과제는 인체 내부의 혈관의 위치를 정확하게 파악할 수 있는 혈관 위치 트래킹 장치를 제공하는 것이다. The technical problem to be achieved by the present invention is to provide a blood vessel location tracking device capable of accurately grasping the location of blood vessels inside a human body.

본 발명이 이루고자 하는 기술적 과제는 인체 내부의 혈관의 위치를 정확하게 파악할 수 있는 혈관 위치 트래킹 장치의 동작방법을 제공하는 것이다.An object of the present invention is to provide a method of operating a blood vessel location tracking device capable of accurately identifying the location of blood vessels inside a human body.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적장치는 뉴럴 네트워크부 및 위치추적부를 포함할 수 있다. 뉴럴 네트워크부는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부는 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 상기 제2 추적위치를 제공할 수 있다. In order to solve this problem, a location tracking device according to an embodiment of the present invention may include a neural network unit and a location tracking unit. The neural network unit may provide a first tracking location by tracking a specific part in the input window based on a region based convolutional neural network (RCNN). The location tracking unit extracts first feature data for a central window having a constant size around the first tracking location, and when the neural network unit fails to provide the first tracking location for the specific part, the first feature The second tracking position may be provided based on data and the input window.

일 실시예에 있어서, 상기 위치추적부는 필터제공부 및 추적위치 제공부를 포함할 수 있다. 필터제공부는 상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공할 수 있다. 추적위치 제공부는 상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공할 수 있다. In one embodiment, the location tracking unit may include a filter providing unit and a tracking location providing unit. The filter providing unit may provide a correlation filter corresponding to a filter coefficient generated based on the first feature data and a reference function. The tracking location providing unit may provide the second tracking location based on the input window and the correlation filter.

일 실시예에 있어서, 상기 필터제공부는 제1 특징추출부 및 상관관계 필터부를 포함할 수 있다. 제1 특징추출부는 상기 중심 윈도우에 대한 상기 제1 특징 데이터 제공할 수 있다. 상관관계 필터부는 상기 제1 특징 데이터 및 상기 기준함수에 기초하여 생성되는 상기 필터계수에 상응하는 상관관계 필터를 제공할 수 있다. In one embodiment, the filter providing unit may include a first feature extracting unit and a correlation filter unit. The first feature extractor may provide the first feature data for the central window. The correlation filter unit may provide a correlation filter corresponding to the filter coefficient generated based on the first feature data and the reference function.

일 실시예에 있어서, 상기 추적위치 제공부는 제2 특징추출부 및 스코어 맵을 포함할 수 있다. 제2 특징추출부는 상기 입력 윈도우에 상응하는 제2 특징 데이터를 제공할 수 있다. 스코어 맵은 상기 제2 특징 데이터를 상기 상관계수 필터 사이의 상관관계 값을 저장할 수 있다. In an embodiment, the tracking location providing unit may include a second feature extracting unit and a score map. The second feature extractor may provide second feature data corresponding to the input window. The score map may store a correlation value between the second feature data and the correlation coefficient filter.

일 실시예에 있어서, 상기 스코어 맵은 상기 상관관계 값이 가장 큰 값에 상응하는 위치를 상기 제2 추적위치로 제공할 수 있다. In an embodiment, the score map may provide a location corresponding to a value having the largest correlation value as the second tracking location.

일 실시예에 있어서, 상기 특정부분은 인체내부에 포함되는 혈관일 수 있다. In one embodiment, the specific portion may be a blood vessel included in the human body.

일 실시예에 있어서, 상기 기준함수는 가우신안 분포를 갖는 함수일 수 있다. In one embodiment, the reference function may be a function having a Gaussian eye distribution.

일 실시예에 있어서, 상기 뉴럴 네트워크부가 상기 제1 추적위치를 제공하는 경우, 상기 위치추적부는 상기 제2 추적위치를 제공하지 않을 수 있다. In an embodiment, when the neural network unit provides the first tracking position, the position tracking unit may not provide the second tracking position.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적장치의 동작방법에서는, 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출할 수 있다. 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다. In order to solve this problem, in the operation method of the location tracking device according to the embodiment of the present invention, a neural network unit tracks a specific part in the input window based on a region based convolutional neural network (RCNN). It is possible to provide a first tracking position. The location tracking unit may extract first feature data for a central window having a predetermined size around the first tracking location. When the neural network unit fails to provide the first tracking position for the specific portion, the position tracking unit may provide a second tracking position based on the first feature data and the input window.

일 실시예에 있어서, 상기 위치 추적장치의 동작방법에서는 상기 뉴럴 네트워크부가 학습 입력 윈도우에 기초하여 특정부분의 위치를 학습하는 단계를 더 포함할 수 있다. In an embodiment, the method of operating the location tracking device may further include the step of learning, by the neural network, a location of a specific part based on a learning input window.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적시스템은 뉴럴 네트워크부, 위치추적부 및 디스플레이부를 포함할 수 있다. 뉴럴 네트워크부는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부는 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다. 디스플레이부는 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타낼 수 있다. In order to solve this problem, a location tracking system according to an embodiment of the present invention may include a neural network unit, a location tracking unit, and a display unit. The neural network unit may provide a first tracking location by tracking a specific part in the input window based on a region based convolutional neural network (RCNN). The location tracking unit extracts first feature data for a central window having a constant size around the first tracking location, and when the neural network unit fails to provide a first tracking location for the specific part, the first feature data And a second tracking position based on the input window. The display unit may display the location of the specific portion as an image based on the first tracking position and the second tracking position.

일 실시예에 있어서, 상기 위치추적부는 필터제공부 및 추적위치 제공부를 포함할 수 있다. 필터제공부는 상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공할 수 있다. 추적위치 제공부는 상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공할 수 있다. In one embodiment, the location tracking unit may include a filter providing unit and a tracking location providing unit. The filter providing unit may provide a correlation filter corresponding to a filter coefficient generated based on the first feature data and a reference function. The tracking location providing unit may provide the second tracking location based on the input window and the correlation filter.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적시스템의 동작방법에서는, 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출할 수 있다. 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다. 디스플레이부가 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타낼 수 있다. In order to solve this problem, in the operating method of the location tracking system according to an embodiment of the present invention, a neural network unit tracks a specific part in an input window based on a region based convolutional neural network (RCNN). It is possible to provide a first tracking position. The location tracking unit may extract first feature data for a central window having a predetermined size around the first tracking location. When the neural network unit fails to provide the first tracking location for the specific portion, the location tracking unit may provide a second tracking location based on the first feature data and the input window. The display unit may display the location of the specific portion as an image based on the first tracking position and the second tracking position.

일 실시예에 있어서, 상기 특정부분은 인체내부에 포함되는 혈관이고, 상기 기준함수는 가우신안 분포를 갖는 함수일 수 있다. In one embodiment, the specific part is a blood vessel included in the human body, and the reference function may be a function having a Gaussian eye distribution.

일 실시예에 있어서, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 중심 윈도우는 상기 제2 추적위치에 기초하여 생성될 수 있다. In an embodiment, when the neural network unit fails to provide the first tracking position for the specific part, the center window may be generated based on the second tracking position.

위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition to the technical problems of the present invention mentioned above, other features and advantages of the present invention will be described below or will be clearly understood by those of ordinary skill in the art from such technology and description.

이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.According to the present invention as described above has the following effects.

본 발명에 따른 위치 추적장치에서는 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 위치추적부가 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다. In the location tracking apparatus according to the present invention, when the neural network unit fails to provide the first tracking location for a specific part, the location tracking unit provides a second tracking location based on the first characteristic data and the input window to determine the exact blood vessel location. I can grasp it.

본 발명에 따른 위치 추적장치의 동작방법에서는 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 위치추적부가 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the operating method of the location tracking device according to the present invention, when the neural network unit fails to provide the first tracking location for a specific part, the location tracking unit provides a second tracking location based on the first characteristic data and the input window, thereby providing an accurate blood vessel. Can determine the location of.

이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.In addition, other features and advantages of the present invention may be newly recognized through embodiments of the present invention.

도 1은 본 발명의 실시예들에 따른 위치 추적장치를 나타내는 도면이다.
도 2는 도 1의 위치 추적장치에 포함되는 위치추적부의 일 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 4는 도 2의 위치추적부에 포함되는 필터제공부의 일 예를 나타내는 도면이다.
도 5는 도 2의 위치추적부에 포함되는 추적위치 제공부의 일 예를 나타내는 도면이다.
도 6은 도 5의 추적위치 제공부의 동작을 설명하기 위한 도면이다.
도 7은 도 5의 추적위치 제공부에 포함되는 스코어 맵을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예들에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 10은 본 발명의 실시예들에 따른 위치 추적시스템을 나타내는 도면이다.
도 11은 본 발명의 실시예들에 따른 위치 추적시스템의 동작방법을 나타내는 순서도이다.1 is a view showing a location tracking device according to embodiments of the present invention.
2 is a diagram illustrating an example of a location tracking unit included in the location tracking device of FIG. 1.
3 is a flow chart showing a method of operating a location tracking device according to an embodiment of the present invention.
4 is a diagram illustrating an example of a filter providing unit included in the position tracking unit of FIG. 2.
5 is a diagram illustrating an example of a tracking location providing unit included in the location tracking unit of FIG. 2.
6 is a diagram for explaining the operation of the tracking position providing unit of FIG. 5.
7 is a diagram for explaining a score map included in the tracking position providing unit of FIG. 5.
8 is a flowchart illustrating a method of operating a location tracking device according to embodiments of the present invention.
9 is a flow chart illustrating a method of operating a location tracking device according to an embodiment of the present invention.
10 is a diagram illustrating a location tracking system according to embodiments of the present invention.
11 is a flow chart illustrating a method of operating a location tracking system according to embodiments of the present invention.

본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.In the present specification, in adding reference numerals to elements of each drawing, it should be noted that only the same elements have the same number as possible, even if they are indicated on different drawings.

한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in the present specification should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.Singular expressions are to be understood as including plural expressions unless clearly defined differently in context, and the scope of rights should not be limited by these terms.

"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that terms such as "comprise" or "have" do not preclude the presence or addition of one or more other features or numbers, steps, actions, components, parts, or combinations thereof.

이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.Hereinafter, preferred embodiments of the present invention designed to solve the above problem will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예들에 따른 위치 추적장치를 나타내는 도면이고, 도 2는 도 1의 위치 추적장치에 포함되는 위치추적부의 일 예를 나타내는 도면이고, 도 3은 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.1 is a view showing a location tracking device according to embodiments of the present invention, FIG. 2 is a view showing an example of a location tracking unit included in the location tracking device of FIG. 1, and FIG. 3 is an embodiment of the present invention It is a flow chart showing the operation method of the location tracking device according to.

도 1 내지 3을 참조하면, 본 발명의 실시예에 따른 위치 추적장치(10)는 뉴럴 네트워크부(100) 및 위치추적부(200)를 포함할 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다. 예를 들어, 특정부분은 인체 내부의 혈관일 수 있다. 리전 기반 컨볼루션 뉴럴 네트워크는 뉴럴 네트워크부(100)가 동작하기 이전에 다수의 초음파 영상들에 기초하여 초음파 영상에서 혈관의 위치를 학습할 수 있다. 뉴럴 네트워크부(100)가 사전에 다수의 초음파 영상들에 기초하여 초음파 영상에서 혈관의 위치를 학습하는 경우, 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 혈관의 위치를 추적할 수 있고, 혈관의 위치에 상응하는 제1 추적위치(P_T1)를 제공할 수 있다.1 to 3, a location tracking device 10 according to an embodiment of the present invention may include a neural network unit 100 and a location tracking unit 200. The neural network unit 100 may provide a first tracking position P_T1 by tracking a specific part in the input window I_W based on a region based convolutional neural network (RCNN). For example, the specific part may be a blood vessel inside the human body. The region-based convolutional neural network may learn the location of a blood vessel in an ultrasound image based on a plurality of ultrasound images before the neural network unit 100 operates. When the neural network unit 100 learns the position of a blood vessel in an ultrasound image based on a plurality of ultrasound images in advance, the neural network unit 100 is a region based convolutional neural network (RCNN). Based on the input window I_W, the position of the blood vessel may be tracked, and a first tracking position P_T1 corresponding to the position of the blood vessel may be provided.

위치추적부(200)는 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다. 위치추적부(200)는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 예를 들어, 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 이전 프레임에서 생성된 혈관의 위치에 상응하는 제1 특징 데이터(F_D1)가 사용될 수 있다. 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 현재 프레임에서 혈관의 위치에 상응하는 제2 추적위치(P_T2)를 제공할 수 있다. The location tracking unit 200 may extract first feature data F_D1 for a central window having a predetermined size around the first tracking location P_T1. When the neural network unit 100 fails to provide the first tracking position P_T1 for a specific part, the location tracking unit 200 tracks a second based on the first feature data F_D1 and the input window I_W. A location (P_T2) may be provided. For example, when the neural network unit 100 fails to provide the first tracking position P_T1 for the location of the blood vessel, the first feature data F_D1 corresponding to the location of the blood vessel generated in the previous frame may be used. have. When the neural network unit 100 fails to provide the first tracking location P_T1 for the location of the blood vessel, based on the first feature data F_D1 and the input window I_W, the data corresponding to the location of the blood vessel in the current frame A second tracking position P_T2 may be provided.

일 실시예에 있어서, 위치추적부(200)는 필터제공부(210) 및 추적위치 제공부(230)를 포함할 수 있다. 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 예를 들어, 제1 특징 데이터(F_D1)는 제1 추적위치(P_T1) 또는 제2 추적위치(P_T2)로부터 생성될 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 혈관의 위치를 추적하여 제1 추적위치(P_T1)를 제공하는 경우, 제1 특징 데이터(F_D1)는 제1 추적위치(P_T1)로부터 생성될 수 있다. 또한, 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1)는 제2 추적위치(P_T2)로부터 생성될 수 있다. 예를 들어, 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 여기서, 예를 들어, 기준함수는 가우시안 함수일 수 있다. In one embodiment, the location tracking unit 200 may include a filter providing unit 210 and a tracking location providing unit 230. The filter providing unit 210 may provide a correlation filter CO_F corresponding to a filter coefficient generated based on the first feature data F_D1 and the reference function. For example, the first feature data F_D1 may be generated from the first tracking position P_T1 or the second tracking position P_T2. When the neural network unit 100 tracks the location of the blood vessel in the input window I_W based on a region-based convolutional neural network (RCNN) and provides a first tracking location P_T1, the first 1 The feature data F_D1 may be generated from the first tracking position P_T1. In addition, when the neural network unit 100 fails to provide the first tracking location P_T1 for the location of the blood vessel, the first feature data F_D1 may be generated from the second tracking location P_T2. For example, the filter providing unit 210 may provide a correlation filter CO_F corresponding to a filter coefficient generated based on the first feature data F_D1 and the reference function. Here, for example, the reference function may be a Gaussian function.

추적위치 제공부(230)는 입력 윈도우(I_W) 및 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 예를 들어, 입력 윈도우(I_W)는 추적위치 제공부(230)에 제공될 수 있다. 입력 윈도우(I_W)가 추적위치 제공부(230)에 제공되는 경우, 추적위치 제공부(230)는 입력 윈도우(I_W) 및 필터제공부(210)로부터 제공되는 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. The tracking location providing unit 230 may provide the second tracking location P_T2 based on the input window I_W and the correlation filter CO_F. For example, the input window I_W may be provided to the tracking position providing unit 230. When the input window (I_W) is provided to the tracking location providing unit 230, the tracking location providing unit 230 is based on the input window I_W and the correlation filter CO_F provided from the filter providing unit 210 A second tracking position P_T2 may be provided.

본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the location tracking device 10 according to the present invention, when the neural network unit 100 fails to provide the first tracking location P_T1 for a specific part, the location tracking unit 200 performs the first feature data F_D1 and By providing the second tracking position P_T2 based on the input window I_W, it is possible to determine the exact position of the blood vessel.

도 4는 도 2의 위치추적부에 포함되는 필터제공부의 일 예를 나타내는 도면이고, 도 5는 도 2의 위치추적부에 포함되는 추적위치 제공부의 일 예를 나타내는 도면이고, 도 6은 도 5의 추적위치 제공부의 동작을 설명하기 위한 도면이다. 4 is a view showing an example of a filter providing unit included in the location tracking unit of Figure 2, Figure 5 is a view showing an example of the tracking location providing unit included in the location tracking unit of Figure 2, Figure 6 is It is a diagram for explaining the operation of the tracking position providing unit.

도 4, 5 및 6을 참조하면, 필터제공부(210)는 제1 특징추출부(211) 및 상관관계 필터부(213)를 포함할 수 있다. 제1 특징추출부(211)는 중심 윈도우에 대한 제1 특징 데이터(F_D1) 제공할 수 있다. 상관관계 필터부(213)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 4, 5, and 6, the filter providing unit 210 may include a first feature extraction unit 211 and a correlation filter unit 213. The first feature extractor 211 may provide first feature data F_D1 for the central window. The correlation filter unit 213 may provide a correlation filter CO_F corresponding to a filter coefficient generated based on the first feature data F_D1 and the reference function.

일 실시예에 있어서, 추적위치 제공부(230)는 제2 특징추출부(231) 및 스코어 맵(233)을 포함할 수 있다. 제2 특징추출부(231)는 입력 윈도우(I_W)에 상응하는 제2 특징 데이터(F_D2)를 제공할 수 있다. 스코어 맵(233)은 제2 특징 데이터(F_D2) 및 상관계수 필터(CO_F) 사이의 상관관계 값(CV)을 저장할 수 있다. 예를 들어, 제2 특징추출부(231)로부터 제공되는 입력 윈도우(I_W)에 상응하는 제2 특징 데이터(F_D2) 및 상관계수 필터(CO_F) 사이의 상관관계 값(CV)은 스코어 맵(233)에 저장될 수 있다. 상관계수 필터(CO_F)는 제1 방향(D1)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산할 수 있다. 또한, 상관계수 필터(CO_F)는 제2 방향(D2)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산할 수 있다. In an embodiment, the tracking location providing unit 230 may include a second feature extracting unit 231 and a score map 233. The second feature extractor 231 may provide second feature data F_D2 corresponding to the input window I_W. The score map 233 may store a correlation value CV between the second feature data F_D2 and the correlation coefficient filter CO_F. For example, the correlation value CV between the second feature data F_D2 corresponding to the input window I_W provided from the second feature extraction unit 231 and the correlation coefficient filter CO_F is a score map 233 ) Can be stored. The correlation coefficient filter CO_F may calculate a correlation value CV between the second feature data and the second feature data while moving along the first direction D1. In addition, the correlation coefficient filter CO_F may calculate a correlation value CV between the second feature data and the second feature data while moving along the second direction D2.

본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the location tracking device 10 according to the present invention, when the neural network unit 100 fails to provide the first tracking location P_T1 for a specific part, the location tracking unit 200 performs the first feature data F_D1 and By providing the second tracking position P_T2 based on the input window I_W, it is possible to determine the exact position of the blood vessel.

도 7은 도 5의 추적위치 제공부에 포함되는 스코어 맵을 설명하기 위한 도면이다.7 is a diagram for explaining a score map included in the tracking position providing unit of FIG. 5.

도 7을 참조하면, 스코어 맵(233)은 상관관계 값(CV)이 가장 큰 값에 상응하는 위치를 제2 추적위치(P_T2)로 제공할 수 있다. 스코어 맵(233)은 제2 특징 데이터(F_D2) 및 상관계수 필터(CO_F) 사이의 상관관계 값(CV)을 저장할 수 있다. Referring to FIG. 7, the score map 233 may provide a position corresponding to the largest correlation value CV as the second tracking position P_T2. The score map 233 may store a correlation value CV between the second feature data F_D2 and the correlation coefficient filter CO_F.

예를 들어, 상관계수 필터(CO_F)는 제1 방향(D1)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산하기 위하여 사용될 수 있다. 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제1 위치(S1)의 상관관계 값(CV)은 1일 수 있고, 상관관계 값(CV) 1은 스코어 맵(233)의 제1_1 위치(P1_S1)에 저장될 수 있다. 또한, 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제2 위치(S2)의 상관관계 값(CV)은 3일 수 있고, 상관관계 값(CV) 3은 스코어 맵(233)의 제1_2 위치(P1_S2)에 저장될 수 있다. 동일한 방식으로, 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제10 위치(S10)의 상관관계 값(CV)은 7일 수 있고, 상관관계 값(CV) 7은 스코어 맵(233)의 제1_10 위치(P1_S10)에 저장될 수 있다.For example, the correlation coefficient filter CO_F may be used to calculate a correlation value CV between the second feature data and the second feature data while moving along the first direction D1. The correlation value (CV) of the first position (S1) in the first direction (D1) based on the first position (P1) in the second direction (D2) may be 1, and the correlation value (CV) 1 is It may be stored in the position 1_1 (P1_S1) of the score map 233. In addition, the correlation value (CV) of the second position (S2) in the first direction (D1) based on the first position (P1) in the second direction (D2) may be 3, and the correlation value (CV) 3 may be stored in the position 1_2 (P1_S2) of the score map 233. In the same way, the correlation value CV of the tenth position S10 in the first direction D1 based on the first position P1 in the second direction D2 may be 7, and the correlation value ( CV) 7 may be stored in the first_10 position P1_S10 of the score map 233.

또한, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제1 위치(S1)의 상관관계 값(CV)은 4일 수 있고, 상관관계 값(CV) 4은 스코어 맵(233)의 제4_1 위치(P4_S1)에 저장될 수 있다. 또한, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제6 위치(S6)의 상관관계 값(CV)은 22일 수 있고, 상관관계 값(CV) 22은 스코어 맵(233)의 제4_6 위치(P4_S6)에 저장될 수 있다. 동일한 방식으로, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제10 위치(S10)의 상관관계 값(CV)은 8일 수 있고, 상관관계 값(CV) 8은 스코어 맵(233)의 제4_10 위치(P4_S10)에 저장될 수 있다. In addition, the correlation value (CV) of the first position (S1) in the first direction (D1) may be 4 based on the fourth position (P4) in the second direction (D2), and the correlation value (CV) 4 may be stored in the 4_1 position P4_S1 of the score map 233. In addition, the correlation value (CV) of the sixth position (S6) in the first direction (D1) based on the fourth position (P4) in the second direction (D2) may be 22, and the correlation value (CV) 22 may be stored in the 4_6 position P4_S6 of the score map 233. In the same way, the correlation value CV of the tenth position S10 in the first direction D1 based on the fourth position P4 in the second direction D2 may be 8, and the correlation value ( CV) 8 may be stored in the 4_10 position P4_S10 of the score map 233.

스코어 맵(233)은 상관관계 값(CV)이 가장 큰 값에 상응하는 위치를 제2 추적위치(P_T2)로 제공할 수 있다. 예를 들어, 상관관계 값(CV)이 가장 큰 값은 22일 수 있다. 상관관계 값(CV)이 가장 큰 값인 22에 상응하는 스코어 맵(233)의 위치는 제4_6 위치(P4_S6)일 수 있다. 상관관계 값(CV)이 가장 큰 값인 22에 상응하는 스코어 맵(233)의 위치가 제4_6 위치(P4_S6)인 경우, 스코어 맵(233)은 제4_6 위치(P4_S6)를 제2 추적위치(P_T2)로 제공할 수 있다.The score map 233 may provide a position corresponding to a value having the largest correlation value CV as the second tracking position P_T2. For example, a value having the largest correlation value CV may be 22. The location of the score map 233 corresponding to 22, which is the largest correlation value CV, may be a 4_6th location P4_S6. When the position of the score map 233 corresponding to the highest correlation value (CV) 22 is the 4_6 position (P4_S6), the score map 233 refers to the 4_6 position (P4_S6) as the second tracking position (P_T2). ) Can be provided.

일 실시예에 있어서, 특정부분은 인체내부에 포함되는 혈관일 수 있고, 기준함수는 가우시안 분포를 갖는 함수일 수 있다. 또한, 일 실시예에 있어서, 뉴럴 네트워크부(100)가 제1 추적위치(P_T1)를 제공하는 경우, 위치추적부(200)는 제2 추적위치(P_T2)를 제공하지 않을 수 있다. In an embodiment, the specific part may be a blood vessel included in the human body, and the reference function may be a function having a Gaussian distribution. In addition, in an embodiment, when the neural network unit 100 provides the first tracking position P_T1, the location tracking unit 200 may not provide the second tracking position P_T2.

도 8은 본 발명의 실시예들에 따른 위치 추적장치의 동작방법을 나타내는 순서도이고, 도 9는 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.8 is a flowchart illustrating a method of operating a location tracking device according to embodiments of the present invention, and FIG. 9 is a flowchart illustrating a method of operating a location tracking device according to an embodiment of the present invention.

도 8 및 9를 참조하면, 위치 추적장치(10)의 동작방법에서는, 뉴럴 네트워크부(100)가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다(S200). 위치추적부(200)가 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다(S210). 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다(S220). 8 and 9, in the operating method of the location tracking device 10, the neural network unit 100 is based on a region-based convolutional neural network (RCNN) in the input window (I_W). A first tracking position P_T1 may be provided by tracking a specific part (S200). The location tracking unit 200 may extract first feature data F_D1 for a central window having a predetermined size around the first tracking location P_T1 (S210). When the neural network unit 100 fails to provide the first tracking location P_T1 for a specific part, the location tracking unit 200 tracks the second based on the first feature data F_D1 and the input window I_W. A location P_T2 may be provided (S220).

일 실시예에 있어서, 위치 추적장치(10)의 동작방법에서는 뉴럴 네트워크부(100)가 학습 입력 윈도우(I_W)에 기초하여 특정부분의 위치를 학습하는 단계(S190)를 더 포함할 수 있다. In an embodiment, the method of operating the location tracking device 10 may further include the step S190 of learning, by the neural network unit 100, the location of a specific part based on the learning input window I_W.

본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the location tracking device 10 according to the present invention, when the neural network unit 100 fails to provide the first tracking location P_T1 for a specific part, the location tracking unit 200 performs the first feature data F_D1 and By providing the second tracking position P_T2 based on the input window I_W, it is possible to determine the exact position of the blood vessel.

도 10은 본 발명의 실시예들에 따른 위치 추적시스템을 나타내는 도면이다.10 is a diagram illustrating a location tracking system according to embodiments of the present invention.

도10을 참조하면, 위치 추적시스템은 뉴럴 네트워크부(100), 위치추적부(200) 및 디스플레이부(300)를 포함할 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다. 위치추적부(200)는 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출하고, 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 디스플레이부(300)는 제1 추적위치(P_T1) 및 제2 추적위치(P_T2)에 기초하여 특정부분의 위치를 영상(IM)으로 나타낼 수 있다. Referring to FIG. 10, the location tracking system may include a neural network unit 100, a location tracking unit 200, and a display unit 300. The neural network unit 100 may provide a first tracking position P_T1 by tracking a specific part in the input window I_W based on a region based convolutional neural network (RCNN). The location tracking unit 200 extracts first feature data F_D1 for a central window of a certain size around the first tracking location P_T1, and the neural network unit 100 extracts the first tracking location for a specific part. If the provision of (P_T1) fails, the second tracking position P_T2 may be provided based on the first feature data F_D1 and the input window I_W. The display unit 300 may indicate a location of a specific portion as an image IM based on the first tracking location P_T1 and the second tracking location P_T2.

일 실시예에 있어서, 위치추적부(200)는 필터제공부(210) 및 추적위치 제공부(230)를 포함할 수 있다. 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 추적위치 제공부(230)는 입력 윈도우(I_W) 및 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. In one embodiment, the location tracking unit 200 may include a filter providing unit 210 and a tracking location providing unit 230. The filter providing unit 210 may provide a correlation filter CO_F corresponding to a filter coefficient generated based on the first feature data F_D1 and the reference function. The tracking location providing unit 230 may provide the second tracking location P_T2 based on the input window I_W and the correlation filter CO_F.

도 11은 본 발명의 실시예들에 따른 위치 추적시스템의 동작방법을 나타내는 순서도이다.11 is a flow chart illustrating a method of operating a location tracking system according to embodiments of the present invention.

도 11을 참조하면, 위치 추적시스템의 동작방법에서는, 뉴럴 네트워크부(100)가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다(S200). 위치추적부(200)가 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다(S210). 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다(S220). 디스플레이부(300)가 제1 추적위치(P_T1) 및 제2 추적위치(P_T2)에 기초하여 특정부분의 위치를 영상(IM)으로 나타낼 수 있다(S230). Referring to FIG. 11, in the operating method of the location tracking system, the neural network unit 100 tracks a specific part in the input window (I_W) based on a region based convolutional neural network (RCNN). A first tracking position P_T1 may be provided (S200). The location tracking unit 200 may extract first feature data F_D1 for a central window having a predetermined size around the first tracking location P_T1 (S210). When the neural network unit 100 fails to provide the first tracking location P_T1 for a specific part, the location tracking unit 200 tracks the second based on the first feature data F_D1 and the input window I_W. A location P_T2 may be provided (S220). The display unit 300 may display a location of a specific portion as an image IM based on the first tracking location P_T1 and the second tracking location P_T2 (S230).

일 실시예에 있어서, 특정부분은 인체내부에 포함되는 혈관이고, 기준함수는 가우신안 분포를 갖는 함수일 수 있다. 또한, 일 실시예에 있어서, 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 중심 윈도우는 제2 추적위치(P_T2)에 기초하여 생성될 수 있다.In one embodiment, the specific part is a blood vessel included in the human body, and the reference function may be a function having a Gaussian eye distribution. In addition, in an embodiment, when the neural network unit 100 fails to provide the first tracking position P_T1 for a specific part, the center window may be generated based on the second tracking position P_T2.

본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the location tracking device 10 according to the present invention, when the neural network unit 100 fails to provide the first tracking location P_T1 for a specific part, the location tracking unit 200 performs the first feature data F_D1 and By providing the second tracking position P_T2 based on the input window I_W, it is possible to determine the exact position of the blood vessel.

10: 위치 추적장치 100: 뉴럴 네트워크부
200: 위치추적부 210: 필터 제공부
211: 제1 특징추출부 213: 상관관계 필터부
230: 추적위치 제공부 231: 제2 특징추출부
233: 스코어 맵 300: 디스플레이부10: location tracking device 100: neural network unit
200: location tracking unit 210: filter providing unit
211: first feature extraction unit 213: correlation filter unit
230: tracking location providing unit 231: second feature extraction unit
233: score map 300: display unit

Claims (15)

리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 뉴럴 네트워크부;
상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 상기 제2 추적위치를 제공하는 위치추적부를 포함하는 위치 추적장치. A neural network unit for providing a first tracking location by tracking a specific part in the input window based on a region based convolutional neural network (RCNN);
When first feature data for a central window of a certain size is extracted around the first tracking position, and the neural network unit fails to provide the first tracking position for the specific part, the first feature data and the A location tracking device comprising a location tracking unit that provides the second tracking location based on an input window. 제1항에 있어서,
상기 위치추적부는,
상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공하는 필터제공부; 및
상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공하는 추적위치 제공부를 포함하는 것을 특징으로 하는 위치 추적장치. The method of claim 1,
The location tracking unit,
A filter providing unit that provides a correlation filter corresponding to a filter coefficient generated based on the first characteristic data and a reference function; And
And a tracking location providing unit that provides the second tracking location based on the input window and the correlation filter. 제2항에 있어서,
상기 필터제공부는,
상기 중심 윈도우에 대한 상기 제1 특징 데이터 제공하는 제1 특징추출부; 및
상기 제1 특징 데이터 및 상기 기준함수에 기초하여 생성되는 상기 필터계수에 상응하는 상관관계 필터를 제공하는 상관관계 필터부를 포함하는 것을 특징으로 하는 위치 추적장치.The method of claim 2,
The filter providing unit,
A first feature extraction unit providing the first feature data for the central window; And
And a correlation filter unit for providing a correlation filter corresponding to the filter coefficient generated based on the first feature data and the reference function. 제3항에 있어서,
상기 추적위치 제공부는,
상기 입력 윈도우에 상응하는 제2 특징 데이터를 제공하는 제2 특징추출부; 및
상기 제2 특징 데이터를 상기 상관계수 필터 사이의 상관관계 값을 저장하는 스코어 맵을 포함하는 것을 특징으로 하는 위치 추적장치. The method of claim 3,
The tracking location providing unit,
A second feature extracting unit that provides second feature data corresponding to the input window; And
And a score map for storing correlation values between the correlation coefficient filters for the second feature data. 제4항에 있어서,
상기 스코어 맵은 상기 상관관계 값이 가장 큰 값에 상응하는 위치를 상기 제2 추적위치로 제공하는 것을 특징으로 하는 위치 추적장치. The method of claim 4,
Wherein the score map provides a position corresponding to the value having the largest correlation value as the second tracking position. 제5항에 있어서,
상기 특정부분은 인체내부에 포함되는 혈관인 것을 특징으로 하는 위치 추적장치. The method of claim 5,
The specific portion is a location tracking device, characterized in that the blood vessel contained in the human body. 제6항에 있어서,
상기 기준함수는 가우신안 분포를 갖는 함수인 것을 특징으로 하는 위치 추적장치.The method of claim 6,
The reference function is a location tracking device, characterized in that the function having a Gaussian eye distribution. 제5항에 있어서,
상기 뉴럴 네트워크부가 상기 제1 추적위치를 제공하는 경우,
상기 위치추적부는 상기 제2 추적위치를 제공하지 않는 것을 특징으로 하는 위치 추적장치.The method of claim 5,
When the neural network unit provides the first tracking position,
The location tracking device, characterized in that the location tracking unit does not provide the second tracking location. 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 단계;
위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하는 단계; 및
상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 단계를 포함하는 위치 추적장치의 동작방법. Providing, by a neural network unit, a first tracking location by tracking a specific portion in the input window based on a region based convolutional neural network (RCNN);
Extracting, by a location tracking unit, first feature data for a central window having a predetermined size around the first tracking location; And
When the neural network unit fails to provide the first tracking position for the specific part, the position tracking unit provides a second tracking position based on the first characteristic data and the input window. Method of operation. 제9항에 있어서,
상기 위치 추적장치의 동작방법은,
상기 뉴럴 네트워크부가 학습 입력 윈도우에 기초하여 특정부분의 위치를 학습하는 단계를 더 포함하는 것을 특징으로 하는 위치 추적장치의 동작방법. The method of claim 9,
The operating method of the location tracking device,
And learning, by the neural network unit, a location of a specific portion based on a learning input window. 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 뉴럴 네트워크부;
상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 위치추적부; 및
상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타내는 디스플레이부를 포함하는 위치 추적시스템. A neural network unit for providing a first tracking location by tracking a specific part in the input window based on a region based convolutional neural network (RCNN);
Extracting first feature data for a central window of a certain size based on the first tracking position, and when the neural network unit fails to provide the first tracking location for the specific part, the first feature data and the input A location tracking unit that provides a second tracking location based on the window; And
A position tracking system comprising a display unit that displays a position of the specific portion as an image based on the first tracking position and the second tracking position. 제11항에 있어서,
상기 위치추적부는,
상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공하는 필터제공부; 및
상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공하는 추적위치 제공부를 포함하는 것을 특징으로 하는 위치 추적장치.The method of claim 11,
The location tracking unit,
A filter providing unit that provides a correlation filter corresponding to a filter coefficient generated based on the first characteristic data and a reference function; And
And a tracking location providing unit that provides the second tracking location based on the input window and the correlation filter. 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 단계;
위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하는 단계;
상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 단계; 및
디스플레이부가 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타내는 단계를 포함하는 위치 추적시스템의 동작방법. Providing, by a neural network unit, a first tracking location by tracking a specific portion in the input window based on a region based convolutional neural network (RCNN);
Extracting, by a location tracking unit, first feature data for a central window having a predetermined size around the first tracking location;
When the neural network unit fails to provide the first tracking position for the specific portion, providing, by the location tracking unit, a second tracking position based on the first characteristic data and the input window; And
And displaying, by a display unit, a position of the specific portion as an image based on the first tracking position and the second tracking position. 제13항에 있어서,
상기 특정부분은 인체내부에 포함되는 혈관이고, 상기 기준함수는 가우신안 분포를 갖는 함수인 것을 특징으로 하는 위치 추적시스템의 동작방법.The method of claim 13,
The specific part is a blood vessel included in the human body, and the reference function is a function having a Gaussian eye distribution. 제13항에 있어서,
상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우,
상기 중심 윈도우는 상기 제2 추적위치에 기초하여 생성되는 것을 특징으로 하는 위치 추적시스템의 동작방법.The method of claim 13,
When the neural network unit fails to provide the first tracking position for the specific part,
The method of operating a location tracking system, wherein the center window is generated based on the second tracking position.
KR1020190068611A 2019-06-11 2019-06-11 Vessel position tracking device and operating method thereof KR102680085B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190068611A KR102680085B1 (en) 2019-06-11 2019-06-11 Vessel position tracking device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190068611A KR102680085B1 (en) 2019-06-11 2019-06-11 Vessel position tracking device and operating method thereof

Publications (2)

Publication Number Publication Date
KR20200141730A true KR20200141730A (en) 2020-12-21
KR102680085B1 KR102680085B1 (en) 2024-06-28

Family

ID=74090723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190068611A KR102680085B1 (en) 2019-06-11 2019-06-11 Vessel position tracking device and operating method thereof

Country Status (1)

Country Link
KR (1) KR102680085B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4831281B1 (en) * 1968-12-23 1973-09-28
JPS5715064B2 (en) * 1974-02-27 1982-03-27
JP3378941B2 (en) * 2000-06-29 2003-02-17 徳島県 Position automatic tracking type ultrasonic blood flow measurement device
JP2008539932A (en) * 2005-05-10 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Cannula insertion system
KR101553958B1 (en) * 2007-10-09 2015-09-17 가부시키가이샤 유넥스 Blood-vessel ultrasonographing method
JP2016010560A (en) * 2014-06-30 2016-01-21 セイコーエプソン株式会社 Blood vessel searching device, ultrasonic measurement device and blood vessel searching method
KR20160047516A (en) 2013-08-27 2016-05-02 하트플로우, 인크. Systems and methods for predicting location, onset, and/or change of coronary lesions

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6464641B1 (en) 1998-12-01 2002-10-15 Ge Medical Systems Global Technology Company Llc Method and apparatus for automatic vessel tracking in ultrasound imaging
BRPI0917609A2 (en) 2008-12-10 2019-10-15 Koninklijke Philips Electrnics N. V. '' system for performing vessel analysis, medical imaging workstation, method for performing vessel analysis, and, computer program product ''

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4831281B1 (en) * 1968-12-23 1973-09-28
JPS5715064B2 (en) * 1974-02-27 1982-03-27
JP3378941B2 (en) * 2000-06-29 2003-02-17 徳島県 Position automatic tracking type ultrasonic blood flow measurement device
JP2008539932A (en) * 2005-05-10 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Cannula insertion system
KR101553958B1 (en) * 2007-10-09 2015-09-17 가부시키가이샤 유넥스 Blood-vessel ultrasonographing method
KR20160047516A (en) 2013-08-27 2016-05-02 하트플로우, 인크. Systems and methods for predicting location, onset, and/or change of coronary lesions
JP2016010560A (en) * 2014-06-30 2016-01-21 セイコーエプソン株式会社 Blood vessel searching device, ultrasonic measurement device and blood vessel searching method

Also Published As

Publication number Publication date
KR102680085B1 (en) 2024-06-28

Similar Documents

Publication Publication Date Title
KR102013806B1 (en) Method and apparatus for generating artificial data
CN112932663B (en) Intelligent auxiliary system for improving safety of laparoscopic cholecystectomy
CN107886503A (en) A kind of alimentary canal anatomical position recognition methods and device
US20240169579A1 (en) Prediction of structures in surgical data using machine learning
Pan et al. Saccade-target selection of dyslexic children when reading Chinese
CN110974306B (en) System for discernment and location pancreas neuroendocrine tumour under ultrasonic endoscope
CN111145173A (en) Plaque identification method, device, equipment and medium for coronary angiography image
JP2022543643A (en) Longitudinal display of coronary artery calcium load
CN109215079A (en) Image processing method, operation navigation device, electronic equipment, storage medium
CN110765835A (en) Operation video flow identification method based on edge information
Speidel et al. Image-based tracking of the suturing needle during laparoscopic interventions
CN110742690A (en) Method for configuring endoscope and terminal equipment
Amini Khoiy et al. Automatic tracking of laparoscopic instruments for autonomous control of a cameraman robot
CN112331311B (en) Method and device for fusion display of video and preoperative model in laparoscopic surgery
KR20200141730A (en) Vessel position tracking device and operating method thereof
Feng et al. Taxonomy of instructions given to residents in laparoscopic cholecystectomy
CN112053346A (en) Method and system for determining operation guide information
CN112613436B (en) Examination cheating detection method and device
CN116030090A (en) Intraoperative navigation target real-time tracking system and method based on CNN and transducer structure
US20230172535A1 (en) Method for predicting the recurrence of a lesion by image analysis
Lahane et al. Detection of unsafe action from laparoscopic cholecystectomy video
Kim et al. Cerebral microbleeds detection using a 3d feature fused region proposal network with hard sample prototype learning
CN115965589A (en) Catheter image recognition method and device, computer equipment and storage medium
CN108510497A (en) The display methods and display device of retinal images lesion information
Wilms et al. Segmenting Medical Instruments in Minimally Invasive Surgeries using AttentionMask

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right