Nothing Special   »   [go: up one dir, main page]

KR102180921B1 - 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법 - Google Patents

인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법 Download PDF

Info

Publication number
KR102180921B1
KR102180921B1 KR1020190129544A KR20190129544A KR102180921B1 KR 102180921 B1 KR102180921 B1 KR 102180921B1 KR 1020190129544 A KR1020190129544 A KR 1020190129544A KR 20190129544 A KR20190129544 A KR 20190129544A KR 102180921 B1 KR102180921 B1 KR 102180921B1
Authority
KR
South Korea
Prior art keywords
surgical
information
video
surgery
tool
Prior art date
Application number
KR1020190129544A
Other languages
English (en)
Inventor
김덕석
안기옥
Original Assignee
주식회사 엠티이지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠티이지 filed Critical 주식회사 엠티이지
Priority to KR1020190129544A priority Critical patent/KR102180921B1/ko
Application granted granted Critical
Publication of KR102180921B1 publication Critical patent/KR102180921B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Urology & Nephrology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법은, 입력된 수술 동영상을 복수의 클립 영상으로 분할하는 단계, 기 생성된 인공지능 알고리즘에 기초하여 상기 복수의 클립 영상 각각에 대한 수술 행위를 분석하는 단계 및 분석된 상기 수술 행위를 나타내는 주석을 상기 복수의 클립 영상에 삽입하여 상기 수술 동영상을 제공하는 단계를 포함할 수 있다.

Description

인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법{APPARATUS AND METHOD FOR INSERTING ANNOTATION ON SURGERY VIDEO BASED ON ARTIFICIAL INTELLIGENCE}
본원은 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법에 관한 것이다.
최근 들어 카메라가 부착된 내시경 장비들이 다양한 분야에서 사용되고, 대상자의 체내에 삽입되거나 시술 또는 수술 현장을 촬영하는 영상 장비들이 소형화, 보편화되면서 내외과적 수술에서 수술 동영상을 획득하는 경우가 많아지고 있으나, 이렇게 획득된 수술 동영상은 학술대회 발표 등의 극히 제한적인 상황에서만 활용될 뿐이다.
또한, 최근 들어 빅 데이터, 인공 지능의 발달로 수많은 의료 관련 문서 기록과 사진들이 중요한 의료 정보로 발전하고 있으며, 문서 못지 않게 영상 자료도 방대하게 확보되고 있으나 영상 자료들을 임상에서 활용하는 경우는 극히 드문 실정이다.
또한, 수술 동영상에는 전문적 의료 행위 데이터가 내재되어 있어 의학 교육 및 학술 연구 자료로써의 가치가 높아 수술 동영상에 대한 분석을 통해 수술 과정에서 발생하는 중요한 행위를 데이터화 한다면, 술기 표준, 수술 위험도 예측 모델 수립, 수술 평가 및 검증 모델 등을 수립할 수 있다.
그러나, 외과 수술 등에 있어서 수술에 소요되는 시간이 긴 경우가 많기 때문에, 해당 수술에 대한 수술 동영상의 길이, 용량도 커지게 되는 경우가 많다. 이러한 경우, 확보된 수술 동영상을 통해 해당 수술을 재검토하고자 하는 의료진이나 수술 동영상을 학습 용도로 활용하고자 하는 의료진이 긴 시간의 영상 자료를 모두 시청하거나 필요한 부분을 일일이 탐색하는 것은 매우 어려운 작업이라고 할 것이다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1658002호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 수술 동영상을 소정의 클립 영상으로 분할하고 클립 영상 각각에 포함된 수술자의 수술 행위를 분석하여 이를 해당 클립 영상에 대한 주석으로 삽입함으로써, 시청자가 주요 이벤트 발생 지점을 용이하게 확인 가능하고 필요한 수술 행위 별 검색이 가능하도록 하는 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법은, 입력된 수술 동영상을 복수의 클립 영상으로 분할하는 단계, 기 생성된 인공지능 알고리즘에 기초하여 상기 복수의 클립 영상 각각에 대한 수술 행위를 분석하는 단계 및 분석된 상기 수술 행위를 나타내는 주석을 상기 복수의 클립 영상에 삽입하여 상기 수술 동영상을 제공하는 단계를 포함할 수 있다.
또한, 상기 복수의 클립 영상으로 분할하는 단계는, 상기 수술 동영상의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하는 단계 및 상기 경계 프레임을 기준으로 하여 상기 수술 동영상을 복수의 클립 영상으로 분할하는 단계를 포함할 수 있다.
또한, 상기 인접 프레임 간 유사도는, 인접 프레임 간의 구조적 유사도 및 인접 프레임 간의 컬러 히스토그램 유사도를 포함할 수 있다.
또한, 상기 경계 프레임을 검출하는 단계는, 두 인접 프레임 간의 상기 구조적 유사도가 기 설정된 제1 임계값 미만이거나 상기 컬러 히스토그램 유사도가 기 설정된 제2 임계값 미만인 경우, 상기 두 인접 프레임 중 어느 한 프레임을 상기 경계 프레임으로 검출할 수 있다.
또한, 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나는 상기 수술 동영상의 소정의 시퀀스 구간으로 설정된 윈도우 내에서 계산되는 유사도의 분산 정보 등을 이용하여 적응적으로 결정되는 것일 수 있다.
또한, 상기 경계 프레임은 상기 수술 동영상의 특징에 해당하는 연속적인 유사 영상 간의 경계에 해당하고, CPU 등의 연산을 최소화 하기 위한 용도로 활용될 수 있다.
또한, 상기 기 생성된 인공지능 알고리즘은, 수술 동영상에서 등장 가능한 수술 도구의 움직임에 대한 분석 결과를 입력으로 하여 분석된 상기 수술 도구의 움직임에 대응하는 수술 행위를 출력으로 제공하는 것일 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법은, 입력된 수술 동영상에 대한 수술 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 수술 도구 및 상기 수술 행위는 상기 수술 정보에 기초하여 결정될 수 있다.
또한, 상기 수술 행위는, 결찰(Ligation), 절개(Dissection), 절제(Resection) 또는 봉합(Suture)을 포함할 수 있다.
또한, 상기 수술 행위를 분석하는 단계는, 각각의 클립 영상에 등장하는 수술 도구를 식별하는 단계, 식별된 상기 수술 도구의 움직임을 파악하는 단계 및 기 생성된 인공지능 알고리즘에 기초하여 상기 수술 도구의 움직임에 대응하는 수술 행위를 도출하는 단계를 포함할 수 있다.
또한, 상기 수술 정보는 입력된 수술 동영상의 수술 유형 정보를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법은, 상기 수술 유형 정보에 기초하여 결정되는 각각의 수술 행위에 대한 수행 횟수 정보 및 수행 시간 정보에 기초하여, 상기 수술 동영상을 평가하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치는, 입력된 수술 동영상을 복수의 클립 영상으로 분할하는 클립 분할부, 기 생성된 인공지능 알고리즘에 기초하여 상기 복수의 클립 영상 각각에 대한 수술 행위를 분석하는 수술 행위 추출부 및 분석된 상기 수술 행위를 나타내는 주석을 상기 복수의 클립 영상에 삽입하여 상기 수술 동영상을 제공하는 주석 삽입부를 포함할 수 있다.
또한, 상기 클립 분할부는, 상기 수술 동영상의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하고, 상기 경계 프레임을 기초로 하여 상기 수술 동영상을 복수의 클립 영상으로 분할할 수 있다.
또한, 상기 수술 행위 추출부는, 각각의 클립 영상에 등장하는 수술 도구를 식별하는 도구 식별부, 식별된 상기 수술 도구의 움직임을 파악하는 도구 분석부 및 수술 동영상에서 등장 가능한 수술 도구의 움직임에 대한 분석 결과를 입력으로 하여 분석된 상기 수술 도구의 움직임에 대응하는 수술 행위를 출력으로 제공하는 기 생성된 인공지능 알고리즘에 기초하여 상기 수술 도구의 움직임에 대응하는 수술 행위를 도출하는 알고리즘 적용부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치는, 입력된 수술 동영상에 대한 수술 정보를 획득하는 수술 정보 획득부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치는, 상기 수술 유형 정보에 기초하여 결정되는 각각의 수술 행위에 대한 수행 횟수 정보 및 수행 시간 정보에 기초하여, 상기 수술 동영상을 평가하는 수술 평가부를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 수술 동영상을 소정의 클립 영상으로 분할하고 클립 영상 각각에 포함된 수술자의 수술 행위를 분석하여 이를 해당 클립 영상에 대한 주석으로 삽입함으로써, 시청자가 주요 이벤트 발생 지점을 용이하게 확인 가능하고 필요한 수술 행위 별 검색이 가능하도록 하는 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법을 제공할 수 있는 효과가 있다.
전술한 본원의 과제 해결 수단에 의하면, 수술 동영상에 포함된 수술 행위에 대한 주석을 삽입하고, 주석이 삽입된 복수의 수술 동영상을 포함하는 데이터베이스를 구축함으로써 술기 표준, 수술 위험도 예측 모델, 수술 평가 및 검증 모델 등에 활용할 수 있는 효과가 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치를 포함하는 수술 동영상 제공 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 클립 영상에서 수술 도구를 식별하는 것을 설명하기 위한 도면이다.
도 3은 본원의 일 실시예에 따른 입력된 수술 동영상에 대한 수술 정보를 입력하기 위한 사용자 인터페이스를 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치에 의해 주석이 삽입된 복수의 클립 영상의 형태로 제공되는 수술 동영상 제공 화면을 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치의 개략적인 구성도이다.
도 6은 본원의 일 실시예에 따른 수술 행위 추출부의 세부 구성도이다.
도 7은 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법의 동작 흐름도이다.
도 8은 본원의 일 실시예에 따른 수술 행위를 분석하는 단계의 세부 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치를 포함하는 수술 동영상 제공 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 수술 동영상 제공 시스템(10)은 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치(100) 및 사용자 단말(30)을 포함할 수 있다. 또한, 도 1을 참조하면, 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치(100)(이하, '주석 삽입 장치(100)'라 한다.)는, 수술 동영상 저장 장치(미도시), 의료 영상 데이터 촬영 기기(미도시) 등으로부터 수술 동영상(1)을 입력으로 수신하고, 입력된 수술 동영상(1)을 복수의 클립 영상(2)으로 분할하고, 각각의 클립 영상에(2) 해당 수술에서 수행된 수술 행위와 연계된 주석(3)을 삽입하여 사용자 단말(30)로 제공하도록 동작할 수 있다.
본원의 일 실시예에 따르면, 전술한 수술 동영상 저장 장치, 의료 영상 데이터 촬영 기기, 주석 삽입 장치(100) 및 사용자 단말(30)은 상호 연결되는 네트워크(20)로 통신할 수 있다.
여기서, 네트워크(20)는 예시적으로 예시적으로 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 와이파이(Wi-fi) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
또한, 사용자 단말(30)은, 예시적으로 스마트폰(Smartphone), 스마트패드 (SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 유/무선 통신 장치를 포함할 수 있다.
주석 삽입 장치(100)는, 입력된 수술 동영상(1)을 복수의 클립 영상으로 분할할 수 있다.
구체적으로, 주석 삽입 장치(100)는, 수술 동영상(1)의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하고, 경계 프레임을 기준으로 하여 수술 동영상(1)을 복수의 클립 영상(2)으로 분할할 수 있다.
본원의 일 실시예에 따르면, 인접 프레임 간 유사도는 인접 프레임 간의 구조적 유사도 및 인접 프레임 간의 컬러 히스토그램 유사도를 포함할 수 있다. 다만, 이에만 한정되는 것은 아니며, 인접 프레임 간 유사도는 인접 프레임 간의 색상 정보, 등장 객체(예를 들면, 수술 도구 등) 정보 등에 기초하여 다양한 방식으로 산출될 수 있다.
또한, 주석 삽입 장치(100)는 두 인접 프레임 간의 구조적 유사도가 기 설정된 제1 임계값 미만이거나 컬러 히스토그램 유사도가 기 설정된 제2 임계값 미만 인 경우, 상기 두 인접 프레임 중 어느 한 프레임을 상기 경계 프레임으로 검출하도록 동작할 수 있다.
본원의 일 실시예에 따르면, 제1 임계값 및 제2 임계값 중 적어도 하나는 수술 동영상(1)의 소정의 시퀀스 구간으로 설정된 윈도우(Window) 내에서 계산되는 유사도의 분산 정보 등을 이용하여 적응적으로 결정되는 것일 수 있다.
예를 들어, 윈도우 설정을 위한 소정의 시퀀스 구간은 7 프레임일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 윈도우 설정을 위한 소정의 시퀀스 구간은 수술 동영상(1)의 유형에 따라 선택적으로 다른 수의 프레임을 포함하는 것일 수 있다.
참고로, 주석 삽입 장치(100)에 의해 추출된 경계 프레임은 수술 동영상(1)의 특징에 해당하는 연속적인 유사 영상 간의 경계에 해당하고, 이후에 수행되는 CPU 등의 연산을 최소화 하기 위한 용도로 활용되는 것일 수 있다.
또한, 주석 삽입 장치(100)는 기 생성된 인공지능 알고리즘에 기초하여 상기 복수의 클립 영상 각각에 대한 수술 행위를 분석할 수 있다. 본원의 일 실시예에 따르면, 기 생성된 인공지능 알고리즘은 구체적으로 수술 동영상(1)에서 등장 가능한 수술 도구(4)의 클립 영상(2) 내에서의 움직임에 대한 분석 결과를 입력으로 하여 분석된 수술 도구(4)의 움직임에 대응하는 수술 행위를 출력으로 제공하는 알고리즘일 수 있다.
본원의 일 실시예에 따르면, 기 생성된 인공지능 알고리즘은 소정의 수술 동영상 및 해당 수술 동영상에 나타난 수술 행위에 대한 정보를 학습 데이터로 하여 수술 동영상에서 등장 가능한 수술 도구의 움직임에 대한 분석 결과와 수술 도구의 움직임에 대응하는 수술 행위와의 상관 관계(예를 들면, 함수 형태)를 학습하는 지도 학습(Supervised Learning) 기반의 기계 학습 방식으로 생성되는 것일 수 있다. 다만, 이에만 한정되는 것은 아니며, 본원에서의 기 생성된 인공지능 알고리즘은 로지스틱 회귀 분석(Logistic Regression), 랜덤 포레스트(Random Forest), 딥 러닝(Deep Learning), 서포트 벡터 머신(Supprot Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 강화 학습(Reinforcement Learning) 등 종래에 공지되었거나 향후 개발되는 모든 종류의 기계 학습 방식을 통해 생성(학습)된 것일 수 있다.
도 2는 본원의 일 실시예에 따른 클립 영상에서 수술 도구를 식별하는 것을 설명하기 위한 도면이다.
도 2를 참조하면, 본원의 일 실시예에 따른 주석 삽입 장치(100)는 각각의 클립 영상(2)에 등장하는 수술 도구(4)를 식별할 수 있다. 또한, 도 2를 참조하면, 주석 삽입 장치(100)는 식별된 수술 도구(4)를 포함하는 경계 영역(Bounding Box)를 해당 클립 영상(2)에 표시할 수 있다.
본원의 일 실시예에 따르면, 주석 삽입 장치(100)가 식별하는 수술 도구(4)는 가위, 핀셋, 흡입기, 시술자의 손, 내시경, 카테터, 가이드 와이어, 프로브 등 수술 과정에서 활용될 수 있는 다양한 의료 기기, 도구 등을 폭넓게 포함할 수 있다. 또한, 본원의 일 실시예에 따르면, 주석 삽입 장치(100)는 해당 수술 동영상(1)의 수술 정보(예를 들면, 수술 유형, 질병 대상, 대상자의 연령 등)에 기초하여 수술 도구(4) 별로 해당 수술 동영상에 등장할 확률을 계산하여, 계산된 확률에 기초하여 수술 도구(4)에 대한 식별을 수행하는 것일 수 있다. 예를 들어, 주석 삽입 장치(100)는 특정 수술 유형에서는 활용되지 않는 수술 도구(4)가 존재하는 경우, 해당 수술 유형에 대한 수술 동영상에 대한 수술 도구(4) 식별 시에는 해당 수술 도구(4)는 고려하지 않도록 동작할 수 있다.
또한, 주석 삽입 장치(100)는, 클립 영상(2) 내의 수술 도구(4)가 식별되고 나면, 식별된 수술 도구(4)의 해당 클립 영상(2) 내에서의 움직임을 파악(분석)할 수 있다. 본원의 일 실시예에 따르면, 주석 삽입 장치(100)는 수술 도구(4)가 식별된(등장한) 프레임 및 식별된 프레임의 전후 소정의 프레임을 분석하여 식별된 수술 도구(4)가 해당 프레임 집합 내에서 이동한 방향 정보, 거리 정보 등을 도출함으로써 클립 영상(2) 내에서의 움직임을 파악하는 것일 수 있다. 또한, 본원의 일 실시예에 따르면, 주석 삽입 장치(100)는 클립 영상(2) 내의 대상자의 환부(수술/시술 부위)의 형상 변화 패턴에 기초하여 식별된 수술 도구(4)의 움직임을 추정하도록 동작할 수 있다. 예를 들어, 주석 삽입 장치(100)는 수술 도구(4) 자체의 움직임 정보뿐만 아니라, 대상자의 환부 영역의 색상 정보에 기초하여 출혈 발생을 감지하거나 절개된 환부가 봉합된 상황 등을 감지할 수 있고, 감지된 환부의 형상 변화 패턴을 수술 도구(4) 자체의 움직임 정보와 함께 고려하여 해당 클립 영상(2)에 삽입될 주석(3)과 연계된 수술 행위를 보다 정확하게 도출할 수 있다.
또한, 주석 삽입 장치(100)는 기 생성된 인공지능 알고리즘에 기초하여 수술 도구(4)의 움직임에 대응하는 수술 행위를 도출할 수 있다. 여기서, 수술 행위는 결찰(Ligation), 절개(Dissection), 절제(Resection) 또는 봉합(Suture)을 포함할 수 있으나, 이에만 한정되는 것은 아니다.
또한, 주석 삽입 장치(100)는, 분석된 수술 행위를 나타내는 주석(3)을 복수의 클립 영상(2)에 삽입하여 수술 동영상(1)을 제공할 수 있다.
본원의 일 실시예에 따르면, 주석 삽입 장치(100)는 입력된 수술 동영상(1)에 대한 수술 정보(5)를 획득할 수 있다. 본원의 일 실시예에 따르면, 수술 동영상(1)에 대한 수술 정보(5)는 수술 유형 정보, 수술과 관련된 질병 유형, 수술 대상 장기, 수술 대상자에 대한 정보, 수술 장소 장보, 수술자 정보, 수술 시간 정보 등 수술 동영상(1)과 연계된 수술에 대한 다양한 정보를 폭넓게 포함하는 개념으로 이해될 수 있다.
본원의 일 실시예에 따르면, 수술 동영상(1)에 대한 수술 정보(5)는 주석 삽입 장치(100)가 수술 동영상(1)을 입력으로 수신할 때 수술 동영상(1)과 함께 주석 삽입 장치(100)에 제공되는 것일 수 있다. 예를 들어, 주석 삽입 장치(100)가 수술 동영상(1)이 업로드(Upload)되는 수술 동영상 저장 장치(예를 들어, 저장 매체, 데이터베이스, 서버, 클라우드 서버 등)로부터 수술 동영상(1)을 획득(수신)하는 경우, 수술 정보(5)는 해당 수술 동영상(1)의 업로드(Upload) 시에 업로드 주체에 의해 입력된 것일 수 있다. 달리 말해, 수술 동영상(1)의 업로드 주체는 해당 수술 동영상(1)과 연계된 수술 정보(5)를 수술 동영상(1)의 업로드 시에 함께 저장되도록 수술 정보(5)와 연계된 사용자 입력을 인가할 수 있다.
도 3은 본원의 일 실시예에 따른 입력된 수술 동영상에 대한 수술 정보를 입력하기 위한 사용자 인터페이스를 나타낸 도면이다.
도 3을 참조하면, 수술 동영상에 대한 수술 정보(5)를 입력하기 위한 사용자 인터페이스를 통해 수술 동영상(1)의 업로드 시, 수술 동영상(1)의 사용자 설정 제목, 수술 대상자의 연령 및 성별, 수술이 수행된 날짜 또는 업로드 날짜 등을 입력하도록 구현될 수 있다. 본원의 일 실시예에 따른 수술 정보(5)를 입력하기 위한 사용자 인터페이스는 실시예에 따라 주석 삽입 장치(100)에 구비되는 디스플레이 모듈 또는 수술 동영상 저장 장치에 구비되는 디스플레이 모듈 등에 의해 제공되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 주석 삽입 장치(100)는 복수의 수술 동영상(1)을 수술 정보(5) 중 어느 하나를 기준으로 하여 사용자 입력에 따른 키워드 검색 가능이 가능하도록 구현될 수 있다. 달리 말해, 주석 삽입 장치(100)는 복수의 수술 동영상(1)을 입력 받아 저장하는 경우, 검색을 위한 사용자 입력을 수신하여 사용자 입력에 부합하는 수술 동영상(1)을 검색 결과로써 제공할 수 있다.
또한, 본원의 일 실시예에 따르면, 주석 삽입 장치(100)는 수술 정보(5) 중 입력된 수술 동영상(1)의 수술 유형 정보에 기초하여 결정되는 각각의 수술 행위에 대한 수행 횟수 정보 및 수행 시간 정보에 기초하여, 입력된 수술 동영상(1)에 대한 평가 결과를 제공할 수 있다. 달리 말해, 주석 삽입 장치(100)는 소정의 기준에 따라 입력된 수술 동영상(1)을 평가할 수 있다. 여기서, 수술 평가를 위한 소정의 기준은 구체적으로 특정 수술 유형에서 요구되는 소정의 수술 행위의 횟수, 수술 행위 각각에 소요되는 시간 등으로 결정될 수 있다.
예를 들어, 주석 삽입 장치(100)는 특정한 수술 유형에서의 수술 행위 별 평균 수행 횟수 정보, 수술 행위 별 평균 수행 시간 정보 등을 데이터베이스에 저장하여 보유할 수 있다. 이에 따라, 주석 삽입 장치(100)는 새로운 수술 동영상(1)이 입력되면, 해당 수술 동영상(1)에 나타난 수술 행위의 횟수 정보 및 해당 수술 행위 각각의 소요 시간 정보를 추출하고 이를 데이터베이스에 저장된 특정한 수술 유형에서의 수술 행위 별 평균 수행 횟수 정보, 수술 행위 별 평균 수행 시간 정보 등과 비교함으로써 입력된 수술 동영상(1)의 수술 품질에 대한 평가 결과 또는 수술 난이도 정보 등을 제공할 수 있다. 또한, 상술한 데이터베이스는 주석 삽입 장치(100)에 새로운 수술 동영상(1)이 입력되고 이에 대한 주석(3)이 삽입되고 나면, 해당 수술 동영상(1)에 대한 정보를 반영하여 갱신되는 것일 수 있다. 달리 말해, 주석 삽입 장치(100)에 수술 동영상(1)이 입력될수록 수술 동영상(1) 평가를 위한 기준이 되는 데이터베이스가 보다 정확한 평가 기준을 제공하도록 지속적으로 갱신될 수 있다.
도 4는 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치에 의해 주석이 삽입된 복수의 클립 영상의 형태로 제공되는 수술 동영상 제공 화면을 나타낸 도면이다.
도 4를 참조하면, 주석 삽입 장치(100)에 의해 제공되는 수술 동영상 제공 화면에는 복수의 클립 영상(2)에 대한 상세 목록(도 4 기준 하측)이 표시될 수 있다. 예를 들어, 클립 영상(2) 상세 목록에는 도 4에 도시된 바와 같이 각각의 클립 영상(2)을 대표하는 대표 프레임, 클립 영상(2)의 대표 프레임의 재생 시간 등이 표시될 수 있다.
본원의 일 실시예에 따르면, 수술 동영상 제공 화면에 표시되는 클립 영상(2)을 대표하는 대표 프레임은, 해당 클립 영상(2)의 재생 순서 상 첫 프레임, 마지막 프레임, 중간 프레임 및 수술 도구(4)의 움직임이 나타난 프레임 중 어느 한 프레임으로 결정될 수 있다. 예를 들어, 수술 도구(4)의 움직임이 나타난 프레임은, 기 생성된 인공지능 알고리즘을 통해 해당 클립 영상(2)에 대한 주석(3)을 결정하는 데 가장 주요하게 작용하도록 수술 도구(4)의 움직임이 나타난 프레임 구간 중의 어느 한 프레임으로 결정될 수 있다.
또한, 도 4를 참조하면, 주석 삽입 장치(100)에 의해 제공되는 수술 동영상 제공 화면에는 복수의 클립 영상(2)에 대한 간단 목록(도 4 기준 우측)이 표시될 수 있다. 예를 들어, 클립 영상(2) 간단 목록에는 클립 영상(2) 각각의 재생 시간 구간, 클립 영상(2)에 삽입된 주석(3) 정보 등이 표시될 수 있다. 또한, 실시예에 따라 클립 영상(2) 간단 목록에는 클립 영상(2) 각각을 목록에서 삭제하기 위한 삭제 버튼이 포함될 수 있다.
주석 삽입 장치(100)에 의해 제공되는 수술 동영상 제공 화면을 통해 사용자는 복수의 클립 영상(2)에 대한 상세 목록 또는 간단 목록에 표시된 클립 영상(2) 중 어느 하나를 선택하는 사용자 입력(예를 들면, 목록에서 해당 클립 영상(2)이 표시된 부분을 클릭, 터치 하는 등의 입력)을 인가함으로써 해당 클립 영상(2)을 시청할 수 있다. 이러한 사용자 입력이 인가되면, 주석 삽입 장치(100)에 의해 제공되는 수술 동영상 제공 화면 내에 선택된 클립 영상(2)이 재생될 수 있다(도 4 기준 좌측 상단).
이와 같이, 주석 삽입 장치(100)는 하나의 수술 동영상(1)을 복수의 클립 영상(2)으로 분할하여 제공하고, 클립 영상(2) 각각에 포함된 수술 행위와 연계된 주석(3)을 삽입하여 클립 영상(2) 목록을 제공함으로써 사용자가 제공된 복수의 클립 영상(2) 중 관심 있는 특정 클립 영상(2)을 선택하여 시청할 수 있어 비교적 긴 시간의 수술 영상 자료를 모두 시청하거나 전체 구간을 일일이 탐색하지 않고도 필요한 부분을 선택적으로 시청할 수 있어, 해당 수술에 대한 리뷰, 해당 수술 동영상을 통한 교육 시 등의 효율성이 향상될 수 있다.
또한, 클립 영상(2)이 재생되는 영역에는 재생, 일시 정지 버튼, 음량 조절 버튼, 주석 추가 삽입을 위한 버튼 등이 구비될 수 있다.
도 5는 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치의 개략적인 구성도이다.
도 5를 참조하면, 주석 삽입 장치(100)는, 클립 분할부(110), 수술 행위 추출부(120), 주석 삽입부(130), 수술 정보 획득부(140) 및 수술 평가부(150)를 포함할 수 있다.
클립 분할부(110)는, 입력된 수술 동영상(1)을 복수의 클립 영상(2)으로 분할할 수 있다.
구체적으로, 클립 분할부(110)는, 수술 동영상(1)의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하고, 경계 프레임을 기초로 하여 수술 동영상(1)을 복수의 클립 영상(2)으로 분할할 수 있다.
수술 행위 추출부(120)는, 기 생성된 인공지능 알고리즘에 기초하여 복수의 클립 영상(2) 각각에 대한 수술 행위를 분석할 수 있다.
도 6은 본원의 일 실시예에 따른 수술 행위 추출부의 세부 구성도이다.
도 6을 참조하면, 수술 행위 추출부(120)는, 도구 식별부(121), 도구 분석부(122) 및 알고리즘 적용부(123)를 포함할 수 있다.
도구 식별부(121)는, 각각의 클립 영상(2)에 등장하는 수술 도구(4)를 식별할 수 있다.
도구 분석부(122)는, 도구 식별부(121)에 의해 식별된 수술 도구(4)의 움직임을 파악할 수 있다.
알고리즘 적용부(123)는, 수술 동영상(1)에서 등장 가능한 수술 도구(4)의 움직임에 대한 분석 결과를 입력으로 하여 분석된 수술 도구(4)의 움직임에 대응하는 수술 행위를 출력으로 제공하는 기 생성된 인공지능 알고리즘에 기초하여 도구 분석부(122)에 의해 파악된 수술 도구(4)의 움직임에 대응하는 수술 행위를 도출할 수 있다.
주석 삽입부(130)는, 분석된 수술 행위를 나타내는 주석(3)을 복수의 클립 영상(2)에 삽입하여 수술 동영상(1)을 제공할 수 있다.
수술 정보 획득부(140)는, 입력된 수술 동영상에 대한 수술 정보(5)를 획득할 수 있다. 여기서, 획득된 수술 정보(5)는 클립 영상(2) 각각에서의 수술 행위를 추출하기 위한 수술 도구(4)를 식별하는데 활용되거나 수술 행위의 유형 자체를 결정하는데 활용될 수 있다. 달리 말해, 수술 도구(4) 및 수술 행위는 수술 정보(5)에 기초하여 결정될 수 있다.
수술 평가부(150)는, 수술 유형 정보에 기초하여 결정되는 각각의 수술 행위에 대한 수행 횟수 정보 및 수행 시간 정보에 기초하여, 수술 동영상(1)을 평가할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법의 동작 흐름도이다.
도 7에 도시된 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법은 앞서 설명된 주석 삽입 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 주석 삽입 장치(100)에 대하여 설명된 내용은 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 단계 S710에서 수술 정보 획득부(140)는, 입력된 수술 동영상(1)에 대한 수술 정보(5)를 획득할 수 있다. 이 단계에서 또는 이 단계에 앞서 수술 동영상(1)이 주석 삽입 장치(100)에 입력(인가)될 수 있다.
다음으로, 단계 S720에서 클립 분할부(110)는, 입력된 수술 동영상(1)을 복수의 클립 영상(2)으로 분할할 수 있다.
구체적으로, 단계 S720은 클립 분할부(110)가 수술 동영상(1)의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하는 단계 S721 및 클립 분할부(110)가 검출된 경계 프레임을 기준으로 하여 수술 동영상(1)을 복수의 클립 영상(2)으로 분할하는 단계 S722를 포함할 수 있다. 여기서, 인접 프레임 간 유사도는 인접 프레임 간의 구조적 유사도 및 인접 프레임 간의 컬러 히스토그램 유사도를 포함할 수 있다. 이와 관련하여, 단계 S721에서 클립 분할부(110)는, 두 인접 프레임 간의 구조적 유사도가 기 설정된 제1 임계값 미만이거나 컬러 히스토그램 유사도가 기 설정된 제2 임계값 미만인 경우, 두 인접 프레임 중 어느 한 프레임을 상기 경계 프레임으로 검출할 수 있다.
다음으로, 단계 S730에서 수술 행위 추출부(120)는, 기 생성된 인공지능 알고리즘에 기초하여 복수의 클립 영상(2) 각각에 대한 수술 행위를 분석할 수 있다. 여기서, 기 생성된 인공지능 알고리즘은, 수술 동영상(1)에서 등장 가능한 수술 도구(4)의 움직임에 대한 분석 결과를 입력으로 하여 분석된 수술 도구(4)의 움직임에 대응하는 수술 행위를 출력으로 제공하는 알고리즘을 의미할 수 있다.
다음으로, 단계 S740에서 주석 삽입부(130)는, 분석된 수술 행위를 나타내는 주석(3)을 복수의 클립 영상(2)에 삽입하여 수술 동영상(1)을 제공할 수 있다.
다음으로, 단계 S750에서 수술 평가부(150)는, 수술 유형 정보에 기초하여 결정되는 각각의 수술 행위에 대한 수행 횟수 정보 및 수행 시간 정보에 기초하여, 입력된 수술 동영상(1)을 평가할 수 있다.
상술한 설명에서, 단계 S710 내지 S750은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 8은 본원의 일 실시예에 따른 수술 행위를 분석하는 단계의 세부 동작 흐름도이다.
도 8에 도시된 수술 행위를 분석하는 단계는 앞서 설명된 주석 삽입 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 주석 삽입 장치(100)에 대하여 설명된 내용은 도 8에 대한 설명에도 동일하게 적용될 수 있다.
도 8을 참조하면, 단계 S810에서 도구 식별부(121)는, 각각의 클립 영상(2)에 등장하는 수술 도구를 식별할 수 있다.
다음으로, 단계 S820에서 도구 분석부(122)는, 식별된 수술 도구(4)의 움직임을 파악할 수 있다.
다음으로, 단계 S830에서 알고리즘 적용부(123)는, 기 생성된 인공지능 알고리즘에 기초하여 수술 도구의 움직임에 대응하는 수술 행위를 도출할 수 있다.
상술한 설명에서, 단계 S810 내지 S830은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 수술 동영상 제공 시스템
20: 네트워크
30: 사용자 단말
100: 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치
110: 클립 분할부
120: 수술 행위 추출부
121: 도구 식별부
122: 도구 분석부
123: 알고리즘 적용부
130: 주석 삽입부
140: 수술 정보 획득부
150: 수술 평가부
1: 수술 동영상
2: 클립 영상
3: 주석
4: 수술 도구
5: 수술 정보

Claims (15)

  1. 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치에 의해 수행되는 인공지능 기반의 수술 동영상에 대한 주석 삽입 방법에 있어서,
    수술 정보 획득부가 입력된 수술 동영상에 대한 수술 유형 정보, 대상 질병 정보 및 수술 대상자의 인적 사항 정보를 포함하는 수술 정보를 획득하는 단계;
    클립 분할부가 상기 입력된 수술 동영상을 복수의 클립 영상으로 분할하는 단계;
    수술 행위 추출부가 상기 입력된 수술 동영상에서 등장 가능한 수술 도구의 움직임에 대한 분석 결과를 입력으로 하여 분석된 상기 수술 도구의 움직임에 대응하는 수술 행위를 출력으로 제공하는 기 생성된 인공지능 알고리즘에 기초하여 상기 복수의 클립 영상 각각에 대한 수술 행위를 분석하는 단계;
    주석 삽입부가 분석된 상기 수술 행위를 나타내는 주석을 상기 복수의 클립 영상에 삽입하여 상기 수술 동영상을 제공하는 단계; 및
    수술 평가부가 상기 분석된 수술 행위의 횟수 정보 및 상기 분석된 수술 행위 각각의 소요 시간 정보를 미리 구축된 데이터베이스에 저장된 상기 수술 유형 정보에 대응하는 수술 행위 별 평균 수행 횟수 정보 및 수술 행위 별 평균 수행 시간 정보와 비교하여 수술 품질에 대한 평가 정보 및 수술 난이도 정보를 제공하는 단계,
    를 포함하고,
    상기 수술 행위를 분석하는 단계는,
    상기 수술 정보에 기초하여 계산된 상기 수술 동영상에서의 상기 수술 도구 각각의 등장 확률에 기초하여 상기 수술 도구를 식별하고, 상기 식별된 수술 도구의 움직임 및 대상자의 환부 영역의 색상 정보와 출혈 발생 감지 정보를 포함하는 형상 변화 패턴을 고려하여 상기 수술 행위를 도출하는 것인, 주석 삽입 방법.
  2. 제1항에 있어서,
    상기 복수의 클립 영상으로 분할하는 단계는,
    상기 수술 동영상의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하는 단계; 및
    상기 경계 프레임을 기준으로 하여 상기 수술 동영상을 복수의 클립 영상으로 분할하는 단계,
    를 포함하는 것인, 주석 삽입 방법.
  3. 제2항에 있어서,
    상기 인접 프레임 간 유사도는,
    인접 프레임 간의 구조적 유사도 및 인접 프레임 간의 컬러 히스토그램 유사도를 포함하는 것인, 주석 삽입 방법.
  4. 제3항에 있어서,
    상기 경계 프레임을 검출하는 단계는,
    두 인접 프레임 간의 상기 구조적 유사도가 기 설정된 제1 임계값 미만이거나 상기 컬러 히스토그램 유사도가 기 설정된 제2 임계값 미만인 경우, 상기 두 인접 프레임 중 어느 한 프레임을 상기 경계 프레임으로 검출하는 것인, 주석 삽입 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 수술 행위는,
    결찰(Ligation), 절개(Dissection), 절제(Resection) 또는 봉합(Suture)을 포함하는 것인, 주석 삽입 방법.
  8. 제1항에 있어서,
    상기 수술 행위를 분석하는 단계는,
    도구 식별부가 각각의 클립 영상에 등장하는 수술 도구를 식별하는 단계;
    도구 분석부가 식별된 상기 수술 도구의 움직임을 파악하는 단계; 및
    알고리즘 적용부가 기 생성된 인공지능 알고리즘에 기초하여 상기 수술 도구의 움직임에 대응하는 수술 행위를 도출하는 단계,
    를 포함하는 것인, 주석 삽입 방법.
  9. 삭제
  10. 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치에 있어서,
    입력된 수술 동영상에 대한 수술 유형 정보, 대상 질병 정보 및 수술 대상자의 인적 사항 정보를 포함하는 수술 정보를 획득하는 수술 정보 획득부;
    상기 입력된 수술 동영상을 복수의 클립 영상으로 분할하는 클립 분할부;
    상기 입력된 수술 동영상에서 등장 가능한 수술 도구의 움직임에 대한 분석 결과를 입력으로 하여 분석된 상기 수술 도구의 움직임에 대응하는 수술 행위를 출력으로 제공하는 기 생성된 인공지능 알고리즘에 기초하여 상기 복수의 클립 영상 각각에 대한 수술 행위를 분석하는 수술 행위 추출부;
    분석된 상기 수술 행위를 나타내는 주석을 상기 복수의 클립 영상에 삽입하여 상기 수술 동영상을 제공하는 주석 삽입부; 및
    상기 분석된 수술 행위의 횟수 정보 및 상기 분석된 수술 행위 각각의 소요 시간 정보를 미리 구축된 데이터베이스에 저장된 상기 수술 유형 정보에 대응하는 수술 행위 별 평균 수행 횟수 정보 및 수술 행위 별 평균 수행 시간 정보와 비교하여 수술 품질에 대한 평가 정보 및 수술 난이도 정보를 제공하는 수술 평가부,
    를 포함하고,
    상기 수술 행위 추출부는,
    상기 수술 정보에 기초하여 계산된 상기 수술 동영상에서의 상기 수술 도구 각각의 등장 확률에 기초하여 상기 수술 도구를 식별하고, 상기 식별된 수술 도구의 움직임 및 대상자의 환부 영역의 색상 정보와 출혈 발생 감지 정보를 포함하는 형상 변화 패턴을 고려하여 상기 수술 행위를 도출하는 것인, 주석 삽입 장치.
  11. 제10항에 있어서,
    상기 클립 분할부는,
    상기 수술 동영상의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하고, 상기 경계 프레임을 기초로 하여 상기 수술 동영상을 복수의 클립 영상으로 분할하는 것인, 주석 삽입 장치.
  12. 제10항에 있어서,
    상기 수술 행위 추출부는,
    각각의 클립 영상에 등장하는 수술 도구를 식별하는 도구 식별부;
    식별된 상기 수술 도구의 움직임을 파악하는 도구 분석부; 및
    수술 동영상에서 등장 가능한 수술 도구의 움직임에 대한 분석 결과를 입력으로 하여 분석된 상기 수술 도구의 움직임에 대응하는 수술 행위를 출력으로 제공하는 기 생성된 인공지능 알고리즘에 기초하여 상기 수술 도구의 움직임에 대응하는 수술 행위를 도출하는 알고리즘 적용부,
    를 포함하는 것인, 주석 삽입 장치.
  13. 삭제
  14. 삭제
  15. 제1항 내지 제4항, 제7항 및 제8항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
KR1020190129544A 2019-10-18 2019-10-18 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법 KR102180921B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190129544A KR102180921B1 (ko) 2019-10-18 2019-10-18 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190129544A KR102180921B1 (ko) 2019-10-18 2019-10-18 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102180921B1 true KR102180921B1 (ko) 2020-11-19

Family

ID=73678942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190129544A KR102180921B1 (ko) 2019-10-18 2019-10-18 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102180921B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108387A1 (ko) * 2020-11-20 2022-05-27 서울대학교산학협력단 임상 기록 데이터 생성 방법 및 장치
JPWO2022181714A1 (ko) * 2021-02-24 2022-09-01
CN115830489A (zh) * 2022-11-03 2023-03-21 南京小网科技有限责任公司 一种基于ai识别的智能动态分析系统
WO2023180963A1 (en) * 2022-03-23 2023-09-28 Verb Surgical Inc. Video-based analysis of stapling events during a surgical procedure using machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190072722A (ko) * 2017-12-18 2019-06-26 주식회사 엠티이지 분산사용자 기반의 지능형 수술영상 지식 공유 플랫폼
KR20190080736A (ko) * 2017-12-28 2019-07-08 (주)휴톰 수술영상 분할방법 및 장치
KR20190088375A (ko) * 2017-12-28 2019-07-26 (주)휴톰 수술영상데이터 학습시스템
KR20190103840A (ko) * 2018-02-28 2019-09-05 한국전자통신연구원 영상 콘텐츠의 키 프레임 추출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190072722A (ko) * 2017-12-18 2019-06-26 주식회사 엠티이지 분산사용자 기반의 지능형 수술영상 지식 공유 플랫폼
KR20190080736A (ko) * 2017-12-28 2019-07-08 (주)휴톰 수술영상 분할방법 및 장치
KR20190088375A (ko) * 2017-12-28 2019-07-26 (주)휴톰 수술영상데이터 학습시스템
KR20190103840A (ko) * 2018-02-28 2019-09-05 한국전자통신연구원 영상 콘텐츠의 키 프레임 추출 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108387A1 (ko) * 2020-11-20 2022-05-27 서울대학교산학협력단 임상 기록 데이터 생성 방법 및 장치
JPWO2022181714A1 (ko) * 2021-02-24 2022-09-01
WO2022181714A1 (ja) * 2021-02-24 2022-09-01 アナウト株式会社 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP7412812B2 (ja) 2021-02-24 2024-01-15 アナウト株式会社 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
WO2023180963A1 (en) * 2022-03-23 2023-09-28 Verb Surgical Inc. Video-based analysis of stapling events during a surgical procedure using machine learning
US12076005B2 (en) 2022-03-23 2024-09-03 Verb Surgical Inc. Video-based analysis of stapling events during a surgical procedure using machine learning
CN115830489A (zh) * 2022-11-03 2023-03-21 南京小网科技有限责任公司 一种基于ai识别的智能动态分析系统
CN115830489B (zh) * 2022-11-03 2023-10-20 南京小网科技有限责任公司 一种基于ai识别的智能动态分析系统

Similar Documents

Publication Publication Date Title
KR102180921B1 (ko) 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법
Song et al. Talking face generation by conditional recurrent adversarial network
US20200226751A1 (en) Surgical workflow and activity detection based on surgical videos
Wu et al. Long-term feature banks for detailed video understanding
KR102386496B1 (ko) 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법
Zhou et al. Cascaded interactional targeting network for egocentric video analysis
Cohen et al. Facial expression recognition from video sequences: temporal and static modeling
Min et al. Integrating human gaze into attention for egocentric activity recognition
JP5106271B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20240169579A1 (en) Prediction of structures in surgical data using machine learning
Lea et al. Surgical phase recognition: from instrumented ORs to hospitals around the world
Wei et al. Deep collocative learning for immunofixation electrophoresis image analysis
JP2024500938A (ja) 医用画像における状態特徴の自動注釈付け
Xu et al. Two-stage temporal modelling framework for video-based depression recognition using graph representation
KR102544629B1 (ko) 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법
US10037479B2 (en) Human-assisted learning in eye tracking applications
D’Eusanio et al. Manual annotations on depth maps for human pose estimation
Uppal et al. Decoding Attention from Gaze: A Benchmark Dataset and End-to-End Models
CN116113986A (zh) 用于病理器官分割的用户交互快速标注的用户引导域自适应
KR20220103656A (ko) 인공지능 기반의 수술 동영상 분석과 수술 비교 평가를 위한 장치 및 방법
Vo et al. VQASTO: Visual question answering system for action surveillance based on task ontology
Karavarsamis et al. Classifying Salsa dance steps from skeletal poses
Amanat et al. Video retrieval system for meniscal surgery to improve health care services
Zhang et al. SAPS: Self-attentive pathway search for weakly-supervised action localization with background-action augmentation
US20240303984A1 (en) Adaptive visualization of contextual targets in surgical video

Legal Events

Date Code Title Description
GRNT Written decision to grant