Nothing Special   »   [go: up one dir, main page]

WO2022108387A1 - 임상 기록 데이터 생성 방법 및 장치 - Google Patents

임상 기록 데이터 생성 방법 및 장치 Download PDF

Info

Publication number
WO2022108387A1
WO2022108387A1 PCT/KR2021/017082 KR2021017082W WO2022108387A1 WO 2022108387 A1 WO2022108387 A1 WO 2022108387A1 KR 2021017082 W KR2021017082 W KR 2021017082W WO 2022108387 A1 WO2022108387 A1 WO 2022108387A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
feature
medical
image
layers
Prior art date
Application number
PCT/KR2021/017082
Other languages
English (en)
French (fr)
Inventor
공현중
윤단
김병수
김성완
이규언
김수진
조민우
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to JP2023530913A priority Critical patent/JP7497930B2/ja
Publication of WO2022108387A1 publication Critical patent/WO2022108387A1/ko
Priority to US18/321,352 priority patent/US20230290461A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • the present invention relates to a method and apparatus for generating clinical record data for recording medical actions.
  • An object to be solved according to an embodiment of the present invention is to detect clinically or engineeringly meaningful frames from image data including examinations, procedures, and surgeries, and use information about the detected frames based on time. , including visualization and labeling.
  • the method includes providing a multimedia (image, video, signal)-based visual report on examination, procedure and surgical record.
  • a method for generating clinical record data performed in an apparatus for generating clinical record data includes the steps of receiving medical data in which previously performed medical actions are recorded, and dividing into a plurality of items Recording the information included in the medical data in a layer corresponding to an item related to the medical data among a plurality of prepared layers, and producing a clinical report based on the plurality of layers.
  • the step of recording the information included in the medical data includes dividing the medical data by type and recording each of the medical data in a layer corresponding to the data type among items of a plurality of layers of the first layer group, the medical data dividing at least a portion of the image data into a plurality of image frames; performing a feature extraction algorithm on each of the plurality of image frames to extract a feature frame including feature information to be recorded during the medical operation;
  • the method may include recording information about the feature frame in a layer corresponding to an event item related to the feature information among a plurality of layers of the second layer group.
  • the step of producing a clinical report based on the plurality of layers at least some of the plurality of layers of the first layer group and the plurality of layers of the second layer group are designated according to importance to generate the clinical report. can be produced
  • the characteristic information includes at least one of clinical information and metadata information
  • the clinical information includes at least one of lesion information and non-lesion target information
  • the metadata information includes a medical operation It may include at least one of information and medical tool information.
  • the step of extracting the feature frame including the feature information may include designating one of the plurality of image frames as a reference frame, comparing the reference frame and the remaining image frames, respectively, to determine whether a lesion or non-lesion target is selected. By determining the shape, an image frame including a shape corresponding to the lesion or non-lesion target may be extracted as a feature frame.
  • a point of a shape corresponding to a medical tool is designated as a feature point, and the location of the feature point is tracked at a predetermined time interval in each of the plurality of image frames.
  • An image frame corresponding to a point in time when a change in the position of the medical tool occurs may be extracted as a feature frame.
  • the step of extracting the feature frame including the feature information includes: using a model previously learned based on the internal image for learning and the lesion image for learning to determine the relationship between pixels in the plurality of image frames, the plurality of image frames A shape corresponding to a lesion may be determined in each, and an image frame including a shape corresponding to the lesion may be extracted as a feature frame.
  • the information on the feature frame may include graphic information of the feature frame and visual information of a time point at which the feature frame is located in the medical image data.
  • the recording in the plurality of layers of the second layer group includes recording graphic information of the feature frame in a layer corresponding to an event item related to the feature information, and visual information at a time point at which the feature frame is located. can be stored together as an event index.
  • information on a feature frame in a preset section in a plurality of layers of the first layer group and a plurality of layers of the second layer group can be used to produce clinical reports.
  • An apparatus for generating clinical record data includes a memory and a processor executing one or more instructions stored in the memory, wherein the processor receives medical data in which previously performed medical actions are recorded , records information included in the medical data in a layer corresponding to an item related to the medical data from among a plurality of layers prepared separately for a plurality of items, and produces a clinical report based on the plurality of layers.
  • a non-transitory computer-readable record storing computer-executable instructions, wherein the computer-executable instructions, when executed by a processor, cause the processor to perform the method for generating clinical record data.
  • a medium may be provided.
  • clinically or engineeringly meaningful frames are detected from image data including examinations, procedures, and surgeries, and information on the detected frames is used based on time. , can be visualized.
  • FIG. 1 and 2 are block diagrams of an apparatus for generating clinical record data according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method for generating clinical record data according to an embodiment of the present invention.
  • 4 and 5 illustrate layers generated according to a method for generating clinical record data according to an embodiment of the present invention as an example.
  • 6 to 8 are diagrams illustrating feature frame extraction in a method for generating clinical record data according to an embodiment of the present invention.
  • 9 to 11 illustrate a clinical report generated according to a method for generating clinical record data according to an exemplary embodiment of the present invention.
  • One embodiment of the present invention relates to a method and apparatus for generating clinical record data.
  • FIG. 1 and 2 are block diagrams of an apparatus for generating clinical record data according to an embodiment of the present invention.
  • an apparatus 1 for generating clinical record data includes a processor 10 , a memory 20 , an I/O interface 30 , and a communication interface 40 .
  • the apparatus 1 for generating clinical record data receives medical data including examinations, procedures, and surgeries, and detects clinically or engineeringly meaningful frames from image data among the medical data.
  • medical data including examinations, procedures, and surgeries
  • detects clinically or engineeringly meaningful frames from image data among the medical data is a device for providing a multimedia (image, video, signal)-based visual report for examination, procedure, and surgery records by visualizing and displaying information on the detected frame based on time.
  • clinically or engineeringly meaningful frames refer to frames including surgical information that needs to be recorded, such as the occurrence of lesions or changes in surgical tools during medical practices including examinations, procedures, and surgeries.
  • the processor 10 executes one or more instructions stored in the memory 20 .
  • the processor 10 receives medical data in which previously performed medical actions are recorded, records the medical data in a plurality of layers of the first layer group, and converts at least a portion of the image data among the medical data into a plurality of image frames. segmentation, performing a feature extraction algorithm on each of a plurality of image frames to extract a feature frame including feature information to be recorded during medical practice, and recording the feature frame information into a plurality of layers of the second layer group do.
  • the processor 10 creates a clinical report based on a plurality of layers according to the importance of the feature information.
  • the clinical report refers to a visual report and a highlight image expressed by visualization, and may be visualized as shown in FIGS. 9 and 10 below, or may be generated in a form including text in the image as shown in FIG. 11 below. .
  • the processor 10 may be divided into a plurality of modules according to functions, and functions may be performed by one processor.
  • the processor 10 may include one or more of a central processing unit (CPU), an application processor (AP), or a communication processor (CP).
  • the processor 10 may, for example, execute an operation or data processing related to control and/or communication of at least one other component of the clinical record data generating apparatus 1 .
  • the memory 20 may store programs (one or more instructions) for processing and controlling the processor 10 .
  • Memory 20 may include volatile and/or non-volatile memory.
  • the memory 20 may store, for example, instructions or data related to at least one other component of the clinical record data generating apparatus 1 .
  • the I/O interface 30 may serve as an interface capable of transmitting commands or data input from a user or other external device to other component(s) of the clinical record data generating apparatus 1 . In an embodiment of the present invention, it may be connected to a display or a user input device. In addition, the I/O interface 30 may output a command or data received from other component(s) of the clinical record data generating apparatus 1 to a user or other external device.
  • the communication interface 40 may establish communication between the clinical record data generating device 1 and an external device or server. For example, it may be connected to a network through communication or wired communication to communicate with an external device or a server.
  • the memory 20 of the apparatus 1 for generating clinical record data includes a first layer 210 , a second layer 220 , and a second layer generated by the processor 10 .
  • the clinical record data 200 including three layers 230 is stored.
  • the processor 10 of the apparatus 1 for generating clinical record data may include a data providing unit 100 including a layer selection module 110 and a clinical report production module 120 , , after the processor 10 produces a clinical report based on a plurality of layers according to the importance of feature information in the clinical record data generated from medical data in which previously performed medical actions are recorded, the clinical record data generating apparatus 1 ) and the connected display (2).
  • the user can check the prepared clinical report through the display.
  • a clinical report can be produced by selecting a desired layer from several types of layers according to a user's input. It may include a function to automatically create a clinical report by gathering important layers.
  • the doctor may include a function to automatically produce a clinical report according to the priority, in this case, the priority may be designated as polyp, bleeding, excision, etc.
  • clinical reports can be created automatically based on the manually written records by medical staff, and the process of creating clinical reports based on manually written records is designed to train, so that the accuracy of automatic production can be increased.
  • the apparatus for generating clinical record data makes it possible to analyze medical multimedia big data generated due to an increase in the use of non-radiation imaging equipment in the medical treatment process, and AR/VR and artificial intelligence technology in the clinical field It can meet the demand for unstructured medical video data for application.
  • FIG. 3 is a flowchart illustrating a method for generating clinical record data according to an embodiment of the present invention.
  • step S110 the method for generating clinical record data according to an embodiment of the present invention starts in step S110, in which the processor of the apparatus for generating clinical record data receives medical data in which previously performed medical actions are recorded.
  • step S120 information included in the medical data is recorded in a layer corresponding to an item related to the medical data from among a plurality of layers divided by a plurality of items. Specifically, in step S120, the medical data is classified by type, and each of the items of the plurality of layers of the first layer group is recorded in a layer corresponding to the data type.
  • step S140 a feature extraction algorithm is performed on each of the plurality of image frames to extract a feature frame including feature information to be recorded during medical practice.
  • the characteristic information includes at least one of clinical information and metadata information
  • the clinical information includes at least one of lesion information and non-lesion target information
  • the metadata information includes medical operation information and medical information. It includes at least one of tool information.
  • the step of extracting the feature frame including the feature information when an image processing algorithm is used, one of a plurality of image frames is designated as a reference frame, and the reference frame and The image frames are compared to determine the shape corresponding to the lesion or non-lesion target, and the image frame including the shape corresponding to the lesion or non-lesion target is extracted as a feature frame.
  • a point of a shape corresponding to the medical tool is designated as a feature point, and the position of the feature point is tracked according to a predetermined time interval in each of a plurality of image frames to characterize the image frame corresponding to the point in time when the position of the medical tool changes. extract to frame.
  • the step of extracting the feature frame including the feature information when using a machine learning algorithm, compares the relationship of pixels in a plurality of image frames to an internal image for learning and a lesion image for learning.
  • a shape corresponding to a lesion is determined in each of the plurality of image frames by using a model learned in advance based on the model, and an image frame including a shape corresponding to the lesion is extracted as a feature frame.
  • step S150 information on the feature frame is recorded in a layer corresponding to an event item related to feature information among a plurality of layers of the second layer group.
  • information on the feature frame is recorded in a layer corresponding to an event item related to the feature information included in the feature frame from among a plurality of layers separately prepared for each of a plurality of event items.
  • the information on the feature frame includes graphic information of the feature frame and visual information of a viewpoint at which the feature frame is located in the medical image data.
  • step S160 a clinical report is produced by reconstructing the selected layers based on the plurality of layers.
  • a clinical record report is produced by designating at least some of the plurality of layers of the first layer group and the plurality of layers of the second layer group according to importance, and information in the first layer group in a preset section and information on the feature frame in the second layer group can be used to create a clinical record report.
  • a clinical record report may be produced using graphic information of a feature frame stored as an event index together with time information in a preset section and information recorded in a layer of the first layer group at the corresponding time. In this case, voice information stored in the first layer group and graphic information according to the lesion in the second layer group can be displayed together.
  • FIG. 4 is a diagram illustrating layers generated according to a method for generating clinical record data according to an exemplary embodiment of the present invention.
  • the processor of the apparatus for generating clinical record data receives medical data in which previously performed medical actions are recorded, and corresponds to an item related to medical data from among a plurality of layers prepared separately for a plurality of items The information included in the medical data is recorded in the layer to be used, and a clinical record report is produced based on the plurality of layers.
  • the information to be recorded in the layer is clinically or engineeringly meaningful frames. It means a frame that includes surgical information that needs to be recorded, such as the occurrence of lesions or changes in surgical tools during medical activities including examination, procedure, and surgery. do.
  • the layers 400 generated according to the method for generating clinical record data according to an embodiment of the present invention may include a first layer group and a second layer group.
  • the first layer group is a layer in which medical data on which previously performed medical actions are recorded, and includes a medical staff's voice signal, a medical staff's biosignal, a surgical image, and a patient's biosignal.
  • the first layer group includes a first layer 410 , a second layer 420 , a third layer 430 , and a fourth layer 4 . th layer), and the first layer (1 st layer) 410 records the text recorded separately from the voice 411 of the medical staff in medical activities including examination, procedure, and surgery do.
  • the second layer ( 2nd layer) 420 includes biosignals of medical personnel in medical activities including examinations, procedures, and surgeries.
  • the third layer ( 3rd layer) 430 includes a patient's examination, procedure, and surgery image 431 .
  • a fourth layer (4 th layer) includes a patient's bio-signals in a medical operation including an examination, a procedure, and an operation.
  • the second layer group is a layer in which information on a feature frame including feature information to be recorded for image data among medical data is recorded.
  • information on the detected feature frame is visualized and displayed based on time.
  • the second layer group includes a fifth layer 450 , a sixth layer 460 , a seventh layer 470 , and an eighth layer 8 . th layer) 480
  • the fifth layer 450 includes information on lesions (polyps, nodules, etc.) in the image.
  • the sixth layer 460 includes information on various non- lesionable objects (bleeding, instrument, feces, implants, etc.) in the image.
  • the seventh layer 470 includes operation information (polyp and nodule excision, hemostasis, suturing, etc.) related to intra-image examination, procedure, and surgery.
  • An eighth layer (8 th layer) 480 includes phase (stage) information related to examination, procedure, and surgery in the image.
  • the ninth layer may be further included to include location information of examination, procedure, and surgery-related tools in the image
  • an N-th layer may be further included to include various image-related meta (Meta). ) may contain information.
  • the first to Nth layers may be sequentially arranged and stored to provide hierarchical information that enables easy access for medical diagnosis.
  • information can be provided hierarchically according to importance in medical diagnosis to facilitate access, and characteristic information to be recorded is classified into information displayed according to the displayed scale.
  • FIG. 5 is a diagram illustrating a layer creation process according to a clinical record data generation method according to an embodiment of the present invention.
  • FIG. 5 illustrates a process of recording information about a feature frame in a plurality of layers of a second layer group using image data among medical data according to a method for generating clinical record data according to an embodiment of the present invention.
  • the apparatus for generating clinical record data divides at least a portion of the image data 510 among medical data into a plurality of image frames 520 .
  • dividing the image data into a plurality of image frames 520 means dividing the image data 510 according to a predetermined time interval.
  • a feature extraction algorithm is performed on each of the plurality of image frames 520 to extract a feature frame 530 including feature information to be recorded during medical practice, and information on the feature frame is added to a plurality of second layer groups. recorded in the layers of
  • information on the feature frame is recorded in a layer corresponding to an event item related to the feature information included in the feature frame from among a plurality of layers separately prepared for each of a plurality of event items.
  • a feature frame 530 including information about a lesion in the image from the image frame 520 , it is applied to the lesion (polyp, nodule, etc.) in the image on the 5 th layer 450 .
  • the event item corresponds to the lesion 451 in the image.
  • a feature frame 530 including information about a non-lesion target in the image is extracted from the image frame 520 .
  • various non-lesion targets (bleeding) in the image are added to the 6 th layer 460 .
  • Instrument, feces, implants, etc. are recorded.
  • the event item corresponds to the non-lesion target 461 in the image.
  • a feature frame 530 including intra-image examination, procedure, and operation-related motion information from the image frame 520 , it is applied to the 7 th layer 470 related to intra-image examination, procedure, and surgery.
  • Record operation information (polyp and nodule resection, hemostasis, suturing, etc.).
  • the event item corresponds to the operation information 471 related to the examination, the procedure, and the operation in the image.
  • the intra-image examination and procedure is applied to the 8 th layer 480 .
  • it corresponds to the examination, procedure, and surgery-related phase (step) information 481 in the event image.
  • Each of the layers of the second layer group may be sequentially generated together with the first layer group including the medical staff's voice signal, the medical staff's biosignal, the surgical image, and the patient's biosignal, and the user can use the first layer group and the second layer group. 2
  • 6 to 8 are diagrams illustrating feature frame extraction in a method for generating clinical record data according to an embodiment of the present invention.
  • the apparatus for generating clinical record data performs a feature extraction algorithm on each of a plurality of image frames 520 to include feature information to be recorded during medical practice.
  • the feature frame 530 is extracted, and information on the feature frame is recorded in a plurality of layers of the second layer group.
  • the feature extraction algorithm includes an image processing algorithm and a machine learning algorithm.
  • the characteristic information includes at least one of clinical information and metadata information
  • the clinical information includes at least one of lesion information and non-lesion target information
  • the metadata information includes medical operation information and medical information. It includes at least one of tool information.
  • Clinical information also refers to clinical indicators.
  • examples of clinical indicators in robotic surgery include total surgical procedure time, detailed procedure time (flap dissection, midline division, isthmectomy, lateral dissection, superior pole ligation, RLN, parathyroid identification & preservation, superior pole ligation, central neck Including dissection time, tumor location (left/right; upper/middle/lower), lymph node enlargement, recurrent laryngeal nerve preservation, parathyroid gland preservation, intraoperative vascular damage, bleeding level, Including the presence of other organ damage, appropriateness of the image, and specific imaging findings.
  • Meta data information refers to meta information.
  • meta-information in the robotic surgery image include the time when the surgical tools go out of the screen, the time when the surgical tools collide with each other, the time when the movement exceeds a certain acceleration, and the time when the surgical tool is changed (e.g. Forceps ⁇ Camera movement and Zoom in/out time) do.
  • FIG. 6 is a diagram illustrating a medical tool as an example in a feature frame extraction process of a method for generating clinical record data according to an embodiment of the present invention.
  • Figure 6 (a) is a long grasper (613)
  • Figure 6 (b) is a dissector forceps (621)
  • Figure 6 (c) is an exhauster (631)
  • Figure 6 (d) is a scissor (641)
  • Figure 6 (e) shows a clipping device (651)
  • Figure 6 (f) shows a monopolar spatula (661).
  • a point of a shape corresponding to a medical tool is designated as a feature point, and a plurality of image frames are used.
  • An image frame corresponding to a time point at which the position of the medical tool is changed is extracted as a feature frame by tracking the position of each feature point according to a predetermined time interval.
  • the first surgical site 611 and the second surgical site 612 are designated as a background area, and a plurality of channels through which an edge in a predetermined direction passes within the background area.
  • a filter generated according to (channel) By recognizing a shape corresponding to a medical tool using a filter generated according to (channel), the type of the medical tool can be determined according to the shape, and movement of the medical tool can be confirmed.
  • the filtering process is a process of selectively detecting an image of a set specific angle from the image of the target information.
  • the processor may include a circular filter through which an image of target information is recognized and an elliptical direction recognition filter located inside the circular filter, and by detecting a vertical line using the direction recognition filter, medical treatment The shape of the tool can be recognized.
  • various image processing algorithms may be used to determine the type of medical tool and to confirm the movement of the medical tool, for example, object tracking and targeting methods may be used.
  • an image processing algorithm is used to extract the bleeding site 642 , 662) can be confirmed.
  • a first surgical site 611 and a second surgical site 612 among a plurality of image frames are designated as reference frames, and a shape corresponding to a lesion or non-lesion target is obtained by comparing the reference frame and the image frame, respectively.
  • an image frame including a shape corresponding to a lesion or a non-lesion target can be extracted as a feature frame, and in FIGS. have.
  • FIG. 7 is a diagram illustrating surgery information as an example in a feature frame extraction process of a method for generating clinical record data according to an embodiment of the present invention.
  • Fig. 7 (a) shows Midline division
  • Fig. 7 (b) shows Isthmectomy
  • Fig. 7 (c) shows RLN
  • parathyroid preservation
  • Fig. 7 (d) shows Superior pole ligation.
  • the first medical tool 711 , the second medical tool 712 , and the surgical site 713 may be recognized using an image processing algorithm, and the first medical tool 711 , the second Changes in the medical tool 712 and the surgical site 713 may be recognized to check corresponding surgical information. In addition, it is possible to check the change of the medical tool and the condition of the affected part according to the corresponding surgical information.
  • the first medical tool 721 , the second medical tool 722 , and the third medical tool 723 can be recognized using an image processing algorithm, and the third medical tool 723 is Depending on the movement, the progress of Isthmectomy can be judged.
  • the first medical tool 731 and the second medical tool 732 can be recognized using an image processing algorithm, and the first nerve direction D1 and the first surgical site direction D2 are recognized. )can confirm.
  • the first medical tool 741 and the surgical site 742 may be identified using an image processing algorithm.
  • FIG. 8 is a diagram illustrating the recognition of a tumor in a feature frame extraction process of a method for generating clinical record data according to an embodiment of the present invention.
  • Fig. 8 (a) shows an in-vivo image in the absence of a tumor
  • Fig. 8 (b) shows an in-vivo image in the presence of a tumor.
  • the correlation of pixels in the plurality of image frames 820 is determined based on the internal image for learning and the lesion image for learning.
  • a shape 830 corresponding to a lesion is determined in each of the plurality of image frames by using a model trained in advance by , and an image frame including a shape corresponding to the lesion is extracted as a feature frame.
  • an internal body image for learning may be used in (a) of FIG. 8
  • an image of a lesion for learning may be used in (b) of FIG. 8 .
  • the YOLO model that classifies a desired object can be learned and used, and the image frame is input after learning using the image of the lesion for learning and the image of the body for learning corresponding to the shape corresponding to the lesion to be classified.
  • the feature frame is extracted.
  • 9 to 11 illustrate a clinical report generated according to a method for generating clinical record data according to an exemplary embodiment of the present invention.
  • the processor of the apparatus for generating clinical record data creates a clinical report based on a plurality of layers according to the importance of feature information.
  • the clinical report refers to a clinical report image expressed by visualization, and may be expressed as a visualization as shown in FIGS. 9 and 10 , or may be generated in a form including text in an image as shown in FIG. 11 .
  • Examples of clinical indicators in colonoscopy and procedure are past history, surgical history, caecum arrival or not, caecal arrival time, recovery time, total examination time, bowel cleanliness (right, transverse, left, sum), bowel cleanliness (feces) ), CFS findings, polyp information found (location, size, shape, biopsy information), etc., and may include the time of polyp removal.
  • Examples of meta-information in colonoscopy and procedure video may include the position of the scope camera, forward/backward, backward, stop, left/right movement, water washing, gas injection, and the like.
  • FIG. 9 illustrates a first embodiment of a clinical report generated according to a method for generating clinical record data according to an embodiment of the present invention.
  • Figure 9 (a) shows the position (position) of the endoscope tip (Endoscope tip).
  • an image according to a position of an endoscope tip can be checked according to a procedure time, and when feature information is generated from the image, the image can be recorded.
  • the horizontal axis is the colonoscopy procedure time and the vertical axis is the colon cleanliness degree, so that the position of the image can be designated according to the procedure time and the cleanliness degree.
  • the first image 910, The positions of the second image 920 and the third image 930 may be designated.
  • FIG. 10 illustrates a second embodiment of a clinical report generated according to a method for generating clinical record data according to an embodiment of the present invention.
  • a clinical report may be generated by visualizing the position of an endoscope tip ( 940 ) and mapping the anatomical position information and time information of the large intestine together.
  • the frame 942 extracted from the anatomical location information may be recorded, and the temporal density 941 may be displayed differently according to the amount of frame data according to the location information.
  • mapping the anatomical location information and time information of the large intestine together it is possible to visually grasp the progress of the procedure over time.
  • the main procedure occurs after reaching the cecum, so the time is set based on the time to reach the cecum.
  • display At this time, by displaying the temporal density according to the location in color, it is possible to check the location where delay or treatment occurred in the procedure.
  • information corresponding to a desired function may be provided.
  • FIG. 11 illustrates a third embodiment of a clinical report generated according to a method for generating clinical record data according to an embodiment of the present invention.
  • the voice of 'I see bleeding' in the previously acquired medical data voice may be converted into text 1020 and generated together.
  • the doctor's opinion or situation is recorded along with the video during examination, procedure, and surgery, and the video is converted into text and provided as subtitles when the video is played back.
  • Image frames corresponding to clinically important information such as nodules, polyps, bleeding, and resection can be automatically edited through AI and voice input distribution to create clinical report images. It is possible to quickly grasp information through only the important highlight video without the need to play the entire video.
  • the computer program provides a computer program including instructions for causing a processor to perform a method for generating clinical record data.
  • the method for generating clinical record data is recorded in a non-transitory computer-readable recording medium including computer program instructions executable by a processor so that the method for generating clinical record data is performed on a computer.
  • a recording medium in which a computer-readable program for execution is recorded.
  • These computer-readable media may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 임상 기록 데이터 생성 장치에서 수행되는 임상 기록 데이터 생성 방법을 개시한다. 임상 기록 데이터 생성 방법은, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하는 단계, 및 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계를 포함한다.

Description

임상 기록 데이터 생성 방법 및 장치
본 발명은 의료 행위를 기록하기 위한 임상 기록 데이터 생성 방법 및 장치에 관한 것이다.
본 연구는 과학기술정보통신부(정부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구사업(정보통신 방송혁신 인재양성(R＆D)))의 "의료 빅데이터 융합 전문가 인력 양성을 위한 비정형 빅데이터의 정형화 기술 및 분석 플랫폼 개발 (과제고유번호: 1711116149, 과제수행기관명: 서울대학교 산학협력단, 연구기간: 2020.01.01~2020.12.31)"과 관련된다.
검사, 시술 및 수술 등을 포함하는 의료 행위 수행 후 의료진은 의료 행위를 기록하기 위한 기록지를 작성 시 수작업으로 텍스트 기반의 기록지(리포트) 작성을 수행해야 한다.
종래의 경우, 내시경 검사 및 시술을 수행하는 과정에서, 시술자가 페달을 밟아서 주요 장면(Scene)을 저장하고, 간호사에게 지시하여 주요 내용에 대한 정보 및 시간을 기록하고 있으며, 재관측이나 추적관찰이 필요한 경우, 텍스트(Text)로 작성된 기록지를 확인하고 병원정보시스템(e.g. EMR, PACS)에 저장된 영상을 조회하여 재확인하는 방식을 이용한다.
복강경수술, 로봇 수술의 경우, 수술 종료 후 병원정보시스템(e.g. EMR)에 텍스트로 기본적인 수술 내용에 대해 간단히 기록지를 작성하기 때문에, 추후 교육, 연구, 진료 목적으로 재조회시 텍스트만으로 이루어진 기록지만으로는 해당 환자의 수술에 대한 자세한 정보를 파악하기에는 어려움이 존재한다.
또한, 검사, 시술 및 수술 등을 포함하는 의료 행위 과정에서 발견되는 병변이나 중요한 임상 정보들은 사후 작성되는 텍스트 기반의 기록지 내용으로는 의료진 본인은 물론 타 의료진들에게 충실하게 전달하기에는 한계가 있다.
본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 검사, 시술 및 수술 등을 포함하는 영상 데이터에서 임상적 또는 공학적으로 유의미한 프레임(Frame)들을 검출하고, 검출된 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기하는 것을 포함한다.
또한, 검사, 시술 및 수술 기록에 대한 멀티미디어(영상, 동영상, 신호) 기반의 시각적 리포트를 제공하는 것을 포함한다.
본 명세서에 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치에서 수행되는 임상 기록 데이터 생성 방법은, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하는 단계 및 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계를 포함한다.
여기서, 상기 의료 데이터에 포함된 정보를 기록하는 단계는, 상기 의료 데이터를 종류별로 구분하여, 제1 레이어 그룹의 다수의 레이어들의 항목 중 데이터 종류에 대응하는 레이어에 각각 기록하는 단계, 상기 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할하는 단계, 상기 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 상기 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출하는 단계 및 상기 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들 중 상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 기록하는 단계를 포함할 수 있다.
여기서, 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계는, 상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들 중 중요도에 따라 적어도 일부를 지정하여 임상 리포트를 제작할 수 있다.
여기서, 상기 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며, 상기 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 상기 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함할 수 있다.
여기서, 상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 상기 복수의 영상 프레임 중 하나를 기준 프레임으로 지정하고, 상기 기준 프레임과 나머지 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 상기 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출할 수 있다.
여기서, 상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 상기 복수의 영상 프레임 각각에서 상기 특징점의 소정 시간 간격에 따른 위치를 추적하여 상기 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출할 수 있다.
여기서, 상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 상기 복수의 영상 프레임에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상을 판별하고, 상기 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출할 수 있다.
여기서, 상기 특징 프레임에 대한 정보는, 상기 특징 프레임의 그래픽 정보와 상기 의료 영상 데이터에서 상기 특징 프레임이 위치하는 시점의 시각 정보를 포함할 수 있다.
여기서, 상기 제2 레이어 그룹의 다수의 레이어들에 기록하는 단계는, 상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 상기 특징 프레임의 그래픽 정보를 기록하고, 상기 특징 프레임이 위치하는 시점의 시각 정보를 이벤트 인덱스로 함께 저장할 수 있다.
여기서, 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계는, 상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들에서 기 설정된 구간에서의 특징 프레임에 대한 정보를 이용하여 임상 리포트를 제작할 수 있다.
본 발명의 또 다른 실시예에 따른 임상 기록 데이터 생성 장치는, 메모리 및 상기 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하며, 상기 프로세서는, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받고, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하며, 상기 다수의 레이어들을 기초로 임상 리포트를 제작한다.
본 발명의 또 다른 실시예에 따르면, 컴퓨터 실행 가능한 명령어를 저장하고, 상기 컴퓨터 실행 가능한 명령어는, 프로세서에 의해 실행되면, 상기 임상 기록 데이터 생성 방법을 상기 프로세서가 수행하도록 하는 비일시적 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 검사, 시술 및 수술 등을 포함하는 영상 데이터에서 임상적 또는 공학적으로 유의미한 프레임(Frame)들을 검출하고, 검출된 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기할 수 있다.
또한, 검사, 시술 및 수술 기록에 대한 멀티미디어(영상, 동영상, 신호) 기반의 시각적 리포트를 제공하므로 검사 기록에 대한 정보 전달 효율성을 향상시킬 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 레이어들을 예로 들어 도시한 것이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출을 예로 들어 도시한 것이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트를 예로 들어 도시한 것이다.
이하, 본 발명에 관련된 임상 기록 데이터 생성 방법 및 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 일 실시예는 임상 기록 데이터 생성 방법 및 장치에 관한 것이다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치(1)는 프로세서(10), 메모리(20), I/O 인터페이스(30) 및 통신 인터페이스(40)를 포함한다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치(1)는 검사, 시술 및 수술 등을 포함하는 의료 데이터를 입력 받고, 의료 데이터 중 영상 데이터에서 임상적 또는 공학적으로 유의미한 프레임(Frame)들을 검출하여, 검출된 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기함으로써 검사, 시술 및 수술 기록에 대한 멀티미디어(영상, 동영상, 신호) 기반의 시각적 리포트를 제공하기 위한 장치이다.
여기서, 임상적 또는 공학적으로 유의미한 프레임(Frame)들은 검사, 시술 및 수술 등을 포함하는 의료 행위 중 병변의 발생이나 수술 도구의 변화 등 기록이 필요한 수술 정보를 포함하는 프레임을 의미한다.
프로세서(10)는 메모리(20)에 저장된 하나 이상의 인스트럭션들을 실행한다.
프로세서(10)는, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받아, 의료 데이터를 제1 레이어 그룹의 다수의 레이어들에 기록하고, 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할하며, 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출하고, 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들에 기록한다.
또한, 프로세서(10)는, 특징 정보에 대한 중요도에 따라 다수의 레이어들을 기초로 임상 리포트를 제작한다. 여기서, 임상 리포트는 시각화하여 표현된 시각적 리포트와 하이라이트 영상을 지칭하는 것으로, 하기 도 9 및 도 10과 같이 시각화 표현될 수도 있고, 하기 도 11과 같이 영상에 텍스트를 포함하는 형태로 생성될 수 있다.
프로세서(10)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서(10)는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(10)는, 예를 들면, 임상 기록 데이터 생성 장치(1)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(20)는 프로세서(10)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다.
메모리(20)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(20)는, 예를 들면, 임상 기록 데이터 생성 장치(1)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다.
I/O 인터페이스(30)는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 임상 기록 데이터 생성 장치(1)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 본 발명의 일 실시예에서는 디스플레이 또는 사용자 입력 장치와 연결될 수 있다. 또한, I/O 인터페이스(30)는 임상 기록 데이터 생성 장치(1)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
통신 인터페이스(40)는 임상 기록 데이터 생성 장치(1)와 외부 장치 또는 서버 간의 통신을 설정할 수 있다. 예를 들면, 통신 또는 유선 통신을 통해 네트워크에 연결되어 외부 장치 또는 서버와 통신할 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치(1)의 메모리(20)는 프로세서(10)에서 생성한 제1 레이어(210), 제2 레이어(220) 및 제3 레이어(230)를 포함하는 임상 기록 데이터(200)를 저장한다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치(1)의 프로세서(10)는 레이어 선택 모듈(110)과 임상리포트 제작 모듈(120)을 포함하는 데이터 제공부(100)를 포함할 수 있으며, 프로세서(10)가 기 시행된 의료 행위가 기록된 의료 데이터로부터 생성한 임상 기록 데이터에서 특징 정보에 대한 중요도에 따라 다수의 레이어들을 기초로 임상 리포트를 제작한 후, 임상 기록 데이터 생성 장치(1)와 연결된 디스플레이(2)로 전송한다.
이에 따라, 사용자는 디스플레이를 통해 제작된 임상 리포트를 확인할 수 있다.
구체적으로, 사용자의 입력에 따라 여러 종류의 레이어에서 원하는 레이어를 선택하여 임상 리포트를 제작할 수 있으며, 임상적으로 중요한 의미를 가지는 레이어를 구별하는 방법을 미리 설정한 뒤, 설정된 방법에 따라 임상적으로 중요한 의미를 가지는 레이어들을 취합하여, 자동으로 임상 리포트를 제작해 주는 기능을 포함할 수 있다.
또한, 의사가 원하는 우선순위를 지정해 놓으면, 해당 순위에 맞추어 자동으로 임상 리포트를 제작해 주는 기능을 포함할 수 있으며, 이때, 우선순위는 용종, 출혈, 절제 등으로 지정될 수 있다.
또한, 의료진이 수동으로 작성한 기록지를 기반으로 자동으로 임상 리포트를 제작할 수 있으며, 수동으로 작성된 기록지를 기반으로 임상 리포트가 제작되는 과정을 트레이닝(Training) 하도록 설계하여, 자동 제작의 정확도를 높이도록 할 수 있다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치는 진료과정에서 비방사선 영상장비의 활용 증가로 인해 생성된 의료 멀티미디어 빅데이터를 분석하는 것을 가능하게 하고, 임상 현장에서 AR/VR 및 인공지능 기술 적용을 위한 비정형 의료 비디오 데이터 수요를 충족시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법은 임상 기록 데이터 생성 장치의 프로세서가, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계(S110)에서 시작한다.
이후, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록한다. 구체적으로, 단계 S120에서 의료 데이터를 종류별로 구분하여, 제1 레이어 그룹의 다수의 레이어들의 항목 중 데이터 종류에 대응하는 레이어에 각각 기록한다.
단계 S130에서 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할한다.
단계 S140에서 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출한다.
여기서, 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며, 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함한다.
구체적으로, 본 발명의 일 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계(S140)는, 영상 처리 알고리즘을 이용하는 경우, 복수의 영상 프레임 중 하나를 기준 프레임으로 지정하고, 기준 프레임과 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출한다.
또한, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 복수의 영상 프레임 각각에서 특징점의 소정 시간 간격에 따른 위치를 추적하여 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출한다.
본 발명의 또 다른 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계(S140)는, 기계 학습 알고리즘을 이용하는 경우, 복수의 영상 프레임에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상을 판별하고, 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출한다.
단계 S150에서 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들 중 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 기록한다.
구체적으로, 다수의 이벤트 항목 별로 구분되어 마련된 다수의 레이어들 중에서 특징 프레임에 포함된 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 특징 프레임에 대한 정보를 기록한다.
여기서, 특징 프레임에 대한 정보는, 특징 프레임의 그래픽 정보와 의료 영상 데이터에서 특징 프레임이 위치하는 시점의 시각 정보를 포함한다.
단계 S160에서 다수의 레이어들을 기초로 선택된 레이어들을 재구성하여 임상 리포트를 제작한다.
구체적으로, 제1 레이어 그룹의 다수의 레이어들과 제2 레이어 그룹의 다수의 레이어들 중 중요도에 따라 적어도 일부를 지정하여 임상 기록 리포트를 제작하며, 기 설정된 구간에서의 제1 레이어 그룹에서의 정보와 제2 레이어 그룹에서의 특징 프레임에 대한 정보를 이용하여 임상 기록 리포트를 제작할 수 있다. 예를 들어, 기 설정된 구간에서의 시각 정보와 함께 이벤트 인덱스로 저장된 특징 프레임의 그래픽 정보와, 해당 시각에서의 제1 레이어 그룹의 레이어에 기록된 정보를 이용하여 임상 기록 리포트를 제작할 수 있다. 이 경우 제1 레이어 그룹에 저장된 음성 정보와 제2 레이어 그룹의 병변에 따른 그래픽 정보를 함께 표시할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 레이어들을 예로 들어 도시한 것이다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치의 프로세서는, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받고, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 의료 데이터와 관련된 항목에 해당하는 레이어에 의료 데이터에 포함된 정보를 기록하며, 상기 다수의 레이어들을 기초로 임상 기록 리포트를 제작한다.
레이어에 기록하고자 하는 정보는 임상적 또는 공학적으로 유의미한 프레임(Frame)들로서 검사, 시술 및 수술 등을 포함하는 의료 행위 중 병변의 발생이나 수술 도구의 변화 등 기록이 필요한 수술 정보를 포함하는 프레임을 의미한다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 레이어들(400)은 제1 레이어 그룹과 제2 레이어 그룹을 포함할 수 있다.
제1 레이어 그룹은 기 시행된 의료 행위가 기록된 의료 데이터가 기록된 레이어로서 의료진의 음성신호, 의료진의 생체 신호, 수술 영상 및 환자의 생체 신호를 포함한다.
예를 들어, 제1 레이어 그룹은 제1 레이어(1st layer)(410), 제2 레이어(2nd layer)(420), 제3 레이어(3rd layer)(430), 제4 레이어(4th layer)를 포함할 수 있으며, 제1 레이어(1st layer)(410)는 검사, 시술, 수술을 포함하는 의료 행위에서 의료진의 음성(Voice)(411)과 별도로 기록한 텍스트(Text)를 기록한다.
제2 레이어(2nd layer)(420)는 검사, 시술, 수술을 포함하는 의료 행위에서 의료진의 생체신호를 포함한다.
제3 레이어(3rd layer)(430)는 환자의 검사, 시술, 수술 영상(431)을 포함한다.
제4 레이어(4th layer)는 검사, 시술, 수술을 포함하는 의료 행위에서 환자의 생체신호를 포함한다.
제2 레이어 그룹은 의료 데이터 중 영상 데이터에 대해 기록하고자 하는 특징 정보가 포함된 특징 프레임에 대한 정보가 기록된 레이어이다.
특히, 검출된 특징 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기한다.
예를 들어, 제2 레이어 그룹은 제5 레이어(5th layer)(450), 제6 레이어(6th layer)(460), 제7 레이어(7th layer)(470), 제8 레이어(8th layer)(480)를 포함할 수 있으며, 제5 레이어(5th layer)(450)는 영상 내 병변(용종, 노듈 등)에 대한 정보를 포함한다.
제6 레이어(6th layer)(460)는 영상 내 각종 비병변성 대상(출혈, Instrument, 분변, 보형물 등)에 대한 정보를 포함한다.
제7 레이어(7th layer)(470)는 영상 내 검사, 시술, 수술 관련 동작 정보(용종 및 노듈 절제, 지혈, 봉합 등)를 포함한다.
제8 레이어(8th layer)(480)는 영상 내 검사, 시술, 수술 관련 페이즈(단계) 정보를 포함한다.
이외에도, 제9 레이어(9th layer)를 더 포함하여 영상 내 검사, 시술, 수술 관련 툴의 위치 정보를 포함할 수 있으며, 제N 레이어(Nth layer)를 더 포함하여 영상 관련 각종 메타(Meta) 정보를 포함할 수 있다.
제1 레이어 내지 제N 레이어는 순차적으로 배열되어 저장되어, 의료 진단을 위해 용이한 접근이 가능하도록 하는 차등적 계층(hierarchical) 정보를 제공할 수 있다.
또한, 의료 진단에서의 중요도에 따라 정보를 계층적으로 제공하여 접근이 용이하도록 할 수 있으며, 기록하고자 하는 특징 정보를 보여지는 스케일(Scale)에 따라 표기되는 정보로 분류한다.
만일, 보다 자세한 정보를 원하는 경우 스크롤을 이용해 줌인 하면 아래 단계의 정보가 노출되도록 할 수 있으며, 이에 따라 임상 기록 데이터에서 특징 정보에 대한 중요도에 따라 다수의 레이어들을 기초로 임상 리포트를 제작할 수 있다.
도 5는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따른 레이어 생성 과정을 예로 들어 도시한 것이다.
구체적으로, 도 5는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 의료 데이터 중 영상 데이터를 이용하여 제2 레이어 그룹의 다수의 레이어들에 특징 프레임에 대한 정보를 기록하는 과정을 나타낸 것이다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치는, 의료 데이터 중 영상 데이터(510)의 적어도 일부를 복수의 영상 프레임(520)으로 분할한다.
여기서, 복수의 영상 프레임(520)으로 분할하는 것은 소정의 시간 간격에 따라 영상 데이터(510)를 분할하는 것을 의미한다.
이후, 복수의 영상 프레임(520) 각각에 대해 특징 추출 알고리즘을 수행하여 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임(530)을 추출하고, 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들에 기록한다.
구체적으로, 다수의 이벤트 항목 별로 구분되어 마련된 다수의 레이어들 중에서 특징 프레임에 포함된 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 특징 프레임에 대한 정보를 기록한다.
예를 들어, 영상 프레임(520)에서 영상 내 병변에 관한 정보가 포함된 특징 프레임(530)을 추출하여, 제5 레이어(5th layer)(450)에 영상 내 병변(용종, 노듈 등)에 대한 정보를 기록한다. 여기서 이벤트 항목은 영상 내 병변(451)에 해당한다.
또한, 영상 프레임(520)에서 영상 내 비병변성 대상에 관한 정보가 포함된 특징 프레임(530)을 추출하여, 제6 레이어(6th layer)(460)에 영상 내 각종 비병변성 대상(출혈, Instrument, 분변, 보형물 등)에 대한 정보를 기록한다. 여기서 이벤트 항목은 영상 내 비병변성 대상(461)에 해당한다.
또한, 영상 프레임(520)에서 영상 내 검사, 시술, 수술 관련 동작 정보가 포함된 특징 프레임(530)을 추출하여, 제7 레이어(7th layer)(470)에 영상 내 검사, 시술, 수술 관련 동작 정보(용종 및 노듈 절제, 지혈, 봉합 등)를 기록한다. 여기서 이벤트 항목은 영상 내 검사, 시술, 수술 관련 동작 정보(471)에 해당한다.
또한, 영상 프레임(520)에서 영상 내 검사, 시술, 수술 관련 페이즈(단계) 정보가 포함된 특징 프레임(530)을 추출하여, 제8 레이어(8th layer)(480)에 영상 내 검사, 시술, 수술 관련 페이즈(단계) 정보를 기록한다. 여기서 이벤트 영상 내 검사, 시술, 수술 관련 페이즈(단계) 정보(481)에 해당한다.
의료진의 음성신호, 의료진의 생체 신호, 수술 영상 및 환자의 생체 신호를 포함하는 제1 레이어 그룹과 함께 제2 레이어 그룹의 각각의 레이어들이 순차적으로 생성될 수 있고, 사용자는 제1 레이어 그룹과 제2 레이어 그룹에서 특정 레이어를 지정하거나, 별도의 시간 구간을 지정하여 해당 정보만을 확인할 수 있다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출을 예로 들어 도시한 것이다.
상기 도 5에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치는, 복수의 영상 프레임(520) 각각에 대해 특징 추출 알고리즘을 수행하여 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임(530)을 추출하고, 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들에 기록한다.
구체적으로, 특징 추출 알고리즘은 영상 처리 알고리즘과 기계 학습 알고리즘을 포함한다.
여기서, 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며, 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함한다.
또한, 임상 정보는 임상 지표를 지칭한다. 예를 들어, 로봇수술에서의 임상 지표의 예는 수술 procedure 총 시간, 세부 procedure 시간 (flap dissection, midline division, isthmectomy, lateral dissection, superior pole ligation, RLN, parathyroid identification & preservation, superior pole ligation, central neck dissection 시간을 포함하며, 종양의 위치(좌/우; 위/중간/아래), 림프절 종대 여부, 되돌이 후두신경 보존 여부, 부갑상선 보존 여부를 포함한다. 또한, 수술 중 혈관 손상 여부, 출혈 정도, 다른 장기 손상 여부, 영상의 적절성, 영상 특이소견을 포함한다.
메타 데이터 정보는 메타정보를 지칭한다. 로봇수술 영상에서의 메타정보의 예는 수술도구가 화면 바깥으로 나간 시점, 수술도구끼리 부딪힌 시점, 일정 가속도 이상의 움직임인 시점, 수술 도구 변경 시점(e.g. Forceps → Camera 이동 및 Zoom in/out 시점을 포함한다.
도 6은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출 과정에서 의료 툴을 예로 들어 도시한 것이다.
도 6의 (a)는 long grasper(613), 도 6의 (b)는 dissector forceps(621), 도 6의 (c)는 exhauster(631), 도 6의 (d)는 scissor(641), 도 6의 (e)는 clipping device(651), 도 6의 (f)는 monopolar spatula(661)를 나타낸 것이다.
구체적으로, 본 발명의 일 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계에서, 영상 처리 알고리즘을 이용하는 경우, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 복수의 영상 프레임 각각에서 특징점의 소정 시간 간격에 따른 위치를 추적하여 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출한다.
예를 들어, 도 6의 (a)에서 제1 수술 부위(611)와 제2 수술 부위(612)를 배경 영역으로 지정하고, 배경 영역 내에서 소정 방향의 에지(edge)를 통과시키는 복수 개의 채널(channel)에 따라 각각 생성된 필터를 이용하여 의료 툴에 대응되는 형상을 인식하여, 형상에 따라 의료 툴의 종류를 판단하고, 의료 툴의 이동을 확인할 수 있다.
여기서, 필터링 과정은 대상 정보의 영상으로부터 설정된 특정 각도의 영상을 선택적으로 검출하는 과정이다. 본 발명의 일 실시예에 따르면, 프로세서는 대상 정보의 영상이 인식되는 원형 필터와 원형 필터 내부에 위치하는 타원형의 방향 인식 필터를 포함할 수 있으며, 방향 인식 필터를 이용하여 수직선을 검출함에 따라 의료 툴의 형상을 인식할 수 있다.
이외에도, 의료 툴의 종류를 판단하고, 의료 툴의 이동을 확인하기 위해 다양한 영상 처리 알고리즘을 이용할 수 있으며, 예를 들어, Object tracking과 targeting 방법을 이용할 수 있다.
또한, 도 6의 (d)와 도 6의 (f)를 참조하면, 본 발명의 일 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계에서, 영상 처리 알고리즘을 이용하여 출혈 부위(642, 662)를 확인할 수 있다.
구체적으로, 복수의 영상 프레임 중 제1 수술 부위(611)와 제2 수술 부위(612)를 기준 프레임으로 지정하고, 기준 프레임과 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출할 수 있으며, 도 6의 (d)와 도 6의 (f)에서는 비병변성 대상인 출혈 부위를 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출 과정에서 수술 정보를 예로 들어 도시한 것이다.
도 7의 (a)는 Midline division, 도 7의 (b)는 Isthmectomy, 도 7의 (c)는 RLN, parathyroid preservation, 도 7의 (d)는 Superior pole ligation를 나타낸 것이다.
도 7의 (a)에서는 영상 처리 알고리즘을 이용하여 제1 의료 툴(711), 제2 의료 툴(712) 및 수술 부위(713)를 인식할 수 있으며, 제1 의료 툴(711), 제2 의료 툴(712) 및 수술 부위(713)의 변화를 인식하여 해당 수술 정보를 확인할 수 있다. 또한, 해당 수술 정보에 따라 의료 툴의 변화와 환부의 상태를 확인할 수도 있다.
도 7의 (b)에서는 영상 처리 알고리즘을 이용하여 제1 의료 툴(721), 제2 의료 툴(722) 및 제3 의료 툴(723)을 인식할 수 있고, 제3 의료 툴(723)의 이동에 따라 Isthmectomy의 진행 상황을 판단할 수 있다.
도 7의 (c)에서는 영상 처리 알고리즘을 이용하여 제1 의료 툴(731), 제2 의료 툴(732)을 인식할 수 있고 제1 신경의 방향(D1)과 제1 수술 부위의 방향(D2)을 확인할 수 있다.
도 7의 (d)에서는 영상 처리 알고리즘을 이용하여 제1 의료 툴(741) 및 수술 부위(742)를 확인할 수 있다.
도 8은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출 과정에서 종양의 인식을 예로 들어 도시한 것이다.
도 8의 (a)는 종양이 없는 경우의 체내 영상을 나타낸 것이고, 도 8의 (b)는 종양이 존재하는 경우의 체내 영상을 나타낸 것이다.
본 발명의 또 다른 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계에서 기계 학습 알고리즘을 이용하는 경우, 복수의 영상 프레임(820)에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상(830)을 판별하고, 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출한다.
구체적으로, 학습용 체내 영상을 도 8의 (a)로 이용할 수 있으며, 학습용 병변 영상을 도 8의 (b)로 이용할 수 있다. 학습용 체내 영상과 학습용 병변 영상을 이용하여 미리 학습된 모델에 복수의 영상 프레임을 입력하여, 병변에 대응되는 형상을 판별할 수 있게 된다.
또한, 학습 모델로는 원하는 물체를 분류하는 YOLO 모델을 학습하여 사용할 수 있으며, 분류할 병변에 대응되는 형상에 대응되는 학습용 병변 영상과 학습용 체내 영상을 이용하여 학습시킨 뒤 영상 프레임을 입력한 결과로 특징 프레임을 추출하게 된다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트를 예로 들어 도시한 것이다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치의 프로세서는, 특징 정보에 대한 중요도에 따라 다수의 레이어들을 기초로 임상 리포트를 제작한다. 여기서, 임상 리포트는 시각화하여 표현된 임상 리포트 영상을 지칭하는 것으로, 도 9 및 도 10과 같이 시각화 표현될 수도 있고, 도 11과 같이 영상에 텍스트를 포함하는 형태로 생성될 수 있다.
도 9 내지 도 11은 대장내시경 검사, 시술을 예로 들어 나타낸 것이다.
대장내시경 검사, 시술에서의 임상지표의 예는 과거 내력, 수술력, 맹장 도달 여부, 맹장 도달 시간, 회수 시간, 전체 검사 시간, 장정결도(우측, 횡행, 좌측, 합산), 장정결도(분변), CFS소견, 발견용종 정보(위치, 크기, 모양, 조직검사 정보) 등을 포함하며, 용종제거 시점을 포함할 수 있다.
대장내시경 검사, 시술 동영상에서 메타정보의 예는 스코프 카메라의 위치, 전전, 후진, 정지, 좌/우 이동, 물세척, 가스 주입 등을 포함할 수 있다.
구체적으로, 도 9는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트의 제1 실시예를 도시한 것이다.
도 9의 (a)는 내시경 팁(Endoscope tip)의 위치(position)를 나타낸 것이다. 도 9의 (b)를 참조하면, 시술시간에 따라 내시경 팁(Endoscope tip)의 위치(position)에 따른 영상을 확인할 수 있고, 해당 영상에서 특징 정보가 발생하는 경우 영상을 기록할 수 있다.
이 때, 가로축은 대장 내시경 시술시간, 세로축은 대장 정결도로 지정하여, 시술시간과 정결도에 따라 영상의 위치를 지정할 수 있으며, 도 9의 (b)에 나타난 바와 같이 제1 영상(910), 제2 영상(920) 및 제3 영상(930)의 위치를 지정할 수 있다.
도 10은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트의 제2 실시예를 도시한 것이다.
도 10을 참조하면, 내시경 팁(Endoscope tip)의 위치(position)를 시각화(940)하여, 대장의 해부학적 위치 정보와 시간 정보를 함께 매핑하여 임상 리포트를 생성할 수 있다.
해부학적 위치 정보에서 추출한 프레임(942)을 기록할 수 있으며, 위치 정보에 따른 프레임 데이터의 양에 따라 시간 밀도(941)를 다르게 하여 표시할 수 있다.
구체적으로, 대장의 해부학적 위치 정보와 시간 정보를 함께 매핑함으로써 시간에 따른 시술 진행 정도를 시각적으로 파악할 수 있으며, 대장내시경 검사 시 주요 시술은 맹장 도달 후 나오면서 발생되므로 맹장 도달 시간을 기준으로 시간을 표시 한다. 이때 위치에 따른 시간적인 밀도를 색상으로 표시하여 시술에 있어 지체, 또는 처치가 일어난 위치를 확인할 수 있다.
또한, 확인이 필요한 시간 부분에 커서로 접근 시, 원하는 기능(시술 영상, 장 정결도, 음성, 생체 신호 등)에 해당하는 정보를 제공할 수 있다.
도 11은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트의 제3 실시예를 도시한 것이다.
도 11을 참조하면, 출혈 부위(1010)를 표시한 영상과 함께, 기 획득한 의료 데이터의 음성에서 '출혈이 보인다'의 음성을 텍스트(1020)로 변환하여 함께 생성할 수 있다.
구체적으로, 검사, 시술 및 수술 수행 시 영상과 함께 의사의 의견이나 상황 등을 녹음하여 해당 영상 재생 시 텍스트로 변환되어 자막으로 제공하게 된다.
노듈, 용종, 출혈, 절제술 등 임상적으로 중요한 정보에 해당하는 영상 프레임을, AI 및 음성입력 분포를 통해 자동으로 편집하여 임상 리포트 영상을 생성할 수 있으며, 하이라이트 영상을 통하여, 20~40분에 해당하는 영상 전체를 재생할 필요 없이 중요 하이라이트 영상만을 통해 신속하게 정보를 파악할 수 있게 된다.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 임상 기록 데이터 생성 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공한다.
또한, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법은 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 기록매체에 기록되어 임상 기록 데이터 생성 방법을 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 기록 매체를 제공한다.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (20)

  1. 임상 기록 데이터 생성 장치에서 수행되는 임상 기록 데이터 생성 방법에 있어서,
    기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계;
    다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하는 단계; 및
    상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계;를 포함하는 임상 기록 데이터 생성 방법.
  2. 제1항에 있어서,
    상기 의료 데이터에 포함된 정보를 기록하는 단계는,
    상기 의료 데이터를 종류별로 구분하여, 제1 레이어 그룹의 다수의 레이어들의 항목 중 데이터 종류에 대응하는 레이어에 각각 기록하는 단계;
    상기 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할하는 단계;
    상기 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 상기 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출하는 단계; 및
    상기 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들 중 상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 기록하는 단계;를 포함하는 임상 기록 데이터 생성 방법.
  3. 제2항에 있어서,
    상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계는,
    상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들 중 중요도에 따라 적어도 일부를 지정하여 임상 리포트를 제작하는 임상 기록 데이터 생성 방법.
  4. 제2항에 있어서,
    상기 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며,
    상기 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 상기 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함하는 임상 기록 데이터 생성 방법.
  5. 제4항에 있어서,
    상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 상기 복수의 영상 프레임 중 하나를 기준 프레임으로 지정하고, 상기 기준 프레임과 나머지 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 상기 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 방법.
  6. 제4항에 있어서,
    상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 상기 복수의 영상 프레임 각각에서 상기 특징점의 소정 시간 간격에 따른 위치를 추적하여 상기 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 방법.
  7. 제4항에 있어서,
    상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 상기 복수의 영상 프레임에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상을 판별하고, 상기 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 방법.
  8. 제4항에 있어서,
    상기 특징 프레임에 대한 정보는, 상기 특징 프레임의 그래픽 정보와 상기 의료 영상 데이터에서 상기 특징 프레임이 위치하는 시점의 시각 정보를 포함하는 임상 기록 데이터 생성 방법.
  9. 제2항에 있어서,
    상기 제2 레이어 그룹의 다수의 레이어들에 기록하는 단계는,
    상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 상기 특징 프레임의 그래픽 정보를 기록하고, 상기 특징 프레임이 위치하는 시점의 시각 정보를 이벤트 인덱스로 함께 저장하는 임상 기록 데이터 생성 방법.
  10. 제8항에 있어서,
    상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계는,
    상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들에서 기 설정된 구간에서의 특징 프레임에 대한 정보를 이용하여 임상 리포트를 제작하는 임상 기록 데이터 생성 방법.
  11. 메모리; 및
    상기 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서;를 포함하며,
    상기 프로세서는, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받고, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하며, 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 임상 기록 데이터 생성 장치.
  12. 제11항에 있어서,
    상기 프로세서는, 상기 의료 데이터를 종류별로 구분하여, 제1 레이어 그룹의 다수의 레이어들의 항목 중 데이터 종류에 대응하는 레이어에 각각 기록하고, 상기 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할하고, 상기 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 상기 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출하고, 상기 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들 중 상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 기록하는 임상 기록 데이터 생성 장치.
  13. 제12항에 있어서,
    상기 프로세서는, 상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들 중 중요도에 따라 적어도 일부를 지정하여 임상 리포트를 제작하는 임상 기록 데이터 생성 장치.
  14. 제12항에 있어서,
    상기 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며,
    상기 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 상기 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함하는 임상 기록 데이터 생성 장치.
  15. 제14항에 있어서,
    상기 프로세서는, 상기 복수의 영상 프레임 중 하나를 기준 프레임으로 지정하고, 상기 기준 프레임과 나머지 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 상기 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 장치.
  16. 제14항에 있어서,
    상기 프로세서는, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 상기 복수의 영상 프레임 각각에서 상기 특징점의 소정 시간 간격에 따른 위치를 추적하여 상기 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 장치.
  17. 제14항에 있어서,
    상기 프로세서는, 상기 복수의 영상 프레임에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상을 판별하고, 상기 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 장치.
  18. 제14항에 있어서,
    상기 특징 프레임에 대한 정보는, 상기 특징 프레임의 그래픽 정보와 상기 의료 영상 데이터에서 상기 특징 프레임이 위치하는 시점의 시각 정보를 포함하는 임상 기록 데이터 생성 장치.
  19. 제12항에 있어서,
    상기 프로세서는, 상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 상기 특징 프레임의 그래픽 정보를 기록하고, 상기 특징 프레임이 위치하는 시점의 시각 정보를 이벤트 인덱스로 함께 저장하는 임상 기록 데이터 생성 장치.
  20. 컴퓨터 실행 가능한 명령어를 저장하고 있는 비일시적 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 실행 가능한 명령어는, 프로세서에 의해 실행되면, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계;
    다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하는 단계; 및
    상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하는 비일시적 컴퓨터 판독 가능한 기록매체.
PCT/KR2021/017082 2020-11-20 2021-11-19 임상 기록 데이터 생성 방법 및 장치 WO2022108387A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023530913A JP7497930B2 (ja) 2020-11-20 2021-11-19 臨床記録データ生成方法及び装置
US18/321,352 US20230290461A1 (en) 2020-11-20 2023-05-22 Method and device for generating clinical record data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200156351A KR102619729B1 (ko) 2020-11-20 2020-11-20 임상 기록 데이터 생성 방법 및 장치
KR10-2020-0156351 2020-11-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/321,352 Continuation US20230290461A1 (en) 2020-11-20 2023-05-22 Method and device for generating clinical record data

Publications (1)

Publication Number Publication Date
WO2022108387A1 true WO2022108387A1 (ko) 2022-05-27

Family

ID=81709495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017082 WO2022108387A1 (ko) 2020-11-20 2021-11-19 임상 기록 데이터 생성 방법 및 장치

Country Status (4)

Country Link
US (1) US20230290461A1 (ko)
JP (1) JP7497930B2 (ko)
KR (1) KR102619729B1 (ko)
WO (1) WO2022108387A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102625111B1 (ko) * 2023-04-18 2024-01-15 주식회사 티지 다단계 개체분리식 애완동물 의약품 임상시험 온라인 자동화 시스템 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070272A (ja) * 2007-09-14 2009-04-02 Fujifilm Ri Pharma Co Ltd 報告書作成プログラム、記録媒体および報告書作成方法
JP2011167301A (ja) * 2010-02-17 2011-09-01 Asahikawa Medical College 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
KR101880246B1 (ko) * 2017-12-28 2018-07-19 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
KR20200050262A (ko) * 2018-11-01 2020-05-11 주식회사 엠티이지 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법
KR102180921B1 (ko) * 2019-10-18 2020-11-19 주식회사 엠티이지 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006169A (ja) 2006-06-30 2008-01-17 Konica Minolta Medical & Graphic Inc 小規模施設用医用画像表示システム
JP6641172B2 (ja) 2015-12-14 2020-02-05 オリンパス株式会社 内視鏡業務支援システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070272A (ja) * 2007-09-14 2009-04-02 Fujifilm Ri Pharma Co Ltd 報告書作成プログラム、記録媒体および報告書作成方法
JP2011167301A (ja) * 2010-02-17 2011-09-01 Asahikawa Medical College 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
KR101880246B1 (ko) * 2017-12-28 2018-07-19 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
KR20200050262A (ko) * 2018-11-01 2020-05-11 주식회사 엠티이지 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법
KR102180921B1 (ko) * 2019-10-18 2020-11-19 주식회사 엠티이지 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법

Also Published As

Publication number Publication date
US20230290461A1 (en) 2023-09-14
KR20220069333A (ko) 2022-05-27
JP7497930B2 (ja) 2024-06-11
KR102619729B1 (ko) 2023-12-28
JP2023550630A (ja) 2023-12-04

Similar Documents

Publication Publication Date Title
WO2019132169A1 (ko) 수술영상 재생제어 방법, 장치 및 프로그램
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
WO2014208971A1 (en) Ultrasound image display method and apparatus
KR102146672B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
JP2005348797A (ja) 医療行為記録システム及び医療行為記録装置
JP6876090B2 (ja) 医療システムの作動方法及び外科手術を行うための医療システム
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2022108387A1 (ko) 임상 기록 데이터 생성 방법 및 장치
WO2021206517A1 (ko) 수술 중 혈관 네비게이션 방법 및 시스템
WO2022149836A1 (ko) 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
CN113143168A (zh) 医疗辅助操作方法、装置、设备和计算机存储介质
WO2016085236A1 (ko) 갑상선암 자동 판별 방법 및 시스템
WO2022158451A1 (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
CN112967276B (zh) 对象检测方法、装置、内窥镜系统、电子设备及存储介质
Li et al. Artificial intelligence-assisted colonoscopy: a narrative review of current data and clinical applications
Mascagni et al. Surgical data science for safe cholecystectomy: a protocol for segmentation of hepatocystic anatomy and assessment of the critical view of safety
Peng et al. Real-time detection of ureteral orifice in urinary endoscopy videos based on deep learning
CN113689949A (zh) 信息处理方法、电子设备和计算机存储介质
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2019132166A1 (ko) 수술보조 영상 표시방법 및 프로그램
JP4445792B2 (ja) 挿入支援システム
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21895154

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023530913

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21895154

Country of ref document: EP

Kind code of ref document: A1