Nothing Special   »   [go: up one dir, main page]

TWI793391B - 醫療影像辨識系統及醫療影像辨識方法 - Google Patents

醫療影像辨識系統及醫療影像辨識方法 Download PDF

Info

Publication number
TWI793391B
TWI793391B TW108147976A TW108147976A TWI793391B TW I793391 B TWI793391 B TW I793391B TW 108147976 A TW108147976 A TW 108147976A TW 108147976 A TW108147976 A TW 108147976A TW I793391 B TWI793391 B TW I793391B
Authority
TW
Taiwan
Prior art keywords
identification
database
image
order number
result
Prior art date
Application number
TW108147976A
Other languages
English (en)
Other versions
TW202125529A (zh
Inventor
郭冠宏
王浩
楊中宜
黃冠傑
林柏榆
彭憶亭
高竟中
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Priority to TW108147976A priority Critical patent/TWI793391B/zh
Priority to CN202010069295.3A priority patent/CN113129256A/zh
Priority to US16/933,163 priority patent/US11749398B2/en
Publication of TW202125529A publication Critical patent/TW202125529A/zh
Application granted granted Critical
Publication of TWI793391B publication Critical patent/TWI793391B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一種醫療影像辨識方法，包含以下步驟：藉由一預測單元傳送一檢查單號到一辨識模組；藉由辨識模組接收一檢查單號及一人體影像，將人體影像分別輸入複數個類神經網路模型；其中此些類神經網路模型各自輸出至少一辨識結果；藉由辨識模組將此些辨識結果回傳到該預測單元；以及藉由預測單元將此些辨識結果儲存到一資料庫中。

Description

醫療影像辨識系統及醫療影像辨識方法
本發明是關於一種醫療辨識系統，特別是關於一種醫療影像辨識系統及醫療影像辨識方法。
一般而言，對於胸部X光影片的判讀而言，醫院有一定相當比例未能即時完成報告，這是因為全面性的醫療人力和資源不足所致。
此外，醫療糾紛日益增加，分析其原因，大致上為：病灶很隱微，容易忽略、未能即時或沒有足夠人力完成報告，引致醫療糾紛。
因此，如何在有限人力下，增進報告完成效率及篩選出異常的個案，便是本領域急待解決的目標。
為了解決上述的問題，本揭露內容之一態樣提供了一種醫療影像辨識系統，包含一預測單元以及一辨識模組。預測單元用以傳送一檢查單號。辨識模組用以接收檢查單號及一人體影像，將人體影像分別輸入複數個類神經網路模型。其中此些類神經網路模型各自輸出至少一辨識結 果，辨識模組將此些辨識結果回傳到預測單元。其中，預測單元將此些辨識結果儲存到一資料庫中。
於一實施例中，資料庫傳送對應檢查單號的一病歷資料到預測單元，預測單元將檢查單號、病歷資料及辨識結果合併為一原始結果(raw result)，並將原始結果回傳到資料庫。
於一實施例中，醫療影像辨識系統更包含：一整合單元。整合單元用以接收來自辨識模組的檢查單號，依據檢查單號到資料庫中讀取原始資料，並依據複數個報告規則調整原始資料中的辨識結果，依據調整後的辨識結果產生一辨識報告，並將辨識報告儲存至資料庫；其中，由於辨識結果的資料有相依性，當此些辨識結果之間的資料相衝或互斥時，則整合單元依據報告規則調整原始資料中的辨識結果的至少之一者。
於一實施例中，醫療影像辨識系統更包含：一醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine，DICOM)讀取器。醫療數位影像傳輸協定讀取器用以接收來自一網路服務器的檢查單號及來自一DICOM影像儲存器的一DICOM影像檔，並將DICOM影像檔轉換成PNG影像格式的一PNG(Portable Network Graphics)影像檔，再將PNG影像檔存入一PNG影像儲存裝置；其中DICOM影像檔符合DICOM格式，PNG影像檔包含人體影像。
於一實施例中，一自動報告系統至資料庫讀取對應檢查單號的辨識報告，並將辨識報告透過一使用者介面顯示於一顯示器；其中，自動報告系統透過使用者介面接收一修改資訊，依據檢查單號將修改資訊寫入資料庫。
本揭露內容之另一態樣提供了一種醫療影像辨識方法，包含以下步驟：藉由一預測單元傳送一檢查單號；藉由一辨識模組接收檢查單號及一人體影像，將人體影像分別輸入複數個類神經網路模型；其中此些類神經網路模型各自輸出至少一辨識結果；藉由辨識模組將此些辨識結果回傳到該預測單元；以及藉由預測單元將此些辨識結果儲存到一資料庫中。
於一實施例中，資料庫傳送對應檢查單號的一病歷資料到預測單元，預測單元將檢查單號、病歷資料及辨識結果合併為一原始結果(raw result)，並將原始結果回傳到資料庫。
於一實施例中，藉由一整合單元接收來自辨識模組的檢查單號，依據檢查單號到資料庫中讀取原始資料，並依據複數個報告規則調整原始資料中的辨識結果，依據調整後的辨識結果產生一辨識報告，並將辨識報告儲存至資料庫；其中，由於辨識結果的資料有相依性，當此些辨識結果之間的資料相衝或互斥時，則整合單元依據報告規則調整原始資料中的辨識結果的至少之一者。
於一實施例中，藉由一醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine，DICOM)讀取器接收來自一網路服務器的檢查單號及來自一DICOM影像儲存器的一DICOM影像檔，並將DICOM影像檔轉換成PNG影像格式的一PNG(Portable Network Graphics)影像檔，再將PNG影像檔存入一PNG影像儲存裝置；其中DICOM影像檔符合DICOM格式，PNG影像檔包含人體影像。
於一實施例中，透過一自動報告系統至資料庫讀取對應檢查單號的辨識報告，並將辨識報告透過一使用者介面顯示於一顯示器；其中， 自動報告系統透過使用者介面接收一修改資訊，依據檢查單號將修改資訊寫入資料庫。
本發明所示之醫療影像辨識系統及醫療影像辨識方法，能輔助醫護人員進行醫療診斷，提升診斷效率，並輔以應用類神經網路模型分析人體影像，可達到更精準的辨識結果。
100:醫療影像辨識方法
110~140、S1~S19:步驟
200、400:醫療影像辨識系統
10:預測單元
20:辨識模組
30:資料庫
310:疾病診斷
320:體內醫療器材偵測
330:輔助判斷
40:整合單元
50:DICOM讀取器
60:DICOM影像儲存器
70:PNG影像儲存裝置
80:網路服務器
HIS:醫院訊息系統
PACS:醫學影像存檔與通訊系統
ARS:自動報告系統
RIS:放射信息管理系統
GUI:使用者介面
USR:使用者
INF:病人資料欄位
IMG:人體影像
B1:清除項目
B2:腫瘤項目
B3:心臟項目
B4:肺部項目
C1、C2:資訊欄位
VAR:框選位置
第1圖係依照本發明一實施例繪示一種醫療影像辨識方法之流程圖。
第2圖係依照本發明一實施例繪示一種醫療影像辨識系統之方塊圖。
第3圖係根據本發明之一實施例繪示一種辨識模組的辨識功能之示意圖。
第4圖係依照本發明一實施例繪示一種醫療影像辨識系統之方塊圖。
第5圖係依照本發明一實施例繪示一種自動產生報告之示意圖。
第6圖係依照本發明一實施例繪示一種使用者介面之示意圖。
第7圖係依照本發明一實施例繪示一種操作介面之示意圖。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請參閱第1~3圖，第1圖係依照本發明一實施例繪示一種醫療影像辨識方法100之流程圖。第2圖係依照本發明一實施例繪示一種醫療影像辨識系統200之方塊圖。第3圖係根據本發明之一實施例繪示一種辨識模組20的辨識功能之示意圖。
於步驟110中，藉由一預測單元10傳送一檢查單號。
於一實施例中，預測單元10可以是任何具有運算功能的電子裝置。於一實施例中，預測單元10可由體積電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或一邏輯電路來實施。
於一實施例中，檢查單號可以是病人在此次檢查身體時的資料單號。
於步驟120中，藉由一辨識模組20接收檢查單號及一人體影像，將人體影像分別輸入複數個類神經網路模型；其中此些類神經網路模型各自輸出至少一辨識結果。
於一實施例中，人體影像例如是胸腔X光影像。
於一實施例中，辨識模組20用以執行類神經網路模型的演算法。辨識模組20可以是任何具有運算功能的電子裝置。於一實施例中，預測單元10可由體積電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或一邏輯電路來實施。
請參閱第3圖，辨識模組20可透過多個類神經網路模型對第3圖中的26種檢測項目進行辨識。於一實施例中，多個類神經網路模型可以採用不同的演算法實現之。例如，多個類神經網路模型可分為分類型(classification)、物件偵測型(object detection)、迴歸型(regression)、圖像分割型(image segmentation)。
分類型例如為InceptionResNetV2、ResNet及/或VGG等已知的演算法，可以輸出影像判斷結果，例如，第3圖中的疾病診斷310，針對氣胸項目，分類型的類神經網路模型可偵測出此醫療影像是否有氣胸並以熱圖呈現病徵區域。
物件偵測型例如為SSD、YOLOV3、RetinaNet等已知的演算法，例如，第3圖中的體內醫療器材偵測320，其包含的項目都屬偵測型 的類神經網路模型可以輸出一個局部的框或是將輸出的數值代入醫學公式，例如，第3圖中的疾病診斷310可框出X光影像中有一個支架及一個中心靜脈導管，又例如，第3圖中的心室肥大的判斷方法，是透過分類型的類神經網路模型框出心臟與肺部的位置，再將心臟被框起來的面積除以肺部被框起來的面積，藉由此計算的結果判斷是否心室肥大。
迴歸型則為分類型的特例，基本上使用的演算法跟分類型一樣，可以輸出一個數值，例如，第3圖中的輔助判斷330，迴歸型的類神經網路模型估計肺部年齡為23歲。
圖像分割型為如為Fully Convolutional Networks(FCNs)、DeepLab、Mask R-CNN等已知的演算法，是以像素為單位顯示結果，例如，第3圖中的疾病診斷310，針對肺腫塊項目，圖像分割型的類神經網路模型可偵測出此醫療影像是否有肺腫塊並以像素為最小單位標註病徵位置或其輪廓。
於一實施例中，第3圖一共有26個檢測項目，此些項目可以將X光影像輸入到26個類神經網路模型，以產生出對應此26個檢測項目的辨識結果。然，本領域具通常知識者應可理解，本發明並不侷限於檢測項目的數目，此處僅為一例。
於步驟130中，藉由辨識模組20將此些辨識結果回傳到預測單元10。
於步驟140中，藉由預測單元10將此些辨識結果儲存到一資料庫30中。
於一實施例中，資料庫30可以儲存於一儲存裝置中。儲存裝置可被實作為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體。
請參閱第4~6圖，第4圖係依照本發明一實施例繪示一種醫療影像辨識系統400之方塊圖。第5圖係依照本發明一實施例繪示一種自動產生報告之示意圖。第6圖係依照本發明一實施例繪示一種使用者介面GUI之示意圖。第7圖係依照本發明一實施例繪示一種操作介面之示意圖。
於一實施例中，如第4圖所示，醫療影像辨識系統400可以與醫院訊息系統(Hospital Information System，HIS)、醫學影像存檔與通訊系統(Picture Archiving and Communication System，PACS)及/或本自動報告系統(Auto Report System，ARS)以有線/無線方式建立通訊連結。一般而言，醫院訊息系統HIS、醫學影像存檔與通訊系統PACS是位於醫院內部的系統。
於一實施例中，醫院訊息系統HIS是指醫院使用的所有用於診療、管理、後勤等業務的資訊化工具、資訊系統等。換言之，醫院訊息系統HIS是儲存病人資料的系統，儲存的資訊例如為病人身份代碼及/或病歷資料。
於一實施例中，醫學影像存檔與通訊系統PACS是指從醫學影像檢查設備中獲取影像資料，然後進行加工、儲存、檢索、呈現，以及醫學影像的智慧識別等。
於一實施例中，如第4圖所示，醫療影像辨識系統400包含資料庫30、預測單元10及辨識模組20。第4圖所示的資料庫30、預測單元10及辨識模組20與第2圖中的資料庫30、預測單元10及辨識模組20相同，故此處不贅述之。於一實施例中，第4圖更包括一整合單元40、一醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine，DICOM)讀取器50、一DICOM影像儲存器60、一PNG(Portable Network Graphics)影像儲存裝置70及一網路服務(Web service)器80。
於一實施例中，整合單元40及DICOM讀取器50可以分別由體積電路如微控制單元、微處理器、數位訊號處理器、現場可程式化邏輯閘陣列、特殊應用積體電路或一邏輯電路來實施。
於一實施例中，DICOM影像儲存器60及PNG影像儲存裝置70可以各自以一儲存裝置實現之。
於一實施例中，網路服務器80可以是一伺服器或具有傳輸、儲存及運算功能的電子裝置。
於步驟S1中，網路服務器80傳送一時間區間給醫院訊息系統HIS。
於一實施例中，網路服務器80傳送一時間區間(例如為2小時)給醫院訊息系統HIS，代表網路服務器80向醫院訊息系統HIS請求此時間區間內所有檢查過之病人的資料。病人的資料例如為病歷資料。病歷資料包含檢查資料、病歷號碼、身分證號、姓名、性別、檢查日期、是否為初診...等。
於步驟S2中，醫院訊息系統HIS將此時間區間所有檢查過之病人的資料回傳到網路服務器80。
例如，此兩小時內，醫院檢查了50位病人，則醫院訊息系統HIS將此50位病人資料回傳到網路服務器80。
於步驟S3中，網路服務器80向醫學影像存檔與通訊系統PACS發出對應一使用者的影像檔請求(request)，此影像檔請求用以促使醫學影像存檔與通訊系統PACS取出對應此使用者的一醫學影像檔。此醫學影像檔例如為電腦斷層檔及/或X光影像檔。
於步驟S4中，醫學影像存檔與通訊系統PACS傳送對應此使用者的X光影像檔到DICOM影像儲存器60。於一實施例中，醫學影像存檔與通訊系統PACS也可以傳送電腦斷層檔或其他的醫學影像檔到DICOM影像儲存器60進行後續的處理，然為使方便敘述，本案以X光影像為例進行說明。
於步驟S5中，網路服務器80將病歷資料及對應此病歷資料的檢查單號傳送到資料庫30。
例如，網路服務器80自行依據此筆病歷資料產生一檢查單號，檢查單號用以代表病人在此次檢查所記錄的病歷資料。
於步驟S6中，網路服務器80傳送檢查單號到DICOM讀取器50。
於步驟S7中，DICOM影像儲存器60傳送X光影像檔到DICOM讀取器50。
於一實施例中，DICOM讀取器50將X光影像檔進行前處理。例如，X光影像檔符合DICOM影像格式，DICOM讀取器50將此X光影像檔轉換成PNG影像格式的一PNG影像檔。
於步驟S8中，DICOM影像儲存器60將X光影像檔轉換成PNG影像格式的PNG影像檔後，將PNG影像檔存入一PNG影像儲存裝置。
於一實施例中，PNG影像檔包含人體影像。
於步驟S9中，DICOM影像儲存器60將符合DICOM影像格式的X光影像檔存入資料庫30中。
於步驟S10中，DICOM影像儲存器60傳送檢查單號到預測單元10。
於步驟S11中，預測單元10傳送檢查單號到辨識模組20。
於步驟S12中，PNG影像儲存裝置70傳送PNG影像檔到辨識模組20。
於一實施例中，辨識模組20取出PNG影像檔中的人體影像部分，將人體影像分別輸入多個類神經網路模型。其中，此些類神經網路模型各自輸出至少一辨識結果。由於辨識模組20在此步驟進行的處理與第2圖中的步驟120相同，故此處不贅述之。
於步驟S13中，辨識模組20將此些辨識結果回傳到預測單元10。
於步驟S14中，資料庫30傳送對應檢查單號的病歷資料到預測單元10。
於步驟S15中，預測單元10將一原始結果傳送到資料庫30。
於一實施例中，資料庫30傳送對應檢查單號的病歷資料到預測單元10，預測單元10將檢查單號、病歷資料及此些辨識結果合併為一原始結果(raw result)，預測單元10再將一原始結果傳送到資料庫30。
於一實施例中，預測單元10將病歷資料及對應此病歷資料的檢查單號傳送到資料庫30中。
於步驟S16中，預測單元10將檢查單號傳送到整合單元40。
於步驟S17中，整合單元40依據檢查單號到資料庫30中讀取原始資料，並依據複數個報告規則調整原始資料中的此些辨識結果，依據調整後的此些辨識結果產生一辨識報告，並將辨識報告儲存至資料庫30。
於一實施例中，報告規則可以是由醫生事先定義的一些醫學規則。例如，報告規則的其中一項定義為：一個人只會有1個心臟，因此，當辨識報告中顯示在一個人的身體中找到3個心臟，代表辨識報告存在誤判的可能，由於類神經網路模型可以輸出此3個心臟位置的信心機率，其信心機率代表此3個心臟位置被判斷為心臟的可能性，因此，整合單元40從3個心臟位置中選出具有最高信心機率的1個心臟位置，以調整辨識報告。由此可知，透過這些報告規則可以將誤判的辨識結果進行調整，再將調整後的辨識結果寫回資料庫30，藉此提高辨識報告的準確度。
於一實施例中，整合單元40可以先針對一個檢測項目審視一個類神經網路模型的辨識結果，再參考幾個處理相關此檢測項目的類神經網路模型的辨識結果，將多個辨識結果相互比對(例如第一個辨識結果框選出有3顆心臟異常，第二個辨識結果框選出1個心臟異常)，由於資料有相依性，當多個辨識結果之間的資料相衝或互斥時，則依據相關的報告規則調 整原始資料中的此些辨識結果的至少之一者(例如，由報告規則中可知人類只有1顆心臟，故第一辨識結果應作修改或刪除)。
於一實施例中，可以透過訓練類神經網路模型辨識驗證資料集的辨識結果和實際醫生標註的差異程度，例如：有無病徵、病徵框選位置偏移量和輸出數值差異，來進行類神經網路模型準確率評估。於一實施例中，在訓練階段中，首先蒐集大量的X光影像，將此些X光影像請醫生進行有無疾病之答案標註，並依不同病人及影像比例分成訓練資料集、驗證資料集和測試資料集，將訓練資料集和驗證資料集影像導入深度學習中的卷積網路的不同層網路進行資料運算，而測試資料集則用於評估模型訓練後的泛化能力(generalization ability)。以GoogleNet(一種類神經網路模型)為例，在資料特徵擷取的卷積層(convolution)、資料值域縮放到一致範圍的正規化層(normalization)、資料進行向下取樣的池化層(pooling)...等，再將特徵資料藉由完全連接層(fully-connected)輸出最後辨識結果，並藉由辨識結果和實際年齡值的差異來反覆修正類神經網路模型。換言之，在類神經網路模型的訓練階段所產生的此些辨識結果，經過計算其誤差後，可以再反饋回類神經網路模型，以優化類神經網路模型的辨識精準度。
於一實施例中，如第5圖所示，自動報告系統ARS會讀取醫療影像辨識系統400中的資料庫30(步驟S18)，將資料庫30中的資料根據醫生(例如為使用者USR)所提供的報告規則(即每個病徵的報告用語抑或特定病徵的相關性)去進行調整，並自動產生報告。當醫生打報告時，一點選到病人的病人身分代碼及/或病歷資料，顯示器則會顯示此自動產生的報告。此外，醫生可透過使用者介面GUI來修改報告，當醫生按下確認報告 時，自動報告系統ARS會將此自動產生的報告或是經過修改後的報告會被送到放射信息管理系統RIS(步驟S19)，放射信息管理系統RIS取得報告後進行後續的應用，例如解決放射檢查的預約、登記、報告、審核等業務過程。
第5圖中的醫療影像辨識系統400與醫療影像辨識系統400相同，為使圖式簡潔，在本領域具通常知識者能夠理解的情況下，在第5圖的醫療影像辨識系統400中僅繪製出資料庫30，其它元件則與第4圖的醫療影像辨識系統400相同。
請參閱第6圖，自動報告系統ARS至資料庫30讀取對應檢查單號的辨識報告，並將辨識報告透過一使用者介面GUI顯示於一顯示器。其中，自動報告系統ARS透過使用者介面GUI接收一修改資訊，依據檢查單號將修改資訊寫入資料庫30。
於一實施例中，如第6圖所示，使用者介面GUI中包含病人資料欄位INF、人體影像IMG、清除項目B1、腫瘤項目B2、心臟項目B3、肺部項目B4、資訊欄位C1及/或資訊欄位C2。其中，病人資料欄位INF包含病歷號碼“926269”、姓名“王小明”、年齡“72”(歲)、性別“F”(女)及/或檢查單號“A1”，本領域具通常知識者應可理解病人欄位資料INF的內容不僅於此，可以包含其他相關於病人的資訊。人體影像IMG例如為X光影像。清除項目B1代表使用者USR可點選此按鈕，清除畫面中被編輯的部分，腫瘤項目B2代表關於腫瘤的辨識結果，心臟項目B3代表關於心臟的辨識結果，肺部項目B4代表關於肺部的辨識結果，然本領域具通常知識者應能理 解此些項目僅為例子，實作使用者介面GUI時，可依據使用者USR所需資訊以呈現其他項目。
於第6圖所示的例子中，當使用者USR可點選肺部項目B4後，人體影像IMG上顯示一個框選位置VAR，代表肺部的辨識結果判定此框選位置VAR出現異常，其異常的進一步資訊則寫在資訊欄位C1及資訊欄位C2中，使用者USR(例如為醫生)可以由使用者介面GUI快速理解病人可能肺部出現的問題，若使用者USR認為此肺部的辨識結果有誤，亦可以直接在使用者介面GUI的資訊欄位C1及/或資訊欄位C2作修改，或點選框選位置VAR後，按下清除項目B1，以清除點選框選位置VAR，或是直接移動點選框選位置VAR到適當的位置。接著，自動報告系統ARS透過使用者介面GUI接收當修改資訊後，依據檢查單號將修改資訊寫入資料庫30。
請參閱第7圖，使用者USR可以將使用者介面GUI與醫院的放射信息管理系統RIS一併呈現於顯示器上，放射信息管理系統RIS中可以列出多筆病人的資訊(例如病歷號碼、姓名、性別(符號“F”為女性，符號“M”為男性)、年齡(歲數))，當使用者USR點選放射信息管理系統RIS中的病歷號“01”時，使用者介面GUI呈現病人“王小明”的人體影像IMG及其相關辨識結果。
綜上所述，本發明所示之醫療影像辨識系統及醫療影像辨識方法，能輔助醫護人員進行醫療診斷，提升診斷效率，並透過應用類神經網路模型分析人體影像，可達到取得更精準的辨識結果之效果。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本 發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:影像辨識方法
110~140:步驟

Claims (6)

  1. 一種醫療影像辨識系統，包含：一預測單元，用以傳送一檢查單號；一整合單元；以及一辨識模組，用以接收該檢查單號及一人體影像，將該人體影像分別輸入複數個類神經網路模型；其中該些類神經網路模型各自輸出至少一辨識結果，該辨識模組將該些辨識結果回傳到該預測單元；其中，該預測單元將該些辨識結果儲存到一資料庫中；其中，該資料庫傳送對應該檢查單號的一病歷資料到該預測單元，該預測單元將該檢查單號、該病歷資料及該些辨識結果合併為一原始結果(raw result)，並將該原始結果回傳到該資料庫；該整合單元用以接收來自該辨識模組的該檢查單號，依據該檢查單號到該資料庫中讀取一原始資料，並依據複數個報告規則調整該原始資料中的該些辨識結果，依據調整後的該些辨識結果產生一辨識報告，並將該辨識報告儲存至該資料庫；其中，該整合單元先針對一第一檢測項目審視一第一類神經網路模型的一第一辨識結果，再參考與該第一檢測項目相關的複數個第二檢測項目的一第二類神經網路模型的複數個第二辨識結果，將該第一辨識結果與該些第二辨識結果相互比對，由於該第一辨識結果與該些第二辨識結果的資料有相依性，當該第一辨識結果與該些第二辨識結果之間的資料相衝或互斥時，則該整合單元依據該些報告規則調整該原始資料中的該些辨識結果的至少之一者。
  2. 如申請專利範圍第1項所述之醫療影像辨識系統，更包含：一醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine，DICOM)讀取器，用以接收來自一網路服務器的檢查單號及來 自一DICOM影像儲存器的一DICOM影像檔，並將該DICOM影像檔轉換成PNG影像格式的一PNG(Portable Network Graphics)影像檔，再將該PNG影像檔存入一PNG影像儲存裝置；其中該DICOM影像檔符合DICOM格式，該PNG影像檔包含該人體影像。
  3. 如申請專利範圍第1項所述之醫療影像辨識系統，其中，一自動報告系統至該資料庫讀取對應該檢查單號的該辨識報告，並將該辨識報告透過一使用者介面顯示於一顯示器；其中，該自動報告系統透過該使用者介面接收一修改資訊，依據該檢查單號將該修改資訊寫入該資料庫。
  4. 一種醫療影像辨識方法，包含：藉由一預測單元傳送一檢查單號；藉由一辨識模組接收該檢查單號及一人體影像，將該人體影像分別輸入複數個類神經網路模型；其中該些類神經網路模型各自輸出至少一辨識結果；藉由該辨識模組將該些辨識結果回傳到該預測單元；以及藉由該預測單元將該些辨識結果儲存到一資料庫中；其中該資料庫傳送對應該檢查單號的一病歷資料到該預測單元，該預測單元將該檢查單號、該病歷資料及該些辨識結果合併為一原始結果(raw result)，並將該原始結果回傳到該資料庫；藉由一整合單元接收來自該辨識模組的該檢查單號，依據該檢查單號到該資料庫中讀取一原始資料，並依據複數個報告規則調整該原始資料中的該些辨識結果，依據調整後的該些辨識結果產生一辨識報告，並將該辨識報告儲存至該資料庫；其中，該整合單元先針對一第一檢測項目審視一第一類神經網路模型的一 第一辨識結果，再參考與該第一檢測項目相關的複數個第二檢測項目的一第二類神經網路模型的複數個第二辨識結果，將該第一辨識結果與該些第二辨識結果相互比對，由於該第一辨識結果與該些第二辨識結果的資料有相依性，當該第一辨識結果與該些第二辨識結果之間的資料相衝或互斥時，則該整合單元依據該些報告規則調整該原始資料中的該些辨識結果的至少之一者。
  5. 如申請專利範圍第4項所述之醫療影像辨識方法，更包含：藉由一醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine，DICOM)讀取器接收來自一網路服務器的檢查單號及來自一DICOM影像儲存器的一DICOM影像檔，並將該DICOM影像檔轉換成PNG影像格式的一PNG(Portable Network Graphics)影像檔，再將該PNG影像檔存入一PNG影像儲存裝置；其中該DICOM影像檔符合DICOM格式，該PNG影像檔包含該人體影像。
  6. 如申請專利範圍第4項所述之醫療影像辨識方法，更包含：透過一自動報告系統至該資料庫讀取對應該檢查單號的該辨識報告，並將該辨識報告透過一使用者介面顯示於一顯示器；其中，該自動報告系統透過該使用者介面接收一修改資訊，依據該檢查單號將該修改資訊寫入該資料庫。
TW108147976A 2019-12-27 2019-12-27 醫療影像辨識系統及醫療影像辨識方法 TWI793391B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108147976A TWI793391B (zh) 2019-12-27 2019-12-27 醫療影像辨識系統及醫療影像辨識方法
CN202010069295.3A CN113129256A (zh) 2019-12-27 2020-01-21 医疗影像辨识系统及医疗影像辨识方法
US16/933,163 US11749398B2 (en) 2019-12-27 2020-07-20 Medical image recognition system and medical image recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108147976A TWI793391B (zh) 2019-12-27 2019-12-27 醫療影像辨識系統及醫療影像辨識方法

Publications (2)

Publication Number Publication Date
TW202125529A TW202125529A (zh) 2021-07-01
TWI793391B true TWI793391B (zh) 2023-02-21

Family

ID=76546623

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147976A TWI793391B (zh) 2019-12-27 2019-12-27 醫療影像辨識系統及醫療影像辨識方法

Country Status (3)

Country Link
US (1) US11749398B2 (zh)
CN (1) CN113129256A (zh)
TW (1) TWI793391B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200538734A (en) * 2004-03-12 2005-12-01 Aureon Biosciences Corp Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US20180165810A1 (en) * 2016-12-13 2018-06-14 Shanghai Sixth People's Hospital Method of automatically detecting microaneurysm based on multi-sieving convolutional neural network
CN108986908A (zh) * 2018-05-31 2018-12-11 平安医疗科技有限公司 问诊数据处理方法、装置、计算机设备和存储介质
CN109378043A (zh) * 2017-10-13 2019-02-22 北京昆仑医云科技有限公司 基于患者的医学图像生成诊断报告的系统和方法及介质
CN109545302A (zh) * 2018-10-22 2019-03-29 复旦大学 一种基于语义的医学影像报告模板生成方法
US20190139642A1 (en) * 2016-04-26 2019-05-09 Ascend Hit Llc System and methods for medical image analysis and reporting
TW201923582A (zh) * 2017-11-17 2019-06-16 美商艾維泰公司 用於經由多預測模型架構之異常偵測之系統與方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195600B2 (en) * 2016-10-17 2021-12-07 International Business Machines Corporation Automatic discrepancy detection in medical data
CN107203995A (zh) * 2017-06-09 2017-09-26 合肥工业大学 内窥镜影像智能分析方法及系统
US10803579B2 (en) * 2017-10-13 2020-10-13 Beijing Keya Medical Technology Co., Ltd. Interactive clinical diagnosis report system
CN108376558B (zh) * 2018-01-24 2021-08-20 复旦大学 一种多模态核磁共振影像病历报告自动生成方法
US11398304B2 (en) * 2018-04-24 2022-07-26 Siemens Healthcare Gmbh Imaging and reporting combination in medical imaging
CN112639890A (zh) * 2018-08-21 2021-04-09 皇家飞利浦有限公司 通过机器学习模型对特征评价的显著视觉解释
US10929973B2 (en) * 2018-10-02 2021-02-23 Siemens Healtcare Gmbh Medical image pre-processing at the scanner for facilitating joint interpretation by radiologists and artificial intelligence algorithms
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
WO2020150441A1 (en) * 2019-01-16 2020-07-23 Tecumseh Vision, Llc Using artificial intelligence and biometric data for serial screening exams for medical conditions

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200538734A (en) * 2004-03-12 2005-12-01 Aureon Biosciences Corp Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US20190139642A1 (en) * 2016-04-26 2019-05-09 Ascend Hit Llc System and methods for medical image analysis and reporting
US20180165810A1 (en) * 2016-12-13 2018-06-14 Shanghai Sixth People's Hospital Method of automatically detecting microaneurysm based on multi-sieving convolutional neural network
CN109378043A (zh) * 2017-10-13 2019-02-22 北京昆仑医云科技有限公司 基于患者的医学图像生成诊断报告的系统和方法及介质
TW201923582A (zh) * 2017-11-17 2019-06-16 美商艾維泰公司 用於經由多預測模型架構之異常偵測之系統與方法
CN108986908A (zh) * 2018-05-31 2018-12-11 平安医疗科技有限公司 问诊数据处理方法、装置、计算机设备和存储介质
CN109545302A (zh) * 2018-10-22 2019-03-29 复旦大学 一种基于语义的医学影像报告模板生成方法

Also Published As

Publication number Publication date
CN113129256A (zh) 2021-07-16
TW202125529A (zh) 2021-07-01
US20210202089A1 (en) 2021-07-01
US11749398B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
US11553874B2 (en) Dental image feature detection
US10937164B2 (en) Medical evaluation machine learning workflows and processes
US11380432B2 (en) Systems and methods for improved analysis and generation of medical imaging reports
JP5952835B2 (ja) 撮像プロトコルの更新及び／又はリコメンダ
US12068070B2 (en) Method and system for computer-aided triage of stroke
US20190220978A1 (en) Method for integrating image analysis, longitudinal tracking of a region of interest and updating of a knowledge representation
US10733727B2 (en) Application of deep learning for medical imaging evaluation
US11488299B2 (en) Method and system for computer-aided triage
US12072944B2 (en) Systems and methods for dynamic data processing and graphical user interface processing
CN113841171A (zh) 用于使临床工作流程决策自动化并生成优先读取指示符的系统和方法
JP2019507428A (ja) コグニティブ患者治療イベントの再構成
JP2023509976A (ja) リアルタイム放射線医学を行うための方法およびシステム
Zhang et al. Comparison of chest radiograph captions based on natural language processing vs completed by radiologists
EP3813075A1 (en) System and method for automating medical images screening and triage
TWI793391B (zh) 醫療影像辨識系統及醫療影像辨識方法
CN111436212A (zh) 用于医学成像评估的深度学习的应用
US20190326016A1 (en) Method of Capturing and Evaluation Uncertainty in Computerized Intelligent Systems for Medical Diagnosis
CN115440371A (zh) 一种胸部疾病诊断模型及其创建方法和装置
US11508065B2 (en) Methods and systems for detecting acquisition errors in medical images
Akiladevi et al. Survey on Autonomous Medical Diagnosis Tools
TW202422489A (zh) 多標籤分類方法及多標籤分類系統