Nothing Special   »   [go: up one dir, main page]

CN111989710A - 医学成像中的自动切片选择 - Google Patents

医学成像中的自动切片选择 Download PDF

Info

Publication number
CN111989710A
CN111989710A CN201980025529.XA CN201980025529A CN111989710A CN 111989710 A CN111989710 A CN 111989710A CN 201980025529 A CN201980025529 A CN 201980025529A CN 111989710 A CN111989710 A CN 111989710A
Authority
CN
China
Prior art keywords
slices
image data
imaging system
processor
medical imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980025529.XA
Other languages
English (en)
Inventor
R·B·帕蒂尔
R·斯里尼瓦桑
K·帕拉尼萨米
N·布萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111989710A publication Critical patent/CN111989710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

本发明提供了一种医学成像系统(100、300、400、700)，包括：用于存储机器可执行指令(120)的存储器(110)和用于控制所述医学成像系统的处理器(106)。对所述机器可执行指令的运行使所述处理器：接收(200)包括多个切片的三维医学图像数据(122)；接收(202)所述三维医学图像数据的成像模态(124)；接收(204)所述三维医学图像数据的解剖视图分类(126)；使用所述成像模态和所述解剖视图分类从一组异常检测模块(128)中选择(206)所选取的异常检测模块(130)，其中，所述异常检测模块的至少一部分是被训练用于将所述多个切片的所述至少一部分识别为正常还是异常的卷积神经网络；使用所述异常检测模块将所述多个切片的所述至少一部分分类(208)为正常或异常；并且如果所述多个切片中的预定数量被分类为异常，则根据预定选择准则(134)从所述多个切片中选取(210)一组选定切片(136)。

Description

医学成像中的自动切片选择
技术领域
本发明涉及医学成像，具体涉及对异常切片的识别。
背景技术
在现代医学护理中，医学成像技术(磁共振成像(MRI)、计算机断层摄影(CT)、正电子发射断层摄影(PET)以及其他技术)正变得越来越重要。随着时间推移，各种成像模态正被越来越多地使用。而且，由医学成像扫描器采集的数据量也已经增加。在一些医院中，放射科医生将在成像协议已经完成之后花费其时间的大部分视觉地扫视大量图像。
发明内容
本发明在独立权利要求中提供了一种医学成像系统、一种计算机程序产品和一种方法。在从属权利要求中给出了实施例。
本发明的实施例可以提供减少当检查三维医学图像数据时的工作负荷的手段。实施例可以通过首先接收识别图像的类型的图像的成像模态来这样做。例如，成像模态可以将三维医学图像数据识别为MRI图像、CT图像或其他医学成像模态。然后接收解剖视图分类。解剖视图分类可以例如识别存在于三维医学图像数据中的解剖结构。在另一范例中，解剖视图分类可以识别所使用的成像协议。例如，解剖视图分类可以识别大脑、肩部或其他解剖结构的MRI扫描的具体类型。
成像模态和解剖视图分类然后用来从一组异常检测模块中选择所选取的异常检测模块。该组异常检测模块均是针对具体成像模态和具体解剖视图分类进行训练的卷积神经网络。所选取的异常检测模块然后用来检查三维医学图像数据的切片的至少一部分，以查看有没有任何被分类为异常。如果切片中的任何是异常的，那么预定选择准则用来从三维图像数据中选取一组选定切片。该组选定切片能够例如被显示在用户界面上或在以后的检查由放射科医生进行识别。
在一个方面中，本发明提供了一种医学成像系统，所述医学成像系统包括用于存储机器可执行指令的存储器。所述医学成像系统还包括用于控制所述医学成像系统的处理器。对所述机器可执行指令的运行使所述处理器接收包括多个切片的三维医学图像数据。三维医学图像数据是能够用来绘制3D体积或能够被显示为三维体积的多个二维切片的数据。对所述机器可执行指令的运行还使所述处理器接收所述三维医学图像数据的成像模态。所述成像模态可以例如是用来采集所述三维医学图像数据的成像扫描器或装置的类型。
对所述机器可执行指令的运行还使所述处理器接收所述三维医学图像数据的解剖视图分类。解剖视图分类可以例如指示用来采集三维医学图像数据的成像流程的类型，或者其可以包括在三维医学图像数据内的解剖区域的名单或列表。对所述机器可执行指令的运行还使所述处理器使用所述成像模态和所述解剖视图分类从一组异常检测模块中选择所选取的异常检测模块。所述异常检测模块中的每个是被训练用于将所述多个切片的至少一部分识别为正常还是异常的卷积神经网络。在一些特定范例中，所述多个切片的所述至少一部分是所述多个切片中的每个。对“所述多个切片中的每个”的引用也可以被解读为所述多个切片的所述至少一部分。
通过具有一组异常检测模块，所选取的异常检测模块能够针对具体成像模态以及在三维医学图像数据中表示的具体解剖视图进行训练。对所述机器可执行指令的运行还使所述处理器使用所述异常检测模块将所述多个切片的所述至少一部分分类为正常或异常。
例如，所述切片中的每个可以被输入到所述卷积神经网络中，并且输出是所述切片被分类为正常或异常。对所述机器可执行指令的运行还使所述处理器：如果所述多个切片中的预定数量被分类为异常，则根据预定选择准则从所述多个切片中选取一组选定切片。在一些范例中，所述多个切片中的预定数量是一个。在本文中应理解，“所述多个切片中的预定数量”能够用“所述多个切片中的任何”来替代。
如果三维医学成像数据包括被卷积神经网络识别为异常的任何切片，那么一组三维医学图像数据被选取为所述一组选定切片。
该实施例可以是有益的，因为所述一组选定切片可以被选取为使得医师能够识别所述多个切片中的被识别为异常的一个或多个。这可以帮助放射科医生或其他技术人员浏览三维医学图像数据以发现异常。
在另一实施例中，对所述机器可执行指令的运行还使所述处理器计算所述多个切片中的每个的熵。对所述机器可执行指令的运行还使所述处理器针对所述多个切片中的每个计算相邻切片之间的均方差强度变化。对所述机器可执行指令的运行还使所述处理器：如果所述切片的所述熵与所述相邻切片之间的均方差强度变化的比在预定信息内容阈值之上，则将所述多个切片中的所选取的切片添加到所述一组选定切片。在该实施例中，相对于均方差强度变化具有高熵的切片被选取。这可以是有益的，因为取决于预定信息内容阈值如何被选取，图像可以包含大于常见量的信息。这可以选择具有可以有益于操作者检查的更多细节或信息的切片。
在另一实施例中，所述异常检测模块被配置用于生成所述多个切片中的每个的特征向量。特征向量的计算是卷积神经网络的任何正常特征。对所述机器可执行指令的运行使所述处理器针对所述多个切片中的每个计算相邻切片的所述特征向量之间的欧式距离。对所述机器可执行指令的运行还使所述处理器通过将所述多个切片中的每个的所述特征向量输入到高斯混合模型中来计算所述多个切片中的每个的似然量度。所述高斯混合模型被训练为确定所述特征向量是否是正常的和异常的概率。对所述机器可执行指令的运行还使所述处理器：如果所述似然量度与所述欧式距离的比大于预定异常量度阈值，则将来自所述多个切片的选定切片添加到所述一组选定切片。该实施例可以是有益的，因为具有包含如被高斯混合模型识别的异常的高概率的切片可以被选择。
在另一实施例中，对所述机器可执行指令的运行还使所述处理器使用从所述异常检测模块导出的特征向量来训练所述高斯混合模型。该实施例可以是有益的，因为其可以提供训练高斯混合模型的有效且高效的方式。
在另一实施例中，对所述机器可执行指令的运行还使所述处理器利用成像模态分类器来确定所述三维医学图像的成像模态。例如，神经网络可以被训练为接收医学图像作为输入，并且然后输出成像模态的类型。在其他施例中，成像模态分类器可以是查看标头或元数据或日志文件并且使用该信息来确定成像模态的代码。
在另一实施例中，所述成像模态分类器被配置用于使用以下中的任何一个来确定所述成像模态：使用自然语言处理来处理报告或日志文件，从DICOM标头提取所述成像模态，以及从健康信息系统接收所述成像模态。
在另一实施例中，对所述机器可执行指令的运行还使所述处理器使用解剖分类模块来确定解剖视图分类。所述解剖结构分类模块是经训练的卷积神经网络。在该实施例中，经训练的卷积神经网络可以用来识别三维医学图像数据的具体解剖视图。这可以是有用的，因为其可以然后用于预先选择所选取的异常检测模块。
在另一实施例中，所述成像模态是以下中的任何一个：磁共振成像、正电子发射断层摄影、单光子发射断层摄影、超声、X射线、计算机断层摄影以及内窥镜。
在另一实施例中，对所述机器可执行指令的运行还使所述处理器接收多组三维医学图像数据。
在另一实施例中，所述医学成像数据包括显示器。对所述机器可执行指令的运行还使所述处理器将所述一组选定切片显示在所述显示器上。这可以是有益的，因为其可以使医学专业人员或操作者在发现异常之前免于浏览大量切片。
在另一实施例中，所述医学成像系统包括显示器。对所述机器可执行指令的运行还使所述处理器将所述三维医学图像数据的选定部分显示在所述显示器上。所述选定部分包括所述一组选定切片和在所述一组选定切片之间的所述三维医学图像数据的切片。在该实施例中，所述一组选定切片和在它们之间的所述三维医学图像数据的所述切片被显示。这可以是有益的，因为其可以为医学专业人员或操作者发现异常提供更多的信息。
在另一实施例中，所述医学成像系统包括被配置用于采集所述三维医学图像数据的医学成像扫描器。对所述机器可执行指令的运行还使所述处理器控制所述医学成像扫描器采集所述三维医学成像数据。
在另一实施例中，所述医学成像扫描器是以下中的任何一个：磁共振成像系统、正电子发射断层摄影系统、单光子发射断层摄影系统、超声成像系统、X射线系统、计算机断层摄影系统以及内窥镜系统。
在另一方面中，本发明提供了一种操作医学成像系统的方法。所述方法包括接收包括多个切片的三维医学图像数据。所述方法还包括接收所述三维医学图像数据的成像模态。所述方法还包括接收所述三维医学图像数据的解剖视图分类。所述方法还包括使用所述成像模态和所述解剖视图分类从一组异常检测模块中选择所选取的异常检测模块。所述异常检测模块中的每个是被训练用于将所述多个切片中的每个识别为正常还是异常的卷积神经网络。所述方法还包括使用所述异常检测模块将所述多个切片的每个分类为正常或异常。所述方法还包括：如果所述多个切片中的任何被分类为异常，则根据预定选择准则从所述多个切片中选取所述一组选定切片。
在另一方面中，本发明提供了一种计算机程序产品，包括用于由控制医学成像系统的处理器运行的机器可执行指令。对所述机器可执行指令的运行使所述处理器接收包括多个切片的三维医学图像数据。对所述机器可执行指令的运行还使所述处理器接收所述三维医学图像数据的成像模态。对所述机器可执行指令的运行还使所述处理器接收所述三维医学图像数据的解剖视图分类。对所述机器可执行指令的运行还使所述处理器使用所述成像模态和所述解剖视图分类从一组异常检测模块中选择所选取的异常检测模块。所述异常检测模块中的每个是被训练用于将所述多个切片中的每个识别为正常还是异常的卷积神经网络。
对所述机器可执行指令的运行还使所述处理器使用所述异常检测模块将所述多个切片的每个分类为正常或异常。对所述机器可执行指令的运行还使所述处理器：如果所述多个切片中的任何被分类为异常，则根据预定选择准则从所述多个切片中选取所述一组选定切片。
应当理解，只要组合的实施例不相互排斥，就可以组合本发明的前述实施例中的一个或多个。
本领域的技术人员将意识到，本发明的各方面可以被实施为装置、方法或计算机程序产品。因此，本发明的各方面可以采用以下形式：完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或在本文中全部被通称为“电路”、“模块”或“系统”的组合了软件方面和硬件方面的实施例。此外，本发明的各方面可以采用被体现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有被体现在其上的计算机可执行代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。本文中使用的“计算机可读存储介质”包括可以存储能由计算设备的处理器运行的指令的任何有形存储介质。计算机可读存储介质可以被称为计算机可读非瞬态存储介质。计算机可读存储介质还可以被称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还能够存储能够由计算设备的处理器访问的数据。计算机可读存储媒介的范例包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪速存储器、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘以及处理器的寄存器文件。光盘的范例包括压缩盘(CD)和数字多用盘(DVD)，例如，CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指能够由计算机设备经由网络或通信链路进行存取的各种类型的记录媒介。例如，可以在调制解调器上、在互联网上或在局域网上检索数据。可以使用任何适当的介质来传输在计算机可读介质上体现的计算机可执行代码，所述任何适当的介质包括但不限于：无线、有线、光纤线缆、RF等，或前述的任何合适的组合。
计算机可读信号介质可以包括具有体现在其中(例如在基带中或作为载波的部分)的计算机可执行代码的传播数据信号。这种传播信号可以采用以下各种形式中的任何，包括但不限于：电磁、光学或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质并且能够传递、传播或传输用于由指令执行系统、装置或设备使用的程序或与指令执行系统、装置或设备结合使用的程序的任何计算机可读介质。
“计算机存储器”或“存储器”是计算机可读存储介质的范例。计算机存储器是能由处理器直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另外的范例。计算机存储设备可以是任何非易失性计算机可读存储介质。在一些实施例中，计算机存储设备也可以是计算机存储器或反之亦然。
本文中使用的“处理器”包括能够运行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“处理器”的计算设备的引用应被解读为可能包含多于一个处理器或处理核。处理器例如可以是多核处理器。处理器也可以指在单个计算机系统内的或被分布在多个计算机系统之中的处理器的集合。术语“计算设备”也应被解读为可能指多个计算设备的集合或网络，所述多个计算设备中的每个计算设备均包括一个或多个处理器。计算机可执行代码可以由多个处理器来执行，这些处理器可以处于同一计算设备内，或甚至可以跨多个计算设备分布。
计算机可执行代码可以包括使处理器执行本发明的一方面的机器可执行指令或程序。用于执行针对本发明的各方面的操作的计算机可执行代码可以以一种或多种编程语言的任何组合来编写，编程语言包括面向对象的编程语言(例如，Java、Smalltalk、C++等)和常规的过程式编程语言(例如，“C”编程语言或类似的编程语言)，并且被编译成机器可执行指令。在一些实例中，计算机可执行代码可以是高级语言的形式或是预编译的形式，并且可以与解释器联合使用，所述解释器在运行中生成机器可执行指令。
计算机可执行代码可以完全在用户的计算机上、部分在用户的计算机上、作为独立软件包、部分在用户的计算机上并且部分在远程计算机上，或完全在远程计算机或服务器上运行。在后一种情况中，远程计算机可以通过任何类型的网络连接到用户的计算机，所述网络包括局域网(LAN)或广域网(WAN)，或可以(例如通过使用互联网服务提供商的互联网)连接到外部计算机。
参考根据本发明的实施例的方法、装置(系统)以及计算机程序产品的流程图图示和/或框图描述了本发明的各方面。应当理解，在适当时能够由计算机可执行代码形式的计算机程序指令来实施流程图、图示和/或框图的框的每个框或部分。还应当理解，当互不排斥时，可以对不同的流程图、图示和/或框图中的框进行组合。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的单元。
这些计算机程序指令也可以被存储在计算机可读介质中，所述计算机可读介质能够指导计算机、其他可编程数据处理装置或其他设备来以特定方式起作用，使得被存储在计算机可读介质中的指令产生制品，所述制品包括实施在流程图和/或一个或多个框图框中指定的功能/动作的指令。
计算机程序指令也可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上被执行，从而产生计算机实施的过程，使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图和/或一个或多个框图框中指定的功能/动作的过程。
本文中使用的“用户接口”是允许用户或操作者与计算机或计算机系统交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作者提供信息或数据并且/或从操作者接收信息或数据。用户接口可以使得来自操作者的输入能够被计算机接收，并且可以从计算机向用户提供输出。换言之，用户接口可以允许操作者控制或操纵计算机，并且接口可以允许计算机指示操作者的控制或操纵的效果。在显示器或图形用户接口上对数据或信息的显示是向操作者提供信息的范例。通过键盘、鼠标、跟踪球、触控板、指点杆、图形输入板、操纵杆、游戏手柄、游戏垫、网络摄像头、头戴式设备、脚踏板、有线手套、遥控器以及加速度计来接收数据是使得能够从操作者接收信息或数据的用户接口部件的全部范例。
本文中使用的“硬件接口”涵盖使得计算机系统的处理器能够与外部计算设备和/或装置交互并且/或控制外部计算设备和/或装置的接口。硬件接口可以允许处理器向外部计算设备和/或装置发送控制信号或指令。硬件接口还可以使得处理器能够与外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于：通用串行总线、IEEE 1394端口、并行端口、IEEE 1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口以及数字输入接口。
本文中使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、听觉和或触觉的数据。显示器的范例包括但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪以及头戴式显示器。
磁共振(MR)数据或磁共振成像数据在本文中被定义为是在磁共振成像扫描期间使用磁共振装置的天线所记录的通过原子自旋发射的射频信号的测量结果。磁共振成像(MRI)图像或MR图像在本文中被定义为是对在磁共振成像数据内包含的解剖数据的经重建的二维或三维可视化。这种可视化能够使用计算机来执行。磁共振图像是医学图像数据或三维医学图像数据的范例。
附图说明
在下文中，将仅通过范例的方式并且参考附图来描述本发明的优选实施例，在附图中：
图1图示了医学成像系统的范例；
图2示出了图示操作图1的医学成像系统的方法的范例的流程图；
图3图示了医学成像系统的又一范例；
图4图示了医学成像系统的又一范例；
图5图示了神经网络的范例；
图6图示了神经网络的又一范例；以及
图7图示了医学成像系统的又一范例。
附图标记列表
100 医学成像系统
102 计算机系统
104 硬件/网络接口
106 处理器
108 用户接口
110 计算机存储器
112 图形用户接口
114 切片的绘制
116 翻阅切片的控制装置
120 机器可执行指令
122 三维医学图像数据
124 成像模态
126 解剖视图分类
128 一组异常检测模块
130 所选取的异常检测模块
132 多个切片中的每个的分类
134 预定选择准则
136 一组选定切片
138 成像模态分类器
140 解剖结构分类模块
200 接收包括多个切片的三维医学图像数据
202 接收三维医学图像数据的成像模态
204 接收三维医学图像数据的解剖视图分类
206 使用成像模态和解剖视图分类从一组异常检测模块中选择所选取的异常检测模块
208 使用异常检测模块将多个切片中的每个分类为正常或异常
210 如果多个切片中的任何被分类为异常，则根据预定选择准则从多个切片中选取一组选定切片
300 医学成像系统
302 磁共振成像系统
304 磁体
306 磁体的膛
308 成像区
309 感兴趣区域
310 磁场梯度线圈
312 磁场梯度线圈电源
314 射频线圈
316 收发器
318 对象
320 对象支撑物
340 脉冲序列命令
342 磁共振成像数据
400 医学成像系统
402 图像模态分类模型
402 成像解剖结构模型
402’ CT解剖结构分类模块
404 异常检测模型
404’ CT大脑异常模型
500 输入层
502 隐藏层
504 输出层
506 输出
600 特征图
602 隐藏单元
604 特征向量
606 输出
700 医学成像系统
702 CT
704 MR(MRI)
706 超声
708 X射线
710 病理学
712 内窥镜
714 大脑
716 四肢
718 腹部
720 肺部
具体实施方式
在这些附图中，类似编号的元件是等效的元件或执行相同的功能。如果功能等效，则在后面的附图中将不必讨论先前已经讨论过的元件。
图1图示了医学成像系统的范例100。医学成像系统被示为包括计算机系统102。计算机系统102具有硬件和/或网络接口104，其能够用于控制他部件和/或经由网络与其他计算机系统通信。计算机系统102还被示为包括处理器106，该处理器被连接到硬件和/或网络接口104以及被连接到用户接口108和计算机存储器110。存储器110可以是处理器106可访问的存储器的任何组合。这可以包括如主存储器、高速缓冲存储器以及非易失性存储器这样的事物，诸如闪速RAM、硬盘驱动器或其他存储设备。在一些范例中，存储器110可以被认为是非瞬态计算机可读介质。
用户接口108可以包括绘制图形用户接口112的显示器。图形用户接口112可以具有用于绘制切片或二维图像的区域。还可以存在允许操作者翻阅并查看绘制114的控制装置116。
计算机存储器110被示为包含机器可执行指令。机器可执行指令120使得处理器106能够可能控制医学成像系统100的其他部件和/或还执行各种计算和数据处理任务。存储器110还被示为包含三维医学图像数据122。三维医学图像数据可以已经由额外的医学扫描器采集，或其可以已经经由例如网络接口104被接收。存储器110还被示为包含识别三维医学图像数据122的成像模态的成像模态124。存储器110还被示为包含对在三维医学图像数据122中查看或成像的解剖结构进行分类的解剖视图分类126。
存储器110还被示为包含一组异常检测模块128。该组异常检测模块128是已经被训练为针对不同成像模态和不同解剖视图识别异常的一组卷积神经网络。存储器110还被示为包含所选取的异常检测模块130，其是使用成像模态124和解剖视图分类126从该组异常检测模块中选取的。
存储器110还被示为包含使用所选取的异常检测模块130执行的对三维医学图像数据122的多个切片132中的每个的分类。针对切片132中的每个的分类将切片中的每个分类为是正常的或异常的。如果切片中的任何被识别为是异常的，那么一组预定选择准则134用来选择一组选定切片136。预定选择准则134和该组选定切片136被示为被存储在存储器110中。通过预定选择准则134选择的切片然后可以用来选择三维医学图像数据的切片以在图形用户接口112上显示切片114的绘制。
存储器110还被示为包含可以用来提供成像模态124的任选成像模态分类器138。存储器110还被示为包含可以用于提供解剖视图分类126的任选解剖结构分类模块140。
图2示出了图示操作图1的医学仪器的方法的流程图。首先在步骤200中，接收包括多个切片的三维医学成像数据。接下来在步骤202中，接收三维医学成像数据的成像模态。成像模态可以是用来采集三维医学图像数据的医学成像扫描器的类型的识别。然后在步骤204中，接收三维医学图像数据的解剖视图分类。解剖视图分类可以是在三维医学图像数据中成像的解剖结构的识别，或其可以是在三维医学图像数据的采集期间使用的成像协议的类型的识别。接下来在步骤206中，所选取的异常检测模块使用成像模态和解剖视图分类从一组异常检测模块中选择。异常检测模块中的每个是被训练用于将多个切片中的每个分类为正常还是异常的卷积神经网络。然后在步骤208中，多个切片中的每个使用异常检测模块被分类为是正常的或异常的。最后，在步骤201中，如果多个切片中的任何被分类为异常，根据预定选择准则从多个切片中选取一组选定切片。
图3示出了医学成像系统的又一范例300。医学成像系统300类似于医学成像系统100，除了医学成像系统300额外地包括磁共振成像系统302。磁共振成像系统302旨在为医学成像扫描器的一般性范例。医学成像系统300能够额外地包括多于一个额外的医学成像扫描器，并且可以例如是磁共振成像系统、正电子发射断层摄影系统、单光子发射断层摄影系统、超声成像系统、X射线系统、计算机断层摄影系统以及内窥镜系统中的一个或多个。
磁共振成像系统302包括磁体304。磁体304是超导圆柱型磁体，其具有穿过其的膛306。也可以使用不同类型的磁体；例如，也可以使用分裂式圆柱型磁体和所谓的开放式磁体。分裂式圆柱型磁体类似于标准的圆柱型磁体，除了低温恒温器已经被分成两个部分以允许进入磁体的等平面，这种磁体可以例如与带电粒子射束治疗结合使用。开放式磁体具有两个磁体部分，一个在另一个之上，其间具有足够大的空间以容纳对象：两个部分的区的布置类似于亥姆霍兹线圈的布置。开放式磁体受欢迎，因为对象受限制较少。在圆柱型磁体的低温恒温器内部有一组超导线圈。在圆柱型磁体304的膛306内有成像区308，其中磁场足够强且均匀以执行磁共振成像。示出了成像区308内的感兴趣区域309。磁共振数据通常针对感兴趣区域来进行采集。对象318被示为由对象支撑物320支撑，使得对象318的至少部分处于成像区308和感兴趣区域309内。
在磁体的膛306内还有一组磁场梯度线圈310，其用于采集初步磁共振数据以对磁体304的成像区308内的磁自旋进行空间编码。磁场梯度线圈310连接到磁场梯度线圈电源312。磁场梯度线圈310旨在是代表性的。通常，磁场梯度线圈310包含三组独立的线圈，这三组独立的线圈用于在三个正交空间方向上进行空间编码。磁场梯度电源向磁场梯度线圈提供电流。提供给磁场梯度线圈310的电流作为时间的函数而被控制并且可以是斜变的或脉冲的。
与成像区308相邻的是射频线圈314，该射频线圈用于操纵成像区308内的磁自旋的取向并且用于接收来自也在成像区308内的自旋的射频发射。射频天线可以包含多个线圈元件。射频天线也可以被称为通道或天线。射频线圈314连接到射频收发器316。射频线圈314和射频收发器316可以由单独的发射线圈和接收线圈以及单独的发射器和接收器来替代。应当理解，射频线圈314和射频收发器316是代表性的。射频线圈314旨在还表示专用发射天线和专用接收天线。同样地，收发器316还可以表示单独的发射器和接收器。射频线圈314还可以具有多个接收/发射元件，并且射频收发器316可以具有多个接收/发射通道。例如，如果执行诸如SENSE之类的并行成像技术，则射频线圈314将具有多个线圈元件。
存储器110被示为额外地包含脉冲序列命令340。脉冲序列命令340是可以用于控制磁共振成像系统302采集磁共振成像数据的指令或可以被转换成这样的指令的数据。存储器110还被示为包含通过利用脉冲序列命令340控制磁共振成像系统302采集的磁共振成像数据342。对机器可执行指令120的运行可以用来从磁共振成像数据342重建三维医学图像数据122。
对放射科医生处理多个报告并且在有限的时间跨度内提供其诊断的需求增加导致健康护理系统的负担过重。在本发明中，我们提供了从扫描自动识别临床上显著切片和解剖区域并且由此识别那些扫描中的具有做出诊断的信息的临床变化的解决方案。另外，仅包含临床上显著信息的切片被识别并且与感兴趣区域进行配准，在降低花费在可视化上的时间的情况下针对进一步诊断决策进行标记，因此改善吞吐量。
根据在Academic Radiology中公布的最近研究，近年来CT和MRI利用以及针对那些检查正被收集的图像的数量两者已经显著增加。作者相信这能够潜在地导致工作过多的放射科医生犯的错误的增加。来自明尼苏达州罗切斯特的梅奥诊所的放射科的RobertJ.McDonald,MD和同事进行研究，检查针对在1999年和2010年之间在其机构处执行的每个CT和MRI检查的总数量的图像。在该时间跨度内，超过1.5百万个CT和MRI检查由放射科医生执行。从1999年至2010年，CT利用增加68％，MRI利用增加85％，并且总利用增加75％。
作者确定在研究时段期间从检查收集超过539百万幅图像。CT检查从1999年的每个检查82幅图像增加至2010年的每个检查679幅图像。MRI检查从1999年的每个检查164幅图像增加至2010年的每个检查570幅图像。
然而，聘请额外的放射科医生来帮助利用和图像的这种增加是不够的。在1999年，需要解读CT扫描的放射科医生每分钟解读2.8幅图像。在2010年，相同的数量是每分钟超过19幅图像。类似地，在1999年，需要解读MRI扫描的放射科医生每分钟解读3幅图像，但是在2010年，该数量跳到差不多每分钟12幅。
当与10–20年以前执行的类似检查相比时，现代的放射科医生现在必须多次解读更多的检查图像。尽管在灵敏性和特异性方面的这些进步被认为转化成改善的患者护理，但是这些增加的成像体积给执业放射科医生带来日益增加的负担。由于工作负荷持续增加，存在由放射科医生递送的健康护理的质量将由于增加的疲劳和压力而以增加的检测错误的形式下降的担忧。因此，我们提供了能够从所获得的所有扫描中仅查看临床上相关的扫描使得放射科医生不会负担过重以及他能够花费更少的时间来做出诊断决策并且还更准确的技术方案。
范例可以具有以下优点中的一个或多个：
1.不是放射科医生必须浏览对象的所有扫描切片，我们的解决方案而是帮助仅识别需要首先被显示给放射科医生的临床上显著的特定切片而非整个扫描体积
2.帮助减少由放射科医生在分析所有扫描切片时花费的时间
3.该系统还基于除了请求的检查之外的以前历史和当前检查提供针对其他临床发现(如果有的话)的建议，由此减少扫描重复并且改善诊断质量
4.该系统还仅将具有临床上显著信息的切片拼接成可视化体积。
范例可以具有以下特征中的一个或多个：
1.确定成像模态的成像模态类型分类模块(成像模态分类器)
2.确定解剖视图分类的解剖结构分类模块
3.将切片分类为正常或异常的异常检测模块
4.异常切片选择模块(预定选择准则)
5.协调器模块(机器可执行指令)
图4图示了医学成像系统400的又一范例的高级功能示意图。在图4中，存在控制医学成像系统400的过程和操作的协调器模块120。协调器模块120可以等价于机器可执行指令120。协调器模块120接收图像研究体积122。图像研究体积122可以由成像模态分类模块138、解剖结构分类模块140和异常检测模块130处理。成像模态分类模块138可以使用成像模态分类模型402。解剖结构分类模块140可以使用成像解剖结构模型404。异常检测模块130可以使用异常检测模型406。如果切片中存在任何异常，那么协调器模块可以使用异常切片选择模块134。异常切片选择模块134可以等价于由图1和图3中的范例使用的预定选择准则134。异常切片选择模块134的输出是等价于该组选定切片的选定切片序列136。
成像模态分类模块可以例如通过检测DICOM标头或通过使用NLP处理报告来实施。而且，我们确实考虑来自RIS和HIS的信息以获得模态类型以及相关联的研究。
解剖结构分类模块可以用来识别存在于扫描中的相关解剖结构的切片。例如，在MRI大脑图像中，该模块将会将解剖结构识别为大脑。我们使用如先前模块中的卷积神经网络，其中唯一区别是最后一个softmax层具有如每个成像模态的数量的维度。下面的图5描绘了CNN架构。
图5图示了可以用于实施解剖结构分类模块和/或在一些情况下成像模态分类器138的理想化卷积神经网络。存在用于输入图像的输入层500并且然后多个隐藏层502。然后存在提供输出506的输出层504。在解剖结构分类模块140的情况下，对于每种可能的图像模式，存在一个输出506。例如，输出可以指示膝盖、大脑或其他解剖结构的具体图像。在成像模态分类器138的情况下，成像模态可以通过多个输出506来指示。例如，可以存在指示磁共振图像的一个输出，并且另一输出指示另一类型的图像，诸如CT图像。
异常检测模块可以用来识别感兴趣解剖结构的医学图像中是否存在任何异常，这通过使用步骤2来识别。例如，在MRI大脑研究中，可能存在正常研究以及像肿瘤、出血等的异常研究。我们使用如先前模块中的卷积神经网络，其中唯一区别是最后一个softmax层具有两个节点，因为它是二类问题(正常与异常图像)。下面的图6描绘了该架构。
图6图示了可以用来实施所选取的异常检测模块130的卷积神经网络的一般实施方式。神经网络130再次具有输入，并且然后存在多个未来图600。这然后馈送到隐藏单元602和隐藏单元604。隐藏单元604可以被认为是特征向量。特征向量604然后用来提供输出606。在该范例中，一个输出将指示图像是正常的，并且另一个输出将用来指示图像是否是异常的。
切片选择模块可以用来使用以下方法步骤中的一个或多个从图像的整个体积识别临床上显著的切片：
1、二类GMM混合模型在从异常检测CNN导出的特征上进行训练。
2、相继切片(ED)的特征向量之间的欧氏距离、通过均方差(MSE)的切片之间的强度变化、切片的熵(ENT)和个体切片关于正常/异常解剖结构的似然量度(LLM)被计算。所有量度都被计算如下：
Figure BDA0002721225350000171
其中，FVi-1和FVi是第‘i-1’和‘i’个切片的特征向量，并且‘D’是特征向量的维度。
Figure BDA0002721225350000181
其中，Ii-1和Ii是两个相继帧的强度值。
Figure BDA0002721225350000182
其中，po(.)是针对强度值‘O’的概率密度函数，并且‘Ω’是‘I’中的所有可能灰度值的集合。
LLR＝log[p(FV|SA)]-log[p(FV|SN)]
其中，‘SN’、‘SA’是从步骤1导出的正常情况和异常情况的高斯混合模型，并且‘FV’是特征向量。
可能的第一组切片基于熵与MSE的比来选择。由于MSE与图像的相似性和熵逆相关，因此信息与图像的内容直接相关。即，
Figure BDA0002721225350000183
该组切片基于预定义阈值来选择，即，SL1>Th1。(b)第二组切片基于LLR与ED的比来选择。由于ED与图像的相似性和LLR逆相关，因此信息与图像的内容(正常/异常)直接相关。即，
Figure BDA0002721225350000184
该组切片基于预定义阈值来选择，即，SL2>0且SL2>Th2。
上面示出的规范化是有利的，因为它们可以防止病态性并且增加稳定性。规范化被执行以捕获ENT和MSE、LLR和ED之间的固有关系。得到的特征向量提供显著切片和非显著切片之间的更好区别。
最后，为用户提供一组或两组切片用于可视化。因为第一组切片仅基于信息内容来选择，而所选择的第二组切片与异常内容更相关。
协调器模块可以用于训练模块和模型的动态部署。协调器模块可以使从医学研究选择体积的过程自动化。在训练阶段中，协调器部分获取各种模态的体积的集合以及关于模态、解剖结构和异常的相关联的标签作为输入。协调器部件然后设置用于训练过程期间的各种模块的初始配置。在测试阶段中，协调器部件将获取医学研究体积或医学研究体积的集合作为输入，并且然后将适当的模型应用在每个模块处以生成临床上显著的体积。
在一些范例中，实施方式可以发生在两个阶段中：A)训练阶段和B)部署阶段
A)训练阶段：
在训练阶段中，到系统的输入是医学研究体积的集合以及像模态、解剖结构和异常的相关联的标签。这些医学研究体积从像CT、MR等的各种成像模态采集。
协调器部件获取医学研究体积的集合以及像模态、解剖结构和异常的相关联的标签作为输入。成像体积使用表示为地面真值标签的模态信息被分类成各种成像模态类别。类似地对于每种模态类别，成像体积被进一步分类成相应的解剖结构。体积的切片被进一步分类成正常类别与异常类别。
所有训练阶段一完成，分类模型的层次结构就被生成，并且协调器部件将这些模型存储在适当的模型数据库中。
B)部署阶段：
在部署阶段中，目标是针对成像体积生成临床上相关的切片。协调器部件获取成像研究体积作为输入，并且将切片发送到成像模态分类模块。其然后将成像体积分类到模态。协调器部件然后基于来自模态分类模块的预测的模态来选择适当的解剖结构分类模型，并且实例化解剖结构分类模块。
解剖结构分类模块预测解剖结构。协调器然后基于来自先前阶段的用于生成异常切片的预测的解剖结构和模态来实例化具有适当的异常检测模型的异常模块。切片选择模块然后针对研究选择适当的切片。请查阅针对CT模态和大脑解剖结构描述这种过程的以下示意图。
图7图示了医学成像系统的又一范例700。图7中的描绘是功能性的，并且类似于图4中的医学成像系统400。在该范例中，医学成像系统再次接收成像研究体积122。这然后被首先传到使用成像模态分类模型402的成像模态分类模块138。在该范例中，成像模态分类模块能够识别多种不同的成像模态诸如CT、MR、超声706、X射线708、病理学710和内窥镜712。在该具体范例中，成像研究体积是CT图像，因此成像研究体积然后被传到CT解剖结构分类模块404’。CT解剖结构分类模块404’使用CT解剖结构分类模型402’。在该范例中，CT解剖结构分类模块404’将成像研究体积122识别为大脑714的体积。在这种情况下，还存在多个其他可能的范例，其可以是大脑714、四肢716、腹部718或肺部720。当其是大脑714时，其然后被传到用于大脑的特定异常检测模块130’。
异常检测模块130’使用CT大脑异常模型404’。异常检测模块130’将一个或多个切片识别为是异常的，因此其然后被传到异常切片选择模块134以提供该组选定切片136。在该范例中，它们是拼接的切片序列。在拼接的切片序列中，存在被选择为被显示给操作者或医师的异常切片并且然后那些切片之间的中间切片，使得医师或操作者具有完整的体积来检查。
虽然已经在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述应当被认为是说明性或示范性的而非限制性的；本发明不限于所公开的实施例。
本领域技术人员通过研究附图、说明书以及权利要求书，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/被分布在合适的介质上，例如，与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式分布，例如，经由互联网或其他有线或无线的电信系统分布。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种医学成像系统(100、300、400、700)，包括：
存储器(110)，其用于存储机器可执行指令(120)；
处理器(106)，其用于控制所述医学成像系统，其中，对所述机器可执行指令的运行使所述处理器：
接收(200)包括多个切片的三维医学图像数据(122)；
接收(202)所述三维医学图像数据的成像模态(124)；
接收(204)所述三维医学图像数据的解剖视图分类(126)；
使用所述成像模态和所述解剖视图分类从一组异常检测模块(128)中选择(206)所选取的异常检测模块(130)，其中，所述异常检测模块中的每个是被训练用于将所述多个切片的至少一部分识别为正常或异常的卷积神经网络；
使用所述异常检测模块将所述多个切片的所述至少一部分分类(208)为正常或异常；并且
如果所述多个切片中的预定数量被分类为异常，则根据预定选择准则(134)从所述多个切片中选取(210)一组选定切片(136)。
2.根据权利要求1所述的医学成像系统，其中，对所述机器可执行指令的运行还使所述处理器：
计算所述多个切片的所述至少一部分的熵；
针对所述多个切片的所述至少一部分计算相邻切片之间的均方差强度变化；并且
如果所述切片的所述熵与相邻切片之间的所述均方差强度变化的比在预定信息内容阈值之上，则将所述多个切片中的所选取的切片添加到所述一组选定切片。
3.根据权利要求1或2所述的医学成像系统，其中，所述异常检测模块被配置用于生成所述多个切片的所述至少一部分的特征向量(604)，其中，对所述机器可执行指令的运行使所述处理器：
针对所述多个切片的所述至少一部分计算相邻切片的所述特征向量之间的欧式距离；
通过将所述多个切片的所述至少一部分的所述特征向量输入到高斯混合模型中来计算所述多个切片的所述至少一部分的似然量度，其中，所述高斯混合模型被训练为确定所述特征向量是否是正常的和异常的概率；
如果所述似然量度与所述欧式距离的比大于预定异常量度阈值，则将所述多个切片中的选定切片添加到所述一组选定切片。
4.根据权利要求3所述的医学成像系统，其中，对所述机器可执行指令的运行还使所述处理器使用从所述异常检测模块导出的特征向量(604)来训练所述高斯混合模型。
5.根据前述权利要求中的任一项所述的医学成像系统，其中，对所述机器可执行指令的运行还使所述处理器利用成像模态分类器(138)来确定所述三维医学图像数据的所述成像模态。
6.根据权利要求5所述的医学成像系统，其中，所述成像模态分类器被配置用于使用以下中的任何一个来确定所述成像模态：使用自然语言处理来处理报告或日志文件，从DICOM标头提取所述成像模态，以及从健康信息系统接收所述成像模态。
7.根据前述权利要求中的任一项所述的医学成像系统，其中，对所述机器可执行指令的运行还使所述处理器使用解剖结构分类模块(140)来确定所述解剖视图分类，其中，所述解剖结构分类模块是经训练的卷积神经网络。
8.根据前述权利要求中的任一项所述的医学成像系统，其中，所述成像模态是以下中的任何一个：磁共振成像(704)、计算机断层摄影(702)、正电子发射断层摄影、超声(706)、X射线(708)以及内窥镜(712)。
9.根据前述权利要求中的任一项所述的医学成像系统，其中，对所述机器可执行指令的运行还使所述处理器：
接收多组三维医学图像数据，并且
针对所述多组三维医学图像数据的所述至少一部分选取所述一组选定切片。
10.根据前述权利要求中的任一项所述的医学成像系统，其中，所述医学成像系统包括显示器(112)，并且其中，对所述机器可执行指令的运行还使所述处理器将所述一组选定切片显示在所述显示器上。
11.根据权利要求1至9中的任一项所述的医学成像系统，其中，所述医学成像系统包括显示器(112)，其中，对所述机器可执行指令的运行还使所述处理器将所述三维医学图像数据的选定部分显示在所述显示器上，其中，所述选定部分包括所述一组选定切片和在所述一组选定切片之间的所述三维医学图像数据的切片。
12.根据前述权利要求中的任一项所述的医学成像系统，其中，所述医学成像系统包括被配置用于采集所述三维医学图像数据的医学成像扫描器(302)，其中，对所述机器可执行指令的运行还使所述处理器控制所述医学成像扫描器采集所述三维医学成像数据。
13.根据权利要求12所述的医学成像系统，其中，所述医学成像扫描器是以下中的任何一个：磁共振成像系统(302)、正电子发射断层摄影系统、单光子发射断层摄影系统、超声成像系统、X射线系统、计算机断层摄影系统以及内窥镜系统。
14.一种用于操作医学成像系统(100、300、400、700)的方法，其中，所述方法包括：
接收(200)包括多个切片的三维医学图像数据(122)；
接收(202)所述三维医学图像数据的成像模态(124)；
接收(204)所述三维医学图像数据的解剖视图分类(126)；
使用所述成像模态和所述解剖视图分类从一组异常检测模块(128)中选择(206)所选取的异常检测模块(130)，其中，所述异常检测模块中的每个是被训练用于将所述多个切片的至少一部分识别为正常或异常的卷积神经网络；
使用所述异常检测模块将所述多个切片的所述至少一部分分类(208)为正常或异常；以及
如果所述多个切片中的预定数量被分类为异常，则根据预定选择准则(134)从所述多个切片中选取(210)一组选定切片(136)。
15.一种计算机程序产品，包括用于由控制医学成像系统(100、300、400、700)的处理器运行的机器可执行指令，其中，对所述机器可执行指令的运行使所述处理器：
接收(200)包括多个切片的三维医学图像数据(122)；
接收(202)所述三维医学图像数据的成像模态(124)；
接收(204)所述三维医学图像数据的解剖视图分类(126)；
使用所述成像模态和所述解剖视图分类从一组异常检测模块(128)中选择(206)所选取的异常检测模块(130)，其中，所述异常检测模块中的每个是被训练用于将所述多个切片的至少一部分识别为正常或异常的卷积神经网络；
使用所述异常检测模块将所述多个切片的所述至少一部分分类(208)为正常或异常；并且
如果所述多个切片中的预定数量被分类为异常，则根据预定选择准则(134)从所述多个切片中选取(210)一组选定切片(136)。
CN201980025529.XA 2018-04-13 2019-04-12 医学成像中的自动切片选择 Pending CN111989710A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18167156.1 2018-04-13
EP18167156.1A EP3553740A1 (en) 2018-04-13 2018-04-13 Automatic slice selection in medical imaging
PCT/EP2019/059491 WO2019197644A1 (en) 2018-04-13 2019-04-12 Automatic slice selection in medical imaging

Publications (1)

Publication Number Publication Date
CN111989710A true CN111989710A (zh) 2020-11-24

Family

ID=62063295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980025529.XA Pending CN111989710A (zh) 2018-04-13 2019-04-12 医学成像中的自动切片选择

Country Status (5)

Country Link
US (1) US20210158526A1 (zh)
EP (2) EP3553740A1 (zh)
JP (1) JP7399102B2 (zh)
CN (1) CN111989710A (zh)
WO (1) WO2019197644A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686867A (zh) * 2020-12-31 2021-04-20 上海商汤智能科技有限公司 医学图像的识别方法及装置、电子设备和存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
WO2020176873A1 (en) * 2019-02-28 2020-09-03 Stats Llc System and method for generating trackable video frames from broadcast video
CN110276408B (zh) * 2019-06-27 2022-11-22 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
US11423318B2 (en) * 2019-07-16 2022-08-23 DOCBOT, Inc. System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms
US10671934B1 (en) 2019-07-16 2020-06-02 DOCBOT, Inc. Real-time deployment of machine learning systems
EP3836022A1 (en) * 2019-12-12 2021-06-16 Koninklijke Philips N.V. Data augmentation for a machine learning method
US11545255B2 (en) * 2019-12-20 2023-01-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for classifying an anomaly medical image using variational autoencoder
FR3106412A1 (fr) * 2020-01-17 2021-07-23 Horiba Abx Sas Dispositif d’analyses médicales à traitement de signaux d’impédance
US11113577B1 (en) * 2020-02-27 2021-09-07 GE Precision Healthcare LLC Systems and methods for detecting laterality of a medical image
WO2021222103A1 (en) * 2020-04-27 2021-11-04 Bfly Operations, Inc. Methods and apparatuses for enhancing ultrasound data
CN111595850B (zh) * 2020-04-27 2022-07-15 平安科技（深圳）有限公司 切片缺陷检测方法、电子装置及可读存储介质
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
JP2022178846A (ja) * 2021-05-21 2022-12-02 学校法人藤田学園 医用情報処理方法、医用情報処理装置および医用画像処理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147303A1 (en) * 2003-11-19 2005-07-07 Xiang Sean Zhou System and method for detecting and matching anatomical stuctures using appearance and shape
WO2007018755A1 (en) * 2005-07-22 2007-02-15 Carestream Health, Inc. Abnormality detection in medical images
US20130121548A1 (en) * 2010-07-26 2013-05-16 Kjaya, Llc Adaptive visualization for direct physician use
CN104487859A (zh) * 2012-06-20 2015-04-01 皇家飞利浦有限公司 用于医学仪器的图形用户界面
US9092691B1 (en) * 2014-07-18 2015-07-28 Median Technologies System for computing quantitative biomarkers of texture features in tomographic images
US20160364528A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Automatically Determining a Clinical Image or Portion Thereof for Display to a Diagnosing Physician
CN107209240A (zh) * 2015-01-30 2017-09-26 皇家飞利浦有限公司 针对后续磁共振成像的自动扫描规划
US20180204325A1 (en) * 2015-06-01 2018-07-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003126045A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 診断支援装置
JP3996428B2 (ja) * 2001-12-25 2007-10-24 松下電器産業株式会社 異常検知装置及び異常検知システム
JP4121318B2 (ja) * 2002-06-26 2008-07-23 三菱電機株式会社 車両用のエンジン制御装置
JP2004351100A (ja) * 2003-05-30 2004-12-16 Konica Minolta Medical & Graphic Inc 医用画像処理システム及び医用画像処理方法
JP4066381B2 (ja) * 2005-03-01 2008-03-26 三菱電機株式会社 車載電子制御装置
JP2008541889A (ja) * 2005-06-02 2008-11-27 ザ メディパターン コーポレイション コンピュータ支援検出のシステムおよび方法
US7672497B2 (en) * 2005-12-29 2010-03-02 Carestream Health, Inc. Computer aided disease detection system for multiple organ systems
US8213700B2 (en) * 2009-03-31 2012-07-03 Icad, Inc. Systems and methods for identifying suspicious anomalies using information from a plurality of images of an anatomical colon under study
US20100328235A1 (en) * 2009-06-29 2010-12-30 Frederick Charles Taute Medical Code Lookup Interface
JP6151141B2 (ja) * 2013-09-18 2017-06-21 株式会社東芝 仕分装置および仕分方法
JP6371544B2 (ja) * 2014-03-14 2018-08-08 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6351323B2 (ja) * 2014-03-20 2018-07-04 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6345354B2 (ja) * 2015-02-06 2018-06-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 磁気共鳴画像の自動グループ分け
US9633306B2 (en) * 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
US10265040B2 (en) * 2015-07-13 2019-04-23 Scott Anderson Middlebrooks Method and apparatus for adaptive computer-aided diagnosis
CN107179879B (zh) * 2016-03-11 2020-04-03 伊姆西Ip控股有限责任公司 用于存储设备的数据迁移的方法和装置
WO2018136805A1 (en) * 2017-01-19 2018-07-26 New York University System, method and computer-accessible medium for ultrasound analysis
US10580159B2 (en) * 2017-01-31 2020-03-03 Siemens Healthcare Gmbh Coarse orientation detection in image data
JP6795444B2 (ja) * 2017-04-06 2020-12-02 ルネサスエレクトロニクス株式会社 異常検知システム、半導体装置の製造システムおよび製造方法
US11664114B2 (en) * 2017-05-25 2023-05-30 Enlitic, Inc. Medical scan assisted review system
US10388015B2 (en) * 2017-09-06 2019-08-20 International Business Machines Corporation Automated septal defect detection in cardiac computed tomography images
US10499857B1 (en) * 2017-09-19 2019-12-10 Deepradiology Inc. Medical protocol change in real-time imaging
US10937540B2 (en) * 2017-12-21 2021-03-02 International Business Machines Coporation Medical image classification based on a generative adversarial network trained discriminator

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147303A1 (en) * 2003-11-19 2005-07-07 Xiang Sean Zhou System and method for detecting and matching anatomical stuctures using appearance and shape
WO2007018755A1 (en) * 2005-07-22 2007-02-15 Carestream Health, Inc. Abnormality detection in medical images
CN101228551A (zh) * 2005-07-22 2008-07-23 卡尔斯特里姆保健公司 医学图像中的异常检测
US20130121548A1 (en) * 2010-07-26 2013-05-16 Kjaya, Llc Adaptive visualization for direct physician use
CN104487859A (zh) * 2012-06-20 2015-04-01 皇家飞利浦有限公司 用于医学仪器的图形用户界面
US9092691B1 (en) * 2014-07-18 2015-07-28 Median Technologies System for computing quantitative biomarkers of texture features in tomographic images
CN107209240A (zh) * 2015-01-30 2017-09-26 皇家飞利浦有限公司 针对后续磁共振成像的自动扫描规划
US20180204325A1 (en) * 2015-06-01 2018-07-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US20160364528A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Automatically Determining a Clinical Image or Portion Thereof for Display to a Diagnosing Physician

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686867A (zh) * 2020-12-31 2021-04-20 上海商汤智能科技有限公司 医学图像的识别方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2019197644A1 (en) 2019-10-17
JP7399102B2 (ja) 2023-12-15
EP3553740A1 (en) 2019-10-16
JP2021520925A (ja) 2021-08-26
EP3776460A1 (en) 2021-02-17
US20210158526A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP7399102B2 (ja) 医用イメージングにおける自動スライス選択
US11475559B2 (en) Artificial intelligence-enabled localization of anatomical landmarks
US11333732B2 (en) Automatic artifact detection and pulse sequence modification in magnetic resonance imaging
US10823798B2 (en) Virtual CT images from magnetic resonance images
US20230067146A1 (en) Automated scout scan examination
US11250590B2 (en) Automated detection of abnormal subject configuration for medical imaging
EP3734550A1 (en) Removal of false positives from white matter fiber tracts
US20230368386A1 (en) Anonymous fingerprinting of medical images
KR20230030810A (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
EP4266074A1 (en) Segmentation of medical images reconstructed from a set of magnetic resonance images
EP4321890A1 (en) Reconstruction parameter determination for the reconstruction of synthesized magnetic resonance images
US20240355094A1 (en) Saliency maps for medical imaging
EP4231036A1 (en) Detection of artifical structures in magentic resonance images due to neural networks
US20240288523A1 (en) Out of distribution testing for magnetic resonance imaging
WO2023121005A1 (ko) 인공 신경망에 기반하여 분류 정보를 출력하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination