CN112712893A - 一种提升计算机临床辅助诊断效果的方法 - Google Patents
一种提升计算机临床辅助诊断效果的方法 Download PDFInfo
- Publication number
- CN112712893A CN112712893A CN202110010241.4A CN202110010241A CN112712893A CN 112712893 A CN112712893 A CN 112712893A CN 202110010241 A CN202110010241 A CN 202110010241A CN 112712893 A CN112712893 A CN 112712893A
- Authority
- CN
- China
- Prior art keywords
- model
- auxiliary diagnosis
- computer
- training
- clinical auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
一种提升计算机临床辅助诊断效果的方法,采用多步训练,每一步训练过程中都将当前模型参数中绝对值较大的部分参数进行固化,并且对其他未固化参数进行重新初始化,解决了单次随机初始化造成的模型效果偏差,使得在当前数据状态以及模型状态都不发生变化的前提下,计算机临床辅助诊断模型训练效果得到进一步的提升。在计算机临床辅助诊断模型中内部的子连接结构视作子模型,在多个子模型间进行Boosting增强训练,充分利用了当前深度学习中参数的冗余特性,没有对模型增加计算,提升了计算机临床辅助诊断模型的参数利用率。在保证运算量完全不变的前提下,提升了计算机临床辅助诊断系统的诊断效果。
Description
技术领域
本发明涉及医疗信息处理技术领域,具体涉及一种提升计算机临床辅助诊断效果的方法。
背景技术
计算机临床辅助诊断,在降低临床误诊率以及提升临床诊疗效率中发挥着很大的作用,在当今的医疗信息化领域有着举足轻重的地位。而当今计算机临床辅助诊断系统,多以深度学习技术为基础,设计一种可以使得基于深度学习的计算机临床辅助诊断系统效果提升的方法,显得尤为重要。
现有的提升计算机临床辅助诊断系统效果的方法主要分两种:
对数据端做提升:使用数据强化方法,例如对输入的病历、检查检验等数据添加噪声(例如无意义文字、符号、空格、制表符等),增加辅助诊断系统训练的病例数量,对训练所使用的病例的数据进行清洗等等。其中对输入的病历、检查检验等数据添加噪声的方法其主要作用是降低过学习,提升系统的泛化性能以及适应能力,并不能够直接提升系统的准确率。而增加训练所用的病例数据以及对病例数据进行清洗等方法,又由于计算机临床辅助诊断领域所需的数据成本较高,数据清洗的成本也非常高,所以该方法虽然能够提升模型的效果,但其成本较高可行性较差。
对模型端做提升:使用模型的增强方法,比如使用Boosting、Bagging等集成学习方法,或者重新设计更好的临床辅助诊断模型等等。其中使用集成学习的模型效果提升方法使得模型的总参数量成倍增加,同时模型所需要的运算量也在成倍增加,这无疑增加了计算机临床辅助诊断系统的部署成本,提高了医院的使用门槛,使得医疗机构尤其是基层医疗机构的使用变得困难。而重新设计更好的模型则是一个费时费力的实验探索工作,时间成本和人员成本开销巨大。
综上所述,如何在现有的数据环境和模型环境不变的情况下,设计一种能够明显提升计算机临床辅助诊断系统效果的方法,是当前计算机临床辅助诊断领域研究的关键。
发明内容
本发明为了克服以上技术的不足,提供了一种在保证运算量完全不变的前提下,提升计算机临床辅助诊断系统诊断效果的方法。
本发明克服其技术问题所采用的技术方案是:
一种提升计算机临床辅助诊断效果的方法,包括如下步骤:
a)获取临床诊疗数据,由多个临床诊疗数据组成数据集;
b)定义计算机临床辅助诊断模型,将计算机临床辅助诊断模型的参数进行随机初始化,将随机初始化后的可训练参数表示为矩阵集合{P1,P2,P3,...,Pn},n为所有可训练的参数的个数;
c)设置寻优迭代次数为M,设置迭代计数变量k,使用2值初始化k;
d)将模型在当前的数据集上进行首次训练,直到进行到early-stop时停止首次训练过程;
f)对模型中剩余的可训练的参数重新进行随机初始化;
g)将模型在当前的自动诊断的数据集上进行第k次训练,直到进行到early-stop时停止第k次训练过程;
i)使用公式k=k+1来更新k的值,如果k大于M则所有的训练停止,完成所有的训练;
j)完成所有的训练后,参数矩阵集合中的所有参数矩阵为最终输出的模型参数矩阵,以输出的模型参数矩阵为参数定义步骤b)中的计算机临床辅助诊断模型;
k)利用步骤j)中得到的计算机临床辅助诊断模型对输入的数据进行辅助诊断。步骤a)中获取的临床诊疗数据中将主诉、年龄、性别、检查检验数据作为输入数据,使用其对应的主要诊断作为输出数据。
步骤b)中计算机临床辅助诊断模型为一个神经网络,其输入主诉、年龄、性别、检查检验数据,其输出各种诊断的概率分布。
步骤c)中M取值大于等于2。
步骤k)中输入的数据包括主诉、现病史、年龄、性别、检查检验数据。
本发明的有益效果是:采用多步训练,每一步训练过程中都将当前模型参数中绝对值较大的部分参数进行固化,并且对其他未固化参数进行重新初始化,解决了单次随机初始化造成的模型效果偏差,使得在当前数据状态以及模型状态都不发生变化的前提下,计算机临床辅助诊断模型训练效果得到进一步的提升。在计算机临床辅助诊断模型中内部的子连接结构视作子模型,在多个子模型间进行Boosting增强训练,充分利用了当前深度学习中参数的冗余特性,没有对模型增加计算,提升了计算机临床辅助诊断模型的参数利用率。在保证运算量完全不变的前提下,提升了计算机临床辅助诊断系统的诊断效果。
具体实施方式
下面对本发明做进一步说明。
一种提升计算机临床辅助诊断效果的方法,包括如下步骤:
a)获取临床诊疗数据,由多个临床诊疗数据组成数据集。
b)定义计算机临床辅助诊断模型,将计算机临床辅助诊断模型的参数进行随机初始化,将随机初始化后的可训练参数表示为矩阵集合{P1,P2,P3,...,Pn},n为所有可训练的参数的个数。
c)设置寻优迭代次数为M,设置迭代计数变量k,使用2值初始化k。
d)将模型在当前的数据集上进行首次训练,直到进行到early-stop时停止首次训练过程。
e)使用排序算法,对步骤d)首次训练完成后的可训练参数矩阵集合中的每个矩阵的所有数值依照其绝对值大小进行排序,将每个矩阵中绝对值最大的的参数变为不可训练参数。即其虽然传导而且计算梯度,但在以后的训练中,这些不可训练参数不再进行更新。
f)对模型中剩余的可训练的参数重新进行随机初始化。
g)将模型在当前的自动诊断的数据集上进行第k次训练,直到进行到early-stop时停止第k次训练过程。
h)使用排序算法,对步骤g)中训练完成后的可训练参数矩阵集合中的每个矩阵的所有可训练参数的所有数值并依照其绝对值大小进行排序,将每个矩阵中可训练参数的所有数值中绝对值最大的的参数变为不可训练参数。即其虽然传导而且计算梯度,但在以后的训练中,这些不可训练参数不再进行更新。
i)使用公式k=k+1来更新k的值,如果k大于M则所有的训练停止,完成所有的训练。
j)完成所有的训练后,参数矩阵集合中的所有参数矩阵为最终输出的模型参数矩阵,以输出的模型参数矩阵为参数定义步骤b)中的计算机临床辅助诊断模型。
k)利用步骤j)中得到的计算机临床辅助诊断模型对输入的数据进行辅助诊断。能够获得比常规训练方法训练出的计算机临床辅助诊断模型更为准确的结果。通过本发明所提出的提升计算机临床辅助诊断效果的方法,采用多步训练,每一步训练过程中都将当前模型参数中绝对值较大的部分参数进行固化,并且对其他未固化参数进行重新初始化,解决了单次随机初始化造成的模型效果偏差,使得在当前数据状态以及模型状态都不发生变化的前提下,计算机临床辅助诊断模型训练效果得到进一步的提升。其本质原理是使用Boosting方法,在计算机临床辅助诊断模型中内部的子连接结构视作子模型,在多个子模型间进行Boosting增强训练,充分利用了当前深度学习中参数的冗余特性,没有对模型增加计算,提升了计算机临床辅助诊断模型的参数利用率。在保证运算量完全不变的前提下,提升了计算机临床辅助诊断系统的诊断效果。
进一步的,步骤a)中获取的临床诊疗数据中将主诉、年龄、性别、检查检验数据作为输入数据,使用其对应的主要诊断作为输出数据。
进一步的,步骤b)中计算机临床辅助诊断模型为一个神经网络,其输入主诉、年龄、性别、检查检验数据,其输出各种诊断的概率分布。
进一步的,步骤c)中M取值大于等于2。
进一步的,步骤k)中输入的数据包括主诉、现病史、年龄、性别、检查检验数据。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种提升计算机临床辅助诊断效果的方法,其特征在于,包括如下步骤:
a)获取临床诊疗数据,由多个临床诊疗数据组成数据集;
b)定义计算机临床辅助诊断模型,将计算机临床辅助诊断模型的参数进行随机初始化,将随机初始化后的可训练参数表示为矩阵集合{P1,P2,P3,...,Pn},n为所有可训练的参数的个数;
c)设置寻优迭代次数为M,设置迭代计数变量k,使用2值初始化k;
d)将模型在当前的数据集上进行首次训练,直到进行到early-stop时停止首次训练过程;
f)对模型中剩余的可训练的参数重新进行随机初始化;
g)将模型在当前的自动诊断的数据集上进行第k次训练,直到进行到early-stop时停止第k次训练过程;
i)使用公式k=k+1来更新k的值,如果k大于M则所有的训练停止,完成所有的训练;
j)完成所有的训练后,参数矩阵集合中的所有参数矩阵为最终输出的模型参数矩阵,以输出的模型参数矩阵为参数定义步骤b)中的计算机临床辅助诊断模型;
k)利用步骤j)中得到的计算机临床辅助诊断模型对输入的数据进行辅助诊断。
2.根据权利要求1所述的提升计算机临床辅助诊断效果的方法,其特征在于:步骤a)中获取的临床诊疗数据中将主诉、年龄、性别、检查检验数据作为输入数据,使用其对应的主要诊断作为输出数据。
3.根据权利要求2所述的提升计算机临床辅助诊断效果的方法,其特征在于:步骤b)中计算机临床辅助诊断模型为一个神经网络,其输入主诉、年龄、性别、检查检验数据,其输出各种诊断的概率分布。
4.根据权利要求1所述的提升计算机临床辅助诊断效果的方法,其特征在于:步骤c)中M取值大于等于2。
5.根据权利要求1所述的提升计算机临床辅助诊断效果的方法,其特征在于:步骤k)中输入的数据包括主诉、现病史、年龄、性别、检查检验数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110010241.4A CN112712893B (zh) | 2021-01-04 | 2021-01-04 | 一种提升计算机临床辅助诊断效果的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110010241.4A CN112712893B (zh) | 2021-01-04 | 2021-01-04 | 一种提升计算机临床辅助诊断效果的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112712893A true CN112712893A (zh) | 2021-04-27 |
CN112712893B CN112712893B (zh) | 2023-01-20 |
Family
ID=75548303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110010241.4A Active CN112712893B (zh) | 2021-01-04 | 2021-01-04 | 一种提升计算机临床辅助诊断效果的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112712893B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5778152A (en) * | 1992-10-01 | 1998-07-07 | Sony Corporation | Training method for neural network |
JP2002222409A (ja) * | 2001-01-26 | 2002-08-09 | Fuji Electric Co Ltd | ニューラルネットワークの最適化学習方法 |
CN107679505A (zh) * | 2017-10-13 | 2018-02-09 | 成都准星云学科技有限公司 | 一种实现对手写体字符拒识的方法 |
CN109858372A (zh) * | 2018-12-29 | 2019-06-07 | 浙江零跑科技有限公司 | 一种车道级精度自动驾驶结构化数据分析方法 |
CN109993125A (zh) * | 2019-04-03 | 2019-07-09 | 腾讯科技(深圳)有限公司 | 模型训练方法、人脸识别方法、装置、设备及存储介质 |
CN110006650A (zh) * | 2019-03-18 | 2019-07-12 | 华中科技大学 | 一种基于栈式剪枝稀疏去噪自动编码器的故障诊断方法 |
CN110136828A (zh) * | 2019-05-16 | 2019-08-16 | 杭州健培科技有限公司 | 一种基于深度学习实现医学影像多任务辅助诊断的方法 |
WO2019220833A1 (ja) * | 2018-05-18 | 2019-11-21 | 株式会社島津製作所 | 診断支援システムおよび診断支援装置 |
CN110942143A (zh) * | 2019-12-04 | 2020-03-31 | 卓迎 | 基于卷积神经网络的玩具检测加速方法和装置 |
CN111192680A (zh) * | 2019-12-25 | 2020-05-22 | 山东众阳健康科技集团有限公司 | 一种基于深度学习和集成分类的智能辅助诊断方法 |
CN111565051A (zh) * | 2020-04-10 | 2020-08-21 | 北京邮电大学 | 一种用于ldpc码的自学习归一化偏置最小和译码方法 |
CN111651576A (zh) * | 2020-05-29 | 2020-09-11 | 浙江大学 | 一种基于迁移学习的多轮阅读理解方法 |
CN111797991A (zh) * | 2019-04-08 | 2020-10-20 | 上海怀若智能科技有限公司 | 一种深度网络模型压缩系统、方法及装置 |
CN112149797A (zh) * | 2020-08-18 | 2020-12-29 | Oppo(重庆)智能科技有限公司 | 神经网络结构优化方法和装置、电子设备 |
-
2021
- 2021-01-04 CN CN202110010241.4A patent/CN112712893B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5778152A (en) * | 1992-10-01 | 1998-07-07 | Sony Corporation | Training method for neural network |
JP2002222409A (ja) * | 2001-01-26 | 2002-08-09 | Fuji Electric Co Ltd | ニューラルネットワークの最適化学習方法 |
CN107679505A (zh) * | 2017-10-13 | 2018-02-09 | 成都准星云学科技有限公司 | 一种实现对手写体字符拒识的方法 |
WO2019220833A1 (ja) * | 2018-05-18 | 2019-11-21 | 株式会社島津製作所 | 診断支援システムおよび診断支援装置 |
CN109858372A (zh) * | 2018-12-29 | 2019-06-07 | 浙江零跑科技有限公司 | 一种车道级精度自动驾驶结构化数据分析方法 |
CN110006650A (zh) * | 2019-03-18 | 2019-07-12 | 华中科技大学 | 一种基于栈式剪枝稀疏去噪自动编码器的故障诊断方法 |
CN109993125A (zh) * | 2019-04-03 | 2019-07-09 | 腾讯科技(深圳)有限公司 | 模型训练方法、人脸识别方法、装置、设备及存储介质 |
CN111797991A (zh) * | 2019-04-08 | 2020-10-20 | 上海怀若智能科技有限公司 | 一种深度网络模型压缩系统、方法及装置 |
CN110136828A (zh) * | 2019-05-16 | 2019-08-16 | 杭州健培科技有限公司 | 一种基于深度学习实现医学影像多任务辅助诊断的方法 |
CN110942143A (zh) * | 2019-12-04 | 2020-03-31 | 卓迎 | 基于卷积神经网络的玩具检测加速方法和装置 |
CN111192680A (zh) * | 2019-12-25 | 2020-05-22 | 山东众阳健康科技集团有限公司 | 一种基于深度学习和集成分类的智能辅助诊断方法 |
CN111565051A (zh) * | 2020-04-10 | 2020-08-21 | 北京邮电大学 | 一种用于ldpc码的自学习归一化偏置最小和译码方法 |
CN111651576A (zh) * | 2020-05-29 | 2020-09-11 | 浙江大学 | 一种基于迁移学习的多轮阅读理解方法 |
CN112149797A (zh) * | 2020-08-18 | 2020-12-29 | Oppo(重庆)智能科技有限公司 | 神经网络结构优化方法和装置、电子设备 |
Non-Patent Citations (5)
Title |
---|
DAVIT SOSELIA: "Freezing Network: Weight Preservation Procedure for Continual Learning", 《NEURAL INFORMATION PROCESSING SYSTEMS》, 31 December 2018 (2018-12-31) * |
JIEZHONG QIU: "GCC:Graph Contrastive Coding for Graph Neural Network Pre-training", 《PROCEEDINGS OF THE 26TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY & DATA MINING》, 20 August 2020 (2020-08-20) * |
JONATHAN FRANKLE: "The lottery ticket hypothesis:finding sparse,trainable neural networks", 《ARXIV PREPRINT》, 9 March 2018 (2018-03-09) * |
常圆圆: "深度学习网络的快速计算关键技术研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》, 15 February 2020 (2020-02-15) * |
王俊: "基于SVD裁剪的深度神经网络压缩技术研究与实现", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》, 15 August 2019 (2019-08-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN112712893B (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11037684B2 (en) | Generating drug repositioning hypotheses based on integrating multiple aspects of drug similarity and disease similarity | |
WO2023217290A1 (zh) | 基于图神经网络的基因表型预测 | |
CN114861533B (zh) | 基于时间卷积网络的风功率超短期预测方法 | |
JPWO2020142551A5 (zh) | ||
Liu et al. | EACP: An effective automatic channel pruning for neural networks | |
CN110119540B (zh) | 一种用于生存风险分析的多输出梯度提升树建模方法 | |
CN113161001B (zh) | 一种基于改进lda的过程路径挖掘方法 | |
CN113268370B (zh) | 一种根因告警分析方法、系统、设备及存储介质 | |
CN112115322A (zh) | 用户分群方法、装置、电子设备及存储介质 | |
EP3759679A1 (en) | Deep learning approach for assessing credit risk | |
CN112712893B (zh) | 一种提升计算机临床辅助诊断效果的方法 | |
CN115115113A (zh) | 基于图注意力网络关系嵌入的设备故障预测方法及系统 | |
CN115145899A (zh) | 一种基于制造企业数据空间的时空数据异常检测方法 | |
CN110321799B (zh) | 一种基于sbr和平均类间距离的场景数选择方法 | |
CN112070200B (zh) | 一种谐波群优化方法及其应用 | |
CN112819161B (zh) | 变长基因遗传算法的神经网络构建系统、方法及存储介质 | |
WO2023250322A1 (en) | Image embeddings via deep learning and adaptive batch normalization | |
US20220027388A1 (en) | Variant pathogenicity scoring and classification and uses thereof | |
CN110298058A (zh) | 一种电网监管指标关键要素提取方法及装置 | |
CN115423076A (zh) | 基于两步式框架的有向超图链式预测方法 | |
CN109858127B (zh) | 基于递归时序深度置信网络的蓝藻水华预测方法 | |
CN115809346A (zh) | 一种基于多视图语义增强的小样本知识图谱补全方法 | |
Nakajima et al. | Network completion for time varying genetic networks | |
CN113436743A (zh) | 基于表示学习的多结局疗效预测方法、装置及存储介质 | |
Dong et al. | LSTM Model was Used to Predict the Onset Time and Trend of Alzheimer's Disease |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 12 / F, building 1, Aosheng building, 1166 Xinluo street, hi tech Zone, Jinan City, Shandong Province Applicant after: Zhongyang Health Technology Group Co.,Ltd. Address before: 12 / F, building 1, Aosheng building, 1166 Xinluo street, high tech Zone, Jinan City, Shandong Province Applicant before: SHANDONG MSUNHEALTH TECHNOLOGY GROUP Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |