CN113888412B - 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 - Google Patents
一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN113888412B CN113888412B CN202111396384.XA CN202111396384A CN113888412B CN 113888412 B CN113888412 B CN 113888412B CN 202111396384 A CN202111396384 A CN 202111396384A CN 113888412 B CN113888412 B CN 113888412B
- Authority
- CN
- China
- Prior art keywords
- module
- feature
- feature map
- feature extraction
- esf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 238000010586 diagram Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 210000001525 retina Anatomy 0.000 claims abstract description 18
- 230000009467 reduction Effects 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 19
- 101100323284 Mus musculus Ankrd27 gene Proteins 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 21
- 230000035945 sensitivity Effects 0.000 abstract 1
- 230000000052 comparative effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- LDXJRKWFNNFDSA-UHFFFAOYSA-N 2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound C1CN(CC2=NNN=C21)CC(=O)N3CCN(CC3)C4=CN=C(N=C4)NCC5=CC(=CC=C5)OC(F)(F)F LDXJRKWFNNFDSA-UHFFFAOYSA-N 0.000 description 1
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical compound N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于糖尿病视网膜病变分类的图像超分辨率重建方法，超分辨率重建网络包括浅层卷积模块、ESF特征提取模块、全局降维融合模块和上采样模块，浅层卷积模块输出的一级特征图顺次经过多个ESF特征提取模块，然后将得到的二级特征图和各个ESF特征提取模块中生成的层级特征图输入全局降维融合模块，最后利用上采样模块进行超分辨率重建。本发明中，输入全局降维融合模块的无效干扰信息相对较少，融合后含有更多的高频信息；而且利用一级空间注意力模块和二级空间注意力模块两次对特征提取组件输出的特征图进行调制，模型可以更加准确地对高频信息集中区域进行重点学习，促进更好地重建出眼底视网膜图像中高频细节特征。
Description
技术领域
本发明属于医疗图像处理和人工智能技术领域，具体地说，涉及一种用于糖尿病视网膜病变分类的图像超分辨率重建方法。
背景技术
图像超分辨率重建是从低分辨率(LR)图像推断重建出对应的高分辨率(HR)图像的过程，随着深度学习的发展，有监督的超分辨率重建技术成为了计算机视觉领域发展最迅速的方向之一。图像超分辨率重建是一个高度不适定的问题，从低分辨率图像到高分辨率图像之间的空间映射可以有多个解。
利用图像分类技术，对糖尿病患者眼底视网膜图像分类，可以实现对糖尿病性视网膜病变的自动诊断。相关研究显示，在图像分辨率相对较低的情况下，利用人工神经网络对眼底图像进行超分辨率重建，可以提升分类结果的正确率，降低对硬件设备的依赖。但是，现有的超分辨重建技术都没有针对眼底视网膜图像进行优化，重建效果有待于进一步提升。
发明内容
针对现有技术中上述的不足，本发明提供了一种用于糖尿病视网膜病变分类的图像超分辨率重建方法，以提升对眼底视网膜图像的超分辨率重建效果。
为了达到上述目的，本发明采用的解决方案是：一种用于糖尿病视网膜病变分类的图像超分辨率重建方法，包括以下步骤：
S1、获取待诊断患者的眼底视网膜图像，获取预先训练完成的超分辨率重建网络，所述超分辨率重建网络包括浅层卷积模块、ESF特征提取模块、全局降维融合模块和上采样模块；多个所述ESF特征提取模块首尾顺次连接，前一个ESF特征提取模块的输出作为下一个ESF特征提取模块的输入；
S2、利用所述浅层卷积模块对所述眼底视网膜图像进行特征提取，获得一级特征图；
S3、将所述一级特征图顺次经过多个所述ESF特征提取模块，生成获得二级特征图；其中，所述ESF特征提取模块包括特征提取组件、局部融合组件和残差连接，输入所述ESF特征提取模块的特征图顺次经过所述特征提取组件和所述局部融合组件生成层级特征图，输入所述ESF特征提取模块的特征图通过所述残差连接与所述层级特征图融合后，作为所述ESF特征提取模块的输出；
S4、提取各个所述ESF特征提取模块中生成的层级特征图，将所述二级特征图和各个所述ESF特征提取模块中生成的层级特征图输入所述全局降维融合模块，利用所述全局降维融合模块将所述二级特征图与所述层级特征图融合，然后输出得到三级特征图；
S5、将所述三级特征图输入所述上采样模块，所述上采样模块输出得到超分重建图像，所述超分重建图像的分辨率大于所述眼底视网膜图像的分辨率。
进一步地，所述浅层卷积模块为卷积核大小为3*3的卷积层。
进一步地，所述特征提取组件包括拼接操作层和并联的三个分支，第一分支包括顺次连接的第一3*3卷积层和第一ReLU激活函数，第二分支包括顺次连接的第二3*3卷积层、第二ReLU激活函数、第三3*3卷积层和第三ReLU激活函数，第三分支包括顺次连接的第四3*3卷积层、第四ReLU激活函数、5*5卷积层和第五ReLU激活函数，所述拼接操作层用于将三个分支输出的特征图在通道方向上拼接起来。其中的3*3卷积层和5*5卷积层表示卷积核大小分别为3*3和5*5。
进一步地，所述ESF特征提取模块中设有一级空间注意力模块和二级空间注意力模块；所述特征提取组件输出的特征图输入所述一级空间注意力模块后，生成一级空间注意力图，所述一级空间注意力图与所述特征提取组件输出的特征图融合后，得到一级增强特征图；
所述二级空间注意力模块同时以所述第一分支输出的特征图、所述第二分支中所述第二ReLU激活函数输出的特征图、所述第三分支中所述第四ReLU激活函数输出的特征图作为输入，然后生成输出二级空间注意力图，所述二级空间注意力图与所述一级增强特征图融合后，得到二级增强特征图，所述二级增强特征图作为所述局部融合组件的输入。
进一步地，所述一级空间注意力模块可以表示为如下公式：
G1＝δ1(f11([MedP(Kf)-MeanP(Kf),MaxP(Kf)]))
其中，Kf表示所述特征提取组件输出的特征图，MeanP()表示对特征图在通道方向上做全局平均池化操作，MedP()表示对特征图在通道方向上做全局中值池化操作，也就是计算特征图在通道方向上的中位数，MaxP()表示对特征图在通道方向上做全局最大池化操作，[·]表示对其中的特征图在通道方向上进行拼接操作，f11表示卷积核大小为1*1的卷积操作，δ1表示sigmoid激活函数，G1表示所述一级空间注意力图。
进一步地，所述二级空间注意力模块的数学模型为：
K4＝σ(f21([K1,K2,K3]))
G2＝δ2(f31([MeanP(K4),MaxP(K4),VarP(K4)]))
其中，K1表示所述第一分支输出的特征图，K2表示所述第二分支中所述第二ReLU激活函数输出的特征图，K3表示所述第三分支中所述第四ReLU激活函数输出的特征图，[·]表示对其中的特征图在通道方向上进行拼接操作，f21和f31均表示卷积核大小为1*1的卷积操作，σ表示非线性激活函数ReLU，δ2表示sigmoid激活函数，MeanP()表示对特征图在通道方向上做全局平均池化操作，MaxP()表示对特征图在通道方向上做全局最大池化操作，VarP()表示对特征图在通道方向上做全局方差池化操作，也就是计算特征图在通道方向上的方差值，G2表示所述二级空间注意力图。
本发明的有益效果是：
(1)现有技术中，通常在特征提取模块内部设置残差连接，以避免梯度消失，但同时也使得每个模块输出的特征图中包含了更多的无效干扰信息，在本发明中，输入全局降维融合模块的特征图为残差连接前的层级特征图，而不是残差连接后ESF特征提取模块输出的特征图，这样既避免了梯度消失，又能使得输入全局降维融合模块的无效干扰信息相对较少，经过特征融合后，全局降维融合模块输出的特征图中，含有更多的高频信息，这些信息直接决定了最终重建得到的眼底视网膜图像质量；
(2)特征提取组件中，第二分支两个串联的3*3卷积等效于卷积核大小为5*5的卷积操作，类似地，第三分支等效于卷积核大小为7*7的卷积操作，利用三个不同大小的卷积核进行特征提取，尽可能多地从不同视野上充分提取信息，然后利用空间注意力模块强调部分重要的区域，从而达到筛分信息的效果，提升特征提取效率；
(3)考虑到眼底视网膜图像信息具有复杂性和细微性，研究人员创造性地设计了二次空间调制机制，利用一级空间注意力模块和二级空间注意力模块两次对特征提取组件输出的特征图进行调制，模型可以更加准确地对高频信息集中区域进行重点学习，促进更好地重建出眼底视网膜图像中高频细节特征，提高后续分类模型对不同图像的识别度，从而有效提升分类准确率；
(4)由于超分辨率重建的任务目的与目标检测、语义分割等任务不同，研发人员根据超分辨重建的特点，将全局中值池化操作引入一级空间注意力模块中，而且在实验过程中，创造性地发现，将全局中值池化后得到的注意力图与全局均值池化后得到的注意力图作差，再与全局最大池化后得到的注意力图拼接，然后降维激活，生成的一级空间注意力图调制效果相对常规空间注意力模块具有较大幅度的提升；
(5)为了使二级空间注意力模块在一级增强特征图的基础上能够进一步地微调，本发明中，输入二级空间注意力模块的特征图来自特征提取组件各个分支第一次卷积后的输出，输入二级空间注意力模块的特征图中包含了更多具象的细节信息，与此配合地，研发人员根据自身工作经验，设计了二级空间注意力模块的结构，并引入了全局方差池化操作，测试结果表明，二级空间注意力模块对眼底视网膜图像重建效果具有很好的促进作用。
附图说明
图1为本发明的超分辨率重建网络整体架构结构示意图；
图2为本发明的ESF特征提取模块内部结构示意图；
图3为本发明的一级空间注意力模块内部结构示意图；
图4为一实施例的全局降维融合模块内部结构示意图；
图5为一实施例的上采样模块内部结构示意图；
图6为对比例1中ESF特征提取模块内部结构示意图；
附图中：
1-眼底视网膜图像，2-超分重建图像，3-浅层卷积模块，4-ESF特征提取模块，41-特征提取组件，411-第一分支，412-第二分支，413-第三分支，42-局部融合组件，43-残差连接，44-跳连接，45-一级空间注意力模块，46-二级空间注意力模块，5-全局降维融合模块，6-上采样模块。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例1：
获取糖尿病患者眼底视网膜图像1数据集，并划分为训练集和测试集。原始获取的图像作为高分辨率图像，对训练集和测试集中的图像进行下采样，获得对应的低分辨率图像。实施例1中超分辨率网络整体结构以及其中各个模块的结构如图1-图5所示，网络中包含了十个ESF特征提取模块4，训练过程中采用L1损失函数，学习率设置为0.0002，epoch数量为1000。
眼底视网膜图像1输入超分辨率重建网络后，经过浅层卷积模块3对眼底视网膜图像1初步提取特征，输出的一级特征图通道数量为64。输入每个ESF特征提取模块4的特征图通道数量均为64，特征提取组件41中，每个卷积层输出的特征图通道数量也为64，也就是说，K1特征图、K2特征图、K3特征图、第一分支411的输出、第二分支412的输出、第三分支413的输出，通道数量均为64。
在一级空间注意力模块45中，特征提取组件41输出的特征图，分别经过全局最大池化操作、全局中值池化操作和全局均值池化操作后，均输出通道数量为1的注意力图，然后经过拼接、1*1卷积降维和sigmoid函数激活后，输出一级空间注意力图G1。
在二级空间注意力模块46中，K1特征图、K2特征图、K3特征图经过拼接和1*1卷积降维、ReLU激活函数后，输出通道数量为64的特征图，实现K1特征图、K2特征图、K3特征图的融合。得到的特征图然后再分别经过全局最大池化操作、全局方差池化操作和全局均值池化操作，均输出通道数量为1的注意力图，最后经过拼接、1*1卷积降维和sigmoid函数激活后，输出二级空间注意力图G2。
在本实施例中，局部融合组件42为顺次连接的1*1卷积层和ReLU激活函数，输入局部融合组件42的特征图通道数量为192，局部融合组件42输出的层级特征图通道数量为64。输入ESF特征提取模块4的特征图经残差连接43传递到ESF特征提取模块4尾部，以元素求和的方式与层级特征图融合后，作为ESF特征提取模块4的输出。另一方面，层级特征图通过跳连接44输入全局降维融合模块5，全局降维融合模块5包括顺次连接的拼接操作层、1*1卷积层和ReLU激活函数，全局降维融合模块5输出的特征图通道数量同样为64。上采样模块6采用现有的结构，包括顺次连接的3*3卷积层、亚像素卷积层和3*3卷积层，上采样模块6输出通道数量为3的超分重建图像2。在本发明中，除亚像素卷积层外，其余卷积操作过程中，步长均为1，卷积操作前后特征图长宽尺寸不变。
作为对比例1，在实施例1的基础上，把输入全局降维融合模块5的特征图修改为各个ESF特征提取模块4输出的特征图，修改后的ESF特征提取模块4结构如图6所示，网络的其他部分不变。控制数据集、损失函数和epoch等条件与实施例1完全相同的情况下，训练并测试对比例1。对比例1与实施例1的超分辨率重建结果如下所示：
从上表可以看出，将残差连接43前的层级特征图输入全局降维融合模块5，能够降低无效信息的干扰，提升对眼底视网膜图像1的超分辨率重建效果。
实施例2：
为了展现一级空间注意力模块45和二级空间注意力模块46在超分辨率重建网络中的作用，在实施例1的基础上，对比例2将ESF特征提取模块4中二级空间注意力模块46去掉，对比例3在对比例2的基础上，将一级空间注意力模块45去掉。对比例2和对比例3的其他实施条件均与实施例1完全相同。测试结果如下所示：
| 模型 | 放大倍数 | 测试集测试结果(PSNR/SSIM) |
| 实施例1 | 2 | 36.42/0.9589 |
| 对比例2 | 2 | 35.83/0.9511 |
| 对比例3 | 2 | 35.34/0.9485 |
从上表可以看出，一级空间注意力模块45和二级空间注意力模块46均具有很好的调制作用，对于提升眼底视网膜图像1的超分辨率重建效果具有积极的促进作用。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (4)
1.一种用于糖尿病视网膜病变分类的图像超分辨率重建方法，其特征是：包括以下步骤：
S1、获取待诊断患者的眼底视网膜图像，获取预先训练完成的超分辨率重建网络，所述超分辨率重建网络包括浅层卷积模块、ESF特征提取模块、全局降维融合模块和上采样模块；
S2、利用所述浅层卷积模块对所述眼底视网膜图像进行特征提取，获得一级特征图；
S3、将所述一级特征图顺次经过多个所述ESF特征提取模块，生成获得二级特征图；其中，所述ESF特征提取模块包括特征提取组件、局部融合组件和残差连接，输入所述ESF特征提取模块的特征图顺次经过所述特征提取组件和所述局部融合组件生成层级特征图，输入所述ESF特征提取模块的特征图通过所述残差连接与所述层级特征图融合后，作为所述ESF特征提取模块的输出；
S4、提取各个所述ESF特征提取模块中生成的层级特征图，将所述二级特征图和各个所述ESF特征提取模块中生成的层级特征图输入所述全局降维融合模块，利用所述全局降维融合模块将所述二级特征图与所述层级特征图融合，然后输出得到三级特征图；
S5、将所述三级特征图输入所述上采样模块，所述上采样模块输出得到超分重建图像，所述超分重建图像的分辨率大于所述眼底视网膜图像的分辨率；
所述特征提取组件包括拼接操作层和并联的三个分支，第一分支包括顺次连接的第一3*3卷积层和第一ReLU激活函数，第二分支包括顺次连接的第二3*3卷积层、第二ReLU激活函数、第三3*3卷积层和第三ReLU激活函数，第三分支包括顺次连接的第四3*3卷积层、第四ReLU激活函数、5*5卷积层和第五ReLU激活函数，所述拼接操作层用于将三个分支输出的特征图在通道方向上拼接起来；
所述ESF特征提取模块中设有一级空间注意力模块和二级空间注意力模块；所述特征提取组件输出的特征图输入所述一级空间注意力模块后，生成一级空间注意力图，所述一级空间注意力图与所述特征提取组件输出的特征图融合后，得到一级增强特征图；
所述二级空间注意力模块同时以所述第一分支输出的特征图、所述第二分支中所述第二ReLU激活函数输出的特征图、所述第三分支中所述第四ReLU激活函数输出的特征图作为输入，然后生成输出二级空间注意力图，所述二级空间注意力图与所述一级增强特征图融合后，得到二级增强特征图，所述二级增强特征图作为所述局部融合组件的输入。
2.根据权利要求1所述的用于糖尿病视网膜病变分类的图像超分辨率重建方法，其特征是：所述浅层卷积模块为卷积核大小为3*3的卷积层。
3.根据权利要求1所述的用于糖尿病视网膜病变分类的图像超分辨率重建方法，其特征是：所述一级空间注意力模块可以表示为如下公式：
G1＝δ1(f11([MedP(Kf)-MeanP(Kf),MaxP(Kf)]))
其中，Kf表示所述特征提取组件输出的特征图，MeanP()表示对特征图在通道方向上做全局平均池化操作，MedP()表示对特征图在通道方向上做全局中值池化操作，MaxP()表示对特征图在通道方向上做全局最大池化操作，[·]表示对其中的特征图在通道方向上进行拼接操作，f11表示卷积核大小为1*1的卷积操作，δ1表示sigmoid激活函数，G1表示所述一级空间注意力图。
4.根据权利要求3所述的用于糖尿病视网膜病变分类的图像超分辨率重建方法，其特征是：所述二级空间注意力模块的数学模型为：
K4＝σ(f21([K1,K2,K3]))
G2＝δ2(f31([MeanP(K4),MaxP(K4),VarP(K4)]))
其中，K1表示所述第一分支输出的特征图，K2表示所述第二分支中所述第二ReLU激活函数输出的特征图，K3表示所述第三分支中所述第四ReLU激活函数输出的特征图，[·]表示对其中的特征图在通道方向上进行拼接操作，f21和f31均表示卷积核大小为1*1的卷积操作，σ表示非线性激活函数ReLU，δ2表示sigmoid激活函数，MeanP()表示对特征图在通道方向上做全局平均池化操作，MaxP()表示对特征图在通道方向上做全局最大池化操作，VarP()表示对特征图在通道方向上做全局方差池化操作，G2表示所述二级空间注意力图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111396384.XA CN113888412B (zh) | 2021-11-23 | 2021-11-23 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111396384.XA CN113888412B (zh) | 2021-11-23 | 2021-11-23 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113888412A CN113888412A (zh) | 2022-01-04 |
| CN113888412B true CN113888412B (zh) | 2022-04-05 |
Family
ID=79015540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111396384.XA Active CN113888412B (zh) | 2021-11-23 | 2021-11-23 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888412B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419612B (zh) * | 2022-01-10 | 2024-11-08 | 重庆锐云科技有限公司 | 一种用于景区车牌识别的图像超分辨率重建方法及装置 |
| CN114882203B (zh) * | 2022-05-20 | 2024-05-28 | 江阴萃合智能装备有限公司 | 一种用于电力电网巡检机器人的图像超分辨率重建方法 |
| CN115187814B (zh) * | 2022-07-25 | 2024-05-10 | 重庆芸山实业有限公司 | 一种基于人工智能的菊花叶病诊断方法及设备 |
| CN115587979B (zh) * | 2022-10-10 | 2023-08-15 | 山东财经大学 | 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 |
| CN117372284B (zh) * | 2023-12-04 | 2024-02-23 | 江苏富翰医疗产业发展有限公司 | 眼底图像处理方法及系统 |
| CN117853738B (zh) * | 2024-03-06 | 2024-05-10 | 贵州健易测科技有限公司 | 一种用于对茶叶分级的图像处理方法及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111445390B (zh) * | 2020-02-28 | 2022-03-25 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
| CN112330542B (zh) * | 2020-11-18 | 2022-05-03 | 重庆邮电大学 | 基于crcsan网络的图像重建系统及方法 |
| CN112862688B (zh) * | 2021-03-08 | 2021-11-23 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 |
| CN113409191B (zh) * | 2021-06-02 | 2023-04-07 | 广东工业大学 | 一种基于注意力反馈机制的轻量级图像超分方法及系统 |
| CN113222822B (zh) * | 2021-06-02 | 2023-01-24 | 西安电子科技大学 | 基于多尺度变换的高光谱图像超分辨率重建方法 |
| CN113436076B (zh) * | 2021-07-26 | 2022-01-28 | 深圳赛陆医疗科技有限公司 | 逐步融合特征的图像超分辨率重建方法及电子设备 |
-
2021
- 2021-11-23 CN CN202111396384.XA patent/CN113888412B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113888412A (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113888412B (zh) | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| CN112529839B (zh) | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 | |
| CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
| CN110047138A (zh) | 一种磁共振薄层图像重建方法 | |
| CN114037624B (zh) | 一种用于糖尿病肾脏病变分类的图像增强方法及设备 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN115035127B (zh) | 一种基于生成式对抗网络的视网膜血管分割方法 | |
| CN115526829A (zh) | 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络 | |
| Sorić et al. | Using convolutional neural network for chest X-ray image classification | |
| Zhang et al. | MC-UNet multi-module concatenation based on U-shape network for retinal blood vessels segmentation | |
| CN117333751A (zh) | 一种医学图像融合方法 | |
| CN114418987A (zh) | 一种多阶段特征融合的视网膜血管分割方法及系统 | |
| Huang et al. | DBFU-Net: Double branch fusion U-Net with hard example weighting train strategy to segment retinal vessel | |
| Zijian et al. | AFFD-Net: A Dual-Decoder Network Based on Attention-Enhancing and Feature Fusion for Retinal Vessel Segmentation | |
| CN114170089B (zh) | 一种用于糖尿病视网膜病变分类的方法及电子设备 | |
| CN117314935A (zh) | 基于扩散模型的低质量眼底图像的增强及分割方法及系统 | |
| Sri et al. | Detection Of MRI Brain Tumor Using Customized Deep Learning Method Via Web App | |
| Gu et al. | Retinal vessel segmentation via adversarial learning and iterative refinement | |
| CN115330600A (zh) | 一种基于改进srgan的肺部ct图像超分辨率方法 | |
| CN115410032A (zh) | 基于自监督学习的octa图像分类结构训练方法 | |
| CN114118199A (zh) | 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统 | |
| Jalali et al. | VGA‐Net: Vessel graph based attentional U‐Net for retinal vessel segmentation | |
| CN118736052B (zh) | 一种基于高斯图Lasso估计的轻量级核磁共振成像图处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220316 Address after: No. 4-605-338, Yintan cultural and creative park, No. 88, Yapeng Road, Jiangxinzhou street, Jianye District, Nanjing, Jiangsu 210019 Applicant after: Nanjing yunshang digital Finance Technology Co.,Ltd. Address before: 610031 No. 2, group 5, Yinzi village, Nanyue Town, Dachuan District, Dazhou City, Sichuan Province Applicant before: Zhong Jiaxing |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220809 Address after: 100089 room 301-3045, 3 / F, building 1, 2 and 3, qinchunjiayuan, Xisanqi, Haidian District, Beijing Patentee after: Wuzheng Intelligent Technology (Beijing) Co.,Ltd. Address before: No. 4-605-338, Yintan cultural and creative park, No. 88, Yapeng Road, Jiangxinzhou street, Jianye District, Nanjing, Jiangsu 210019 Patentee before: Nanjing yunshang digital Finance Technology Co.,Ltd. |