CN113768461B - 一种眼底图像分析方法、系统和电子设备 - Google Patents

Abstract

本发明实施例提供了一种眼底图像分析方法、系统和电子设备，该方法包括：获取待分析的眼底图像；对所述眼底图像进行像素级分割，得到标识每个像素属于豹纹或者非豹纹区域的豹纹分割信息；基于所述眼底图像分割出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识每个像素所属感兴趣区域的区域分割信息；根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析；本发明根据豹纹分割信息和区域分割信息更精准地对眼底豹纹进行量化分析，从而快速、精准地给出诊断结果；医生无需花费大量精力和时间去学习和分析如何根据眼底图像确定豹纹的程度。

Description

一种眼底图像分析方法、系统和电子设备

技术领域

本发明涉及医学数据分析领域，具体来说涉及利用神经网络模型对眼底图像进行分析，更具体地说，涉及一种眼底图像分析方法、系统和电子设备。

背景技术

眼底是指眼球内后部的区域，包括视网膜、视乳头、黄斑和视网膜中央动脉等解剖结构。通常，可以通过眼底相机对眼底情况进行无创、无痛、快速地观察，并对相关疾病做出诊断。因其便捷、无破坏性的特点，同时也因为人体的多种疾病都能够在眼底上反映出来，通过眼底图像进行疾病筛查已成为糖尿病、青光眼等疾病的诊断和慢病管理的重要手段。

豹纹状眼底就是指眼底视网膜区域出现形似豹皮的纹理的症状。

一般来说，豹纹常见于高度近视和老年人中。尤其是高度近视眼，近视度数越高，年龄越大，出现豹纹状眼底的概率越大，症状越明显。

究其原因，是因为高度近视眼的眼轴比正常人长，视网膜比正常人薄。视网膜被拉薄之后，视网膜上的血管变得可透见，使得眼底看起来出现类似豹纹的纹理。

通常，如果只是单纯豹纹状眼底，没有影响视力和其他眼睛不适，不算是严格意义上的眼睛疾病，单纯的豹纹状眼底不需要特殊治疗，一般也不易造成失明。但是，豹纹状眼底可以看成是疾病出现前的征兆，预示未来出现眼底病变的可能。如果由豹纹状眼底发展成较为严重的眼底病变，如视网膜脱落、视网膜裂孔、黄斑病变等，则会造成视力明显下降，甚至可能造成失明等严重影响。因此，一旦出现豹纹状眼底，定期检查眼底状态，监控其发展情况是有必要的。

然而，眼科作为一门精细的医学分支，专门的眼科医生在我国十分匮乏，难以应对普遍的筛查需要。因此自动化的眼底图像阅片技术成为相关眼底疾病诊断、病程发展跟踪的重要手段。

眼科医生直接观察眼底图像时，在豹纹严重程度较低时豹纹和眼底其他区域的差异较小，肉眼难以快速区分豹纹和眼底其他区域，豹纹严重程度较高时又难以快速确定具体严重到什么程度，需要耗费大量较多的时间成本。而且，眼底不同区域出现豹纹以及不同的豹纹程度，对视力的影响都是不同的，眼科医生肉眼难以快速、准确地给筛查结果。这些问题主要是由于豹纹状眼底存在难以精准量化的情况，因而难以满足持续的病程监控所需。因此，有必要对现有技术进行改进。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种眼底图像分析方法、系统和电子设备。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种眼底图像分析方法，包括：获取待分析的眼底图像；对眼底图像进行像素级分割，得到标识了每个像素属于豹纹或者非豹纹区域的豹纹分割信息；基于眼底图像分割出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识每个像素所属感兴趣区域的区域分割信息；根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析。

在本发明的一些实施例中，多种感兴趣区域包括视盘区域、黄斑区域和眼底其他区域。

在本发明的一些实施例中，所述根据豹纹分割信息和区域分割信息对眼底豹纹的情况进行分析包括：根据豹纹分割信息和区域分割信息计算各感兴趣区域的局部豹纹密度。

在本发明的一些实施例中，所述根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析包括：根据各个感兴趣区域预设的区域权重系数对相应的局部豹纹密度进行加权求和，得到全局加权豹纹密度。

在本发明的一些实施例中，各个感兴趣区域预设的区域权重系数的相对大小按照以下方式设置：黄斑区域预设的区域权重系数大于等于视盘区域预设的区域权重系数，视盘区域预设的区域权重系数大于眼底其他区域预设的区域权重系数。

在本发明的一些实施例中，所述根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析包括：根据预定的矫正算法以及矫正参数对相应品牌和/或相应型号的眼底相机采集的眼底图像对应的豹纹密度进行矫正，得到经矫正的豹纹密度。

在本发明的一些实施例中，所述根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析包括：根据相应的豹纹密度或眼底图像对眼底图像进行豹纹分级。

在本发明的一些实施例中，由训练好的眼底豹纹分割模块对眼底图像进行像素级分割，得到标识了每个像素属于豹纹或者非豹纹区域的豹纹分割信息，其是按照以下方式训练得到的：获取包含眼底图像和豹纹分割标签的第一训练集，所述豹纹分割标签标注了每个像素属于豹纹或者非豹纹区域；利用第一训练集训练眼底豹纹分割模块分割豹纹或者非豹纹区域，得到每个像素属于豹纹区域的概率值，根据该概率值和豹纹分割标签计算第一损失，基于第一损失对眼底豹纹分割模块的权重参数进行调整。

在本发明的一些实施例中，由训练好的眼底区域分割模块基于眼底图像分割眼底中出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识了每个像素所属感兴趣区域的区域分割信息，其包括多个眼底区域分割子模型，每种眼底区域分割子模型对应一种需要分割的感兴趣区域。

在本发明的一些实施例中，针对视盘区域或者黄斑区域对应的眼底区域分割子模型，是按照以下方式训练得到的：获取包含眼底图像和相应感兴趣区域分割标签的第二训练集，所述相应感兴趣区域分割标签标注了每个像素是否属于该感兴趣区域；利用第二训练集训练眼底区域分割子模型分割该感兴趣区域和非该感兴趣区域，得到每个像素属于该感兴趣区域的概率值，根据该概率值和感兴趣区域分割标签计算第二损失，基于第二损失对该眼底区域分割子模型的权重参数进行调整。

根据本发明的第二方面，提供一种眼底豹纹分析系统，该系统包括眼底豹纹分割模块，用于对眼底图像进行像素级分割，得到标识了每个像素属于豹纹或者非豹纹区域的豹纹分割信息；眼底区域分割模块，用于基于眼底图像分割眼底中出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识每个像素所属感兴趣区域的区域分割信息；眼底豹纹分析模块，用于根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析，输出各感兴趣区域的局部豹纹密度、全局加权豹纹密度、豹纹分级结果及其组合。该系统的一些细节实施例可参照方法的实施例。

根据本发明的第三方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储一个或多个可执行指令；所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现第一方面所述方法的步骤。

与现有技术相比，本发明的优点在于：

1、本发明提出了对眼底图片中豹纹密度进行量化分析的方法，将过往的粗糙的定性分析变成可量化的数值指标，为更加精准地跟踪病程发展提供可能；

2、本发明根据大规模人群数据的分布，对豹纹进行分级处理，将不直观的数值变为更直观的严重程度分档；同时，分级操作也统一了不同眼底相机间的成像差异(如色差或者成像风格差异等)导致豹纹分割结果的区别，使得不同眼底相机的结果可供统一比较；

3、本发明构建了一个端到端的豹纹识别/豹纹密度测量的深度神经网络模型，能够快速便捷地得到输入眼底图像的豹纹密度分析结果。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的眼底豹纹分析系统的模块示意图；

图2为根据本发明实施例的豹纹密度矫正的示意图；

图3为根据本发明实施例的将豹纹程度分为10级时相应级别的眼底图像上的豹纹情况示意图；

图4为根据本发明实施例的数据标注迭代示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如在背景技术部分提到的，眼科医生直接观察眼底图像时，在豹纹严重程度较低时豹纹和眼底其他区域的差异较小，肉眼难以快速区分豹纹和眼底其他区域，豹纹严重程度较高时又难以快速确定具体严重到什么程度，需要耗费大量较多的时间成本。而且，眼底不同区域出现豹纹以及不同的豹纹程度，对视力的影响都是不同的，眼科医生肉眼难以快速、准确地给筛查结果。为解决这一技术问题，本发明利用眼底豹纹分割模块对眼底图像进行像素级分割，得到标识了每个像素属于豹纹或者非豹纹区域的豹纹分割信息；利用眼底区域分割模块基于眼底图像提取眼底中出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识了每个像素所属感兴趣区域的区域分割信息；根据豹纹分割信息和区域分割信息更精准地对眼底豹纹进行量化分析，从而快速、精准地给出诊断结果；医生无需花费大量精力和时间去学习和分析如何根据眼底图像确定豹纹的程度。

在对本发明的实施例进行具体介绍之前，先对其中使用到的部分术语作如下解释：

视盘(Optic Disc)，是指视神经盘，也叫视神经乳头。视网膜由黄斑向鼻侧约3mm处有一直径约1.5mm，境界清楚的淡红色圆盘状结构，称为视神经盘，简称视盘。

黄斑(对应于黄斑区域，一般也称黄斑区)，是指人眼的光学中心区，位于视网膜中央。黄斑区在视神经盘的颞侧约0.35cm处并稍下方，是视力轴线的投影点，是视力最敏感区。

本实施例提供一种眼底图像分析方法，该方法可以由计算机或者服务器等电子设备执行。本方法借助一个包含神经网络的眼底豹纹分析系统对眼底图像中的豹纹进行量化分析，从而实现了豹纹的自动检测与量化，为动态监控其发展提供了依据。如图1所示，该眼底豹纹分析系统包括：眼底豹纹分割模块1、眼底区域分割模块2和眼底豹纹分析模块3。

根据本发明的一个实施例，眼底豹纹分割模块1是一个神经网络分割模型(也称为分割神经网络或者分割模型)，有多种可选的网络结构，例如U型网络(U-net、U-net++等)、FCN、SegNet等。也可以对原始的U-net进行改进，例如，在一个实施例中，选用VGG网络与U-net网络相结合的分割模型；原始的U-net网络包括编码模块和解码模块，可以将其编码模块(特征提取部分)用VGG网络来代替；并适应性地调整U-net的解码模块以与VGG网络相匹配(如调整解码模块的输入和输出特征图尺寸)，从而构成改进的U-net网络。VGG网络具有良好的特征提取能力，被广泛应用在特征提取的任务中。U-net网络也是经过充分验证的经典网络，在医学图像分割领域应用甚广。因此本实施例选用二者结合作为眼底豹纹的分割模型使用，可以提高豹纹分割的精度。本发明构建了一个端到端的豹纹识别的深度神经网络模型，能够快速便捷地得到输入眼底图像的豹纹识别结果。

根据本发明的一个实施例，在训练眼底豹纹分割模块1时，采用第一训练集。第一训练集中每个样本是一张眼底图像；样本的标签是豹纹分割标签，其中，用0或1表示每个像素是非豹纹或者豹纹区域对应的像素，例如，0表示该像素属于非豹纹区域，1表示该像素属于豹纹区域；训练的过程中，眼底豹纹分割模块1根据输入的眼底图像进行分割，输出每个像素属于豹纹区域的概率；基于每个像素属于豹纹区域的概率和豹纹分割标签计算第一损失，并根据第一损失调整眼底豹纹分割模块1的模型参数，训练的目标是最小化第一损失。优选的，训练时，选取的损失函数为交叉熵损失，计算方式如下：

其中，表示像素点总数，y表示豹纹分割标签，_i＝1表示第i个像素点是豹纹区域的像素点，y_i＝0表示第i个像素点是非豹纹区域的像素点，p(y_i)表示第i个像素点是豹纹区域的像素点的概率。

针对眼底豹纹分割模块1(选用VGG网络与U-net网络相结合的分割模型)的训练，申请人进行了相应的实验。该实验所采用的总标注数据共12000张，其中包含四种类型的相机，每种类型共3000张。按照相机类型，随机选取10000作为训练集，2000张作为测试集，每种类型的相机用作测试的数量为500张。使用平均交并比(Mean IOU)作为分割的评价指标，模型结果在测试集中的每类相机中的指标如下：

相机品牌	Topcon	Reticam	Canon	Syseye
					平均交并比	61.22％	63.41％	62.05％	64.39％

实验数据说明，本发明的眼底豹纹分割模块1在不同品牌的相机的分割结果有微小差异，但都是可用的，说明了分割网络的有效性。

根据本发明的一个实施例，眼底区域分割模块2，用于根据需要将眼底划分为多个不同区域。在眼底中的不同区域出现豹纹时，对视力的影响是不同的，一些区域出现豹纹可能比其他区域出现豹纹对视力影响更为严重。例如，黄斑区、视盘的病灶对视力的损伤风险更高，其他区域相对较低。因此，对于眼底豹纹状的改变，针对不同的感兴趣区域，分别计算不同区域的豹纹密度是有必要的。为此，本发明使用眼底区域分割模块2基于眼底图像分割眼底中出现豹纹对视力影响程度不同的多种感兴趣区域。

针对不同的感兴趣区域的特点，可以根据需要采用不同的分割方式。在一个实施例中，眼底区域分割模块2包括多个眼底区域分割子模型，针对不同的感兴趣区域可以根据需要使用相应的眼底区域分割子模型进行分割。举例来说，对于结构简单的眼底整体区域，因为与背景对比明显，可以采用图像处理的方法来实现其分割，即：相应的眼底区域分割子模型可以是经典的图像处理方法，如阈值分割、轮廓提取的方式分割，也可以采用神经网络分割模型进行分割。对于视盘区域和黄斑区域，因为其边界相对比较模糊，可以使用神经网络分割模型进行分割。该实施例中，相应的眼底区域分割子模型若采用神经网络分割模型，其网络结构、训练和识别过程类似眼底豹纹分割所采用的神经网络分割模型，可参照眼底豹纹分割模块1的实施例，在此不再赘述。但应当理解，不同的模型的网络结构无需一致，可以根据实际应用的具体要求进行调整，例如增加/减少网络层数、滤波器(Filter)个数等等。对于眼底其他区域，其可以根据眼底区域除去视盘区域和黄斑区域得到。值得注意的是，本发明指出的眼底其他区域、视盘区域、黄斑区域仅是眼底图像区域的可能例子，在实际应用过程中，可以是其中几种的组合，例如，在一个实施例中，多种感兴趣区域为黄斑区域和眼底其他区域；或者，多种感兴趣区域为视盘区域和眼底其他区域；又或者，多种感兴趣区域为黄斑区域和视盘区域(眼底结构区域)；也可以是除此之外的更多眼底区域或者自定义的眼底区域，例如，在前面例子中增加黄斑区域的邻居区域(比如：以黄斑区域的中心为圆心，第一预定半径之内且黄斑区域之外的区域)和/或视盘区域的邻居区域(比如：以视盘区域的中心为圆心，第二预定半径之内且视盘区域之外的区域)。该实施例的技术方案至少能够实现以下有益技术效果：本发明设置多个眼底区域分割子模型，针对不同的感兴趣区域的特点使用与之适配的眼底区域分割子模型，从而更准确、高效地提取出所需的感兴趣区域。

根据本发明的一个实施例，眼底豹纹分析模块3是一个根据眼底豹纹分割模块1和眼底区域分割模块2的输出对眼底豹纹进行量化分析的模块。例如，其可以用于根据豹纹分割信息和区域分割信息计算各感兴趣区域的局部豹纹密度。本发明使用豹纹密度作为眼底豹纹状改变程度的量化评价指标。优选的，本发明将豹纹密度定义为关注的眼底感兴趣区域中豹纹面积的占比，可以用如下公式进行表述：

其中，B_leopard表示豹纹分割信息，B_ROI表示区域分割信息，|B_ROI|表示相应感兴趣区域的像素点的个数。即，感兴趣区域中的豹纹密度为：对应感兴趣区域中标注为豹纹区域的像素点的个数与该感兴趣区域的像素点的个数之比。上式中B_leopard中记录有各像素的豹纹分割二值结果，B_ROI中记录有各像素的豹纹识别二值结果，即其取值为{0,1}。利用上面的公式，可以得到多种不同眼底结构中的局部豹纹密度，例如用一个局部豹纹密度向量D表示。该实施例的技术方案至少能够实现以下有益技术效果：根据豹纹分割信息和区域分割信息计算各感兴趣区域的局部豹纹密度；从而可以帮助医生快速知晓患者眼底相应区域的豹纹程度(豹纹密度水平)，从而快速、精准地给出诊断结果；医生无需花费大量精力和时间去学习和分析如何根据眼底图像确定豹纹程度，以及出现豹纹对视力影响不同的相应区域的豹纹程度，降低了医生的劳动强度，提高了工作效率和准确率，并且也便于患者对自身病情有个量化的认知结果，以便一些患者重视自身的眼部病变情况并积极护眼。

根据本发明的一个实施例，为了便于对整张图片的豹纹密度进行评价，可以对局部豹纹密度向量D的不同区域设置不同的区域权重系数，由眼底豹纹分析模块3根据预设的区域权重系数得到一个表征眼底整体的豹纹密度水平的标量，即全局加权豹纹密度D′：

D′＝w^TD；

其中，w为多个感兴趣区域的权重系数组成的权重系数向量，T表示转置，D表示局部豹纹密度向量。优选的，该方法还包括：自定义设置和调整所有的区域权重系数。该实施例的技术方案至少能够实现以下有益技术效果：全局加权豹纹密度可以结合出现豹纹对视力影响程度不同区域的不同权重系数快速计算综合的豹纹密度，减少对视力影响相对较低区域的豹纹对整体豹纹密度的影响，让相应的医务人员可以根据全局加权豹纹密度直观了解患者的整体豹纹情况，从而更准确、高效地作出诊断结果。换言之，本发明提出的方法将过往的粗糙的定性分析变成可量化的数值指标，为更加精准地跟踪病程发展提供可能。

以上实施例可以应用于固定相机型号的实施设备中，比如，采用某种固定相机型号的眼底分析设备(例如，集成了某款摄像头的眼底豹纹分析设备)中，只面向单一设备采集的图像，不存在成像差别的问题，可以直接根据得到的豹纹密度确定豹纹水平。在另一些实施例中，本发明可以应用于对外提供眼底豹纹分析服务的网络产品中，例如，分析网站，在该分析网站中接收委托方(例如医院、眼科检测单位、眼科诊所或者个人等)上传到分析网站的眼底图像，对该眼底图像进行分析。但是，该实施场景下，由于不同委托方上传的眼底图像可能是由不同的品牌、型号的眼底相机采集的，具有一定的成像差别(比如色差、成像风格差异等)，使得在评价豹纹密度的时候也会产生一定的分布差异，不能直接比较，会对豹纹密度的准确性造成影响，因此，需要进行矫正。豹纹密度矫正可以针对局部豹纹密度和/或全局加权豹纹密度。

根据本发明的一个实施例，根据眼底相机的品牌进行矫正，同一品牌的产品，不论型号，均用统一的矫正参数，这样可以简化矫正的流程。优选的，该方法包括：获取用相应品牌的多种型号的眼底相机采集的多张眼底图像，基于所述多张眼底图像分别进行豹纹密度(局部豹纹密度和/或全局加权豹纹密度)分析，得到多个矫正用豹纹密度，将所述多个矫正用豹纹密度的均值和方差作为计算该品牌相机对应的矫正参数。优选的，矫正时，将采用的矫正算法设为豹纹密度减去均值再除以方差。参见图2，示出了根据Topcon、Reticam、Canon和Syseye四种相机品牌进行豹纹密度矫正前(图2a)和矫正后(图2b)的分布示意图，横轴表示的是豹纹密度值，纵轴是对应样本数量的相对值，从图2a可以看到矫正前不同相机分布是略有差异的，峰值处是未对齐的；从图2b可以看到经过矫正后，峰值已经对齐，这样可以更好的对不同相机采集的眼底图像的豹纹水平进行准确分析。应当理解，局部豹纹密度和全局加权豹纹密度对应的矫正参数是不同的，局部豹纹密度对应的均值和方差是基于矫正用局部豹纹密度计算的，全局加权豹纹密度对应的均值和方差是用矫正用全局加权豹纹密度计算的。

根据本发明的一个实施例，以眼底相机的品牌和型号进行矫正，这样可以更准确地对特定型号的眼底相机采集的眼底图像计算的豹纹密度进行矫正。优选的，该方法包括：获取用相应品牌的相应型号的眼底相机采集的多张眼底图像，基于所述多张眼底图像分别进行豹纹密度(局部豹纹密度和/或全局加权豹纹密度)分析，得到多个矫正用豹纹密度，将矫正用豹纹密度的均值和方差作为计算该品牌和型号的眼底相机对应的矫正参数。矫正时，将采用的矫正算法设为豹纹密度减去均值再除以方差。另外，还可以采用基于该品牌的多种型号的眼底相机采集的所有眼底图像分别进行豹纹密度分析，得到多个矫正用豹纹密度，将多个矫正用豹纹密度的均值和方差作为计算该品牌的未知型号相机对应的矫正参数；如果知道相机品牌但难以知晓型号或者未收录该型号则可以用该品牌的未知型号对应的矫正参数来代替。根据本发明的一个实施例，通过在不同相机照片的大规模样本中进行统计分析，得到不同相机在豹纹密度上的分布，样本数量足够大，假定豹纹在人群中的分布是趋于一致的，通过统计学方法对不同相机的分布进行建模，并通过数学方法将豹纹密度结果矫正到同一分布中，使得不同相机拍摄的眼底图像可以直接进行比较，便于使用不同相机进行眼底筛查的结果进行比较，以降低不同相机的成像差别对豹纹分析的影响。

豹纹密度虽然可以让医务人员对患者眼底的豹纹水平有较为直观的了解，但对非专业人员(如：患者或者患者家属)，甚至对某些医务人员来说仍不够直观，因此，在上述豹纹密度量化分析的基础上，根据本发明的一个实施例，还可以根据收集的所有样本数据确定表征豹纹的不同严重程度的多个分级，对不同豹纹密度进行分级建模，得到豹纹分级结果。可根据不同的任务需要，采用不同的建模方式。

根据本发明的一个实施例，如果是集成了固定相机型号的眼底分析设备，可以基于全局加权豹纹密度来进行豹纹分级。例如，预先设置多个豹纹密度阈值区间，每个区间对应一个级别。若全局加权豹纹密度处于相应区间内，则输出该区间对应的豹纹级别。类似的，如果是提供眼底豹纹分析服务的网络产品，则可以基于经矫正的全局加权豹纹密度来进行豹纹分级，参照眼底分析设备对应的实施方式。

根据本发明的一个实施例，如果是集成了固定相机型号的眼底分析设备，可以基于局部豹纹密度来进行分级。例如，预先训练一个豹纹分级模型，将眼底图像对应的局部豹纹密度作为输入，将豹纹级别作为标签，训练豹纹分级模型对眼底图像的豹纹密度进行分级。训练好后，将待检测的患者的局部豹纹密度输入豹纹分级模型，则可以得到相应的豹纹分级。类似的，基于经矫正的局部豹纹密度、全局豹纹密度或者经矫正的全局豹纹密度来分级也是可以的。例如，如果是提供眼底豹纹分析服务的网络产品，则可以基于经矫正的局部豹纹密度来进行豹纹分级，参照眼底分析设备对应的实施方式。

根据本发明的另一个实施例，还可基于眼底图像来进行分级。例如，预先训练一个豹纹分级模型，将眼底图像作为输入，将豹纹级别作为标签，训练豹纹分级模型对眼底图像的豹纹密度进行分级。训练好后，将待检测的眼底图像输入豹纹分级模型，则可以得到相应的豹纹分级。本发明可以根据大规模人群数据样本的分布，对豹纹进行分级处理，将不直观的数值变为更直观的严重程度分档。同时，分级操作也统一了不同眼底相机间的成像风格差异导致豹纹分割结果的区别，使得不同眼底相机的结果可供统一比较。

在一个实施例中，可以将豹纹严重程度(豹纹水平)分为10级，不同的严重程度在眼底图像上的表现可参照图3给出的1-10级豹纹对应的示意图，其中10表示严重程度最高，1表示严重程度最低，每级对应的示意图中，左侧是原始的图像，右侧是对相应原始的图像中的豹纹部分进行突出标记后的图像，以更清晰地观察到眼底豹纹水平。

在豹纹分级模型的训练过程中，如果所有的样本数据均直接用人工标注，花费的时间成本较高。根据本发明的一个实施例，提供一种辅助添加标签的方法，该方法包括：先用包含人工标注标签的预定数量的数据集训练豹纹分级模型，利用训练后的豹纹分级模型对未标注的样本进行标注，得到机器标注的标签，获取人工对机器标注的标签修正后的修正样本，将修正样本加入数据集后再训练豹纹分级模型。即，本发明在数据标注过程中，采用了迭代建模的方式，利用机器生成标注结合人工调整复核的方式，快速标注大量眼底图片样本，节约了标注成本，提高了标注效率，加速了项目的实施。举例来说，参见图4，本发明首先通过人工标注部分少量数据样本(对应于未标注样本)，例如对100张眼底图像进行数据标注，添加标识分级的标签。然后，使用标注的眼底图像对前述设计好的豹纹分级模型进行训练(对应于模型训练)；使用现阶段训练好的豹纹分级模型输入未标注的图片样本，得到粗糙的标注标签(对应于使用当前模型生成标注结果)。在这些粗糙的标注标签的基础上，使用人工校验和修改的方法，对未正确标注的部分进行修改(对应于人工修改标注结果)，确保标注的标签质量。由此，可以得到新的标注样本并加入标注数据集，之后，反复迭代模型训练与人工标注校验的过程，可以快速得到大量的标注样本，直到模型满足预设的指标或者数据样本的数量满足模型训练的需要为止。该方法在提高标注效率的同时，还能够动态观察模型效果的提升，在满足目标指标的前提下，可以仅标注最小的所需标注样本数量。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种眼底图像分析方法，其特征在于，包括：

获取待分析的眼底图像；

对所述眼底图像进行像素级分割，得到标识每个像素属于豹纹或者非豹纹区域的豹纹分割信息；

基于所述眼底图像分割出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识每个像素所属感兴趣区域的区域分割信息，所述多种感兴趣区域包括视盘区域、黄斑区域和眼底其他区域；

根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析，其包括：

根据所述豹纹分割信息和所述区域分割信息计算所述多种感兴趣区域中各感兴趣区域的局部豹纹密度；以及

根据所述多种感兴趣区域中各个感兴趣区域预设的区域权重系数对相应的所述局部豹纹密度进行加权求和，得到全局加权豹纹密度。

2.根据权利要求1所述的方法，其特征在于，各个感兴趣区域预设的区域权重系数的相对大小按照以下方式设置：

黄斑区域预设的区域权重系数大于等于视盘区域预设的区域权重系数，视盘区域预设的区域权重系数大于眼底其他区域预设的区域权重系数。

3.根据权利要求1至2任一项所述的方法，其特征在于，所述根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析包括：

根据预定的矫正算法以及矫正参数对相应品牌和/或相应型号的眼底相机采集的眼底图像对应的豹纹密度进行矫正，得到经矫正的豹纹密度。

4.根据权利要求3所述的方法，其特征在于，所述根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析包括：

根据相应的豹纹密度或眼底图像对眼底图像进行豹纹分级。

5.根据权利要求1至2任一项所述的方法，其特征在于，由训练好的眼底豹纹分割模块对眼底图像进行像素级分割，得到标识每个像素属于豹纹或者非豹纹区域的豹纹分割信息，其是按照以下方式训练得到的：

获取包含眼底图像和豹纹分割标签的第一训练集，所述豹纹分割标签标注了每个像素属于豹纹或者非豹纹区域；

利用第一训练集训练眼底豹纹分割模块分割豹纹或者非豹纹区域，得到每个像素属于豹纹区域的概率值，根据该概率值和豹纹分割标签计算第一损失，

基于第一损失对眼底豹纹分割模块的权重参数进行调整。

6.根据权利要求1至2任一项所述的方法，其特征在于，由训练好的眼底区域分割模块基于眼底图像中出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识每个像素所属感兴趣区域的区域分割信息，其包括多个眼底区域分割子模型，每种眼底区域分割子模型对应一种需要分割的感兴趣区域。

7.根据权利要求6任一项所述的方法，其特征在于，针对视盘区域或者黄斑区域对应的眼底区域分割子模型，是按照以下方式训练得到的：

获取包含眼底图像和相应感兴趣区域分割标签的第二训练集，所述相应感兴趣区域分割标签标注了每个像素是否属于该感兴趣区域；

利用第二训练集训练眼底区域分割子模型分割该感兴趣区域和非该感兴趣区域，得到每个像素属于该感兴趣区域的概率值，根据该概率值和感兴趣区域分割标签计算第二损失，

基于第二损失对该眼底区域分割子模型的权重参数进行调整。

8.一种眼底豹纹分析系统，该系统用于实现如权利要求1至7所述的方法，其特征在于，包括：

眼底豹纹分割模块，用于对眼底图像进行像素级分割，得到标识每个像素属于豹纹或者非豹纹区域的豹纹分割信息；

眼底区域分割模块，用于基于眼底图像中出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识每个像素所属感兴趣区域的区域分割信息；

眼底豹纹分析模块，用于根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析，输出各感兴趣区域的局部豹纹密度、全局加权豹纹密度、豹纹分级结果或其组合。

9.一种计算机可读存储介质，其特征在于，其上包含有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，其中存储器用于存储一个或多个可执行指令；

所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现权利要求1至7中任一项所述方法的步骤。