CN113537269B - 图像处理方法、装置及设备 - Google Patents
图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN113537269B CN113537269B CN202011545325.XA CN202011545325A CN113537269B CN 113537269 B CN113537269 B CN 113537269B CN 202011545325 A CN202011545325 A CN 202011545325A CN 113537269 B CN113537269 B CN 113537269B
- Authority
- CN
- China
- Prior art keywords
- image processing
- processing model
- image
- sample
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 451
- 238000012549 training Methods 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims abstract description 79
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 37
- 238000010801 machine learning Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像处理方法、装置及设备，涉及人工智能技术领域，以提升对图像进行处理的准确度。该方法包括：对图像处理模型进行多轮迭代训练，将最后一轮迭代训练输出的图像处理模型确定为目标图像处理模型；一轮迭代训练中，对基于更新前的图像处理模型获得的中间图像处理模型进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型作为输出的图像处理模型；一次迭代更新中，将一个样本子集分别输入更新前的图像处理模型和中间图像处理模型，基于获得的第一图像特征和第二图像特征的偏差信息确定的目标损失值，对中间图像处理模型进行参数调整。该方法提升了对图像进行处理的目标图像处理模型的泛化能力。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像处理方法、装置及设备。
背景技术
随着人工智能和机器学习技术的快速发展，常通过图像处理模型对图像进行处理，但基于机器学习训练得到的图像处理模型可能由于过度学习图像训练数据的特征，而导致图像处理模型对图像训练数据进行处理的准确度高，但是对除图像训练数据以外的其它图像数据进行处理的准确度低，图像处理模型的泛化能力差，进而导致使用训练得到的图像处理模型对待处理图像进行处理的准确度低。
发明内容
本申请实施例提一种图像处理方法、装置、设备及可读存储介质，用于提升对图像进行处理的准确度。
本申请第一方面，提供一种图像处理方法，包括：
将目标图像处理关联的图像样本集划分为多个样本子集；
基于所述多个样本子集，对待训练的图像处理模型进行多轮迭代训练，将最后一轮迭代训练输出的图像处理模型确定为目标图像处理模型，所述目标图像处理模型用于对待处理图像进行所述目标图像处理；其中，在一轮迭代训练中，执行以下操作：
将当前获得的图像处理模型确定为更新前的图像处理模型，对所述更新前的图像处理模型进行初始化，获得中间图像处理模型；
获取一个样本子集，对所述中间图像处理模型进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型，确定为所述一轮迭代训练输出的图像处理模型；其中，在一次迭代更新中，将所述一个样本子集分别输入所述更新前的图像处理模型和所述中间图像处理模型，基于获得的第一图像特征和第二图像特征的偏差信息确定目标损失值，基于所述目标损失值对所述中间图像处理模型进行参数调整；所述偏差信息表征所述图像处理模型针对所述一个样本子集的过拟合特征。
在一种可能的实现方式中，所述将目标图像处理关联的图像样本集划分为多个样本子集，包括：
基于图像样本中图像特征的相似度，对所述图像样本集中的图像样本进行聚类，根据聚类结果将所述图像样本集中的图像样本划分为不同类别簇的样本子集。
在一种可能的实现方式中，若所述一轮迭代训练为所述多轮迭代训练中的初次迭代训练，则所述当前获得的图像处理模型是所述待训练的图像处理模型；
若所述一轮迭代训练为非初次迭代训练，则所述当前获得的图像处理模型是所述一轮迭代训练的上一轮迭代训练输出的图像处理模型，所述非初次迭代训练为所述多轮迭代训练中除所述初次迭代训练的迭代训练。
本申请第二方面，提供一种图像处理装置，包括：
数据获取单元，用于将目标图像处理关联的图像样本集划分为多个样本子集；
模型训练单元，用于基于所述多个样本子集，对待训练的图像处理模型进行多轮迭代训练，将最后一轮迭代训练输出的图像处理模型确定为目标图像处理模型，所述目标图像处理模型用于对待处理图像进行所述目标图像处理；其中，在一轮迭代训练中，执行以下操作：将当前获得的图像处理模型确定为更新前的图像处理模型，对所述更新前的图像处理模型进行初始化，获得中间图像处理模型；获取一个样本子集，对所述中间图像处理模型进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型，确定为所述一轮迭代训练输出的图像处理模型；其中，在一次迭代更新中，将所述一个样本子集分别输入所述更新前的图像处理模型和所述中间图像处理模型，基于获得的第一图像特征和第二图像特征的偏差信息确定目标损失值，基于所述目标损失值对所述中间图像处理模型进行参数调整；所述偏差信息表征所述图像处理模型针对所述一个样本子集的过拟合特征。
在一种可能的实现方式中，所述数据获取单元具体用于：
按照图像样本的数据类型，将所述图像样本集中的图像样本划分为不同数据类型的样本子集。
在一种可能的实现方式中，所述数据获取单元具体用于：
按照图像样本关联的时间信息，将所述图像样本集中的图像样本划分为多个不同时间段的样本子集。
在一种可能的实现方式中，所述数据获取单元具体用于：
基于图像样本中图像特征的相似度，对所述图像样本集中的图像样本进行聚类，根据聚类结果将所述图像样本集中的图像样本划分为不同类别簇的样本子集。
在一种可能的实现方式中，所述模型训练单元还用于：
基于所述多个样本子集，对待训练的图像处理模型进行多轮迭代训练之前，创建初始的图像处理模型，以及从所述多个样本子集中选取一个样本子集；
基于选取的一个样本子集，对所述初始的图像处理模型进行多次迭代更新，得到待训练的图像处理模型；其中，在一次迭代更新中，将所述选取的一个样本子集输入到所述初始的图像处理模型，得到目标图像特征；基于所述选取的一个样本子集对应的图像特征样本和所述目标图像特征的差异，对所述初始的图像处理模型进行参数调整。
在一种可能的实现方式中，所述模型训练单元具体用于：
获取所述第一图像特征和所述第二图像特征的偏差信息；
基于所述偏差信息，结合基于损失函数关联的样本预测损失值，确定所述目标损失值。
在一种可能的实现方式中，所述模型训练单元具体用于：
确定所述第一图像特征的特征参考值和所述第二图像特征的特征参考值的差值；
利用所述差值关联的图像掩膜，对所述第二图像特征进行处理，得到所述偏差信息。
在一种可能的实现方式中，所述模型训练单元具体用于：
将所述偏差信息和所述样本预测损失值的和，确定为所述目标损失值；或
将所述偏差信息和所述样本预测损失值进行加权求和的结果，确定为所述目标损失值。
在一种可能的实现方式中，若所述一轮迭代训练为所述多轮迭代训练中的初次迭代训练，则所述当前获得的图像处理模型是所述待训练的图像处理模型；
若所述一轮迭代训练为非初次迭代训练，则所述当前获得的图像处理模型是所述一轮迭代训练的上一轮迭代训练输出的图像处理模型，所述非初次迭代训练为所述多轮迭代训练中除所述初次迭代训练的迭代训练。
在一种可能的实现方式中，所述一个样本子集是所述多个样本子集中，当前未被获取的样本子集。
本申请第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
本申请第四方面，提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面中提供的方法。
本申请第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面所述的方法。
由于本申请实施例采用上述技术方案，至少具有如下技术效果：
本申请实施例中对图像处理模型进行多轮迭代训练，其中每轮迭代训练中都多次基于表征图像处理模型针对样本子集的过拟合特征的偏差信息，对中间图像处理模型进行了调整，以减少每一轮迭代训练中得到的中间图像处理模型出现过拟合现象的风险，提升了各个中间图像处理模型的泛化能力，提升了最终得到的目标图像处理模型的泛化能力，进而提升了目标图像处理模型对待处理图像进行目标图像处理的准确度。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的一种应用场景的示意图；
图2为本申请实施例提供的一种图像处理的方法的示例图；
图3为本申请实施例提供的一种目标图像处理模型的训练的原理的示意图；
图4为本申请实施例提供的一种获取待训练的图像处理模型的过程的示意图；
图5为本申请实施例提供一种多轮迭代训练中一轮迭代训练的过程的示意图；
图6为本申请实施例提供一种获取偏差信息的原理的示意图；
图7为本申请实施例提供的一种目标图像处理模型的训练的原理的示意图；
图8为本申请实施例提供的一种目标图像处理模型的训练的过程的示意图；
图9为本申请实施例提供的一种图像处理装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构图。
具体实施方式
为了更好的理解本申请实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。
为了便于本领域技术人员更好地理解本申请的技术方案，下面对本申请涉及的部分概念进行说明。
1)图像处理任务和目标图像处理
图像处理一般指代对图像进行的一些处理操作，又称为图像处理任务；本申请实施例中的图像处理可以包括对图像进行分类识别的图像分类处理，也可以包括对图像的风格(如可以但不局限于包括速写、素描、水彩、各类滤镜或油画风格等)进行转换的风格转换处理，也可以包括对图像中的对象(又称目标，如可以但不局限于包括图像中的人、动物、植物、建筑物或工具等)进行识别的目标识别处理，还可以包括对图像的存储格式(如可以但不局限于包括bmp、jpg、png、tif、gif、pcx、WMF或avif等)进行转换的图像格式转换处理等，本领域的技术人员也可以设置其他的图像处理方式。
本申请实施例中的目标图像处理为待训练的图像处理模型对图像进行的图像处理，可以但不局限于包括上述图像分类处理、风格转换处理、目标识别处理和图像格式转换处理中的任意一种或任意组合，本领域的技术人员也可以根据实际需求将其他的图像处理确定为目标图像处理。
2)图像处理模型的过拟合现象和泛化能力
一般情况下模型的过拟合现象指模型在训练数据上过度训练，从而导致训练后的模型对于训练数据有较高的识别准确度，但是对于测试数据的识别准确度较低的现象；本申请实施例中图像处理模型的过拟合现象指图像处理模型由于过度学习图像训练数据的特征，而导致图像处理模型出现对图像训练数据进行处理的准确度高，但是对除图像训练数据以外的其他图像数据进行处理的准确度低的现象；
一般情况下，学习方法的泛化能力(Generalization Ability)是指由该学习方法学习到的模型对未知数据的预测能力；本申请实施例中图像处理模型的泛化能力可以表征图像处理模型对除图像训练数据以外的其他图像数据进行处理的准确度，本申请实施例可以但不局限于通过图像处理模型对测试图像样本进行图像处理的误差来评价图像处理模型的泛化能力；且一般情况下图像处理模型出现过拟合现象时，则该图像处理模型的泛化能力弱。
3)图像处理模型
本申请实施例中的图像处理模型为可以对图像进行上述目标图像处理的神经网络模型；本申请实施例中可以但不局限于是通过机器学习创建图像处理模型，并基于图像样本集对创建的图像处理模型进行训练，获得目标图像处理模型，该目标图像处理模型用于对待处理图像进行上述目标图像处理；其中，本申请实施例中的图像处理模型可以包括有监督的神经网络模型，如可以但不局限于包括卷积神经网络(Convolutional NeuralNetwork，CNN)、循环神经网络(Recurrent Neural Networks，RNN)、深度神经网络(DeepNeural Networks，DNN)；本申请实施例中的图像处理模型也可以包括无监督的神经网络模型，如可以但不局限于包括深度生成模型(Deep Generative Models)、深度信念网络(DeepBelief Neural Networks，DBN)、生成式对抗网络(Generative Adversarial Networks)等。
本申请实施例涉及人工智能(Artificial Intelligence，AI)和机器学习(Machine Learning，ML)技术，基于人工智能中的计算机视觉技术和机器学习而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习或深度学习等几大方向。随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域；机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例在进行图像处理时，采用基于机器学习或深度学习的目标图像处理模型对待处理图像进行目标图像处理。基于本申请实施例中的方式，可以实现提升得到的目标图像处理模型的泛化能力，进而大幅度提升了通过目标图像处理模型对待处理图像进行目标处理的准确度。
下面对本申请实施例的设计思想进行简要介绍：
在训练图像处理模型的过程中，图像处理模型可能会过度学习用于训练图像处理模型的图像训练数据的特征，导致训练得到的图像处理模型虽然对图像训练数据进行处理的准确度高，但是对除图像训练数据以外的图像数据进行处理的准确度低的过拟合现象，即训练得到的图像处理模型的泛化能力差，进而使用训练得到的图像处理模型对待处理图像进行处理的准确度低。
鉴于此，本申请实施例提出了一种图像处理方法、装置、设备及可读存储介质，在图像处理模型的训练过程中，降低图像处理模型过度学习图像样本集中图像样本的特征的风险，进而可以通过训练得到的目标图像处理模型对待处理图像进行处理，以提升对图像进行处理的准确度。
具体地，在本申请实施例中提出的图像处理的方法可分为两部分，包括目标图像处理模型的训练部分和目标图像处理模型的应用部分；其中，训练部分就涉及到机器学习这一技术领域，在训练部分中，通过机器学习这一技术训练准确度预测模型，具体的，可以基于多个样本子集，对待训练的图像处理模型进行多轮迭代训练，将最后一轮迭代训练输出的图像处理模型确定为目标图像处理模型；其中，在一轮迭代训练中，将当前获得的图像处理模型确定为更新前的图像处理模型，对更新前的图像处理模型进行初始化，获得中间图像处理模型；获取一个样本子集，对上述中间图像处理模型进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型，确定为上述一轮迭代训练输出的图像处理模型；其中，在一次迭代更新中，将上述一个样本子集分别输入上述更新前的图像处理模型和上述中间图像处理模型，基于获得的第一图像特征和第二图像特征的偏差信息确定目标损失值，基于上述目标损失值对上述中间图像处理模型进行参数调整。应用部分用于使用在训练部分训练得到的目标图像处理模型，来对待处理图像进行目标图像处理，例如对待处理图像进行图像识别中的图像分类、目标识别、图像风格转换等。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括终端设备110(如可以但不局限于包括图中示意出的110-1或110-2)和服务器120。终端设备110与服务器120之间可以通过通信网络进行通信。
在一种可选的实施方式中，通信网络是有线网络或无线网络。终端设备110以及服务器120可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在本申请实施例中，终端设备110为用户使用的电子设备，该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居等具有一定计算能力并且运行有即时通讯类软件及网站或者图像处理类软件及网站的计算机设备。各终端设备110通过通信网络与服务器120进行通信，服务器120(如可以但不局限于包括图中示意出的120-1、120-2或120-3)可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，图像处理模型可部署于服务器120上进行训练，服务器120中可存储与目标图像处理关联的图像样本集，图像样本集中可以但不局限于包括图像样本和与上述图像样本对应的图像处理结果(又可以称图像特征样本)，用于训练图像处理模型；可选的，在基于本申请实施例中的训练方法训练得到目标图像处理模型之后，可直接将训练好的目标图像处理模型部署在终端设备110上，也可以将目标图像处理模型部署在服务器120上。
在本申请实施例中，当目标图像处理模型部署在终端设备110上时，即接收输入的待处理图像，并对待处理图像进行目标图像处理。当目标图像处理模型部署在服务器120上时，即可由终端设备110获取待处理图像并上传至服务器，由服务器对待处理图像进行目标图像处理之后，服务器120可将对待处理图像进行目标图像处理的图像处理结果返回给终端设备110，进而终端设备110可以展示上述图像处理结果，或基于上述图像处理结果进行其他操作等。
作为一种实施例，为了提升图像处理模型对图像进行目标图像处理的准确度，本申请实施例中，可以在针对进行不同图像处理任务(即上述目标图像处理)训练图像处理模型的过程中，获取与不同图像处理任务关联的图像样本集，进而使用与不同图像处理任务关联的图像样本集，去训练需要执行不同图像处理任务的图像处理模型；即本申请实施中，训练对图像进行不同目标图像处理的图像处理模型的过程中，使用的与目标图像处理关联的图像样本集可以是不同的，如此能提升基于与图像处理任务关联的图像样本集训练得到的目标图像处理模型，对图像进行目标图像处理的准确度。
为便于理解，本申请实施例中给出几种图像样本集的示例，如目标图像处理为图像分类处理时，目标图像处理关联的图像样本集中可以但不局限于包括图像样本和表征上述图像样本的分类结果的分类标签；目标图像处理为将第一风格的图像转换为第二风格的图像的风格转换处理时，目标图像处理关联的图像样本集中可以包括第一风格的第一图像样本以及与第一图像样本对应的第二风格的第二图像样本；目标图像处理为目标识别处理时，目标图像处理关联的图像样本集中可以包括图像样本和表征上述图像样本中的目标的识别结果的信息；目标图像处理为图像格式转换处理时，目标图像处理关联的图像样本集中可以包括以第一存储格式存储的第三图像样本以及内容与第三图像样本一致的以第二存储格式存储的第四图像样本等；上述各个目标图像处理关联的各个图像样本集为示例性介绍，本领域的技术人员也可以基于实际的图像处理的业务需求或上述目标图像处理的具体处理方式，灵活地设置上述与目标图像处理关联的图像样本集。
在一种可能的应用场景中，本申请实施例中可以采用云存储技术保存上述与目标图像处理关联的图像样本集；其中云存储(Cloud Storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。
在一种可能的应用场景中，为了便于降低通信时延，可以在各个地区部署服务器120，或为了负载均衡，可以由不同的服务器120分别去服务各个终端设备110对应的地区。多个服务器120以通过区块链实现数据的共享，多个服务器120相当于多个服务器120组成的数据共享系统。例如终端设备110位于地点a，与服务器120之间进行通信连接，终端设备110位于地点b，与其他服务器120之间通信连接。其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
对于数据共享系统中的每个服务器120，均具有与该服务器120对应的节点标识，数据共享系统中的每个服务器120均可以存储有数据共享系统中其他服务器120的节点标识，以便后续根据其他服务器120的节点标识，将生成的区块广播至数据共享系统中的其他服务器120。
每个服务器120中可维护一个如下表所示的节点标识列表，将服务器120名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为互联网协议(InternetProtocol，IP)地址以及其他任一种能够用于标识该节点的信息，表1中仅以IP地址为例进行说明。
表1
| 服务器名称 | 节点标识 |
| 节点1 | 119.115.151.174 |
| 节点2 | 118.116.189.145 |
| … | … |
| 节点N | 119.124.789.258 |
下面主对本申请实施例中的图像处理方法及图像处理模型的训练方法进行详细介绍。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。
请参见图2，为本申请实施例提供的一种图像处理的实施流程图，该方法的具体实施流程如下：
步骤S201，将目标图像处理关联的图像样本集划分为多个样本子集。
作为一种实施例，本申请实施例中将图像样本集划分为多个样本子集，以便在步骤S202中的多轮迭代训练中，选取不同的样本子集对待训练的图像处理模型进行训练，以使得待训练的图像处理模型减弱对不同样本子集中的特征的过拟合程度；具体地，为了进一步提升待训练的图像处理模型减弱对不同样本子集中图像的特征的过拟合程度的能力，本申请实施例中可以随机将图像样本集划分为多个样本子集，也可以基于目标图像处理的业务需求将图像样本集划分为多个样本子集，还可以基于图像样本集中图像样本的数据类型、时间信息或不同图像样本的特征的相似度，将图像样本集划分为多个样本子集；其中对划分的样本子集的子集数量不做限定，对每个样本子集中的图像样本的样本数量也不做限定，不同样本子集的样本数量可以相同或不同，本领域的技术人员可根据实际需求设置。
步骤S202，基于上述多个样本子集，对待训练的图像处理模型进行多轮迭代训练，将最后一轮迭代训练输出的图像处理模型确定为目标图像处理模型；其中，在一轮迭代训练中，执行以下操作：将当前获得的图像处理模型确定为更新前的图像处理模型，对上述更新前的图像处理模型进行初始化，获得中间图像处理模型；获取一个样本子集，对上述中间图像处理模型进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型，确定为上述一轮迭代训练输出的图像处理模型；其中，在一次迭代更新中，将上述一个样本子集分别输入上述更新前的图像处理模型和上述中间图像处理模型，基于获得的第一图像特征和第二图像特征的偏差信息确定目标损失值，基于上述目标损失值对上述中间图像处理模型进行参数调整；上述偏差信息表征上述图像处理模型针对上述一个样本子集的过拟合特征。
作为一种实施例，本申请实施例中对上述更新前的图像处理模型进行的初始化的操作，可以但不局限于是复制更新前的图像处理模型的操作，也可以是基于目标图像样本对更新前的图像处理模型进行参数调整的操作，还可以是对更新前的图像处理模型的一些模型参数的权重进行Y阶的权重衰减处理；其中上述Y为正整数，Y的值可以但不局限于是1或2等；上述目标图像样本可以是从目标图像处理关联的图像样本集中或从至少一个样本子集中选取的部分图像样本，也可以是上述多个样本子集中一个或至少两个样本子集中的图像样本，上述目标图像样本还可以是对从图像样本集或样本子集中选取出的图像样本进行预设图像变换处理后的图像样本；上述预设图像变换处理可以但不局限于包括对图像样本进行扩充处理、平移处理、旋转处理，或调节图像样本(即图像)的亮度的处理、调整图像样本的对比度的处理中的至少一种处理。
作为一种实施例，为了提升得到的目标图像处理模型对图像进行目标图像处理的准确度，本申请实施例中若上述一轮迭代训练为上述多轮迭代训练中的初次迭代训练，则上述当前获得的图像处理模型是上述待训练的图像处理模型，若上述一轮迭代训练为非初次迭代训练，则上述当前获得的图像处理模型是上述一轮迭代训练的上一轮迭代训练输出的图像处理模型，上述非初次迭代训练为上述多轮迭代训练中除上述初次迭代训练的迭代训练；为便于理解，此处给出一种上述多轮迭代训练的示意图，请参见图3，图中记第i轮迭代训练中的中间图像处理模型为Mi，记多次迭代训练的迭代次数为K，其中K为正整数，i为小于或等于K的正整数；在初次迭代训练中，当前获得的图像处理模型为待训练的图像处理模型M0，进而对待训练的图像处理模型M0进行初始化，得到初始迭代训练中的中间图像处理模型M1；从图中可以看出，在初次迭代训练中输出的图像处理模型为训练后的中间图像处理模型M1，在第i轮迭代训练(非初次迭代训练)中输出的图像处理模型为Mi，最后基于第K次迭代训练输出的训练后的中间图像处理模型MK，获得目标图像处理模型。
作为一种实施例，为了进一步提升目标图像处理模型的准确度，在基于训练后的中间图像处理模型MK获得目标图像处理模型的过程中，还可以将当前获得的训练后的中间图像处理模型MK作为新的待训练的图像处理模型M0，重新执行上述步骤S202中的操作，直至满足目标图像处理模型的第一训练结束条件后，将当前得到的训练后的中间图像处理模型MK确定为目标图像处理模型；上述第一训练结束条件可以是训练时长达到第一时长阈值，也可以是获得训练后的中间图像处理模型MK的次数达到第一次数阈值，还可以是目标图像处理模型进行图像处理的准确度达到第一准确度阈值等，本领域的技术人员可根据实际需求设置上述第一训练结束条件。
作为一种实施例，在上述多轮迭代训练中的每一轮迭代训练中，可以随机选取一个样本子集训练图像处理模型，也可以在每一轮迭代训练中都使用与其他轮迭代训练不同的一个样本子集去训练图像处理模型，即本申请实施例中，在上述一轮迭代训练中获取的一个样本子集可以是上述多个样本子集中随机获取的一个样本子集；在上述一轮迭代训练中获取的一个样本子集也可以是上述多个样本子集中，在上述一轮迭代训练之前未被获取的样本子集；如此本申请实施例中在不同轮迭代训练中通过不同的样本子集训练中间图像处理模型，使得不同轮迭代训练中输出的图像处理模型能够降低对不同样本子集中不同过拟合特征(即图像样本的特征中被图像处理模型过度学习的特征)的过拟合程度；如将图像样本集划分成10个样本子集，则可以进行不超过10轮的迭代训练，在每一轮的迭代训练中，都从10个样本子集中选用不同的样本子集，对对应的中间图像处理模型进行训练，获得不同轮出书的图像处理模型等。
作为一种实施例，本申请实施例中提供几种步骤S201中划分样本子集的方式，本申请实施例中可以但不局限于基于如下任意一种子集划分方式或任意多种子集划分方式的组合，将与目标图像处理关联的图像样本集划分为多个样本子集：
第一种子集划分方式：随机划分
可以但不局限于设置样本子集的数量，将图像样本集中的图像样本划分为多个样本子集，其中各个样本子集中的图像样本的数量可以相同也可以不同。
按照这种方式划分出的各个样本子集中的图像样本都是随机确定的，因此在步骤S202的多轮迭代训练的每一轮迭代训练中，都可以学习到随机划分到一个样本子集中的各个图像样本的特征，使得每一轮迭代训练过程中输出的图像处理模型都能在一定程度上减少对过拟合特征的过拟合程度。
第二种子集划分方式：基于数据类型划分
具体地，可以按照图像样本的数据类型，将上述图像样本集中的图像样本划分为不同数据类型的样本子集，如目标图像处理为图像分类处理时，可以按照图像样本的颜色，将图像样本集中的图像样本划分为不同的样本子集，如可以将图像样本中的彩色图像划分为一个样本子集，将样本图像中的黑白图像划分为一个样本子集等。
按照这种方式划分出的各个样本子集中的图像样本的数据类型都不同，且一个样本子集中的图像样本的数据类型都是一致的，因此在步骤S202的多轮迭代训练的一轮迭代训练中，可以针对性的学习某一数据类型的图像样本的特征，使得一轮迭代训练过程中输出的图像处理模型尽可能能减少对这类数据类型的图像样本的特征的过拟合程度；同时在不同轮迭代过程中使用不同的样本子集进行训练，可以学习不同数据类型的图像样本的特征，使得多轮迭代训练过程中最终得到的目标图像处理模型，减少对不同数据类型的图像样本的特征的过拟合程度。
第三种子集划分方式：基于时间信息划分
具体地，可以基于图像样本关联的时间信息，将上述图像样本集中的图像样本划分为多个不同时间段的样本子集；其中上述时间信息可以但不局限于是图像样本的采集时间(即拍摄时间)或接收时间等，本领域的技术人员可根据实际需求设置。
对上述时间段不做限定，本领域的技术人员可根据实际需求设置，其中不同的时间段中的时间长度可以相同，也可以不同，如可以将一年的12月中的每个月设置成一个时间段，也可以将每天的0.01-8:00、8:01-12:00、12:01-16:00、16：01-20:00、20:01-24:00各设置为一个时间段等。
按照这种方式划分出的各个样本子集中的图像样本关联时间信息归属的时间段都不同，且一个样本子集中的图像样本关联的时间信息都归属于时间段，因此在步骤S202的多轮迭代训练的一轮迭代训练中，可以针对性的学习某一个时间段的图像样本的特征，使得一轮迭代训练过程中输出的图像处理模型能降低对这个时间段的图像样本的特征的过拟合程度；同时在不同轮迭代过程中使用不同的样本子集进行训练，可以学习不同时间段的图像样本的特征，使得多轮迭代训练过程中最终得到的目标图像处理模型，减少对不同时间段的图像样本的特征的过拟合程度。
第四种子集划分方式：基于图像特征的相似度
具体地，可以基于图像样本中图像特征的相似度，对上述图像样本集中的图像样本进行聚类，根据聚类结果将上述图像样本集中的图像样本划分为不同类别簇的样本子集，如将每个聚类簇中的图像样本划分为一个样本子集等；对上述进行聚类的具体方式不做限定，本领域的技术人员可根据实际需求设置，如可以但不局限于通过K-Means、MeanShift、层次聚类算法、SciPy等聚类方式，对图像样本集中的图像样本进行聚类。
上述方法中基于图像特征的相似度划分样本子集，则划分出的一个样本子集中图像样本的特征趋于一致，因此在步骤S202的多轮迭代训练的一轮迭代训练中，可以针对性的学习图像样本某一类特征，使得一轮迭代训练过程中输出的图像处理模型能降低对这类特征的过拟合程度；同时在不同轮迭代过程中使用不同的样本子集进行训练，可以学习图像样本的不同类特征，使得多轮迭代训练过程中最终得到的目标图像处理模型，减少对图像样本的不同类特征的过拟合程度。
作为一种实施例，在步骤S202之前，还可以但不局限于基于机器学习的方式获取待训练的图像处理模M0，请参见图4，获取待训练的图像处理模M0的过程具体包括如下步骤：
步骤S401，基于机器学习的方法，创建初始的图像处理模型。
作为一种实施例，可以但不局限于构建一个基础的神经网络模型为初始的图像处理模型；该初始的图像处理模型可以是有监督的神经网络模型(如可以但不局限于是CNN、RNN或DNN等)，该初始的图像处理模型也可以是无监督的神经网络模型(如可以但不局限于包括深度生成模型、深度信念网络或生成式对抗网络等)。
步骤S402，从将与目标图像处理关联的图像样本集划分的多个样本子集中，选取一个样本子集。
作为一种实施例，对从多个样本子集中选取一个样本子集的方式不做过多限定，本领域的技术人员可根据实际需求设置，如随机从多个样本子集中选取一个样本子集，或者选取多个样本子集中图像样本的数量最多的样本子集等。
步骤S403，基于选取的一个样本子集，对上述初始的图像处理模型进行多次迭代更新，得到待训练的图像处理模型M0；其中，在一次迭代更新中，将上述选取的一个样本子集输入到上述初始的图像处理模型，得到目标图像特征；基于上述选取的一个样本子集对应的图像特征样本和上述目标图像特征的差异，对上述初始的图像处理模型进行参数调整。
作为一种实施例，为了进一步得到的待训练的图像处理模型M0对图像进行目标图像处理的准确度，本申请实施例中，在对上述初始的图像处理模型进行多次迭代更新的过程中，可以在满足待训练的图像处理模型M0的第二训练结束条件后，将当前得到的初始的图像处理模型确定为待训练的图像处理模型M0；上述第二训练结束条件可以是训练时长达到第二时长阈值，也可以是对初始的图像处理模型进行参数调整的次数达到第二次数阈值，还可以是调整后的初始的图像处理模型对图像进行目标图像处理的准确度达到第二准确度阈值等，本领域的技术人员可根据实际需求设置上述第二训练结束条件。
作为一种实施例，以下对上述步骤S202中多轮迭代训练的一轮迭代训练进行详细说明，请参见图5，上述一轮迭代训练的过程具体包括如下步骤：
步骤S501，获得该轮迭代更新的图像处理模型Mi-1，将当前获得的图像处理模型Mi-1确定为更新前的图像处理模型，其中i为该轮迭代训练的标识信息。
具体地，若该轮迭代训练为上述多轮迭代训练中的初次迭代训练，则获取待训练的图像处理模型M0；若该轮迭代训练为非初次迭代训练，则获取上述一轮迭代训练的上一轮迭代训练输出的图像处理模型。
步骤S502，对更新前的图像处理模型Mi-1进行初始化，获得中间图像处理模型Mi。
本示例中可以直接对更新前的图像处理模型进行复制，得到中间处理模型，也可以基于上述目标图像样本对更新前的图像处理模型进行参数调整，得到中间图像处理模型，本示例中以将更新前的图像处理模型进行复制，得到中间处理模型为例进行说明。
步骤S503，从将与目标图像处理关联的图像样本集进行划分得到的多个样本子集中，获取一个样本子集。
具体地，可以随机选取一个样本子集，也可以从该轮迭代更新之前未被获取的样本子集中，选取一个样本子集。
步骤S504，对上述中间图像处理模型Mi进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型Mi，确定为该轮迭代训练输出的图像处理模型；其中，在一次迭代更新中包括如下步骤S5041至S5044：
步骤S5041，将上述一个样本子集输入上述更新前的图像处理模型Mi-1获得第一图像特征，以及将上述一个样本子集输入上述中间图像处理模型Mi获得第二图像特征。
步骤S5042，确定获得的第一图像特征和第二图像特征的偏差信息，上述偏差信息表征上述中间图像处理模型Mi针对上述一个样本子集的过拟合特征。
作为一种实施例，本申请实施例中可以首先确定第一图像特征的特征参考值和第二图像特征的特征参考值的差值，进而利用上述差值关联的图像掩膜，对上述第二图像特征进行处理，得到上述偏差信息。
进一步地，为了提升获取的偏差信息的准确度，在步骤S5041和S5042中，将一个样本子集输入上述更新前的图像处理模型和上述中间图像处理模型后，可以获取样本子集中各个图像样本的第一图像特征和第二图像特征，获得各个图像样本的第一图像特征和第二图像特征的样本偏差信息，进而将各个图像样本的样本偏差信息进行整合，获得上述偏差信息(即中间图像处理模型Mi针对上述一个样本子集的总体图样本的过拟合特征)；具体地，请参见图6，首先可以基于公式(1)，获取i各个图像样本的目标图像掩膜mask，进而基于公式(2)中的||Fi×mask||获得各个图像样本的样本偏差信息，最后基于公式(2)，将各个样本的样本偏差信息进行求和，得到上述偏差信息；其中目标图像掩膜为各个图像样本的一图像特征的特征参考值和第二图像特征的特征参考值的差值，关联的图像掩膜。
可以但不局限于基于如下公式(1)和(2)的原理，获得上述偏差信息：
mask＝(|Fi-1|-|Fi|)×Fi 公式(1)
Lr＝∑||Fi×mask|| 公式(2)
公式(1)和(2)中，Lr为偏差信息，mask为上述图像掩膜，|Fi-1|为一个样本子集中一个图像样本的第一图像特征的特征参考值，|Fi|为上述一个图像样本的第二图像特征的特征参考值。
步骤S5043，基于获得的偏差信息，确定目标损失值。
作为一种实施例，本申请实施例中可以直接将上述偏差信息的值，确定为目标损失值；也可以基于上述偏差信息，结合基于损失函数关联的样本预测损失值，确定上述目标损失值；其中上述损失函数关联的样本预测损失值可以但不局限于是基于正在训练的中间图像处理模型的损失函数，计算出的正在训练的中间图像处理模型对测试样本进行目标图像处理的误差值。
作为一种实施例，可以基于下述公式(3)示意出的原理，将上述偏差信息和上述样本预测损失值的和，确定为上述目标损失值；也可以基于下述公式(4)的原理，将上述偏差信息和上述样本预测损失值进行加权求和的结果，确定为上述目标损失值。
L目标＝Lr+L0 公式(3)
L目标＝Lr×k1+L0×k2 公式(4)
公式(3)和(4)中，L目标为上述目标损失值，Lr为上述偏差信息，L0为上述样本预测损失值，k1为偏差信息的权重，k2为样本预测损失值的权重。
步骤S5044，基于上述目标损失值对上述中间图像处理模型Mi进行参数调整。
作为一种实施例，本申请实施例中可以朝着使目标损失值变小的方向，对中间图像处理模型的模型参数进行随机调整或梯度下降调整等，以使得调整后的中间图像处理模型降低对样本子集的过拟合特征的过拟合程度。
作为一种实施例，本申请实施例中在通过上述步骤S201-S202获得的目标图像处理模型，对待处理图像进行目标图像处理；具体地，可以但不局限于将上述待处理图像输入上述目标图像处理模型，通过目标图像处理模型对待处理图像进行目标图像处理，并获取目标图像处理模型输出的图像处理结果。
本申请实施例的以下内容提供一个图像处理的具体示例，该示例中目标图像处理为图像分类处理，该示例中主要包括用于图像分类处理的目标图像处理模型的训练过程，以及通过目标图像处理模型对待处理图像进行图像分类的过程。
请参见图7，提供一种获取目标图像处理模型的过程的原理示意图，该过程中将与目标图像分类关联的图像样本集划分成K个样本子集(将图像样本集划分为K个样本子集的具体方式可参见上述内容，此处不再重复叙述)，进而获取待训练的图像处理模型，通过不同的样本子集对待训练的图像处理模型进行多轮迭代训练过程，以得到目标图像处理模型，请参见图8，获得目标图像处理模型的过程如下：
步骤S801，基于机器学习的方法，创建初始的图像处理模型M00。
该初始的图像处理模型M00可以是CNN、RNN、DNN、深度生成模型、深度信念网络或生成式对抗网络等中的任意一种神经网络模型。
步骤S802，基于从K个样本子集中选取的一个样本子集，对初始的图像处理模型M00进行多次迭代更新，得到待训练的图像处理模型M0。
具体获得待训练的图像处理模型M0的方式可参见上述步骤S401至步骤S403的内容，此处不再重复叙述。
步骤S803，基于上述K个样本子集，对待训练的图像处理模型进行K-1轮迭代训练，获得第K-1轮输出的图像处理模型MK-1。
具体地，可以基于上述K个样本子集中除步骤S802选取的一个样本子集之外的样本子集，进行K-1轮迭代训练，每轮迭代训练中可以选用不同的样本子集进行Z次迭代更新，Z为正整数；其中每轮迭代训练的具体过程可参见上述步骤S501至步骤S5044的内容，此处不再重复叙述。
步骤S804，判断是否满足上述第一训练结束条件，若满足，则进入步骤S805，否则，进入步骤S806。
请继续参见图7，本示例中可以将当前获得训练后的中间图像处理模型MK-1的次数达到第一次数阈值，作为上述第一训练结束条件。
步骤S805，将当前得到的第K-1轮迭代训练输出的图像处理模型MK-1，确定为目标图像处理模型。
步骤S806，将当前得到的第K-1轮迭代训练输出的图像处理模型MK-1，确定为新的待训练的图像处理模型M0，并进入步骤S803。
本示例中在通过上述步骤S801至步骤S806获得目标图像处理模型之后，即可使用获得的图像处理模型对待处理图像进行图像分类。
本申请实施例中对图像处理模型进行多轮迭代训练，其中每轮迭代训练中都多次基于表征图像处理模型针对样本子集的过拟合特征的偏差信息，对中间图像处理模型进行了调整，以减少每一轮迭代训练中得到的中间图像处理模型出现过拟合现象的风险，降低了各个中间图像处理模型对过拟合特征的过拟合程度，降低了最终得到的目标图像处理模型对过拟合特征的过拟合程度，因此提升了目标图像处理模型对待处理图像进行目标图像处理的准确度。
请参照图9，基于同一发明构思，本申请实施例提供一种图像处理装置900，包括：
数据获取单元901，用于将目标图像处理关联的图像样本集划分为多个样本子集；
模型训练单元902，用于基于上述多个样本子集，对待训练的图像处理模型进行多轮迭代训练，将最后一轮迭代训练输出的图像处理模型确定为目标图像处理模型，目标图像处理模型用于对待处理图像进行目标图像处理；其中，在一轮迭代训练中，执行以下操作：将当前获得的图像处理模型确定为更新前的图像处理模型，对上述更新前的图像处理模型进行初始化，获得中间图像处理模型；获取一个样本子集，对上述中间图像处理模型进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型，确定为上述一轮迭代训练输出的图像处理模型；其中，在一次迭代更新中，将上述一个样本子集分别输入上述更新前的图像处理模型和上述中间图像处理模型，基于获得的第一图像特征和第二图像特征的偏差信息确定目标损失值，基于上述目标损失值对上述中间图像处理模型进行参数调整；上述偏差信息表征上述图像处理模型针对上述一个样本子集的过拟合特征。
作为一种实施例，图像处理装置900还可以包括图像处理单元，图像处理单元用于基于上述目标图像处理模型对待处理图像进行目标图像处理。
作为一种实施例，上述数据获取单元901具体用于：按照图像样本的数据类型，将上述图像样本集中的图像样本划分为不同数据类型的样本子集。
作为一种实施例，上述数据获取单元901具体用于：按照图像样本关联的时间信息，将上述图像样本集中的图像样本划分为多个不同时间段的样本子集。
作为一种实施例，上述数据获取单元901具体用于：基于图像样本中图像特征的相似度，对上述图像样本集中的图像样本进行聚类，根据聚类结果将上述图像样本集中的图像样本划分为不同类别簇的样本子集。
作为一种实施例，上述模型训练单元902还用于：
基于上述多个样本子集，对待训练的图像处理模型进行多轮迭代训练之前，创建初始的图像处理模型，以及从上述多个样本子集中选取一个样本子集；
基于选取的一个样本子集，对上述初始的图像处理模型进行多次迭代更新，得到待训练的图像处理模型；其中，在一次迭代更新中，将上述选取的一个样本子集输入到上述初始的图像处理模型，得到目标图像特征；基于上述选取的一个样本子集对应的图像特征样本和上述目标图像特征的差异，对上述初始的图像处理模型进行参数调整。
作为一种实施例，上述模型训练单元902具体用于：
获取上述第一图像特征和上述第二图像特征的偏差信息；
基于上述偏差信息，结合基于损失函数关联的样本预测损失值，确定上述目标损失值。
作为一种实施例，上述模型训练单元902具体用于：
确定上述第一图像特征的特征参考值和上述第二图像特征的特征参考值的差值；
利用上述差值关联的图像掩膜，对上述第二图像特征进行处理，得到上述偏差信息。
作为一种实施例，上述模型训练单元902具体用于：
将上述偏差信息和上述样本预测损失值的和，确定为上述目标损失值；或
将上述偏差信息和上述样本预测损失值进行加权求和的结果，确定为上述目标损失值。
作为一种实施例，若上述一轮迭代训练为上述多轮迭代训练中的初次迭代训练，则上述当前获得的图像处理模型是上述待训练的图像处理模型；
若上述一轮迭代训练为非初次迭代训练，则上述当前获得的图像处理模型是上述一轮迭代训练的上一轮迭代训练输出的图像处理模型，上述非初次迭代训练为上述多轮迭代训练中除上述初次迭代训练的迭代训练。
作为一种实施例，上述一个样本子集是上述多个样本子集中，当前未被获取的样本子集。
作为一种实施例，图9中的装置可以用于实现前文论述的任意一种图像处理方法。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的内容推荐控制方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备，该电子设备可以用于图像处理；在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120；在该实施例中，电子设备的结构可以如图10所示，包括存储器1001，通讯模块1003以及一个或多个处理器1002。
存储器1001，用于存储处理器1002执行的计算机程序。存储器1001可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1001可以是易失性存储器(Volatile Memory)，例如随机存取存储器(Random-Access Memory，RAM)；存储器1001也可以是非易失性存储器(Non-VolatileMemory)，例如只读存储器，快闪存储器(Flash Memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者存储器1001是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1001可以是上述存储器的组合。
处理器1002，可以包括一个或多个中央处理单元(Central Processing Unit，CPU)或者为数字处理单元等等。处理器1002，用于调用存储器1001中存储的计算机程序时实现上述内容推荐控制方法。
通讯模块1003用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1001、通讯模块1003和处理器1002之间的具体连接介质。本公开实施例在图10中以存储器1001和处理器1002之间通过总线1004连接，总线1004在图10中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1004可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1001中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的内容推荐控制方法。处理器1002用于执行上述的图像处理方法。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。或者，本申请实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请实施例各个实施例上述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和更改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和更改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些更改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
将目标图像处理关联的图像样本集划分为多个样本子集；
基于所述多个样本子集，对待训练的图像处理模型进行多轮迭代训练，将最后一轮迭代训练输出的图像处理模型确定为目标图像处理模型，所述目标图像处理模型用于对待处理图像进行所述目标图像处理；其中，在一轮迭代训练中，执行以下操作：
将当前获得的图像处理模型确定为更新前的图像处理模型，对所述更新前的图像处理模型进行初始化，获得中间图像处理模型；
获取一个样本子集，对所述中间图像处理模型进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型，确定为所述一轮迭代训练输出的图像处理模型；其中，在一次迭代更新中，将所述一个样本子集分别输入所述更新前的图像处理模型和所述中间图像处理模型，基于获得的第一图像特征和第二图像特征的偏差信息确定目标损失值，基于所述目标损失值对所述中间图像处理模型进行参数调整；所述偏差信息是利用所述第一图像特征的特征参考值和所述第二图像特征的特征参考值的差值关联的图像掩膜，对所述第二图像特征进行处理得到的，用于表征所述图像处理模型针对所述一个样本子集的过拟合特征。
2.如权利要求1所述的方法，其特征在于，所述将目标图像处理关联的图像样本集划分为多个样本子集，包括：
按照图像样本的数据类型，将所述图像样本集中的图像样本划分为不同数据类型的样本子集。
3.如权利要求1所述的方法，其特征在于，所述将目标图像处理关联的图像样本集划分为多个样本子集，包括：
按照图像样本关联的时间信息，将所述图像样本集中的图像样本划分为多个不同时间段的样本子集。
4.如权利要求1所述的方法，其特征在于，所述基于所述多个样本子集，对待训练的图像处理模型进行多轮迭代训练之前，还包括：
创建初始的图像处理模型，以及从所述多个样本子集中选取一个样本子集；
基于选取的一个样本子集，对所述初始的图像处理模型进行多次迭代更新，得到待训练的图像处理模型；其中，在一次迭代更新中，将所述选取的一个样本子集输入到所述初始的图像处理模型，得到目标图像特征；基于所述选取的一个样本子集对应的图像特征样本和所述目标图像特征的差异，对所述初始的图像处理模型进行参数调整。
5.如权利要求1所述的方法，其特征在于，所述基于获得的第一图像特征和第二图像特征的偏差信息确定目标损失值，包括：
获取所述第一图像特征和所述第二图像特征的偏差信息；
基于所述偏差信息，结合基于损失函数关联的样本预测损失值，确定所述目标损失值。
6.如权利要求5所述的方法，其特征在于，所述基于所述偏差信息，结合基于损失函数关联的样本损失值，确定所述目标损失值，包括：
将所述偏差信息和所述样本预测损失值的和，确定为所述目标损失值；或
将所述偏差信息和所述样本预测损失值进行加权求和的结果，确定为所述目标损失值。
7.如权利要求1-6任一项所述的方法，其特征在于，所述一个样本子集是所述多个样本子集中，当前未被获取的样本子集。
8.一种图像处理装置，其特征在于，包括：
数据获取单元，用于将目标图像处理关联的图像样本集划分为多个样本子集；
模型训练单元，用于基于所述多个样本子集，对待训练的图像处理模型进行多轮迭代训练，将最后一轮迭代训练输出的图像处理模型确定为目标图像处理模型，所述目标图像处理模型用于对待处理图像进行所述目标图像处理；其中，在一轮迭代训练中，执行以下操作：将当前获得的图像处理模型确定为更新前的图像处理模型，对所述更新前的图像处理模型进行初始化，获得中间图像处理模型；获取一个样本子集，对所述中间图像处理模型进行多次迭代更新，将最后一次迭代更新得到的中间图像处理模型，确定为所述一轮迭代训练输出的图像处理模型；其中，在一次迭代更新中，将所述一个样本子集分别输入所述更新前的图像处理模型和所述中间图像处理模型，基于获得的第一图像特征和第二图像特征的偏差信息确定目标损失值，基于所述目标损失值对所述中间图像处理模型进行参数调整；所述偏差信息是利用所述第一图像特征的特征参考值和所述第二图像特征的特征参考值的差值关联的图像掩膜，对所述第二图像特征进行处理得到的，用于表征所述图像处理模型针对所述一个样本子集的过拟合特征。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011545325.XA CN113537269B (zh) | 2020-12-24 | 2020-12-24 | 图像处理方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011545325.XA CN113537269B (zh) | 2020-12-24 | 2020-12-24 | 图像处理方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113537269A CN113537269A (zh) | 2021-10-22 |
| CN113537269B true CN113537269B (zh) | 2024-10-25 |
Family
ID=78124223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011545325.XA Active CN113537269B (zh) | 2020-12-24 | 2020-12-24 | 图像处理方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537269B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133230A (zh) * | 2017-12-14 | 2018-06-08 | 西北工业大学 | 一种面向目标人物距离量度学习的人物再识别方法 |
| CN109033938A (zh) * | 2018-06-01 | 2018-12-18 | 上海阅面网络科技有限公司 | 一种基于可区分性特征融合的人脸识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523526B (zh) * | 2018-11-08 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 组织结节检测及其模型训练方法、装置、设备和系统 |
| CN111310827A (zh) * | 2020-02-14 | 2020-06-19 | 北京工业大学 | 一种基于双阶段卷积模型的目标区域检测方法 |
-
2020
- 2020-12-24 CN CN202011545325.XA patent/CN113537269B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133230A (zh) * | 2017-12-14 | 2018-06-08 | 西北工业大学 | 一种面向目标人物距离量度学习的人物再识别方法 |
| CN109033938A (zh) * | 2018-06-01 | 2018-12-18 | 上海阅面网络科技有限公司 | 一种基于可区分性特征融合的人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113537269A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210256403A1 (en) | Recommendation method and apparatus | |
| CN113366494B (zh) | 用于少样本无监督图像到图像转换的方法 | |
| CN111651671B (zh) | 用户对象推荐方法、装置、计算机设备和存储介质 | |
| CN111667022A (zh) | 用户数据处理方法、装置、计算机设备和存储介质 | |
| US20190228297A1 (en) | Artificial Intelligence Modelling Engine | |
| CN114329029B (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
| CN116964602A (zh) | 使用机器学习推荐匹配 | |
| CN113609337A (zh) | 图神经网络的预训练方法、训练方法、装置、设备及介质 | |
| CN113761220A (zh) | 信息获取方法、装置、设备及存储介质 | |
| CN111897943A (zh) | 会话记录搜索方法、装置、电子设备及存储介质 | |
| CN116992151A (zh) | 一种基于双塔图卷积神经网络的在线课程推荐方法 | |
| CN114693993B (zh) | 一种图像处理和图像分类方法、装置、设备及存储介质 | |
| Santacruz et al. | Learning the sub-optimal graph edit distance edit costs based on an embedded model | |
| CN111091198B (zh) | 一种数据处理方法及装置 | |
| CN113537269B (zh) | 图像处理方法、装置及设备 | |
| KR102597184B1 (ko) | 가지치기 기반 심층 신경망 경량화에 특화된 지식 증류 방법 및 시스템 | |
| CN117520495A (zh) | 基于路径遍历的问题回复方法、装置和计算机设备 | |
| CN113779396B (zh) | 题目推荐方法和装置、电子设备、存储介质 | |
| US20230018525A1 (en) | Artificial Intelligence (AI) Framework to Identify Object-Relational Mapping Issues in Real-Time | |
| CN117010480A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 | |
| CN114548382A (zh) | 迁移训练方法、装置、设备、存储介质及程序产品 | |
| CN115700550A (zh) | 标签分类模型训练和对象筛选方法、设备及存储介质 | |
| CN113239077A (zh) | 一种基于神经网络的搜索方法、系统和计算机可读存储介质 | |
| CN113378993B (zh) | 基于人工智能的分类方法、装置、设备及存储介质 | |
| US11829735B2 (en) | Artificial intelligence (AI) framework to identify object-relational mapping issues in real-time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |