Nothing Special   »   [go: up one dir, main page]

CN108629743B - 图像的处理方法、装置、存储介质和电子装置 - Google Patents

图像的处理方法、装置、存储介质和电子装置 Download PDF

Info

Publication number
CN108629743B
CN108629743B CN201810301685.1A CN201810301685A CN108629743B CN 108629743 B CN108629743 B CN 108629743B CN 201810301685 A CN201810301685 A CN 201810301685A CN 108629743 B CN108629743 B CN 108629743B
Authority
CN
China
Prior art keywords
image
model
network
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810301685.1A
Other languages
English (en)
Other versions
CN108629743A (zh
Inventor
陶鑫
高宏运
沈小勇
戴宇榮
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810301685.1A priority Critical patent/CN108629743B/zh
Publication of CN108629743A publication Critical patent/CN108629743A/zh
Priority to PCT/CN2019/079332 priority patent/WO2019192338A1/zh
Priority to EP19782211.7A priority patent/EP3754591A4/en
Priority to US16/934,823 priority patent/US11354785B2/en
Application granted granted Critical
Publication of CN108629743B publication Critical patent/CN108629743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像的处理方法、装置、存储介质和电子装置。其中，该方法包括：获取图像处理指令，其中，所述图像处理指令用于指示对目标模糊图像进行去模糊处理；获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，所述样本图像为合成图像，所述合成图像为对多张清晰图像进行合成处理得到的模糊图像，所述目标模型用于对模糊图像进行去模糊处理以得到清晰图像；响应所述图像处理指令采用目标模型对所述目标模糊图像进行去模糊处理，以得到目标清晰图像；输出所述目标清晰图像。本发明解决了无法对模糊图像进行去模糊的技术问题。

Description

图像的处理方法、装置、存储介质和电子装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像的处理方法、装置、存储介质和电子装置。
背景技术
图像模糊在日常拍照中是一种很常见的问题，尤其是在动态场景或者光线较暗的环境中。图像的去模糊是一种必备并且重要的图像处理操作，恢复由于模糊而损失的细节信息。传统单帧图像去模糊方法是假设固定卷积核模型，通过不断迭代卷积核估计和图像反卷积两种操作来逐步优化去模糊效果。基于神经网络的图像去模糊方法大多是采用图像卷积模型用模糊核生成模糊图像来训练神经网络。
无论是传统迭代方法还是神经网络方法，都对模糊图像有着严格的卷积模型假设。其基本的解法是通过不断迭代卷积核估计和图像反卷积两种操作来逐步优化去模糊效果。不同的方法基于对自然图像不同的先验假设提出了特定优化方程，真实的模糊图像场景十分复杂，包括相机的运动和场景中物体的运动，理论上的先验假设很少满足，导致大部分去模糊方法在真实情况下的无法达到去模糊的效果，可靠性比较差。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的处理方法、装置、存储介质和电子装置，以至少解决无法对模糊图像进行去模糊的技术问题。
根据本发明实施例的一个方面，提供了一种图像的处理方法，包括：获取图像处理指令，其中，所述图像处理指令用于指示对目标模糊图像进行去模糊处理；获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，所述样本图像为合成图像，所述合成图像为对多张清晰图像进行合成处理得到的模糊图像，所述目标模型用于对模糊图像进行去模糊处理以得到清晰图像；响应所述图像处理指令采用目标模型对所述目标模糊图像进行去模糊处理，以得到目标清晰图像；输出所述目标清晰图像。
根据本发明实施例的另一方面，还提供了一种图像的处理装置，包括：第一获取单元，用于获取图像处理指令，其中，所述图像处理指令用于指示对目标模糊图像进行去模糊处理；第二获取单元，用于获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，所述样本图像为合成图像，所述合成图像为对多张清晰图像进行合成处理得到的模糊图像，所述目标模型用于对模糊图像进行去模糊处理以得到清晰图像；响应单元，用于响应所述图像处理指令采用目标模型对所述目标模糊图像进行去模糊处理，以得到目标清晰图像；输出单元，用于输出所述目标清晰图像。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行上述的方法。
在本发明实施例中，由于用于训练目标模型的样本图像是根据真实拍摄的图像合成的，可以表示真实场景下模糊照片的特征，利用这些样本图像对原始模型进行训练得到的目标模型，可以对模糊图像进行去模糊处理，得到清晰的图像。相比利用卷积核等计算方式来生成模糊图像的方式，避免了生成模糊图像过程中先验假设与真实情况的差距，也就避免了相关技术中生成的模糊图像训练出的目标模型无法实现去模糊的技术问题，达到了对模糊图像进行去模糊得到清晰图像的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种硬件环境的示意图；
图2是根据本发明实施例的图像的处理方法的流程图；
图3是根据本发明实施例的第一种模糊图像的示意图；
图4是根据本发明实施例的对第一种模糊图像去模糊后得到的清晰图像的示意图；
图5是根据本发明实施例的原始模型的示意图；
图6是根据本发明实施例的残差单元的示意图；
图7是根据本发明实施例的第二种模糊图像的示意图；
图8是根据本发明实施例的对第二种模糊图像去模糊后得到的清晰图像的示意图；
图9是根据本发明实施例的第三种模糊图像的示意图；
图10是根据本发明实施例的对第三种模糊图像去模糊后得到的清晰图像的示意图；
图11是根据本发明实施例的第四种模糊图像的示意图；
图12是根据本发明实施例的对第四种模糊图像去模糊后得到的清晰图像的示意图；
图13是根据本发明实施例的图像的处理装置的示意图；
图14是根据本发明实施例的电子装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种图像的处理方法。在本实施例中，上述图像的处理方法可以应用于如图1所示的终端101和服务器102所构成的硬件环境中。如图1所示，终端101通过网络与服务器102进行连接，上述网络包括但不限于：广域网、城域网或局域网，终端101可以是手机终端，也可以是PC终端、笔记本终端或平板电脑终端。
图2是根据本发明实施例的图像的处理方法的流程图。如图2所示，该图像的处理方法包括：
S202，获取图像处理指令，其中，图像处理指令用于指示对目标模糊图像进行去模糊处理。
去模糊处理是指将模糊的图像处理为清晰的图像。如图3所示的图像左下角的图为图中小黄人后面的书籍的书脊字母的放大图，从左下角的图可以看出来，图像比较模糊，看不清楚书脊字母的内容。
如图4所示的图像左下角的图为图中小黄人后面的书籍的书脊字母的放大图。图4是对图3进行去模糊处理后得到的清晰图像，尤其对比图4和图3左下角，图4左下角的图比图3左下角的图更清晰，已经能够清晰的显示出书脊字母为“ROCESS”。
目标模糊图像可以是图3所示的图像，对图3所示的模糊图像进行去模糊处理得到图4所示的图像。去模糊处理的过程就是将上述图3所示的图像处理得到图4所示图像的过程。
S204，获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，样本图像为合成图像，合成图像为对多张清晰图像进行合成处理得到的模糊图像，目标模型用于对模糊图像进行去模糊处理以得到清晰图像。
S206，响应图像处理指令采用目标模型对目标模糊图像进行去模糊处理，以得到目标清晰图像。
将目标模糊图像输入到目标模型中，以便目标模型对目标模糊图像进行处理，输出目标清晰图像。目标清晰图像可以是图4所示的图像。目标模型可以是神经网络模型，该目标模型通过训练原始模型得到。训练原始模型需要的样本图像是通过多张清晰图像合成的模糊图像，生成的模糊图像对应的清晰图像就是合成模糊图像之前的清晰图像，也就是说，合成图像可以作为样本图像，多张清晰图像是目标模型的训练目标。在得到训练好的目标模型后，向目标模型中输入合成图像后可以输出与合成图像对应的清晰图像，该清晰图像可以是多张清晰图像中的任意一张。不同尺度的样本图像可以是通过对同一张样本图像进行降采样得到的图像，降采样的粒度不同，得到的样本图像的尺度也不相同。
可选地，在获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型之前，方法还包括：从帧画面集合中获取连续的多帧清晰图像，其中，帧画面集合为一段视频所有帧画面的集合；对多帧清晰图像进行合并处理，得到样本图像，其中，样本图像为模糊图像。
图像中模糊数据的产生通常是由于拍摄时相机的运动或者场景中物体的运动。这两种模糊本质上都是由于快门速度过慢导致。在快门打开到关闭的短时间内由于相机的运动或者场景的位移导致了相机内部的图像传感器像素采集的不只是某个固定位置的亮度而是在这个时刻内相关位置所有亮度的积分。该积分在高速相机拍摄的图像中可以近似为相邻连续图像的求和。这使得利用高速相机模拟真实模糊图片具备了可行性。本实施例采用高速相机来采集高速视频以合成足够的模糊图片。因为训练层数较深的卷积网络需要大量的数据，本实施例获取大量模糊图像进行训练。该模糊图像可以是高速相机在240帧每秒的速度下拍摄的高速视频。本实施例的帧画面集合是高速视频所有帧画面的集合，例如，一个5秒的高速视频，帧画面集合包括240*5＝1200帧画面，每个帧画面就是一个清晰的图像。从帧画面集合中选择连续的多帧清晰图像，该连续的多帧清晰图像可以是在几百毫秒内拍摄得到的图像，几百毫秒内拍摄得到的图像也可以包括几十到几百张清晰图像，可以对这些清晰图像进行合成得到样本图像，也可以对这些清晰图像中的部分图像进行合成得到样本图像。
可选地，对多帧清晰图像进行合并处理，得到样本图像包括：从多帧清晰图像中随机选择部分图像；对部分图像分别针对每个通道进行先求和再取平均的处理，得到一张模糊的图像；将一张模糊的图像作为样本图像。
从连续的多帧清晰图像中随机选择部分进行合成，具体方式是对几帧图像进行求和取平均的方法得到模糊图片。在求和时可以对图像的每个通道的数据分别进行求和，然后分别对每个通道的数据进行求平均的处理，求平均后得到的数据可以表示一个生成的模糊图像，即样本图像。
随机选择的部分图像可以生成多个模糊图像作为样本图像，例如，部分图像有20张，在合成样本图像时可以多次随机选择7-13张图像进行合成，每次选择7-13张图像就能得到一样模糊图像。比如，20张图像的编号依次为1、2、3、……20，第一次选择编号为1-4以及编号为10-13的图像进行合成，第二次可以选择编号为3、5、9、15、16、17、19和20的图像进行合成，每次选择的图片可以是随机的。
S208，输出目标清晰图像。
本实施例中，由于用于训练目标模型的样本图像是根据真实拍摄的图像合成的，可以表示真实场景下模糊照片的特征，利用这些样本图像对原始模型进行训练得到的目标模型，可以对模糊图像进行去模糊处理，得到清晰的图像。相比利用卷积核等计算方式来生成模糊图像的方式，避免了生成模糊图像过程中先验假设与真实情况的差距，也就避免了相关技术中生成的模糊图像训练出的目标模型无法实现去模糊的技术问题，达到了对模糊图像进行去模糊得到清晰图像的技术效果。
可选地，在获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型之前，方法包括：重复执行以下步骤以对原始模型进行训练，直到中间图像的尺度与合成图像的尺度相同，其中，当前尺度被初始化为合成图像的第一图像的尺度，当前模型被初始化为原始模型，中间图像被初始化为第一图像，第一图像是通过对合成图像进行目标倍数的降采样得到的模糊图像：
从合成图像中获取尺度为当前尺度的第一图像；使用当前模型对尺度为当前尺度的第一图像和中间图像进行去模糊处理，得到第二图像，其中，第二图像为与第一图像关联的清晰图像；对第二图像进行放大处理，得到第三图像，其中，中间图像被更新为第三图像；将当前尺度更新为当前尺度的N倍，其中，N大于等于2；将当前模型更新为第一模型，其中，第一模型为根据第一图像对原始模型进行训练得到的模型。
本实施例采用迭代深度神经网络模型来训练目标模型。利用图像不同尺度的图像进行训练。尺度可以理解为图像的分辨率。在训练进行图像去模糊的目标模型的过程中，采用从粗尺度到细尺度迭代的顺序。在最粗的尺度(图片下采样到最小，分辨率较小)，图片认为是比较清晰的，本实施例以此作为出发点，优化出当前尺度的清晰图片并上采样此清晰图片作为下一尺度的输入来估计出下一尺度的清晰图片，直到输出图像的尺度与原始图像尺度相同。其中当前尺度模糊图片为原始模糊图片降采样到当前尺度大小。通过向待训练的模型输入当前尺度模糊图片和放大的上一尺度清晰图片优化得到当前尺度的清晰图片进行训练，以此作为迭代目标最终优化出原来尺度的清晰图片。因此，去模糊分解为一系列多尺度下的子问题：输入当前尺度的模糊图片和初步去模糊图片(初步去模糊图片由上一个尺度估计出的清晰图片上采样得到)，估计出当前尺度下的清晰图片。其基本模型如下：
Ii,hi＝NetSR(Bi,Ii+1↑,hi+1↑；θSR)
其中i代表当前尺度(1代表最细的尺度)；Bi代表尺度i下的模糊图片；Ii代表尺度i下输出的清晰图片；hi代表尺度i下的隐藏状态特征其中隐含估计了每个位置的卷积核信息；NetSR是迭代神经网络。这个公式的意义是对于尺度i，给定当前尺度的模糊图片Bi和上采样上一尺度的清晰图片和隐藏状态作为神经网络的输入，输出当前尺度的清晰图片和隐藏状态。并以此从粗尺度到细尺度不断估计出清晰图像直到得到与样本图像相同尺度的清晰图像。
神经网络中的隐藏状态有几种不同选择，包括循环神经网络(RNN)，长短期记忆网络(LSTM)，门控制循环单元(GRU)。本实施例可以采用(LSTM)作为表示隐藏层信息的方式。对于如何从尺度i+1估计出的清晰图片放大(即上采样上一尺度的清晰图片)作为下一尺度的输入，同样也有几种不同的选项，包括反卷积，缩放。基于效率和速度的考量，本实施例可以选择双线性插值缩放的方法。
例如：
样本图像的尺度为256*256，即水平方向和竖直方向各有256个像素，当前尺度为第一图像的尺度，该第一图像的尺度为64*64，第一图像为从样本图像降采样得到。降采样的方式可以是间隔采样，在样本图像减少采样点(例如间隔几个点进行采样)。样本图像是模糊图像，降采样后得到的第一图像也是模糊图像，步骤如下：
1、将作为样本图像的第一图像和作为中间图像的第一图像输入到原始模型中进行训练，输出初步去模糊处理得到的第二图像，第二图像的尺度为64*64，此时原始模型经过训练后更新为第一模型；第一图像为粗尺度的图像，第一图像和中间图像作为原始模型的输入图像，输出同样为粗尺度的第二图像，第二图像作为原始模型的输出图像。其中，第一模型和第二模型的网络结构相同，第一模型和第二模型的参数不同。
2、对第二图像进行放大处理，得到尺度为128*128的第三图像。放大处理可以采样插值上采样；
3、对样本图像进行降采样，得到尺度为128*128的第四图像。
4、将作为样本图像的第四图像和作为中间图像的第三图像输入到第一模型中进行训练，输出经过去模糊处理得到的第五图像，第五图像比第四图像更清晰，第五图像的尺度为128*128，此时第一模型经过训练后更新为第二模型；第三图像和第四图像为中尺度的图像，第三图像和第四图像作为第一模型的输入图像，输出同样为中尺度的第五图像，第五图像为第一模型的输出图像。其中，第二模型和第一模型的网络结构相同，第二模型和第一模型的参数不同。
5、对第五图像进行放大处理，得到尺度为256*256的第六图像。放大处理可以采样插值上采样；
6、对样本图像和第六图像输入到第二模型中进行训练，输出经过去模糊处理得到的第七图像，此时第二模型经过训练后更新为第三模型。第七图像的尺度与样本图像的尺度相同。将样本图像更新为新的图像，继续利用更新后的样本图像进行训练，直到训练集中的所有图像都完成训练。在训练集中的所有图像都完成训练后得到的模型作为目标模型。其中，第六图像和第七图像为细尺度的图像，第六图像和第七图像作为第二模型的输入图像，输出同样为细尺度的图像，输出的图像的尺度与样本图像的尺度相同。
此处尺度的倍数关系为2，需要说明的是，实际训练的过程中，可以采用不同的倍数关系。本实施例的样本图像的尺度可以更大，例如1024*1024，从样本图像上取出一部分图像对原始模型进行训练，可以节约训练模型所需的内存空间。
可选地，当前模型包括编解码网络，编解码网络包括编码网络和解码网络，使用当前模型对尺度为当前尺度的第一图像和中间图像进行去模糊处理，得到第二图像包括：使用编码网络对第一图像和中间图像进行编码处理，得到第一结果，其中，编码网络的两层卷积还包括残差单元，残差单元用于将两层卷积计算之前的数据添加到两层卷积计算之后的数据中；使用解码网络对编码网络输出的第一结果进行解码处理，得到第二图像，其中，解码网络的两层卷积包括残差单元。
当前模型如图5所示，图5示出了当前模型中的3个编解码网络，图5从输入B3到输出I3是一个编解码网络，从输入B2到输出I2是一个编解码网络，从输入B1到输出I1是一个编解码网络。每个编解码网络可以对一个图像进行去模糊处理，编码网络和解码网络中的每两层卷积包括残差单元，残差单元的示意图如图6所示。本实施例将编解码网络中降维卷积或者升维卷积层之后的非线性卷积替换为残差单元，保证编码网络和解码网络中每个空间维度下的残差单元数目一致。残差单元可以计算编解码网络中一个块的输出和输入的差值，使得计算量变小，更容易学习，优化网络的学习能力。再通过跳跃连接编码网络和解码网络对应的特征可以进一步优化网络的学习能力。
图5的编解码网络是对称的网络，包括编码网络和解码网络，编码网络可以对模糊图像进行编码处理，并将编码处理后的第一结果输出给解码网络，由解码网络进行处理，以输出清晰的图片，编码和解码的过程实现了去模糊处理。
本实施例的编解码网络的结构，如图5所示，可以分解为三个模块，分别为编码网络NetE，隐藏层单元ConvLSTM，解码网络NetD，依次采用以下公式表示：
fi＝NetE(Bi,Ii+1↑；θE)
hi,gi＝ConvLSTM(hi+1↑,fi；θLSTM)
Ii＝NetD(gi；θD)
其中，f表示第i个尺度的编码特征，Bi为第i个尺度下的模糊图片，Ii+1为第i个尺度的上一个尺度输出的清晰图像的放大图，hi表示第i个尺度的隐藏信息，hi+1表示第i个尺度的上一个尺度的隐藏信息，gi表示对f优化后的结果，其中，编码网络和解码网络都包含了残差单元来增加网络学习能力。在同一空间维度中，可以加入三个残差单元来平衡去模糊效果和计算代价。
以下结合图5对本实施例进行说明。
样本图像的尺度为1000*2000，即水平方向上有1000个像素，竖直方向有2000个像素，当前尺度为第一图像的尺度，该第一图像的尺度为250*500，第一图像为从样本图像降采样得到。降采样的方式可以是间隔采样，在样本图像减少采样点(例如间隔几个点进行采样)。样本图像是模糊图像，降采样后得到的第一图像也是模糊图像，步骤如下：
1、将作为样本图像的第一图像和作为中间图像的第一图像作为输入B3输入到原始模型中进行训练，输出初步去模糊处理得到的第二图像I3，第二图像的尺度为250*500，此时原始模型经过训练后更新为第一模型；
2、对第二图像进行放大处理，得到尺度为500*1000的第三图像。放大处理可以采样插值上采样；
3、对样本图像进行降采样，得到尺度为500*1000的第四图像。
4、将作为样本图像的第四图像和作为中间图像的第三图像作为输入B2输入到第一模型中进行训练，输出经过去模糊处理得到的第五图像I2，第五图像比第四图像更清晰，第五图像的尺度为500*1000，此时第一模型经过训练后更新为第二模型；
5、对第五图像进行放大处理，得到尺度为1000*2000的第六图像。放大处理可以采样插值上采样；
6、对样本图像和第六图像作为输入B1输入到第二模型中进行训练，输出经过去模糊处理得到的第七图像I1，此时第二模型经过训练后更新为第三模型。第七图像的尺度与样本图像的尺度相同，结束训练。
结合图7和图8，图7的图像可以作为输入原始模型的样本图像，图8所示的图像可以作为第七图像。
结合图9和图10，图9的图像可以作为输入原始模型的样本图像，图10所示的图像可以作为第七图像。
结合图11和图12，图11的图像可以作为输入原始模型的样本图像，图12所示的图像可以作为第七图像。
本实施例中，通过深度迭代神经网络模型对原始模型进行训练得到目标模型，在训练过程中，将上一个尺度得到的清晰图像放大后作为当前尺度的输入，结合当前尺度的模糊图片进行训练，以得到目标模型，利用目标模型将模糊图像去模糊处理得到清晰图像。
可选地，使用当前模型对尺度为当前尺度的第一图像和中间图像进行去模糊处理，得到第二图像包括：获取不同尺度的图像的固有信息，其中，固有信息通过当前模型中的递归神经网络在处理不同尺度的编解码网络之间传输；使用编解码网络、结合固有信息对尺度为当前尺度的第一图像和中间图像进行去模糊处理，得到第二图像。
本实施例需要在不同尺度之间传递关于模糊的隐藏信息，编解码网络内部需要添加相应处理迭代信息的模块。如图5所示，在解码网络中间的位置添加了LSTM模块(长短期记忆网络)，使得此模块可以在不同尺度中间传递的隐藏信息。隐藏信息可以是不同尺度的图片之间的共同信息，比如不同尺度的图像的结构等信息。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种用于实施上述图像的处理方法的图像的处理装置。图13是根据本发明实施例的图像的处理装置的示意图。如图13所示，该装置包括：
第一获取单元1302，用于获取图像处理指令，其中，所述图像处理指令用于指示对目标模糊图像进行去模糊处理。
去模糊处理是指将模糊的图像处理为清晰的图像。如图3所示的图像左下角的图为图中小黄人后面的书籍的书脊字母的放大图，从左下角的图可以看出来，图像比较模糊，看不清楚书脊字母的内容。
如图4所示的图像左下角的图为图中小黄人后面的书籍的书脊字母的放大图。图4是对图3进行去模糊处理后得到的清晰图像，尤其对比图4和图3左下角，图4左下角的图比图3左下角的图更清晰，已经能够清晰的显示出书脊字母为“ROCESS”。
目标模糊图像可以是图3所示的图像，对图3所示的模糊图像进行去模糊处理得到图4所示的图像。去模糊处理的过程就是将上述图3所示的图像处理得到图4所示图像的过程。
第二获取单元1304，用于获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，所述样本图像为合成图像，所述合成图像为对多张清晰图像进行合成处理得到的模糊图像，所述目标模型用于对模糊图像进行去模糊处理以得到清晰图像。
响应单元1306用于响应所述图像处理指令采用目标模型对所述目标模糊图像进行去模糊处理，以得到目标清晰图像。
将目标模糊图像输入到目标模型中，以便目标模型对目标模糊图像进行处理，输出目标清晰图像。目标清晰图像可以是图4所示的图像(d)。目标模型可以是神经网络模型，该目标模型通过训练原始模型得到。训练原始模型需要的样本图像是通过多张清晰图像合成的模糊图像，生成的模糊图像对应的清晰图像就是合成模糊图像之前的清晰图像，也就是说，合成图像可以作为样本图像，多张清晰图像是目标模型的训练目标。在得到训练好的目标模型后，向目标模型中输入合成图像后可以输出与合成图像对应的清晰图像，该清晰图像可以是多张清晰图像中的任意一张。
可选地，所述装置还包括：第三获取单元，用于在获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型之前，从帧画面集合中获取连续的多帧清晰图像，其中，所述帧画面集合为一段视频所有帧画面的集合；合并单元，用于对所述多帧清晰图像进行合并处理，得到所述样本图像，其中，所述样本图像为模糊图像。
图像中模糊数据的产生通常是由于拍摄时相机的运动或者场景中物体的运动。这两种模糊本质上都是由于快门速度过慢导致。在快门打开到关闭的短时间内由于相机的运动或者场景的位移导致了相机内部的图像传感器像素采集的不只是某个固定位置的亮度而是在这个时刻内相关位置所有亮度的积分。该积分在高速相机拍摄的图像中可以近似为相邻连续图像的求和。这使得利用高速相机模拟真实模糊图片具备了可行性。本实施例采用高速相机来采集高速视频以合成足够的模糊图片。因为训练层数较深的卷积网络需要大量的数据，本实施例获取大量模糊图像进行训练。该模糊图像可以是高速相机在240帧每秒的速度下拍摄的高速视频。本实施例的帧画面集合是高速视频所有帧画面的集合，例如，一个5秒的高速视频，帧画面集合包括240*5＝1200帧画面，每个帧画面就是一个清晰的图像。从帧画面集合中选择连续的多帧清晰图像，该连续的多帧清晰图像可以是在几百毫秒内拍摄得到的图像，几百毫秒内拍摄得到的图像也可以包括几十到几百张清晰图像，可以对这些清晰图像进行合成得到样本图像，也可以对这些清晰图像中的部分图像进行合成得到样本图像。
可选地，所述合并单元包括：选择模块，用于从所述多帧清晰图像中随机选择部分图像；第二处理模块，用于对所述部分图像分别针对每个通道进行先求和再取平均的处理，得到一张模糊的图像；确定模块，用于将所述一张模糊的图像作为所述样本图像。
从连续的多帧清晰图像中随机选择部分进行合成，具体方式是对几帧图像进行求和取平均的方法得到模糊图片。在求和时可以对图像的每个通道的数据分别进行求和，然后分别对每个通道的数据进行求平均的处理，求平均后得到的数据可以表示一个生成的模糊图像，即样本图像。
随机选择的部分图像可以生成多个模糊图像作为样本图像，例如，部分图像有20张，在合成样本图像时可以多次随机选择7-13张图像进行合成，每次选择7-13张图像就能得到一样模糊图像。比如，20张图像的编号依次为1、2、3、……20，第一次选择编号为1-4以及编号为10-13的图像进行合成，第二次可以选择编号为3、5、9、15、16、17、19和20的图像进行合成，每次选择的图片可以是随机的。
输出单元1308用于输出所述目标清晰图像。
本实施例中，由于用于训练目标模型的样本图像是根据真实拍摄的图像合成的，可以表示真实场景下模糊照片的特征，利用这些样本图像对原始模型进行训练得到的目标模型，可以对模糊图像进行去模糊处理，得到清晰的图像。相比利用卷积和等计算方式来生成模糊图像的方式，避免了生成模糊图像过程中先验假设与真实情况的差距，也就避免了相关技术中生成的模糊图像训练出的目标模型无法实现去模糊的技术问题，达到了对模糊图像进行去模糊得到清晰图像的技术效果。
可选地，所述装置包括：训练单元，用于在获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型之前，重复调用以下模块以对所述原始模型进行训练，直到中间图像的尺度与所述合成图像的尺度相同，其中，当前尺度被初始化为所述合成图像的第一图像的尺度，当前模型被初始化为所述原始模型，中间图像被初始化为所述第一图像，所述第一图像是通过对所述合成图像进行目标倍数的降采样得到的模糊图像：
第一获取模块，用于从所述合成图像中获取尺度为所述当前尺度的第一图像；第一处理模块，用于使用所述当前模型对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像，其中，所述第二图像为与所述第一图像关联的清晰图像；放大模块，用于对所述第二图像进行放大处理，得到第三图像，其中，所述中间图像被更新为所述第三图像；第一更新模块，用于将所述当前尺度更新为所述当前尺度的N倍，其中，N大于等于2；第二更新模块，用于将所述当前模型更新为第一模型，其中，所述第一模型为根据所述第一图像对所述原始模型进行训练得到的模型。
本实施例采用迭代深度神经网络模型来训练目标模型。利用图像不同尺度的图像进行训练。尺度可以理解为图像的分辨率。在训练进行图像去模糊的目标模型的过程中，采用从粗尺度到细尺度迭代的顺序。在最粗的尺度(图片下采样到最小，分辨率较小)，图片认为是比较清晰的，本实施例以此作为出发点，优化出当前尺度的清晰图片并上采样此清晰图片作为下一尺度的输入来估计出下一尺度的清晰图片，直到输出图像的尺度与原始图像尺度相同。其中当前尺度模糊图片为原始模糊图片降采样到当前尺度大小。通过向待训练的模型输入当前尺度模糊图片和放大的上一尺度清晰图片优化得到当前尺度的清晰图片进行训练，以此作为迭代目标最终优化出原来尺度的清晰图片。因此，去模糊分解为一系列多尺度下的子问题：输入当前尺度的模糊图片和初步去模糊图片(初步去模糊图片由上一个尺度估计出的清晰图片上采样得到)，估计出当前尺度下的清晰图片。其基本模型如下：
Ii,hi＝NetSR(Bi,Ii+1↑,hi+1↑；θSR)
其中i代表当前尺度(1代表最细的尺度)；Bi代表尺度i下的模糊图片；Ii代表尺度i下输出的清晰图片；hi代表尺度i下的隐藏状态特征其中隐含估计了每个位置的卷积核信息；NetSR是迭代神经网络。这个公式的意义是对于尺度i，给定当前尺度的模糊图片Bi和上采样上一尺度的清晰图片和隐藏状态作为神经网络的输入，输出当前尺度的清晰图片和隐藏状态。并以此从粗尺度到细尺度不断估计出清晰图像直到得到与样本图像相同尺度的清晰图像。
神经网络中的隐藏状态有几种不同选择，包括循环神经网络RNN，长短期记忆网络LSTM，门控制循环单元GRU。本实施例可以采用LSTM作为表示隐藏层信息的方式。对于如何从尺度i+1估计出的清晰图片放大(即上采样上一尺度的清晰图片)作为下一尺度的输入，同样也有几种不同的选项，包括反卷积，缩放。基于效率和速度的考量，本实施例可以选择双线性插值缩放的方法。
例如：
样本图像的尺度为256*256，即水平方向和竖直方向各有256个像素，当前尺度为第一图像的尺度，该第一图像的尺度为64*64，第一图像为从样本图像降采样得到。降采样的方式可以是间隔采样，在样本图像减少采样点(例如间隔几个点进行采样)。样本图像是模糊图像，降采样后得到的第一图像也是模糊图像，步骤如下：
1、将作为样本图像的第一图像和作为中间图像的第一图像输入到原始模型中进行训练，输出初步去模糊处理得到的第二图像，第二图像的尺度为64*64，此时原始模型经过训练后更新为第一模型；第一图像为粗尺度的图像，第一图像和中间图像作为原始模型的输入图像，输出同样为粗尺度的第二图像，第二图像作为原始模型的输出图像。其中，第一模型和第二模型的网络结构相同，第一模型和第二模型的参数不同。
2、对第二图像进行放大处理，得到尺度为128*128的第三图像。放大处理可以采样插值上采样；
3、对样本图像进行降采样，得到尺度为128*128的第四图像。
4、将作为样本图像的第四图像和作为中间图像的第三图像输入到第一模型中进行训练，输出经过去模糊处理得到的第五图像，第五图像比第四图像更清晰，第五图像的尺度为128*128，此时第一模型经过训练后更新为第二模型；第三图像和第四图像为中尺度的图像，第三图像和第四图像作为第一模型的输入图像，输出同样为中尺度的第五图像，第五图像为第一模型的输出图像。其中，第二模型和第一模型的网络结构相同，第二模型和第一模型的参数不同。
5、对第五图像进行放大处理，得到尺度为256*256的第六图像。放大处理可以采样插值上采样；
6、对样本图像和第六图像输入到第二模型中进行训练，输出经过去模糊处理得到的第七图像，此时第二模型经过训练后更新为第三模型。第七图像的尺度与样本图像的尺度相同。将样本图像更新为新的图像，继续利用更新后的样本图像进行训练，直到训练集中的所有图像都完成训练。在训练集中的所有图像都完成训练后得到的模型作为目标模型。其中，第六图像和第七图像为细尺度的图像，第六图像和第七图像作为第二模型的输入图像，输出同样为细尺度的图像，输出的图像的尺度与样本图像的尺度相同。
此处尺度的倍数关系为2，需要说明的是，实际训练的过程中，可以采用不同的倍数关系。本实施例的样本图像的尺度可以更大，例如1024*1024，从样本图像上取出一部分图像对原始模型进行训练，可以节约训练模型所需的内存空间。
可选地，所述当前模型包括编解码网络，所述编解码网络包括编码网络和解码网络，第一处理模块包括：编码子模块，用于使用所述编码网络对所述第一图像和所述中间图像进行编码处理，得到第一结果，其中，所述编码网络的两层卷积还包括残差单元，所述残差单元用于将所述两层卷积计算之前的数据添加到所述两层卷积计算之后的数据中；解码子模块，用于使用所述解码网络对所述编码网络输出的所述第一结果进行解码处理，得到所述第二图像，其中，所述解码网络的两层卷积包括所述残差单元。
当前模型如图5所示，图5示出了当前模型中的3个编解码网络，图5从输入B3到输出I3是一个编解码网络，从输入B2到输出I2是一个编解码网络，从输入B1到输出I1是一个编解码网络。每个编解码网络可以对一个图像进行去模糊处理，编码网络和解码网络中的每两层卷积包括残差单元，残差单元的示意图如图6所示。本实施例将编解码网络中降维卷积或者升维卷积层之后的非线性卷积替换为残差单元，保证编码网络和解码网络中每个空间维度下的残差单元数目一致。残差单元可以计算编解码网络中一个块的输出和输入的差值，使得计算量变小，更容易学习，优化网络的学习能力。再通过跳跃连接编码网络和解码网络对应的特征可以进一步优化网络的学习能力。
图5的编解码网络是对称的网络，包括编码网络和解码网络，编码网络可以对模糊图像进行编码处理，并将编码处理后的第一结果输出给解码网络，由解码网络进行处理，以输出清晰的图片，编码和解码的过程实现了去模糊处理。
本实施例的编解码网络的结构，如图5所示，可以分解为三个模块，分别为编码网络NetE(包括图5中的输入块、E块#1和E块#2)，隐藏层单元ConvLSTM(图5所示的LSTM)，解码网络NetD(包括图5中的输出块、D块#1和D块#2)，依次采用以下公式表示：
fi＝NetE(Bi,Ii+1↑；θE)
hi,gi＝ConvLSTM(hi+1↑,fi；θLSTM)
Ii＝NetD(gi；θD)
其中，f表示第i个尺度的编码特征，Bi为第i个尺度下的模糊图片，Ii+1为第i个尺度的上一个尺度输出的清晰图像的放大图，hi表示第i个尺度的隐藏信息，hi+1表示第i个尺度的上一个尺度的隐藏信息，gi表示对f优化后的结果，其中，编码网络和解码网络都包含了残差单元来增加网络学习能力。在同一空间维度中，可以加入三个残差单元来平衡去模糊效果和计算代价。
以下结合图5对本实施例进行说明。
样本图像的尺度为1000*2000，即水平方向上有1000个像素，竖直方向有2000个像素，当前尺度为第一图像的尺度，该第一图像的尺度为250*500，第一图像为从样本图像降采样得到。降采样的方式可以是间隔采样，在样本图像减少采样点(例如间隔几个点进行采样)。样本图像是模糊图像，降采样后得到的第一图像也是模糊图像，步骤如下：
1、将作为样本图像的第一图像和作为中间图像的第一图像作为输入B3输入到原始模型中进行训练，输出初步去模糊处理得到的第二图像I3，第二图像的尺度为250*500，此时原始模型经过训练后更新为第一模型；
2、对第二图像进行放大处理，得到尺度为500*1000的第三图像。放大处理可以采样插值上采样；
3、对样本图像进行降采样，得到尺度为500*1000的第四图像。
4、将作为样本图像的第四图像和作为中间图像的第三图像作为输入B2输入到第一模型中进行训练，输出经过去模糊处理得到的第五图像I2，第五图像比第四图像更清晰，第五图像的尺度为500*1000，此时第一模型经过训练后更新为第二模型；
5、对第五图像进行放大处理，得到尺度为1000*2000的第六图像。放大处理可以采样插值上采样；
6、对样本图像和第六图像作为输入B1输入到第二模型中进行训练，输出经过去模糊处理得到的第七图像I1，此时第二模型经过训练后更新为第三模型。第七图像的尺度与样本图像的尺度相同，结束训练。
结合图7和图8，图7的图像可以作为输入原始模型的样本图像，图8所示的图像可以作为第七图像。
结合图9和图10，图9的图像可以作为输入原始模型的样本图像，图10所示的图像可以作为第七图像。
结合图11和图12，图11的图像可以作为输入原始模型的样本图像，图12所示的图像可以作为第七图像。
本实施例中，通过深度迭代神经网络模型对原始模型进行训练得到目标模型，在训练过程中，将上一个尺度得到的清晰图像放大后作为当前尺度的输入，结合当前尺度的模糊图片进行训练，以得到目标模型，利用目标模型将模糊图像去模糊处理得到清晰图像。
可选地，所述第一处理模块包括：获取子模块，用于获取不同尺度的图像的固有信息，其中，所述固有信息通过所述当前模型中的递归神经网络在处理不同尺度的编解码网络之间传输；处理子模块，用于使用所述编解码网络、结合所述固有信息对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像。
本实施例需要在不同尺度之间传递关于模糊的隐藏信息，编解码网络内部需要添加相应处理迭代信息的模块。如图5所示，在解码网络中间的位置添加了LSTM模块(长短期记忆网络)，使得此模块可以在不同尺度中间传递的隐藏信息。隐藏信息可以是不同尺度的图片之间的共同信息，比如不同尺度的图像的结构等信息。
根据本发明实施例的又一个方面，还提供了一种用于实施上述图像的处理方法的电子装置，如图14所示，该电子装置包括，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，图14是根据本发明实施例的一种电子装置的结构框图。如图14所示，该电子装置可以包括：一个或多个(图中仅示出一个)处理器1401、至少一个通信总线1402、用户接口1403、至少一个传输装置1404和存储器1405。其中，通信总线1402用于实现这些组件之间的连接通信。其中，用户接口1403可以包括显示器1406和键盘1407。传输装置1404可选的可以包括标准的有线接口和无线接口。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取图像处理指令，其中，所述图像处理指令用于指示对目标模糊图像进行去模糊处理；
S2，获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，所述样本图像为合成图像，所述合成图像为对多张清晰图像进行合成处理得到的模糊图像，所述目标模型用于对模糊图像进行去模糊处理以得到清晰图像；
S3，响应所述图像处理指令采用目标模型对所述目标模糊图像进行去模糊处理，以得到目标清晰图像；
S4，输出所述目标清晰图像。
可选地，本领域普通技术人员可以理解，图14所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图14其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图14中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图14所示不同的配置。
其中，存储器1405可用于存储软件程序以及模块，如本发明实施例中的图像的处理方法和装置对应的程序指令/模块，处理器1401通过运行存储在存储器1405内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像的处理方法。存储器1405可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1405可进一步包括相对于处理器1401远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1404用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1404包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1404为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器1405用于存储样本图像。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取图像处理指令，其中，所述图像处理指令用于指示对目标模糊图像进行去模糊处理；
S2，获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，所述样本图像为合成图像，所述合成图像为对多张清晰图像进行合成处理得到的模糊图像，所述目标模型用于对模糊图像进行去模糊处理以得到清晰图像；
S3，响应所述图像处理指令采用目标模型对所述目标模糊图像进行去模糊处理，以得到目标清晰图像；
S4，输出所述目标清晰图像。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
重复执行以下步骤以对所述原始模型进行训练，直到中间图像的尺度与所述合成图像的尺度相同，其中，当前尺度被初始化为所述合成图像的第一图像的尺度，当前模型被初始化为所述原始模型，中间图像被初始化为所述第一图像，所述第一图像是通过对所述合成图像进行目标倍数的降采样得到的模糊图像：从所述合成图像中获取尺度为所述当前尺度的第一图像；使用所述当前模型对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像，其中，所述第二图像为与所述第一图像关联的清晰图像；对所述第二图像进行放大处理，得到第三图像，其中，所述中间图像被更新为所述第三图像；将所述当前尺度更新为所述当前尺度的N倍，其中，N大于等于2；将所述当前模型更新为第一模型，其中，所述第一模型为根据所述第一图像对所述原始模型进行训练得到的模型。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：从帧画面集合中获取连续的多帧清晰图像，其中，所述帧画面集合为一段视频所有帧画面的集合；对所述多帧清晰图像进行合并处理，得到所述样本图像，其中，所述样本图像为模糊图像。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：从所述多帧清晰图像中随机选择部分图像；对所述部分图像分别针对每个通道进行先求和再取平均的处理，得到一张模糊的图像；将所述一张模糊的图像作为所述样本图像。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：使用所述编码网络对所述第一图像和所述中间图像进行编码处理，得到第一结果，其中，所述编码网络的两层卷积还包括残差单元，所述残差单元用于将所述两层卷积计算之前的数据添加到所述两层卷积计算之后的数据中；使用所述解码网络对所述编码网络输出的所述第一结果进行解码处理，得到所述第二图像，其中，所述解码网络的两层卷积包括所述残差单元。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：获取不同尺度的图像的固有信息，其中，所述固有信息通过所述当前模型中的递归神经网络在处理不同尺度的编解码网络之间传输；使用所述编解码网络、结合所述固有信息对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像。
可选地，存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序，本实施例中对此不再赘述。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种图像的处理方法，其特征在于，包括：
获取图像处理指令，其中，所述图像处理指令用于指示对目标模糊图像进行去模糊处理；
获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，所述样本图像为合成图像，所述合成图像为对多张清晰图像进行合成处理得到的模糊图像，所述目标模型用于对模糊图像进行去模糊处理以得到清晰图像，所述目标模型包括编解码网络，所述编解码网络包括编码网络和解码网络，所述编解码网络中降维卷积或者升维卷积层之后的非线性卷积被替换为残差单元，所述编码网络和所述解码网络中每个空间维度下的所述残差单元的数目一致，所述残差单元用于计算所述编解码网络中一个块的输出和输入的差值，所述编码网络和所述解码网络对应的特征通过跳跃进行连接；
响应所述图像处理指令采用所述目标模型中的所述编码网络对所述目标模糊图像进行编码处理，得到目标结果；
利用添加在所述解码网络与所述编码网络之间的长短期记忆网络，在不同尺度中间传递关于所述目标模糊图像的隐藏信息，其中，所述隐藏信息为不同尺度的图片之间的共同结构信息；
采用所述目标模型中的所述解码网络利用所述隐藏信息对所述目标结果进行解码处理，得到目标清晰图像；
输出所述目标清晰图像。
2.根据权利要求1所述的方法，其特征在于，在获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型之前，所述方法包括：
重复执行以下步骤以对所述原始模型进行训练，直到中间图像的尺度与所述合成图像的尺度相同，其中，当前尺度被初始化为所述合成图像的第一图像的尺度，当前模型被初始化为所述原始模型，中间图像被初始化为所述第一图像，所述第一图像是通过对所述合成图像进行目标倍数的降采样得到的模糊图像：
从所述合成图像中获取尺度为所述当前尺度的第一图像；
使用所述当前模型对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像，其中，所述第二图像为与所述第一图像关联的清晰图像；
对所述第二图像进行放大处理，得到第三图像，其中，所述中间图像被更新为所述第三图像；
将所述当前尺度更新为所述当前尺度的N倍，其中，N大于等于2；
将所述当前模型更新为第一模型，其中，所述第一模型为根据所述第一图像对所述原始模型进行训练得到的模型。
3.根据权利要求1所述的方法，其特征在于，在获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型之前，所述方法还包括：
从帧画面集合中获取连续的多帧清晰图像，其中，所述帧画面集合为一段视频所有帧画面的集合；
对所述多帧清晰图像进行合并处理，得到所述样本图像，其中，所述样本图像为模糊图像。
4.根据权利要求3所述的方法，其特征在于，对所述多帧清晰图像进行合并处理，得到所述样本图像包括：
从所述多帧清晰图像中随机选择部分图像；
对所述部分图像分别针对每个通道进行先求和再取平均的处理，得到一张模糊的图像；
将所述一张模糊的图像作为所述样本图像。
5.根据权利要求2所述的方法，其特征在于，所述当前模型包括所述编解码网络，使用所述当前模型对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像包括：
使用所述编码网络对所述第一图像和所述中间图像进行编码处理，得到第一结果，其中，所述编码网络的两层卷积还包括所述残差单元，所述残差单元用于将所述两层卷积计算之前的数据添加到所述两层卷积计算之后的数据中；
使用所述解码网络对所述编码网络输出的所述第一结果进行解码处理，得到所述第二图像，其中，所述解码网络的两层卷积包括所述残差单元。
6.根据权利要求2所述的方法，其特征在于，使用所述当前模型对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像包括：
获取不同尺度的图像的固有信息，其中，所述固有信息通过所述当前模型中的递归神经网络在处理不同尺度的编解码网络之间传输；
使用所述编解码网络、结合所述固有信息对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像。
7.一种图像的处理装置，其特征在于，包括：
第一获取单元，用于获取图像处理指令，其中，所述图像处理指令用于指示对目标模糊图像进行去模糊处理；
第二获取单元，用于获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型，其中，所述样本图像为合成图像，所述合成图像为对多张清晰图像进行合成处理得到的模糊图像，所述目标模型用于对模糊图像进行去模糊处理以得到清晰图像，所述目标模型包括编解码网络，所述编解码网络包括编码网络和解码网络，所述编解码网络中降维卷积或者升维卷积层之后的非线性卷积被替换为残差单元，所述编码网络和所述解码网络中每个空间维度下的所述残差单元的数目一致，所述残差单元用于计算所述编解码网络中一个块的输出和输入的差值，所述编码网络和所述解码网络对应的特征通过跳跃进行连接；
响应单元，用于采用所述目标模型中的所述编码网络对所述目标模糊图像进行编码处理，得到目标结果；
所述装置，还用于利用添加在所述解码网络与所述编码网络之间的长短期记忆网络，在不同尺度中间传递关于所述目标模糊图像的隐藏信息，其中，所述隐藏信息为不同尺度的图片之间的共同结构信息；
所述响应单元，还用于采用所述目标模型中的所述解码网络利用所述隐藏信息对所述目标结果进行解码处理，得到目标清晰图像；
输出单元，用于输出所述目标清晰图像。
8.根据权利要求7所述的装置，其特征在于，所述装置包括：
训练单元，用于在获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型之前，重复调用以下模块以对所述原始模型进行训练，直到中间图像的尺度与所述合成图像的尺度相同，其中，当前尺度被初始化为所述合成图像的第一图像的尺度，当前模型被初始化为所述原始模型，中间图像被初始化为所述第一图像，所述第一图像是通过对所述合成图像进行目标倍数的降采样得到的模糊图像：
第一获取模块，用于从所述合成图像中获取尺度为所述当前尺度的第一图像；
第一处理模块，用于使用所述当前模型对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像，其中，所述第二图像为与所述第一图像关联的清晰图像；
放大模块，用于对所述第二图像进行放大处理，得到第三图像，其中，所述中间图像被更新为所述第三图像；
第一更新模块，用于将所述当前尺度更新为所述当前尺度的N倍，其中，N大于等于2；
第二更新模块，用于将所述当前模型更新为第一模型，其中，所述第一模型为根据所述第一图像对所述原始模型进行训练得到的模型。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第三获取单元，用于在获取利用不同尺度的样本图像对原始模型进行训练得到的目标模型之前，从帧画面集合中获取连续的多帧清晰图像，其中，所述帧画面集合为一段视频所有帧画面的集合；
合并单元，用于对所述多帧清晰图像进行合并处理，得到所述样本图像，其中，所述样本图像为模糊图像。
10.根据权利要求9所述的装置，其特征在于，所述合并单元包括：
选择模块，用于从所述多帧清晰图像中随机选择部分图像；
第二处理模块，用于对所述部分图像分别针对每个通道进行先求和再取平均的处理，得到一张模糊的图像；
确定模块，用于将所述一张模糊的图像作为所述样本图像。
11.根据权利要求8所述的装置，其特征在于，所述当前模型包括所述编解码网络，第一处理模块包括：
编码子模块，用于使用所述编码网络对所述第一图像和所述中间图像进行编码处理，得到第一结果，其中，所述编码网络的两层卷积还包括所述残差单元，所述残差单元用于将所述两层卷积计算之前的数据添加到所述两层卷积计算之后的数据中；
解码子模块，用于使用所述解码网络对所述编码网络输出的所述第一结果进行解码处理，得到所述第二图像，其中，所述解码网络的两层卷积包括所述残差单元。
12.根据权利要求8所述的装置，其特征在于，所述第一处理模块包括：
获取子模块，用于获取不同尺度的图像的固有信息，其中，所述固有信息通过所述当前模型中的递归神经网络在处理不同尺度的编解码网络之间传输；
处理子模块，用于使用所述编解码网络、结合所述固有信息对尺度为所述当前尺度的所述第一图像和所述中间图像进行去模糊处理，得到第二图像。
13.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
14.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
CN201810301685.1A 2018-04-04 2018-04-04 图像的处理方法、装置、存储介质和电子装置 Active CN108629743B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810301685.1A CN108629743B (zh) 2018-04-04 2018-04-04 图像的处理方法、装置、存储介质和电子装置
PCT/CN2019/079332 WO2019192338A1 (zh) 2018-04-04 2019-03-22 图像的处理方法、装置、存储介质和电子装置
EP19782211.7A EP3754591A4 (en) 2018-04-04 2019-03-22 IMAGE PROCESSING METHOD AND DEVICE, STORAGE MEDIUM AND ELECTRONIC DEVICE
US16/934,823 US11354785B2 (en) 2018-04-04 2020-07-21 Image processing method and device, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810301685.1A CN108629743B (zh) 2018-04-04 2018-04-04 图像的处理方法、装置、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN108629743A CN108629743A (zh) 2018-10-09
CN108629743B true CN108629743B (zh) 2022-03-25

Family

ID=63704674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810301685.1A Active CN108629743B (zh) 2018-04-04 2018-04-04 图像的处理方法、装置、存储介质和电子装置

Country Status (4)

Country Link
US (1) US11354785B2 (zh)
EP (1) EP3754591A4 (zh)
CN (1) CN108629743B (zh)
WO (1) WO2019192338A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN109525859B (zh) * 2018-10-10 2021-01-15 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN109360171B (zh) * 2018-10-26 2021-08-06 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN109410146A (zh) * 2018-11-02 2019-03-01 北京大学深圳研究生院 一种基于Bi-Skip-Net的图像去模糊算法
WO2020093782A1 (en) 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN110147864B (zh) * 2018-11-14 2022-02-22 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置
CN109598298B (zh) * 2018-11-29 2021-06-04 上海皓桦科技股份有限公司 图像物体识别方法和系统
CN111507931B (zh) * 2019-01-14 2023-04-18 阿里巴巴集团控股有限公司 一种数据处理方法和装置
CN109816659B (zh) * 2019-01-28 2021-03-23 北京旷视科技有限公司 图像分割方法、装置及系统
CN109993712B (zh) 2019-04-01 2023-04-25 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法及相关设备
CN113992847A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
US11126895B2 (en) * 2019-05-22 2021-09-21 Lawrence Livermore National Security, Llc Mimicking of corruption in images
US10984507B2 (en) * 2019-07-17 2021-04-20 Harris Geospatial Solutions, Inc. Image processing system including training model based upon iterative blurring of geospatial images and related methods
CN110443310B (zh) * 2019-08-07 2022-08-09 浙江大华技术股份有限公司 比对分析系统的更新方法、服务器及计算机存储介质
CN112468830A (zh) * 2019-09-09 2021-03-09 阿里巴巴集团控股有限公司 视频图像处理方法、装置及电子设备
JP7455542B2 (ja) * 2019-09-27 2024-03-26 キヤノン株式会社 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム
JP7377048B2 (ja) 2019-09-30 2023-11-09 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
CN110895801A (zh) * 2019-11-15 2020-03-20 北京金山云网络技术有限公司 图像处理方法、装置、设备及存储介质
US11348291B2 (en) * 2019-11-29 2022-05-31 Shanghai United Imaging Intelligence Co., Ltd. System and method for reconstructing magnetic resonance images
WO2021118270A1 (en) 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
CN110971895B (zh) * 2019-12-18 2022-07-08 北京百度网讯科技有限公司 视频抖动检测方法和装置
CN111340694B (zh) * 2020-02-07 2023-10-27 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111340722B (zh) * 2020-02-20 2023-05-26 Oppo广东移动通信有限公司 图像处理方法、处理装置、终端设备及可读存储介质
CN113452898B (zh) * 2020-03-26 2023-07-18 华为技术有限公司 一种拍照方法及装置
CN113689341B (zh) * 2020-05-18 2024-08-23 京东方科技集团股份有限公司 图像处理方法及图像处理模型的训练方法
CN111885297B (zh) * 2020-06-16 2022-09-06 北京迈格威科技有限公司 图像清晰度的确定方法、图像对焦方法及装置
CN111985565B (zh) * 2020-08-20 2023-01-10 上海风秩科技有限公司 图片分析方法和装置、存储介质及电子设备
KR102336103B1 (ko) * 2020-09-09 2021-12-08 울산과학기술원 딥러닝 기반 영상 디블러링 방법 및 이를 수행하는 장치
CN112102205B (zh) * 2020-10-15 2024-02-09 平安科技（深圳）有限公司 图像去模糊方法、装置、电子设备及存储介质
CN112053308B (zh) * 2020-10-22 2023-05-26 华润数字科技有限公司 一种图像去模糊方法、装置、计算机设备及存储介质
CN112488943B (zh) * 2020-12-02 2024-02-02 北京字跳网络技术有限公司 模型训练和图像去雾方法、装置、设备
CN112419201A (zh) * 2020-12-04 2021-02-26 珠海亿智电子科技有限公司 一种基于残差网络的图像去模糊方法
CN112561826A (zh) * 2020-12-22 2021-03-26 杭州趣链科技有限公司 基于人工智能的图像去模糊方法、装置、设备及存储介质
CN112907450B (zh) * 2021-03-24 2023-01-06 东莞中国科学院云计算产业技术创新与育成中心 三维时序图像处理方法、装置、计算机设备和存储介质
CN113111886B (zh) * 2021-04-19 2023-03-24 太原科技大学 一种基于双层残差网络的交通场景图像语义分割方法
CN113139942B (zh) * 2021-04-21 2023-10-31 Oppo广东移动通信有限公司 图像处理模型的训练方法、装置、电子设备及存储介质
CN113256785B (zh) * 2021-05-31 2023-04-04 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质
CN113658128A (zh) * 2021-08-13 2021-11-16 Oppo广东移动通信有限公司 图像模糊程度确定方法、数据集构建方法与去模糊方法
CN113724159A (zh) * 2021-08-18 2021-11-30 北京工业大学 基于模糊等级的花粉图像去模糊方法、装置、设备及介质
CN113627210A (zh) * 2021-08-19 2021-11-09 南京华捷艾米软件科技有限公司 条形码图像的生成方法、装置、电子设备及存储介质
CN114943639B (zh) * 2022-05-24 2023-03-28 北京瑞莱智慧科技有限公司 图像获取方法、相关装置及存储介质
CN116542884B (zh) * 2023-07-07 2023-10-13 合肥市正茂科技有限公司 模糊图像清晰化模型的训练方法、装置、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
CN103854268B (zh) * 2014-03-26 2016-08-24 西安电子科技大学 基于多核高斯过程回归的图像超分辨重建方法
US9779491B2 (en) * 2014-08-15 2017-10-03 Nikon Corporation Algorithm and device for image processing
CN106296597B (zh) * 2016-07-25 2019-03-29 天津大学 一种基于最优化颜色修正和回归模型的水下图像复原方法
WO2018058046A1 (en) * 2016-09-26 2018-03-29 Google Llc Neural machine translation systems
CN107220612B (zh) * 2017-05-19 2021-06-08 天津工业大学 以关键点局部邻域的高频分析为核心的模糊人脸判别方法
CN107730459B (zh) * 2017-09-20 2022-12-06 大连理工大学 一种基于非线性动态系统的图像去模糊方法
CN107871310B (zh) * 2017-10-26 2019-11-22 武汉大学 一种基于模糊核精细化的单幅图像盲去运动模糊方法
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring;Seungjun Nah;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171109;正文第1-7页 *
Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections;Xiao-Jiao Mao;《arXiv》;20160901;正文第1-4页 *
Seungjun Nah.Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring.《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》.2017, *

Also Published As

Publication number Publication date
WO2019192338A1 (zh) 2019-10-10
EP3754591A4 (en) 2021-11-10
CN108629743A (zh) 2018-10-09
US11354785B2 (en) 2022-06-07
US20200349680A1 (en) 2020-11-05
EP3754591A1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
CN108629743B (zh) 图像的处理方法、装置、存储介质和电子装置
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
Bao et al. Memc-net: Motion estimation and motion compensation driven neural network for video interpolation and enhancement
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
US8594464B2 (en) Adaptive super resolution for video enhancement
US10846836B2 (en) View synthesis using deep convolutional neural networks
CN110570356B (zh) 图像处理方法和装置、电子设备及存储介质
CN111784578A (zh) 图像处理、模型训练方法及装置、设备、存储介质
CN113076685B (zh) 图像重建模型的训练方法、图像重建方法及其装置
TWI714397B (zh) 視頻處理方法、裝置以及電腦儲存介質
CN111898701A (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
WO2009115885A2 (en) Method and apparatus for super-resolution of images
Dai et al. Sparse representation-based multiple frame video super-resolution
CN104284059A (zh) 用于稳定图像的设备和方法
CN113556582A (zh) 视频数据处理方法、装置、设备以及存储介质
WO2024217164A1 (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
Cao et al. Towards interpretable video super-resolution via alternating optimization
CN108876716B (zh) 超分辨率重建方法及装置
CN112200817A (zh) 基于图像的天空区域分割和特效处理方法、装置及设备
CN112801876B (zh) 信息处理方法、装置及电子设备和存储介质
US20230169326A1 (en) Method and apparatus for generating paired low resolution and high resolution images using a generative adversarial network
US20230060988A1 (en) Image processing device and method
CN114170085A (zh) 一种时空超分辨率实时重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant