CN110222722A - 交互式图像风格化处理方法、系统、计算设备及存储介质 - Google Patents
交互式图像风格化处理方法、系统、计算设备及存储介质 Download PDFInfo
- Publication number
- CN110222722A CN110222722A CN201910396504.2A CN201910396504A CN110222722A CN 110222722 A CN110222722 A CN 110222722A CN 201910396504 A CN201910396504 A CN 201910396504A CN 110222722 A CN110222722 A CN 110222722A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- target
- stylized
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 122
- 238000013528 artificial neural network Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 239000000203 mixture Substances 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000005070 sampling Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种交互式图像风格化处理方法、系统、计算设备及存储介质，所述方法包括：获取多张第一训练图像和多张第二训练图像；构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像；构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练；根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像；利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。本发明能够根据用户的需要，交互式地进行指定区域的图像风格化，模拟出不同艺术形式的绘制风格，增强图像中可视信息的表现形式，提升图像的吸引力。
Description
技术领域
本发明涉及一种交互式图像风格化处理方法、系统、计算设备及存储介质，属于属于图像处理与渲染领域。
背景技术
图像艺术风格化是近几年来计算机图形学中非真实感绘制(Non—Photorealistic Rendering，NPR)的主要研究内容，它以计算机为工具，用算法模拟出不同艺术形式的绘制风格，增强图像中可视信息的表现形式，吸引人们的注意力。从上世纪90年代至今，非真实感渲染作为图形学的一个独立分支得到了迅速发展。设计的范围也不再是单纯的计算机辅助艺术绘制，还涉及到电影、教育、游戏娱乐、卡通动画等行业。
图像的风格化处理越来越受到大家的喜爱，市场上存在许多图像处理软件，其中Photoshop的用户最多、专业性最强。用户通过Photoshop中自带的一些滤镜(如水彩、海报边缘、喷溅和纹理)可对图像进行相应的风格化处理。随着手机Android，和ios系统的出现，手机图像处理软件也广受大家喜爱。360camera，百度魔图，美图秀秀等多款手机图像处理软件，也加入了各种图像风格化效果，例如HDR、复古、素描等。
然而目前市面上存在的图像处理软件的图像风格化滤镜以及相关的研究基本都是对整体图像进行风格化处理且处理效果不佳，由此导致用户不但不能自主选择图像中需要进行渲染的部分，而且渲染效果往往无法达到预期，还需进行一系列后续处理。此外，目前常见的图像风格化算法大多存在效率低下，鲁棒性差等问题。
发明内容
有鉴于此，本发明提供了一种交互式图像风格化处理方法、系统、计算设备及存储介质，其能够根据用户的需要，交互式地进行指定区域的图像风格化，模拟出不同艺术形式的绘制风格，增强图像中可视信息的表现形式，提升图像的吸引力，在多媒体、美术教学等领域具有实用价值。
本发明的第一个目的在于提供一种交互式图像风格化处理方法。
本发明的第二个目的在于提供一种交互式图像风格化处理系统。
本发明的第三个目的在于提供一种计算设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种交互式图像风格化处理方法，所述方法包括：
获取多张第一训练图像和多张第二训练图像；其中，所述第一训练图像为包含目标和背景的图像，所述第二训练图像为风格图像；
构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像；
构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练；
根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像；
利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。
进一步的，所述构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像，具体包括：
在RGB颜色空间中，采用K个高斯分量的全协方差混合高斯模型分别对第一训练图像的目标和背景进行建模；
采用迭代能量最小化算法分割出第一训练图像的目标和背景；其中，所述能量最小化算法通过K-means算法进行初始化，分别将属于目标和背景的像素聚类为K类，K类的均值和协方差通过属于目标和背景的像素的RGB值估计得到；
根据第一训练图像的目标和背景，建立一个图，通过最大流算法处理权值图，并用最小割算法进行分割；
迭代优化混合高斯模型和分割结果，得到第一目标图像。
进一步的，所述第一训练图像的吉布斯能量如下：
E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)
其中：
α是像素的标签，0为背景，1为目标，2为可能的背景，3为可能的目标；k＝1…K，表示K-means算法聚类的类别，θ为高斯分量的权值，z为第一训练图像的图像数据；
U是能量函数的区域项，表示在第一训练图像的图像数据中，一个像素被归类为目标或者背景的惩罚：
根据高斯混合模型，将某个像素属于目标或者背景的概率取负对数得到：
其中，π为单个高斯分量对概率贡献的权重，μ为每个高斯分量的均值向量，∑为协方差矩阵；
V是边界能量项，表示邻域像素m和n之间不连续的惩罚，该边界能量项在RGB空间中，用于衡量邻域像素m和n的相似性，如下：
其中，β＝(2<(zm-zn)2>)-1，β由第一训练图像的对比度决定，γ为常数，C为相邻颜色对的集合。
进一步的，所述迭代优化混合高斯模型和分割结果之后，还包括：采用bordermatting对分割的边界进行平滑。
进一步的，所述构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练，具体包括：
建立生成网络；其中，所述生成网络由编码器子网络、AdaIN子网络和解码器子网络组成，编码器子网络利用预训练VGG19网络的前面几层构建；
将第一目标图像和第二训练图像输入编码器子网络，得到编码器子网络的输出，将编码器子网络的输出作为AdaIN子网络的输入，得到AdaIN子网络的输出，将AdaIN子网络的输出作为解码器子网络的输入，由解码器子网络输出风格化图像；
将编码器子网络作为计算损失网络，根据解码器子网络输出的风格化图像、AdaIN子网络的输出和第二训练图像，计算损失；
使用反向传播算法，采用层级微调的优化方式，通过从最后一层计算传递梯度，逐层传递，更新所有的参数。
进一步的，所述将第一目标图像和第二训练图像输入编码器子网络，得到编码器子网络的输出，将编码器子网络的输出作为AdaIN子网络的输入，得到AdaIN子网络的输出，将AdaIN子网络的输出作为解码器子网络的输入，由解码器子网络输出风格化图像，具体包括：
将第一目标图像和第二训练图像输入编码器子网络，在特征空间对第一目标图像和第二训练图像进行编码，输出第一目标图像对应的第一特征映射和第二训练图像对应的第二特征映射；
将编码器子网络输出的第一特征映射和第二特征映射输入AdaIN子网络，输出目标特征映射；
将AdaIN子网络输出的目标特征映射输入解码器子网络，通过解码器子网络转换到图像空间，输出风格化图像。
进一步的，所述损失由内容损失和风格损失组成，如下：
L＝Lc+λLs
其中，Lc为内容损失，Ls为风格损失，λ为权重；
所述内容损失Lc为AdaIN子网络的输出与解码器子网络输出的风格化图像之间的欧氏距离，如下：
Lc＝||f(g(t))-t||2
其中，t为AdaIN子网络的输出，g(t)为解码器子网络输出的风格化图像；
所述风格损失如下：
其中，σ为标准差，μ为平均值，为预训练VGG19网络的其中一层网络，s为第二训练图像的图像数据。
本发明的第二个目的可以通过采取如下技术方案达到：
一种交互式图像风格化处理系统，所述系统包括：
图像获取模块，用于获取多张第一训练图像和多张第二训练图像；其中，所述第一训练图像为包含目标和背景的图像，所述第二训练图像为风格图像；
抠图网络构建模块，用于构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像；
风格化神经网络构建模块，用于构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练；
抠图模块，用于根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像；
风格化处理模块，用于利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的交互式图像风格化处理方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的交互式图像风格化处理方法。
本发明相对于现有技术具有如下的有益效果：
本发明通过构建抠图网络和风格化神经网络，可以根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到用户指定区域的目标图像，再利用风格化神经网络对该目标图像进行风格化处理，从而模拟出不同艺术形式的绘制风格，增强图像中可视信息的表现形式，提升图像的吸引力，在多媒体、美术教学等领域具有实用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的交互式图像风格化处理方法的流程图。
图2为本发明实施例1的构建抠图网络的流程图。
图3为本发明实施例1的构建和训练风格化神经网络的流程图。
图4为本发明实施例1的待处理图像的示意图。
图5为本发明实施例1的用户交互输入待处理图像的示意图。
图6为本发明实施例1的抠图网络输出的图像示意图。
图7为本发明实施例1的参考风格图像的示意图。
图8为本发明实施例1的风格化神经网络输出的图像示意图。
图9为本发明实施例2的交互式图像风格化处理系统的结构框图。
图10为本发明实施例2的抠图网络构建模块的结构框图。
图11为本发明实施例2的风格化神经网络构建模块的结构框图。
图12为本发明实施例3的计算设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种交互式图像风格化处理方法，该方法包括以下步骤：
S101、获取多张第一训练图像和多张第二训练图像。
在本步骤中，第一训练图像为包含目标(前景)和背景的图像，第二训练图像为风格图像，本实施例的目标为人脸。
第一训练图像和第二训练图像可以通过采集获取，例如通过摄像头拍摄包含目标和背景的图像，以及拍摄风格图像，也可以从数据库查找获取，例如预先在数据库内存储包含目标和背景的图像以及风格图像，从数据库中搜索即可得到。
S102、构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像。
在本步骤中，对第一训练图像的目标和背景进行自适应分割采用了Grabcut算法，通过Grabcut算法提取第一训练图像的目标，以得到第一目标图像。
如图2所示，步骤S102具体包括：
S1021、在RGB颜色空间中，采用K(一取般K＝5)个高斯分量的全协方差混合高斯模型(Gaussian Mixed Model，简称GMM)分别对第一训练图像的目标和背景进行建模。
第一训练图像的吉布斯(Gibbs)能量如下：
E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)
其中：
α是像素的标签，0为背景，1为目标，2为可能的背景，3为可能的目标；k＝1…K，表示K-means算法聚类的类别，θ为高斯分量的权值，z为第一训练图像的图像数据；
U是能量函数的区域项，表示在第一训练图像的图像数据中，一个像素被归类为目标或者背景的惩罚：
根据高斯混合模型，将某个像素属于目标或者背景的概率取负对数得到：
其中，π为单个高斯分量对概率贡献的权重，μ为每个高斯分量的均值向量(因为有RGB三个通道，故为三个元素向量)，∑为协方差矩阵(因为有RGB三个通道，故为3x3矩阵)；
V是边界能量项，表示邻域像素m和n之间不连续的惩罚，该边界能量项在RGB空间中，用于衡量邻域像素m和n的相似性，如下：
其中，β＝(2<(zm-zn)2>)-1，β由第一训练图像的对比度决定，使得V项能在对比度高或低的情况下都可以正常工作，γ为常数，根据经验值取50，C为相邻颜色对的集合。
S1022、采用迭代能量最小化算法分割出第一训练图像的目标和背景。
在本步骤中，能量最小化算法通过K-means算法进行初始化，分别将属于目标和背景的像素聚类为K类，K类的均值和协方差通过属于目标和背景的像素的RGB值估计得到。
S1023、根据第一训练图像的目标和背景，建立一个图，通过最大流(max-flow)算法处理权值图，并用最小割(min-cut)算法进行分割。
在本步骤中，通过最大流算法处理权值图，并用最小割算法进行分割，如下式：
S1024、迭代优化混合高斯模型和分割结果，得到第一目标图像。
重复步骤S1021～S1023，直到收敛，每次的迭代会交互地优化混合高斯模型和分割结果，在迭代优化混合高斯模型和分割结果之后，还可以采用border matting对分割的边界进行平滑等后期处理，以得到更好效果的第一目标图像。
S103、构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练。
在本步骤中，基于Tensorflow平台对风格化神经网络进行训练，基于任意图像风格快速迁移(Arbitrary Style Transfer in Real-time)，结合第二训练图像对第一目标图像进行风格化，实现任意图像风格化的任务，并通过尝试调参，多次训练模型，对实验结果进行了进一步的优化。
风格化神经网络主要分为两个部分：生成网络和计算损失网络；生成网络是一个前向网络，后期用来进行风格转换网络；计算损失网络是用来训练时进行约束的。
如图3所示，步骤S103具体包括：
S1031、建立生成网络。
在本步骤中，生成网络由编码器子网络、AdaIN子网络和解码器子网络组成，编码器子网络利用预训练VGG19网络的前面几层(直到relu4_1)。
S1032、将第一目标图像和第二训练图像输入编码器子网络，得到编码器子网络的输出，将编码器子网络的输出作为AdaIN子网络的输入，得到AdaIN子网络的输出，将AdaIN子网络的输出作为解码器子网络的输入，由解码器子网络输出风格化图像。
在本步骤中，编码器子网络、AdaIN子网络和解码器子网络的具体处理如下：
1)编码器子网络：编码器子网络具有一个编码器，记为f，第一目标图像为内容图像，记为c，第二训练图像为风格图像，记为s，将内容图像c和风格图像s输入编码器子网络，在特征空间对内容图像c和风格图像s进行编码，输出内容图像c对应的第一特征映射(feature map)f(c)和风格图像s对应的第二特征映射(feature map)f(s)。
2)AdaIN子网络：将编码器子网络输出的第一特征映射f(c)和第二特征映射f(s)输入AdaIN子网络，输出目标特征映射(feature map)t；具体地，对内容图像c进行归一化，通过对齐内容图像c的每通道的目标特征映射的均值和方差来匹配风格图像s每通道的目标特征映射的均值和方差：
t＝AdaIN(f(c),f(s))
其中，
其中，σ为标准差，μ为平均值。
3)解码器子网络：解码器子网络具有一个解码器，记为g，将AdaIN子网络输出的目标特征映射t输入解码器子网络，通过解码器g转换到图像空间，输出风格化图像T(c,s)：
T(c,s)＝g(t)
解码器子网络一般采用和编码器子网络对称的网络结构，它的权重参数信息需要进行训练，开始可以随机一些初始化参数，通过梯度下降可以不断进行更新参数以使整个损失函数比较小、网络逐渐收敛。
S1033、将编码器子网络作为计算损失网络，根据解码器子网络输出的风格化图像、AdaIN子网络的输出和风格图像，计算损失。
具体地，根据风格化图像g(t)、目标特征映射t和风格图像s，计算损失L，损失L由内容损失和风格损失组成，如下：
L＝Lc+λLs
其中，Lc为内容损失，Ls为风格损失，λ为权重，训练时选用的权重为2.0；
内容损失Lc为目标特征映射t与风格化图像g(t)之间的欧氏距离，如下：
Lc＝||f(g(t))-t||2
风格损失Ls如下：
其中，σ为标准差，μ为平均值，为预训练VGG19网络的其中一层网络，选用相同权重的relu1_1、relu2_1、relu3_1和relu4_1。
S1034、使用反向传播算法，采用层级微调的优化方式，通过从最后一层计算传递梯度，逐层传递，更新所有的参数。
上述步骤S101～S103为训练阶段，即抠图网络和风格化神经网络的构建阶段，接下来的步骤S104～S105为应用(测试)阶段。可以理解，上述步骤S101～S103在一台计算设备(如计算机等)完成，可以在该计算设备上进入步骤S104～S105的应用(测试)阶段，也可以将该台计算设备构建出的抠图网络和风格化神经网络分享给其他的计算设备，在其他的计算设备上进入步骤S104～S105的应用阶段。
S104、根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像。
本步骤的实现与上述步骤S102相似，主要区别之处在于步骤S1022，用户可以通过直接框选目标来得到一个初始的map-T，方框外的像素全部作为背景像素TB，方框内TU的像素全部作为“可能是目标”的像素，用户可以对框选的目标用画笔引导，以对目标和背景进行自适应分割。
对TB内的每一像素n，初始化像素n的标签αn＝0，为背景像素；
对TU内的每个像素n，初始化像素n的标签αn＝3，即作为“可能的目标”的像素；
通过这个像素估计目标和背景的混合高斯模型。然后用k-mean算法分别把属于目标和背景的像素聚类为K类，即混合高斯模型中的K个高斯模型。
根据得到的初始map-T对每个像素分配混合高斯模型中的高斯分量，概率最大的那个就是像素n的第kn个高斯分量：
利用步骤S1021中每个像素对于高斯分量做的归类作为像素样本集，通过像素样本的RGB值估计它的参数均值和协方差，高斯分量的权值通过属于该高斯分量的像素个数与总的像素个数的比值来确定。
在本步骤中，待处理图像如图5所示，用户交互输入待处理图像如图6所示，抠图网络输出的图像如图7所示。
S105、利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。
具体地，将第二目标图像和第二训练图像中选取的参考风格图像输入训练后的风格化神经网络，通过训练后的风格化神经网络输出最终风格化图像，最终风格化图像为参考风格图像中的风格化效果。
在本步骤中，参考风格图像如图7所示，风格化神经网络输出的图像如图8所示。
本实施例的交互式图像风格化处理方法可以根据目标人脸的形状与光照特点自适应地进行目标(前景)提取，从而能在目标人脸进行制定区域的风格化；同时，该方法能简化人脸图像融合的人工操作，提高人脸融合编辑工具的操作效率与易用性。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图9所示，本实施例提供了一种交互式图像风格化处理系统，该系统包括图像获取模块901、抠图网络构建模块902、风格化神经网络构建模块903、抠图模块904和风格化处理模块905，各个模块的具体功能如下：
所述图像获取模块901，用于获取多张第一训练图像和多张第二训练图像；其中，所述第一训练图像为包含目标和背景的图像，所述第二训练图像为风格图像。
所述抠图网络构建模块902，用于构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像。
所述风格化神经网络构建模块903，用于构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练。
所述抠图模块904，用于根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像。
所述风格化处理模块905，用于利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。
如图10所示，抠图网络构建模块902包括：
建模单元9021，用于在RGB颜色空间中，采用K个高斯分量的全协方差混合高斯模型分别对第一训练图像的目标和背景进行建模。
第一分割单元9022，用于采用迭代能量最小化算法分割出第一训练图像的目标和背景；其中，所述能量最小化算法通过K-means算法进行初始化，分别将属于目标和背景的像素聚类为K类，K类的均值和协方差通过属于目标和背景的像素的RGB值估计得到。
第二分割单元9023，用于根据第一训练图像的目标和背景，建立一个图，通过最大流算法处理权值图，并用最小割算法进行分割。
迭代单元9024，用于迭代优化混合高斯模型和分割结果，得到第一目标图像。
如图11所示，风格化神经网络构建模块903包括：
建立单元9031，用于建立生成网络；其中，所述生成网络由编码器子网络、AdaIN子网络和解码器子网络组成，编码器子网络利用预训练VGG19网络的前面几层构建。
处理单元9032，用于将第一目标图像和第二训练图像输入编码器子网络，得到编码器子网络的输出，将编码器子网络的输出作为AdaIN子网络的输入，得到AdaIN子网络的输出，将AdaIN子网络的输出作为解码器子网络的输入，由解码器子网络输出风格化图像。
损失计算单元9033，用于将编码器子网络作为计算损失网络，根据解码器子网络输出的风格化图像、AdaIN子网络的输出和第二训练图像，计算损失。
优化单元9034，用于使用反向传播算法，采用层级微调的优化方式，通过从最后一层计算传递梯度，逐层传递，更新所有的参数。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算设备，该计算设备可以是计算机，如图12所示，其包括通过系统总线1201连接的处理器1202、存储器、输入装置1203、显示器1204和网络接口1205，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1206和内存储器1207，该非易失性存储介质1206存储有操作系统、计算机程序和数据库，该内存储器1207为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器1202执行存储器存储的计算机程序时，实现上述实施例1的交互式图像风格化处理方法，如下：
获取多张第一训练图像和多张第二训练图像；其中，所述第一训练图像为包含目标和背景的图像，所述第二训练图像为风格图像；
构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像；
构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练；
根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像；
利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述程序被处理器执行时，处理器执行存储器存储的计算机程序时，实现上述实施例1的交互式图像风格化处理方法，如下：
获取多张第一训练图像和多张第二训练图像；其中，所述第一训练图像为包含目标和背景的图像，所述第二训练图像为风格图像；
构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像；
构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练；
根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像；
利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。
本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
综上所述，本发明通过构建抠图网络和风格化神经网络，可以根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到用户指定区域的目标图像，再利用风格化神经网络对该目标图像进行风格化处理，从而模拟出不同艺术形式的绘制风格，增强图像中可视信息的表现形式，提升图像的吸引力，在多媒体、美术教学等领域具有实用价值。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (10)
1.一种交互式图像风格化处理方法，其特征在于，所述方法包括：
获取多张第一训练图像和多张第二训练图像；其中，所述第一训练图像为包含目标和背景的图像，所述第二训练图像为风格图像；
构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像；
构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练；
根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像；
利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。
2.根据权利要求1所述的交互式图像风格化处理方法，其特征在于，所述构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像，具体包括：
在RGB颜色空间中，采用K个高斯分量的全协方差混合高斯模型分别对第一训练图像的目标和背景进行建模；
采用迭代能量最小化算法分割出第一训练图像的目标和背景；其中，所述能量最小化算法通过K-means算法进行初始化，分别将属于目标和背景的像素聚类为K类，K类的均值和协方差通过属于目标和背景的像素的RGB值估计得到；
根据第一训练图像的目标和背景，建立一个图，通过最大流算法处理权值图，并用最小割算法进行分割；
迭代优化混合高斯模型和分割结果，得到第一目标图像。
3.根据权利要求2所述的交互式图像风格化处理方法，其特征在于，所述第一训练图像的吉布斯能量如下：
E(α，k，θ，z)＝U(α，k，θ，z)+V(α，z)
其中：
α是像素的标签，0为背景，1为目标，2为可能的背景，3为可能的目标；k＝1...K，表示K-means算法聚类的类别；θ为高斯分量的权值；z为第一训练图像的图像数据；
U是能量函数的区域项，表示在第一训练图像的图像数据中，一个像素被归类为目标或者背景的惩罚：
根据高斯混合模型，将某个像素属于目标或者背景的概率取负对数得到：
其中，π为单个高斯分量对概率贡献的权重，μ为每个高斯分量的均值向量，∑为协方差矩阵；
V是边界能量项，表示邻域像素m和n之间不连续的惩罚，该边界能量项在RGB空间中，用于衡量邻域像素m和n的相似性，如下：
其中，β＝(2<(zm-zn)2＞)-1，β由第一训练图像的对比度决定，γ为常数，C为相邻颜色对的集合。
4.根据权利要求2-3任一项所述的交互式图像风格化处理方法，其特征在于，所述迭代优化混合高斯模型和分割结果之后，还包括：采用border matting对分割的边界进行平滑。
5.根据权利要求1所述的交互式图像风格化处理方法，其特征在于，所述构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练，具体包括：
建立生成网络；其中，所述生成网络由编码器子网络、AdaIN子网络和解码器子网络组成，编码器子网络利用预训练VGG19网络的前面几层构建；
将第一目标图像和第二训练图像输入编码器子网络，得到编码器子网络的输出，将编码器子网络的输出作为AdaIN子网络的输入，得到AdaIN子网络的输出，将AdaIN子网络的输出作为解码器子网络的输入，由解码器子网络输出风格化图像；
将编码器子网络作为计算损失网络，根据解码器子网络输出的风格化图像、AdaIN子网络的输出和第二训练图像，计算损失；
使用反向传播算法，采用层级微调的优化方式，通过从最后一层计算传递梯度，逐层传递，更新所有的参数。
6.根据权利要求5所述的交互式图像风格化处理方法，其特征在于，所述将第一目标图像和第二训练图像输入编码器子网络，得到编码器子网络的输出，将编码器子网络的输出作为AdaIN子网络的输入，得到AdaIN子网络的输出，将AdaIN子网络的输出作为解码器子网络的输入，由解码器子网络输出风格化图像，具体包括：
将第一目标图像和第二训练图像输入编码器子网络，在特征空间对第一目标图像和第二训练图像进行编码，输出第一目标图像对应的第一特征映射和第二训练图像对应的第二特征映射；
将编码器子网络输出的第一特征映射和第二特征映射输入AdaIN子网络，输出目标特征映射；
将AdaIN子网络输出的目标特征映射输入解码器子网络，通过解码器子网络转换到图像空间，输出风格化图像。
7.根据权利要求5所述的交互式图像风格化处理方法，其特征在于，所述损失由内容损失和风格损失组成，如下：
L＝Lc+2Ls
其中，Lc为内容损失，Ls为风格损失，λ为权重；
所述内容损失为AdaIN子网络的输出与解码器子网络输出的风格化图像之间的欧氏距离，如下：
Lc＝||f(g(t))-t||2
其中，Lc为内容损失，t为AdaIN子网络的输出，g(t)为解码器子网络输出的风格化图像；
所述风格损失如下：
其中，σ为标准差，μ为平均值，为预训练VGG19网络的其中一层网络，s为第二训练图像的图像数据。
8.一种交互式图像风格化处理系统，其特征在于，所述系统包括：
图像获取模块，用于获取多张第一训练图像和多张第二训练图像；其中，所述第一训练图像为包含目标和背景的图像，所述第二训练图像为风格图像；
抠图网络构建模块，用于构建抠图网络，对第一训练图像的目标和背景进行自适应分割，得到第一目标图像；
风格化神经网络构建模块，用于构建风格化神经网络，将第一目标图像和第二训练图像输入风格化神经网络，对风格化神经网络进行训练；
抠图模块，用于根据用户的交互输入，利用抠图网络对待处理图像的目标和背景进行自适应分割，得到第二目标图像；
风格化处理模块，用于利用训练后的风格化神经网络对第二目标图像进行风格化处理，得到最终风格化图像。
9.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的交互式图像风格化处理方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的交互式图像风格化处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910396504.2A CN110222722A (zh) | 2019-05-14 | 2019-05-14 | 交互式图像风格化处理方法、系统、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910396504.2A CN110222722A (zh) | 2019-05-14 | 2019-05-14 | 交互式图像风格化处理方法、系统、计算设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110222722A true CN110222722A (zh) | 2019-09-10 |
Family
ID=67820970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910396504.2A Pending CN110222722A (zh) | 2019-05-14 | 2019-05-14 | 交互式图像风格化处理方法、系统、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222722A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689478A (zh) * | 2019-09-25 | 2020-01-14 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、电子设备及可读介质 |
| CN111127309A (zh) * | 2019-12-12 | 2020-05-08 | 杭州格像科技有限公司 | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 |
| CN111340905A (zh) * | 2020-02-13 | 2020-06-26 | 北京百度网讯科技有限公司 | 图像风格化方法、装置、设备和介质 |
| CN111402112A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN111951154A (zh) * | 2020-08-14 | 2020-11-17 | 中国工商银行股份有限公司 | 包含背景和介质的图片的生成方法及装置 |
| CN112102461A (zh) * | 2020-11-03 | 2020-12-18 | 北京智源人工智能研究院 | 一种人脸渲染方法、装置、电子设备和存储介质 |
| CN112465064A (zh) * | 2020-12-14 | 2021-03-09 | 合肥工业大学 | 基于深度课程学习的图像识别方法、装置及设备 |
| CN112561779A (zh) * | 2019-09-26 | 2021-03-26 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、设备及存储介质 |
| CN112561778A (zh) * | 2019-09-26 | 2021-03-26 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、设备及存储介质 |
| CN112734769A (zh) * | 2020-12-31 | 2021-04-30 | 山东大学 | 基于交互信息引导的深度学习方法的医学图像分割和定量分析方法、计算机设备、存储介质 |
| CN112766079A (zh) * | 2020-12-31 | 2021-05-07 | 北京航空航天大学 | 一种基于内容风格分离的无监督图像到图像翻译方法 |
| WO2021109876A1 (zh) * | 2019-12-02 | 2021-06-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113160033A (zh) * | 2020-12-28 | 2021-07-23 | 武汉纺织大学 | 服装风格迁移系统与方法 |
| CN113240599A (zh) * | 2021-05-10 | 2021-08-10 | Oppo广东移动通信有限公司 | 图像调色方法及装置、计算机可读存储介质、电子设备 |
| CN113469876A (zh) * | 2021-07-28 | 2021-10-01 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型训练方法、图像处理方法、装置及设备 |
| CN113542759A (zh) * | 2020-04-15 | 2021-10-22 | 辉达公司 | 生成对抗神经网络辅助的视频重建 |
| CN113763232A (zh) * | 2020-08-10 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN113763233A (zh) * | 2021-08-04 | 2021-12-07 | 深圳盈天下视觉科技有限公司 | 一种图像处理方法、服务器及拍照设备 |
| CN114743080A (zh) * | 2022-03-04 | 2022-07-12 | 商汤国际私人有限公司 | 图像处理方法及装置、终端、存储介质 |
| CN114897670A (zh) * | 2022-05-11 | 2022-08-12 | 咪咕文化科技有限公司 | 风格化图片生成方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104820990A (zh) * | 2015-05-15 | 2015-08-05 | 北京理工大学 | 一种交互式图像抠图系统 |
| CN106548208A (zh) * | 2016-10-28 | 2017-03-29 | 杭州慕锐科技有限公司 | 一种照片图像快速智能风格化方法 |
| CN107463622A (zh) * | 2017-07-06 | 2017-12-12 | 西南交通大学 | 一种保持地标建筑形状特征的自动符号化方法 |
| CN107945204A (zh) * | 2017-10-27 | 2018-04-20 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
| CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、电子设备及存储介质 |
| CN108961349A (zh) * | 2018-06-29 | 2018-12-07 | 广东工业大学 | 一种风格化图像的生成方法、装置、设备及存储介质 |
| CN109325903A (zh) * | 2017-07-31 | 2019-02-12 | 北京大学 | 图像风格化重建的方法及装置 |
| CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| CN109712068A (zh) * | 2018-12-21 | 2019-05-03 | 云南大学 | 用于葫芦烙画的图像风格迁移与模拟方法 |
-
2019
- 2019-05-14 CN CN201910396504.2A patent/CN110222722A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104820990A (zh) * | 2015-05-15 | 2015-08-05 | 北京理工大学 | 一种交互式图像抠图系统 |
| CN106548208A (zh) * | 2016-10-28 | 2017-03-29 | 杭州慕锐科技有限公司 | 一种照片图像快速智能风格化方法 |
| CN107463622A (zh) * | 2017-07-06 | 2017-12-12 | 西南交通大学 | 一种保持地标建筑形状特征的自动符号化方法 |
| CN109325903A (zh) * | 2017-07-31 | 2019-02-12 | 北京大学 | 图像风格化重建的方法及装置 |
| CN107945204A (zh) * | 2017-10-27 | 2018-04-20 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
| CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、电子设备及存储介质 |
| CN108961349A (zh) * | 2018-06-29 | 2018-12-07 | 广东工业大学 | 一种风格化图像的生成方法、装置、设备及存储介质 |
| CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| CN109712068A (zh) * | 2018-12-21 | 2019-05-03 | 云南大学 | 用于葫芦烙画的图像风格迁移与模拟方法 |
Non-Patent Citations (7)
| Title |
|---|
| LINGYU LIANG等: "Facial Skin Beautification Using Adaptive Region-Aware Masks", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
| XUN HUANG等: "Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
| 丁红 等: "基于快速收敛Grabcut的目标提取算法", 《计算机工程与设计》 * |
| 吴凯琳: "计算机绘制低多边形风格肖像", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 栾奕欣: "基于深度学习的图像风格化处理", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 梁凌宇: "人脸图像的自适应美化与渲染研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 陈梓炜: "基于深度特征插值的图像变换方法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689478B (zh) * | 2019-09-25 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、电子设备及可读介质 |
| CN110689478A (zh) * | 2019-09-25 | 2020-01-14 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、电子设备及可读介质 |
| CN112561779B (zh) * | 2019-09-26 | 2023-09-29 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、设备及存储介质 |
| CN112561779A (zh) * | 2019-09-26 | 2021-03-26 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、设备及存储介质 |
| CN112561778A (zh) * | 2019-09-26 | 2021-03-26 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、设备及存储介质 |
| WO2021109876A1 (zh) * | 2019-12-02 | 2021-06-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111127309A (zh) * | 2019-12-12 | 2020-05-08 | 杭州格像科技有限公司 | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 |
| CN111127309B (zh) * | 2019-12-12 | 2023-08-11 | 杭州格像科技有限公司 | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 |
| CN111340905A (zh) * | 2020-02-13 | 2020-06-26 | 北京百度网讯科技有限公司 | 图像风格化方法、装置、设备和介质 |
| CN111340905B (zh) * | 2020-02-13 | 2023-08-04 | 北京百度网讯科技有限公司 | 图像风格化方法、装置、设备和介质 |
| CN111402112A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN113542759B (zh) * | 2020-04-15 | 2024-05-10 | 辉达公司 | 生成对抗神经网络辅助的视频重建 |
| CN113542759A (zh) * | 2020-04-15 | 2021-10-22 | 辉达公司 | 生成对抗神经网络辅助的视频重建 |
| CN113763232A (zh) * | 2020-08-10 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN111951154B (zh) * | 2020-08-14 | 2023-11-21 | 中国工商银行股份有限公司 | 包含背景和介质的图片的生成方法及装置 |
| CN111951154A (zh) * | 2020-08-14 | 2020-11-17 | 中国工商银行股份有限公司 | 包含背景和介质的图片的生成方法及装置 |
| CN112102461B (zh) * | 2020-11-03 | 2021-04-09 | 北京智源人工智能研究院 | 一种人脸渲染方法、装置、电子设备和存储介质 |
| CN112102461A (zh) * | 2020-11-03 | 2020-12-18 | 北京智源人工智能研究院 | 一种人脸渲染方法、装置、电子设备和存储介质 |
| CN112465064A (zh) * | 2020-12-14 | 2021-03-09 | 合肥工业大学 | 基于深度课程学习的图像识别方法、装置及设备 |
| CN113160033A (zh) * | 2020-12-28 | 2021-07-23 | 武汉纺织大学 | 服装风格迁移系统与方法 |
| CN112734769B (zh) * | 2020-12-31 | 2022-11-04 | 山东大学 | 基于交互信息引导的深度学习方法的医学图像分割和定量分析方法、计算机设备、存储介质 |
| CN112766079B (zh) * | 2020-12-31 | 2023-05-26 | 北京航空航天大学 | 一种基于内容风格分离的无监督图像到图像翻译方法 |
| CN112766079A (zh) * | 2020-12-31 | 2021-05-07 | 北京航空航天大学 | 一种基于内容风格分离的无监督图像到图像翻译方法 |
| CN112734769A (zh) * | 2020-12-31 | 2021-04-30 | 山东大学 | 基于交互信息引导的深度学习方法的医学图像分割和定量分析方法、计算机设备、存储介质 |
| CN113240599A (zh) * | 2021-05-10 | 2021-08-10 | Oppo广东移动通信有限公司 | 图像调色方法及装置、计算机可读存储介质、电子设备 |
| CN113469876A (zh) * | 2021-07-28 | 2021-10-01 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型训练方法、图像处理方法、装置及设备 |
| CN113469876B (zh) * | 2021-07-28 | 2024-01-09 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型训练方法、图像处理方法、装置及设备 |
| CN113763233A (zh) * | 2021-08-04 | 2021-12-07 | 深圳盈天下视觉科技有限公司 | 一种图像处理方法、服务器及拍照设备 |
| CN114743080A (zh) * | 2022-03-04 | 2022-07-12 | 商汤国际私人有限公司 | 图像处理方法及装置、终端、存储介质 |
| CN114897670A (zh) * | 2022-05-11 | 2022-08-12 | 咪咕文化科技有限公司 | 风格化图片生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222722A (zh) | 交互式图像风格化处理方法、系统、计算设备及存储介质 | |
| Li et al. | A closed-form solution to photorealistic image stylization | |
| CN112163465B (zh) | 细粒度图像分类方法、系统、计算机设备及存储介质 | |
| US11593615B2 (en) | Image stylization based on learning network | |
| US10424087B2 (en) | Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures | |
| US8204308B2 (en) | Image processing apparatus, method, and program | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN110458750B (zh) | 一种基于对偶学习的无监督图像风格迁移方法 | |
| Liang et al. | Parsing the hand in depth images | |
| CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
| CN113255813B (zh) | 一种基于特征融合的多风格图像生成方法 | |
| CN110598781A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107680106A (zh) | 一种基于Faster R‑CNN的显著性目标检测方法 | |
| CN111696028A (zh) | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 | |
| US20220156987A1 (en) | Adaptive convolutions in neural networks | |
| CN111242844A (zh) | 图像处理方法、装置、服务器和存储介质 | |
| CN107862664A (zh) | 一种图像非真实感绘制方法及系统 | |
| CN115187706B (zh) | 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备 | |
| DiPaola et al. | Using artificial intelligence techniques to emulate the creativity of a portrait painter | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN117237542B (zh) | 基于文本的三维人体模型生成方法和装置 | |
| CN108171766B (zh) | 一种具有笔画轮廓纠正功能的图像生成方法 | |
| CN114373033A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN106097373B (zh) | 一种基于分部式稀疏成分分析模型的笑脸合成方法 | |
| Pan et al. | A fast method for saliency detection by back-propagating a convolutional neural network and clamping its partial outputs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |
|
| RJ01 | Rejection of invention patent application after publication |