CN113850712A - 图像风格转换模型的训练方法、图像风格转换方法及装置 - Google Patents
图像风格转换模型的训练方法、图像风格转换方法及装置 Download PDFInfo
- Publication number
- CN113850712A CN113850712A CN202111034624.1A CN202111034624A CN113850712A CN 113850712 A CN113850712 A CN 113850712A CN 202111034624 A CN202111034624 A CN 202111034624A CN 113850712 A CN113850712 A CN 113850712A
- Authority
- CN
- China
- Prior art keywords
- style
- image
- target
- training
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 156
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000004927 fusion Effects 0.000 claims abstract description 73
- 238000005192 partition Methods 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000000694 effects Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 13
- 238000003062 neural network model Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本公开关于一种图像风格转换模型的训练方法、图像风格转换方法及装置。图像风格转换模型的训练方法包括：获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数将样本原始图像转换为目标风格，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格；获取将样本原始图像按照风格参数转换后的训练目标图像；针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，针对每种目标风格对预设模型训练，得到图像风格转换模型，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及图像风格转换模型的训练方法、图像风格转换方法及装置。
背景技术
风格转换，也可以称为风格迁移，是指通过计算机(或其他智能计算设备)对数字图像进行变换处理，输出带有风格的图像，如油画，工笔画，手绘人像等常见风格。相关技术中常见的实现方式是一个模型支持一个风格，针对不同的风格训练不同的风格转换模型，这种风格转换模型只支持单一风格的转换，风格转换的方式不够灵活。
发明内容
本公开提供一种图像风格转换模型的训练方法、图像风格转换方法及装置，以至少解决相关技术中图像风格转换模型支持的风格转换方式单一的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像风格转换模型的训练方法，包括：
获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数，将样本原始图像转换为目标风格，其中，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格；
获取将样本原始图像按照风格参数转换后的训练目标图像；其中，训练目标图像用于作为预设模型的输出图像的训练目标；
针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型；
在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。
可选地，获取训练预设模型使用的风格参数的步骤包括：
在多种目标风格中选择本次训练的目标风格；
在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型；
在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重；
在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。
可选地，在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数的步骤包括：在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；
在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数的步骤包括：在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1；
在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数的步骤包括：在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。
可选地，获取将样本原始图像按照风格参数转换后的训练目标图像，包括：
在目标风格为单风格的情况下，获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像；
在目标风格为融合多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像；
在目标风格为分区多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。
根据本公开实施例的第二方面，提供一种图像风格转换方法，包括：
获取待转换图像和风格参数；其中，风格参数用于表示目标风格的参数；
将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像；其中，图像风格转换模型为根据第一方面的图像风格转换模型的训练方法进行训练得到。
根据本公开实施例的第三方面，提供一种图像风格转换模型的训练装置，包括：
第一获取单元，用于获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数，将样本原始图像转换为目标风格，其中，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格；
第二获取单元，用于获取将样本原始图像按照风格参数转换后的训练目标图像；其中，训练目标图像用于作为预设模型的输出图像的训练目标；
第一训练单元，用于针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型；
第二训练单元，用于在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。
可选地，第一获取单元包括：
第一选择子单元，用于在多种目标风格中选择本次训练的目标风格；
第二选择子单元，用于在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型；
第三选择子单元，用于在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重；
第四选择子单元，用于在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。
可选地，第二选择子单元还用于在目标风格为单风格的情况下，在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；
第三选择子单元还用于在目标风格为融合多风格的情况下，在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1；
第四选择子单元还用于在目标风格为分区多风格的情况下，在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。
可选地，第二获取单元包括：
第一获取子单元，用于在目标风格为单风格的情况下，获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像；
第二获取子单元，用于在目标风格为融合多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像；
第三获取子单元，用于在目标风格为分区多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。
根据本公开实施例的第四方面，提供一种图像风格转换装置，包括：
获取单元，用于获取待转换图像和风格参数；其中，风格参数用于表示目标风格的参数；
输入单元，用于将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像；其中，图像风格转换模型为根据第一方面的图像风格转换模型的训练方法进行训练得到。
根据本公开实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现如第一方面及其任意一个示例所提供的图像风格转换模型的训练方法，或者第二方面及其任意一个示例所提供的图像风格转换方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如第一方面及其任意一个示例所提供的图像风格转换模型的训练方法，或者第二方面及其任意一个示例所提供的图像风格转换方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如第一方面及其任意一个示例所提供的图像风格转换模型的训练方法，或者第二方面及其任意一个示例所提供的图像风格转换方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像风格转换模型的训练方法的流程图。
图2是根据一示例性实施例示出的一种不同风格类型的转换效果的示意图。
图3是根据一示例性实施例示出的一种多风格融合转换的转换效果的示意图。
图4是根据一示例性实施例示出的一种分区转换的转换效果的示意图。
图5是根据一示例性实施例示出的一种多风格转换模型的示意图。
图6是根据一示例性实施例示出的一种图像风格转换方法的流程图。
图7是根据一示例性实施例示出的一种图像风格转换模型的训练装置的框图。
图8是根据一示例性实施例示出的一种图像风格转换装置的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像风格转换模型的训练方法的流程图，如图1所示，具体可以包括以下步骤。
步骤101，获取训练预设模型使用的风格参数。
在本公开实施例中，风格参数是训练时的预设模型以及对预设模型训练后得到的图像风格转换模型的输入之一。预设模型以及图像风格转换模型的结构，可以使用相关技术中的神经网络模型的结构，例如，前馈神经网络模型、循环神经网络模型、对称连接神经网络模型等。在对预设模型训练之后，得到图像风格转换模型。
上述的风格参数用于表示目标风格的参数。预设模型用于基于风格参数，将样本原始图像转换为目标风格。
目标风格为以下三个种类之一：单风格、融合多风格或分区多风格。预设模型/图像风格转换模型能够至少实现三种目标风格的转换，具体的，模型能够将输入的图像转换为输入的风格参数指示种类的目标风格。
具体来说，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格。
这样，步骤101获取训练预设模型使用的风格参数的步骤，可以是在多种目标风格中选择本次训练的目标风格，进而，根据目标风格的不同，执行对应的步骤。
在目标风格为单风格的情况下，可以选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型。在目标风格为单风格的情况下，预设模型可以在不同的单风格中切换，也即，输入一张原始图像，可以输出不同种类风格的风格图像。而切换的“开关”就是风格参数。单风格对应的风格参数用于表示对应的风格类型，每个类型的风格可以通过不同的风格编码来表示。
例如，如图2所示，对于一张原始图像200，经过预设模型处理之后，可以根据输入的风格参数的不同，生成不同的风格图像，风格图像201～204可以分别对应风格参数：00、01、10、11；或者，风格参数也可以使用独热(one-hot)编码方式编码，示例性的，风格图像201～204可以分别对应风格参数：0001、0010、0100、1000。
在目标风格为融合多风格的情况下，可以选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重。在目标风格为融合多风格的情况下，预设模型可以将不同风格进行融合，也即，将图像转换为多风格融合之后得到的融合风格。融合多风格对应的风格参数可以表示融合的每种风格以及每种风格所占的权重。例如，可以用多维数组的形式来表示，数组的每个维度表示对应类型风格在融合后的风格中所占的权重比例，权重比例在0～1之间，且所有风格的权重相加为1。
例如，预设模型可以支持如图2所示的四种风格类型，那么，在进行多风格融合时，可以在这四种风格类型中选择至少两个类型的风格进行融合，并通过风格参数来描述选择融合的风格类型以及每种风格类型所占的权重。
示例性的，风格参数可以是[0,i,j,0]，这个风格参数表示第一种和第四种风格类型权重是0，未被选择融合，而选择融合的是第二种和第三种风格类型，权重分别为i和j，i和j都在(0,1)区间，且i+j＝1。
图3示意了第二种和第三种风格类型所占权重不同的情况下的融合多风格的效果，样本原始图像300在转换为第二种风格类型时可以得到风格图像301，在转换为第三种风格类型时得到风格图像302，而风格图像3001～3004就是第二种风格类型和第三种风格类型融合的效果，其中，风格图像3001至风格图像3004中第二种风格类型所占的权重越来越小，第三种风格类型所占的权重越来越大。
在目标风格为分区多风格的情况下，可以选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。在目标风格为分区多风格的情况下，预设模型可以对不同区域转移不同的风格类型，也即，生成的风格图像中每个区域的风格类型是不同的。需要说明的是，分区的精细度可以是像素级别。分区多风格的风格参数用于表示每种风格类型以及每种风格类型对应的图像区域。
一个示例中，风格参数可以使用与图像的数字矩阵大小相同的掩码矩阵来表示，掩码矩阵中每个元素用于表示对应像素位置所使用的风格。如图4所示为对左、右两个分区分别转换为不同风格得到的效果示意图。
通过以上说明可以看出，风格参数能够表示出期望预设模型/图像转换风格模型的目标风格及具体参数。通过对不同目标风格的风格参数预设不同的参数格式，可以使模型(包括预设模型和图像转换风格模型)根据参数格式识别出期望转换的目标风格。
为了训练预设模型，可以根据风格参数的参数格式，在风格参数的参数取值区间内随机的生成风格参数。这样，可以提高模型训练过程的灵活性，增加样本空间，提高风格转换效果。
步骤102，获取将样本原始图像按照风格参数转换后的训练目标图像。
训练目标图像用于作为预设模型的输出图像的训练目标。在训练预设模型时，预设模型根据输入的风格参数和样本原始图像可以得到输出的风格图像，然后，可以根据训练目标图像与输出的风格图像之间的差距，对预设模型的内部参数进行调整。这样，通过使用不同的样本原始图像或风格参数进行多次迭代训练，可以减小输出的风格图像与训练目标图像之间的差距。
可选地，在目标风格为单风格的情况下，可以获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像。
在目标风格为融合多风格的情况下，可以获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，进而，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像。
在目标风格为分区多风格的情况下，可以获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。
可选地，在执行步骤102时，可以根据图像样本集中的样本生成训练目标图像。图像样本集中，包括样本原始图像，以及样本原始图像转换为每种不同的风格类型的风格图像，例如，油画风格、素描风格、漫画风格、写实风格等等。以上风格类型仅用于示例性的举例，不用于对本公开实施例的风格类型进行限定。这样，在得到风格参数之后，可以获取一张样本原始图像，进而，根据风格参数获取对应风格类型的风格图像，并根据风格参数生成训练目标图像。通过这种实施方式，可以根据不同的风格参数生成不同的训练目标图像，增加了训练的样本空间，提高了样本中风格图像的使用效率。
步骤103，针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型。
在训练预设模型时，每次训练可以向预设模型输入一张样本原始图像以及对应的风格参数，在预设模型得到输出的图像之后，可以根据输出图像与训练目标图像之间的差距调整预设模型中的模型参数。通过多次迭代训练，可以减小输出图像与训练目标图像之间的差距，使得预设模型输出的图像能够更符合风格参数所指示的目标风格。
输出图像与训练目标图像之间的差距，具体可以是通过所有像素的均方差、分区域的均方差等参数指标进行评价的，本公开实施例对此不作限定。在根据差距来调整预设模型中的模型参数时，可以使用相关技术中深度学习的参数调整算法，例如，基于贝叶斯优化的参数调整算法、基于梯度下降的参数调整算法等。
步骤104，在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。
本公开实施例中的预设模型/图像风格转换模型的结构，可以包括如图5所示的输入编码器、隐空间和输出编码器三个部分，其中，风格参数可以加在上述任意一个部分或任意多个部分中，也即，可以在训练中在这三个部分中同时加入或分别的加入风格参数，具体而言，预设模型/图像风格转换模型可以为神经网络模型，加入风格参数相当于在对应部分的卷积层输出加入额外的用于表示风格参数的编码通道。优选地，风格参数的编码通道可以加在隐空间和输出编码器。
本公开实施例通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。训练得到的图像风格转换模型由于能够实现转换为不同目标风格的效果，可以减少模型所需的存储空间和运行内存，解决了相关技术中实现多种风格的图像处理效果时，加载多个模型所需的存储空间和运行内存较大的问题。
在一个示例中，在目标风格为单风格的情况下，上述选择单一风格的风格类型，得到风格参数的步骤，具体可以是在多个候选的风格编码中随机选择一个风格编码，其中，每个风格编码用于表示对应的风格类型。
这样，在执行步骤102获取训练目标图像时，可以选择样本原始图像与风格编码对应的风格图像即可。
在目标风格为融合多风格的情况下，上述选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数的步骤，可以是在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值。这里，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1。
这样，在执行步骤102获取训练目标图像时，可以根据风格参数获取样本原始图像的与每个风格编码对应的风格图像，并进一步按照权重公式计算融合多种风格后的图像。具体做法可以是获取样本原始图像对应的P个风格图像的像素值矩阵，将每个矩阵与对应风格类型的权重相乘，并求和，可以参考公式：
G＝∑kfTf(f＝1，……，k)，∑kf＝1，
其中，G为训练目标图像，kf为第f种风格类型的权重参数，Tf为第f种风格类型对应的风格图像的像素值矩阵。示例性的，以两个风格融合为例，G＝kT1+(1-k)T2。
在目标风格为分区多风格的情况下，上述选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数的步骤，可以是在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵。这里，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。
这样，在执行步骤102获取训练目标图像时，可以根据风格参数获取样本原始图像的与每个风格编码对应的风格图像，并进一步按照分区掩码模板计算出训练目标图像。举例来说，可以通过如下公式计算训练目标图像：
G＝∑Kf(Tf)(f＝1，……，k)，
其中，G为训练目标图像，Kf为第f种风格类型的分区掩码模板(是一个矩阵)，Tf为第f种风格类型对应的风格图像的像素值矩阵。Kf与Tf的矩阵大小相同，也即，矩阵都是a×b大小。
Kf()可以视为第f种风格类型的掩码函数，可以是一个元素值为0或1的二值矩阵，用于描述每个像素是否使用第f种风格类型，如果使用第f种风格，则对应风格图像中对应像素的像素值被保留，否则，如果不使用第f种风格类型，则对应像素的像素值为0，并且，不同风格类型保留的像素位置是不重合的。
示例性的，第一种风格类型的分区掩码模板K1为：
第二种风格类型的分区掩码模板K2为：
样本原始图像对应于第一种风格类型的风格图像的像素值矩阵T1为：
样本原始图像对应于第二种风格类型的风格图像的像素值矩阵T2为：
相应的，K1(T1)
得到
也即，相当于在需要实现分区转换为不同风格的情况下，可以根据风格参数确定每种风格类型对应的图像区域(像素值位置)，在对应的风格图像中提取出对应部分的像素值，并将所有风格类型提取出的像素值按照对应的像素位置组合为一张图像，得到训练目标图像。
通过上述生成风格参数的具体实施方式，可以得到更符合不同目标风格特点的风格参数，使训练后得到的模型在转换图像风格时，能够得到更符合对应目标风格的图像。
本公开实施例还提供一种图像风格转换方法，如图6所示，包括如下步骤：
步骤501，获取待转换图像和风格参数。
风格参数用于表示目标风格的参数。风格参数可以是用户输入或选择的。待转换图像是待输入至图像风格转换模型的图像，具体可以是用户提供或选择的图像。
一个示例的应用场景中，本公开实施例提供的图像风格转换方法可以应用于客户端中，图像风格转换模型为服务端通过本公开实施例提供的图像风格转换模型的训练方法训练得到，客户端可以安装于终端中，服务端可以配置于与终端通信连接的服务器中，客户端可以通过终端接收用户在相册中选择上传的待转换图像，并接收用户在客户端提供的多个风格参数中选择一个风格参数，或者由用户自行输入符合风格参数的预设参数格式和预设参数区间范围的数值。
步骤502，将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像。
其中，图像风格转换模型为根据本公开实施例提供的图像风格转换模型的训练方法进行训练得到。
本公开实施例提供的图像风格转换方法，通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。
本公开实施例还提供一种图像风格转换模型的训练装置，可以用于执行本公开实施例提供的图像风格转换模型的训练方法，其中，在本公开实施例提供的图像风格转换模型的训练装置中未详述的说明，可以参考上述对图像风格转换模型的训练方法的实施例的相关说明，在此不再赘述。
图7是根据一示例性实施例示出的一种图像风格转换模型的训练装置的框图。参照图7，该装置包括第一获取单元601，第二获取单元602，第一训练单元603和第二训练单元604。
第一获取单元601用于获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数，将样本原始图像转换为目标风格，其中，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格；
第二获取单元602用于获取将样本原始图像按照风格参数转换后的训练目标图像；其中，训练目标图像用于作为预设模型的输出图像的训练目标；
第一训练单元603用于针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型；
第二训练单元604用于在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。
可选地，第一获取单元601可以包括：
第一选择子单元，用于在多种目标风格中选择本次训练的目标风格；
第二选择子单元，用于在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型；
第三选择子单元，用于在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重；
第四选择子单元，用于在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。
可选地，第二选择子单元还可以用于在目标风格为单风格的情况下，在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；
第三选择子单元还可以用于在目标风格为融合多风格的情况下，在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1；
第四选择子单元还可以用于在目标风格为分区多风格的情况下，在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。
可选地，第二获取单元602可以包括：
第一获取子单元，用于在目标风格为单风格的情况下，获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像；
第二获取子单元，用于在目标风格为融合多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像；
第三获取子单元，用于在目标风格为分区多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。
本公开实施例提供的图像风格转换模型的训练装置通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。
本公开实施例还提供一种图像风格转换装置，可以用于执行本公开实施例提供的图像风格转换方法，其中，在本公开实施例提供的图像风格转换装置中未详述的说明，可以参考上述对图像风格转换方法的实施例的相关说明，在此不再赘述。
图8是根据一示例性实施例示出的一种图像风格转换装置的框图。参照图8，该装置包括获取单元701和输入单元702。
获取单元701用于获取待转换图像和风格参数；其中，风格参数用于表示目标风格的参数。
输入单元702用于将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像；其中，图像风格转换模型为根据本公开实施例的图像风格转换模型的训练方法进行训练得到。
本公开实施例提供的图像风格转换装置通过针对不同的目标风格对预设模型进行训练，使得完成训练得到的图像风格转换模型能够实现不同风格的转换效果，包括在不同的单风格之间切换、转换为融合多种风格、在图像中的不同区域中转换不同类型的风格，从而，能够根据输入的风格参数的不同，实现不同类型的风格的转换效果，风格转换方式灵活多变，解决了相关技术中图像风格转换模型支持的风格转换方式单一的问题。
关于上述实施例中的装置，其中各个模块执行操作的具体方式以及方案的技术效果已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供了一种电子设备，具体结合图9进行详细说明。
图9是根据一示例性实施例示出的一种电子设备900的结构框图。该电子设备900能够实现根据本公开实施例中的图像风格转换模型的训练方法或图像风格转换方法。
在示例性实施例中，本公开实施例还提供了一种包括指令的计算机可读存储介质，例如，计算机可读存储介质可以是电子设备900中的包括指令的存储器902，该指令可以由电子设备900中的处理器901执行，以使电子设备900完成本公开实施例提供的图像风格转换模型的训练方法或图像风格转换方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令可以被处理器901执行，以实现本公开实施例提供的图像风格转换模型的训练方法或图像风格转换方法。
具体地，上述处理器901可以包括中央处理器(CPU)，或者特定集成电路(application specific integrated circuit，ASIC)，或者可以被配置成实施本公开实施例的一个或多个集成电路。
存储器902可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器902可包括硬盘驱动器(hard disk drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，USB)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器902可在综合网关设备的内部或外部。在特定实施例中，存储器902是非易失性固态存储器。在特定实施例中，存储器902包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存，或者两个或及其以上这些的组合。
处理器901可以通过读取并执行存储器902中存储的计算机程序指令，以执行如下步骤：
获取训练预设模型使用的风格参数；其中，风格参数用于表示目标风格的参数，预设模型用于基于风格参数，将样本原始图像转换为目标风格，其中，目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，单风格为单一类型的风格，融合多风格为融合多个类型风格效果的风格，分区多风格为转换后的图像中不同区域对应不同类型的风格；
获取将样本原始图像按照风格参数转换后的训练目标图像；其中，训练目标图像用于作为预设模型的输出图像的训练目标；
针对每个种类的目标风格，根据样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练预设模型；
在预设模型针对每种目标风格得到训练之后，得到图像风格转换模型。
在一个可选的实施方式中，处理器901执行获取训练预设模型使用的风格参数的步骤，可以包括如下步骤：
在多种目标风格中选择本次训练的目标风格；
在目标风格为单风格的情况下，选择单一风格的风格类型，得到风格参数；其中，单风格的风格参数包括单一风格的风格类型；
在目标风格为融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数；其中，融合多风格的风格参数包括多种风格的风格类型和每个风格类型的融合权重；
在目标风格为分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数；其中，分区多风格的风格参数包括多种风格的风格类型和每个风格类型对应的分区。
在一个可选的实施方式中，在目标风格为单风格的情况下，处理器901执行选择单一风格的风格类型，得到风格参数的步骤包括：在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；
在目标风格为融合多风格的情况下，处理器901执行选择多种风格的风格类型，并获取每个风格类型的融合权重，得到风格参数的步骤包括：在多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，P个数值分别作为P个风格编码的融合权重，P为大于等于2的正整数，每个数值大于0，且小于1；
在目标风格为分区多风格的情况下，处理器901执行选择多种风格的风格类型，并获取每个风格类型对应的分区，得到风格参数的步骤包括：在多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，M个二值矩阵分别作为M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，M个二值矩阵的矩阵之和为全1矩阵，每个二值矩阵的矩阵大小与样本原始图像的像素矩阵大小相同。
可选地，处理器901执行获取将样本原始图像按照风格参数转换后的训练目标图像的步骤，可以包括：
在目标风格为单风格的情况下，获取样本原始图像与单一类型的风格对应的风格图像，得到训练目标图像；
在目标风格为融合多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将多张风格图像按照对应的融合权重进行加权求和，得到训练目标图像；
在目标风格为分区多风格的情况下，获取样本原始图像与多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到训练目标图像。
或者，在另一个示例中，处理器901用于执行以下步骤：
获取待转换图像和风格参数；其中，风格参数用于表示目标风格的参数；
将待转换图像和风格参数输入至图像风格转换模型，得到将待转换图像转换为目标风格后的目标图像；其中，图像风格转换模型为根据本公开实施例的图像风格转换模型的训练方法进行训练得到。
在一个示例中，该900还可包括收发器903和总线904。其中，如图9所示，处理器901、存储器902和收发器903通过总线904连接并完成相互间的通信。
总线904包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围控件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线904可包括一个或多个总线。尽管本公开实施例描述和示出了特定的总线，但本公开考虑任何合适的总线或互连。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像风格转换模型的训练方法，其特征在于，包括：
获取训练预设模型使用的风格参数；其中，所述风格参数用于表示目标风格的参数，所述预设模型用于基于所述风格参数，将样本原始图像转换为所述目标风格，其中，所述目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，所述单风格为单一类型的风格，所述融合多风格为融合多个类型风格效果的风格，所述分区多风格为转换后的图像中不同区域对应不同类型的风格；
获取将所述样本原始图像按照所述风格参数转换后的训练目标图像；其中，所述训练目标图像用于作为所述预设模型的输出图像的训练目标；
针对每个种类的所述目标风格，根据所述样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练所述预设模型；
在所述预设模型针对每种所述目标风格得到训练之后，得到图像风格转换模型。
2.根据权利要求1所述的图像风格转换模型的训练方法，其特征在于，所述获取训练预设模型使用的风格参数的步骤包括：
在多种所述目标风格中选择本次训练的所述目标风格；
在所述目标风格为所述单风格的情况下，选择单一风格的风格类型，得到所述风格参数；其中，所述单风格的风格参数包括所述单一风格的风格类型；
在所述目标风格为所述融合多风格的情况下，选择多种风格的风格类型，并获取每个风格类型的融合权重，得到所述风格参数；其中，所述融合多风格的风格参数包括所述多种风格的风格类型和每个风格类型的融合权重；
在所述目标风格为所述分区多风格的情况下，选择多种风格的风格类型，并获取每个风格类型对应的分区，得到所述风格参数；其中，所述分区多风格的风格参数包括所述多种风格的风格类型和每个风格类型对应的分区。
3.根据权利要求2所述的图像风格转换模型的训练方法，其特征在于，
在所述目标风格为所述单风格的情况下，所述选择单一风格的风格类型，得到所述风格参数的步骤包括：在多个候选的风格编码中随机选择一个风格编码；其中，每个风格编码用于表示对应的风格类型；
在所述目标风格为所述融合多风格的情况下，所述选择多种风格的风格类型，并获取每个风格类型的融合权重，得到所述风格参数的步骤包括：在所述多个候选的风格编码中随机选择P个风格编码，并随机生成总和为1的P个数值，所述P个数值分别作为所述P个风格编码的融合权重，P为大于等于2的正整数，每个所述数值大于0，且小于1；
在所述目标风格为所述分区多风格的情况下，所述选择多种风格的风格类型，并获取每个风格类型对应的分区，得到所述风格参数的步骤包括：在所述多个候选的风格编码中随机选择M个风格编码，并随机生成M个二值矩阵，所述M个二值矩阵分别作为所述M个风格编码的分区掩码模板，其中，M为大于等于2的正整数，所述M个二值矩阵的矩阵之和为全1矩阵，每个所述二值矩阵的矩阵大小与所述样本原始图像的像素矩阵大小相同。
4.根据权利要求2所述的图像风格转换模型的训练方法，其特征在于，所述获取将所述样本原始图像按照所述风格参数转换后的训练目标图像，包括：
在所述目标风格为所述单风格的情况下，获取所述样本原始图像与所述单一类型的风格对应的风格图像，得到所述训练目标图像；
在所述目标风格为所述融合多风格的情况下，获取所述样本原始图像与所述多种风格分别对应的风格图像，得到多张风格图像，根据每个风格类型的融合权重，将所述多张风格图像按照对应的融合权重进行加权求和，得到所述训练目标图像；
在所述目标风格为所述分区多风格的情况下，获取所述样本原始图像与所述多种风格分别对应的风格图像，得到多张风格图像，结合每个风格类型对应的分区，计算得到所述训练目标图像。
5.一种图像风格转换方法，其特征在于，包括：
获取待转换图像和风格参数；其中，所述风格参数用于表示目标风格的参数；
将所述待转换图像和所述风格参数输入至图像风格转换模型，得到将所述待转换图像转换为所述目标风格后的目标图像；其中，所述图像风格转换模型为根据权利要求1-4中任一项所述的图像风格转换模型的训练方法进行训练得到。
6.一种图像风格转换模型的训练装置，其特征在于，包括：
第一获取单元，用于获取训练预设模型使用的风格参数；其中，所述风格参数用于表示目标风格的参数，所述预设模型用于基于所述风格参数，将样本原始图像转换为所述目标风格，其中，所述目标风格为以下三个种类之一：单风格、融合多风格或分区多风格，所述单风格为单一类型的风格，所述融合多风格为融合多个类型风格效果的风格，所述分区多风格为转换后的图像中不同区域对应不同类型的风格；
第二获取单元，用于获取将所述样本原始图像按照所述风格参数转换后的训练目标图像；其中，所述训练目标图像用于作为所述预设模型的输出图像的训练目标；
第一训练单元，用于针对每个种类的所述目标风格，根据所述样本原始图像、对应种类目标风格的风格参数、以及根据对应的风格参数转换后得到的训练目标图像，训练所述预设模型；
第二训练单元，用于在所述预设模型针对每种所述目标风格得到训练之后，得到图像风格转换模型。
7.一种图像风格转换装置，其特征在于，包括：
获取单元，用于获取待转换图像和风格参数；其中，所述风格参数用于表示目标风格的参数；
输入单元，用于将所述待转换图像和所述风格参数输入至图像风格转换模型，得到将所述待转换图像转换为所述目标风格后的目标图像；其中，所述图像风格转换模型为根据权利要求1-4中任一项所述的图像风格转换模型的训练方法进行训练得到。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-5中任一项所述的方法。
9.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-5中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111034624.1A CN113850712A (zh) | 2021-09-03 | 2021-09-03 | 图像风格转换模型的训练方法、图像风格转换方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111034624.1A CN113850712A (zh) | 2021-09-03 | 2021-09-03 | 图像风格转换模型的训练方法、图像风格转换方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113850712A true CN113850712A (zh) | 2021-12-28 |
Family
ID=78973318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111034624.1A Pending CN113850712A (zh) | 2021-09-03 | 2021-09-03 | 图像风格转换模型的训练方法、图像风格转换方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850712A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331820A (zh) * | 2021-12-29 | 2022-04-12 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114418919A (zh) * | 2022-03-25 | 2022-04-29 | 北京大甜绵白糖科技有限公司 | 图像融合方法及装置、电子设备和存储介质 |
| CN117078790A (zh) * | 2023-10-13 | 2023-11-17 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备和存储介质 |
| WO2024193489A1 (zh) * | 2023-02-17 | 2024-09-26 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107516290A (zh) * | 2017-07-14 | 2017-12-26 | 北京奇虎科技有限公司 | 图像转换网络获取方法、装置、计算设备及存储介质 |
| CN110852940A (zh) * | 2019-11-01 | 2020-02-28 | 天津大学 | 一种图像处理方法及相关设备 |
| CN112381707A (zh) * | 2020-11-02 | 2021-02-19 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、设备以及存储介质 |
| CN112669202A (zh) * | 2020-12-25 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN112967174A (zh) * | 2021-01-21 | 2021-06-15 | 北京达佳互联信息技术有限公司 | 图像生成模型训练、图像生成方法、装置及存储介质 |
| CN113259583A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 一种图像处理方法、装置、终端及存储介质 |
-
2021
- 2021-09-03 CN CN202111034624.1A patent/CN113850712A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107516290A (zh) * | 2017-07-14 | 2017-12-26 | 北京奇虎科技有限公司 | 图像转换网络获取方法、装置、计算设备及存储介质 |
| CN110852940A (zh) * | 2019-11-01 | 2020-02-28 | 天津大学 | 一种图像处理方法及相关设备 |
| CN113259583A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 一种图像处理方法、装置、终端及存储介质 |
| CN112381707A (zh) * | 2020-11-02 | 2021-02-19 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、设备以及存储介质 |
| CN112669202A (zh) * | 2020-12-25 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN112967174A (zh) * | 2021-01-21 | 2021-06-15 | 北京达佳互联信息技术有限公司 | 图像生成模型训练、图像生成方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| QINGYUN LIU 等: "Portrait Style Transfer with Generative Adversarial Networks", 《 PROCEEDINGS OF THE 9TH INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING AND NETWORKS. ADVANCES IN INTELLIGENT SYSTEMS AND COMPUTING (AISC 1143)》, 18 October 2019 (2019-10-18) * |
| 朱海峰;邵清;: "基于深度学习的图像风格转换研究", 软件, no. 03, 15 March 2020 (2020-03-15) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331820A (zh) * | 2021-12-29 | 2022-04-12 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114418919A (zh) * | 2022-03-25 | 2022-04-29 | 北京大甜绵白糖科技有限公司 | 图像融合方法及装置、电子设备和存储介质 |
| CN114418919B (zh) * | 2022-03-25 | 2022-07-26 | 北京大甜绵白糖科技有限公司 | 图像融合方法及装置、电子设备和存储介质 |
| WO2024193489A1 (zh) * | 2023-02-17 | 2024-09-26 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN117078790A (zh) * | 2023-10-13 | 2023-11-17 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备和存储介质 |
| CN117078790B (zh) * | 2023-10-13 | 2024-03-29 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850712A (zh) | 图像风格转换模型的训练方法、图像风格转换方法及装置 | |
| CN106778995B (zh) | 一种与图像融合的艺术化二维码生成方法及装置 | |
| CN112396645B (zh) | 一种基于卷积残差学习的单目图像深度估计方法和系统 | |
| CN111627065A (zh) | 一种视觉定位方法及装置、存储介质 | |
| CN110706303B (zh) | 基于GANs的人脸图像生成方法 | |
| CN111652049A (zh) | 人脸图像处理模型训练方法、装置、电子设备及存储介质 | |
| CN112257328B (zh) | 家具布局方法及电子设备 | |
| CN110766050B (zh) | 模型生成方法、文本识别方法、装置、设备及存储介质 | |
| CN112132167B (zh) | 图像生成和神经网络训练方法、装置、设备和介质 | |
| CN110490082A (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN114549574A (zh) | 一种基于掩膜传播网络的交互式视频抠图系统 | |
| CN111369442A (zh) | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 | |
| JP2008234479A (ja) | 画像高品質化装置、方法、及びプログラム | |
| CN109903315A (zh) | 用于光流预测的方法、装置、设备以及可读存储介质 | |
| CN111144491A (zh) | 图像处理方法、装置及电子系统 | |
| CN106408066A (zh) | 基于二维码的图像处理方法、装置及二维码 | |
| CN114742985A (zh) | 一种高光谱特征提取方法、装置及存储介质 | |
| CN115546589B (zh) | 一种基于图神经网络的图像生成方法 | |
| CN116797975A (zh) | 一种视频分割方法、装置、计算机设备及存储介质 | |
| CN111353965A (zh) | 图像修复方法、装置、终端及存储介质 | |
| CN112235571B (zh) | 视频位深扩展方法、装置、电子设备及存储介质 | |
| CN113762241A (zh) | 场景文字识别模型的训练方法与识别方法及装置 | |
| CN112784831A (zh) | 融合多层特征增强注意力机制的文字识别方法 | |
| CN111753859B (zh) | 样本生成方法、装置及设备 | |
| CN117975164A (zh) | 面向复杂开放环境下的机器人视觉感知表征学习 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |