Nothing Special   »   [go: up one dir, main page]

CN114140320B - 图像迁移方法和图像迁移模型的训练方法、装置 - Google Patents

图像迁移方法和图像迁移模型的训练方法、装置 Download PDF

Info

Publication number
CN114140320B
CN114140320B CN202111502659.3A CN202111502659A CN114140320B CN 114140320 B CN114140320 B CN 114140320B CN 202111502659 A CN202111502659 A CN 202111502659A CN 114140320 B CN114140320 B CN 114140320B
Authority
CN
China
Prior art keywords
image
feature
face
network
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111502659.3A
Other languages
English (en)
Other versions
CN114140320A (zh
Inventor
梁柏荣
郭知智
洪智滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111502659.3A priority Critical patent/CN114140320B/zh
Publication of CN114140320A publication Critical patent/CN114140320A/zh
Priority to JP2022174100A priority patent/JP2023027782A/ja
Priority to US18/072,295 priority patent/US20230115765A1/en
Priority to EP22211921.6A priority patent/EP4123605A3/en
Application granted granted Critical
Publication of CN114140320B publication Critical patent/CN114140320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像迁移方法和图像迁移模型的训练方法、装置、设备、介质，涉及人工智能领域，具体涉及深度学习和计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景。图像迁移方法包括：根据第一对象的目标部位在第一图像中的第一位置信息和第一图像，分别提取第一对象的第一属性特征和目标部位的第一形状特征；提取第二图像包括的第二对象的第一身份特征；以及基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，该第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。

Description

图像迁移方法和图像迁移模型的训练方法、装置
技术领域
本公开涉及人工智能领域，具体涉及深度学习和计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景。
背景技术
随着深度学习与图像处理技术的发展，图像迁移技术可以应用于诸如人脸识别、视频制作和虚拟现实等多个领域中。
相关技术中，采用三维重建技术来实现图像迁移。该方法步骤复杂，计算量大。
发明内容
提供了一种降低计算量且提高迁移精度的图像迁移方法、图像迁移模型的训练方法、装置、电子设备和存储介质。
本公开的一个方面提供了一种图像迁移方法，包括：根据第一对象的目标部位在第一图像中的第一位置信息和第一图像，分别提取第一对象的第一属性特征和目标部位的第一形状特征；提取第二图像包括的第二对象的第一身份特征；以及基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。
本公开的另一个方面提供了一种图像迁移模型的训练方法，其中，图像迁移模型包括第一编码网络、第二编码网络和生成网络；该训练方法包括：根据第三对象的目标部位在第三图像中的第五位置信息和第三图像，采用第一编码网络提取第三对象的第二属性特征和目标部位的第二形状特征；采用第二编码网络提取第四图像包括的第三对象的第二身份特征；基于第二属性特征、第二形状特征和第二身份特征，采用生成网络生成第二迁移图像；第二迁移图像包括具有第二属性特征和第二形状特征的第三对象；以及基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。
本公开的另一个方面提供了一种图像迁移装置，包括：第一特征提取模块，用于根据第一对象的目标部位在第一图像中的第一位置信息和第一图像，分别提取第一对象的第一属性特征和目标部位的第一形状特征；第一身份提取模块，用于提取第二图像包括的第二对象的第一身份特征；以及第一图像生成模块，用于基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。
本公开的另一个方面提供了一种图像迁移模型的训练装置，其中，图像迁移模型包括第一编码网络、第二编码网络和生成网络；该装置包括：第二特征提取模块，用于根据第三对象的目标部位在第三图像中的第五位置信息和第三图像，采用第一编码网络提取第三对象的第二属性特征和目标部位的第二形状特征；第二身份提取模块，用于采用第二编码网络提取第四图像包括的第三对象的第二身份特征；第二图像生成模块，用于基于第二属性特征、第二形状特征和第二身份特征，采用生成网络生成第二迁移图像；第二迁移图像包括具有第二属性特征和第二形状特征的第三对象；以及模型训练模块，用于基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。
本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的图像迁移方法和/或图像迁移模型的训练方法。
根据本公开的另一个方面提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的图像迁移方法和/或图像迁移模型的训练方法。
根据本公开的另一个方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的图像迁移方法和/或图像迁移模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的图像迁移方法和图像迁移模型的训练方法、装置的应用场景示意图；
图2是根据本公开实施例的图像迁移方法的流程示意图；
图3是根据本公开实施例的提取属性特征和形状特征的原理示意图；
图4是根据本公开实施例的获得第一图像的原理示意图；
图5是根据本公开实施例的图像迁移方法的原理示意图；
图6是根据本公开实施例图像迁移模型的训练方法的流程示意图；
图7是根据本公开实施例的图像迁移模型的训练方法的原理示意图；
图8是根据本公开实施例的图像迁移装置的结构框图；
图9是根据本公开实施例的图像迁移模型的训练装置的结构框图；以及
图10是用来实施本公开实施例的图像迁移方法和/或图像迁移模型的训练方法的电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种图像迁移方法，包括特征提取阶段、身份提取阶段和图像生成阶段。在特征提取阶段中，根据第一对象的目标部位在第一图像中的第一位置信息和第一图像，分别提取第一对象的第一属性特征和目标部位的第一形状特征。在身份提取阶段中，提取第二图像包括的第二对象的第一身份特征。在图像生成阶段中，基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的图像迁移方法和图像迁移模型的训练方法、装置的应用场景图。
如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
该电子设备110例如可以对输入的第一人脸的图像120和第二人脸的图像130进行表情迁移，从而生成图像140。该图像140中的人脸为第一人脸，但该第一人脸具有第二人脸的表情和姿态。例如可以从第一人脸的图像120中提取身份特征，从第二人脸的图像130中提取属性特征，将该身份特征和属性特征融合后，经由生成网络可以生成图像140。其中，生成网络例如可以为生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络Generator。属性特征例如可以包括表情特征和姿态特征等。
在一实施例中，可以采用图像迁移模型来将第二人脸的表情和姿态迁移到第一人脸，从而生成图像140。
根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器150。电子设备110可以通过网络与服务器150通信连接，该网络可以包括无线或有线通信链路。
示例性地，服务器150可以用于训练图像迁移模型，并响应于电子设备110发送的模型获取请求，将训练得到的图像迁移模型160发送给电子设备110，便于电子设备110对人脸的表情和姿态进行迁移。在一实施例中，电子设备110还可以通过网络将第一人脸的图像120和第二人脸的图像130发送给服务器150，由服务器150根据训练得到的图像迁移模型来生成图像140。
根据本公开的实施例，如图1所示，该应用场景100还可以包括数据库170，该数据库170可以维护有海量的图像或视频。服务器150可以访问该数据库170，并从数据库170中抽取部分具有同一人脸的图像作为样本图像，对图像迁移模型进行训练。
需要说明的是，本公开所提供的图像迁移方法可以由电子设备110或服务器150执行。相应地，本公开所提供的图像迁移装置可以设置于电子设备110或服务器150中。本公开提供的图像迁移模型的训练方法可以由服务器150执行。相应地，本公开提供的图像迁移模型的训练装置可以设置于服务器150中。
应该理解，图1中的电子设备、服务器和数据库的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备、服务器和数据库。
以下将结合图1，通过图2～图5对本公开提供的图像迁移方法进行详细描述。
图2是根据本公开实施例的图像迁移方法的流程示意图。
如图2所示，该实施例的图像迁移方法200可以包括操作S210～操作S230。
在操作S210，根据第一对象的目标部位在第一图像中的第一位置信息和第一图像，分别提取第一对象的第一属性特征和目标部位的第一形状特征。
根据本公开的实施例，第一对象例如可以为人脸，或者可以为建筑物等。第一图像可以为拍摄第一对象得到的图像，或者可以为通过对拍摄的图像处理后的图像，或者可以为视频中包括第一对象的视频帧。该第一图像可以是实时拍摄得到的，也可以是预先拍摄得到的。
该实施例可以先对第一图像进行关键点检测，得到表示第一对象的多个关键点。随后从该多个关键点中筛选出表示目标部位的关键点。随后，将该表示目标部位的关键点连接后围成的区域进行一定程度的放大，得到放大后区域。将该放大后区域在第一图像中的位置作为目标部位的第一位置信息。
该实施例可以先对第一图像进行目标检测，检测得到包围第一对象的目标部位的检测框在第一图像中的位置信息，将该位置信息作为第一位置信息。其中，检测框的位置信息可以包括检测框的中心点在基于第一图像构建的坐标系中的坐标值，以及该检测框的高度和宽度。
根据本公开的实施例，第一属性特征例如可以用于表示第一对象的姿态、表情、视线、皮肤状态等特征。在第一对象为人脸的情况下，目标部位例如可以为嘴，通过对嘴的形状特征的单独提取，可以更好的表达第一对象的状态，利于生成更为逼真的迁移图像。可以理解的是，该目标部位可以为第一对象中随对象状态的变化形状发生的变化最为明显的部位。
在一实施例中，可以采用第一编码网络来从第一图像中提取第一属性特征。其中，第一编码网络例如可以预训练得到。该第一编码网络可以为轻量级网络，例如MobileNet系列网络、ShuffleNet网络或SqueezeNet等。其中，MobileNet网络是使用深度可分离卷积(Depthwise Separable Convolution)构建的轻量级深度神经网络。例如，该第一编码网络可以包括有卷积层和池化层。
在一实施例中，还可以采用融合局部二值模式和局部稀疏表示的表情识别算法来提取第一属性特征。也可以采用关键点检测算法检测到的第一对象包括的各部位的比例关系等作为第一属性特征。
在一实施例中，该实施例可以分别提取第一对象的表情特征和姿态特征，将该表情特征和姿态特征拼接后作为第一属性特征。也可以将第一图像输入第一编码网络，由第一编码网络同时提取表情&姿态特征，从而输出第一属性特征。
在一实施例中，可以采用与第一编码网络类似的编码网络，来从第一位置信息包围的区域中提取第一形状特征。或者，还可以采用边界特征法、几何参数法等来提取第一形状特征。其中，提取第一形状特征的编码网络例如还可以采用残差网络(ResidualNetwork，ResNet)、特征金字塔网络(Feature Pyramid Network，FPN)或U-Net等非轻量级网络，这是由于对形状特征的精度通常要求更高一些，以此便于生成逼真的迁移图像。该提取第一形状特征的编码网络可以包括卷积层和池化层，且具有跳层连接结构。
在操作S220，提取第二图像包括的第二对象的第一身份特征。
根据本公开的实施例，第二图像包括的第二对象可以与前文中的第一对象为相同类型的对象。例如第一对象和第二对象可以均为人脸，或者第一对象和第二对象可以均为建筑物等。该第一对象和第二对象还可以为同一对象，也可以为不同对象，本公开对词不做限定。
根据本公开的实施例，例如可以采用第二编码网络来从第二图像中提取第一身份特征。该第二编码网络例如可以采用残差网络(Residual Network，ResNet)、特征金字塔网络(Feature Pyramid Network，FPN)或U-Net等网络。该第二编码网络可以包括卷积层和池化层，且具有跳层连接结构，以用于提取相较于属性特征更为复杂的身份特征。
在操作S230，基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像。
根据本公开的实施例，可以将第一属性特征、第一形状特征和第一身份特征拼接后输入生成网络Generator，由该生成网络Generator根据拼接后的特征生成第一迁移图像。该生成的第一迁移图像中包括具有第一属性特征和第一形状特征的第二对象。
本公开实施例通过从第一图像中提取对象属性特征和目标部位的形状特征，从第二图像中提取对象的身份特征，并根据身份特征、属性特征和形状特征来生成迁移图像，相较于相关技术，无需进行对象的三维重建，因此可以在一定程度上降低图像迁移的计算量和复杂度。再者，通过单独提取目标部位的形状特征，可以使得提取的表征对象状态的特征更为丰富，便于提高得到的迁移图像的精度和真实性，并因此可以提高用户体验。
根据本公开的实施例，在基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像时，可以对第一属性特征、第一形状特征和第一身份特征进行除拼接外的其他融合，从而得到融合特征。随后将该融合特征输入生成网络，由生成网络输出第一迁移图像。其中，例如可以通过add操作对第一属性特征、第一形状特征和第一身份特征进行融合，也可以先将第一属性特征、第一形状特征和第一身份特征拼接后，经由卷积层进行卷积运算，从而得到融合特征。可以理解的是，上述融合第一属性特征、第一形状特征和第一身份特征的方法仅作为示例以利于理解本公开，本公开对此不做限定。通过特征的融合，可以便于生成网络生成更为逼真的迁移图像。
图3是根据本公开实施例的提取属性特征和形状特征的原理示意图。
根据本公开的实施例，前述提取的第一属性特征例如可以表征姿态特征和表情特征。在一实施例中，也可以对姿态特征和表情特征进行单独提取，以此使得提取到的表征对象状态的特征更为精准。
根据本公开的实施例，可以根据除目标部位所在区域外其他区域的图像来提取表情特征。这是因为目标部位一般会在一定程度上影响对表情的正确识别，通过该实施例的方法，可以提高表情特征的提取精度。
具体地，如图3所示，该实施例300中，以第一对象为人脸，目标部位为嘴为例，在提取第一属性特征和第一形状特征时，可以先基于目标部位在第一图像301中的第一位置信息，确定第一图像301中针对目标部位的目标区域的图像，作为目标图像302。例如，可以根据第一位置信息，确定包围目标部位的检测框在第一图像301所包围的区域。随后，将该所包围的区域保持中心点不变，扩大到预定尺寸，得到扩大后的检测框。将该扩大后的检测框在第一图像301中包围的区域作为目标区域。
在得到该目标图像的同时，例如可以根据第一图像提取第一姿态特征。具体地，前述第一编码网络可以包括三个编码子网络。该实施例可以采用三个编码子网络中的第一编码子网络310，从第一图像301中提取第一姿态特征303。例如可以通过将第一图像301输入第一编码子网络310，得到第一姿态特征。其中，第一编码子网络310例如可以为前文描述的轻量级网络。
在得到目标图像302后，可以根据目标区域的图像，提取第一形状特征。同时根据第一图像中除目标区域外其他区域的图像，提取第一表情特征。具体地，可以基于该目标图像，采用三个编码子网络中的第二编码子网络提取第一形状特征。基于第一图像中除目标区域外其他区域的图像，提取所述第一表情特征。其中，第二编码子网络可以为前文描述的ResNet网络等。第三编码子网络与第一编码子网络的结构类似，区别在于训练时使用的样本数据不同。
在一实施例中，在得到目标图像302后，可以采用针对目标区域的掩膜对第一图像301进行处理，从而得到图像304。该图像304中，除目标区域外，其他区域中各像素的像素值均为0，而目标区域中的像素保留第一图像301中的像素值。同时，可以采用针对其他区域的掩膜对第一图像301进行处理，从而得到图像305。该图像305中，目标区域中各像素的像素值均为0，而其他区域中的像素保留第一图像301中的像素值。随后，可以将图像304作为第二编码子网络320的输入，由第二编码子网络320提取得到第一形状特征306。将图像305作为第三编码子网络330的输入，由第三编码子网络330提取得到第一表情特征307。
通过生成图像305和图像304的方式来提取特征，可以保证各编码子网络的输入图像的尺寸保持相同，以此便于使得各编码子网络的设计趋于相同，减小网络的构建成本。
图4是根据本公开实施例的获得第一图像的原理示意图。
根据本公开的实施例，前述的第一图像例如可以为根据第一对象的位置裁剪后的图像，以此便于避免图像中除第一对象外的其他对象对提取第一属性特征的干扰，同时可以减少提取属性特征的计算量。
例如，可以将实时采集或预先采集的图像作为对象属性的模板图像。在得到模板图像后，该实施例可以先检测包括第一对象的模板图像，得到第一对象在模板图像中的第二位置信息。随后基于该第二位置信息裁剪模板图像，获得第一图像。
例如，可以对模板图像进行目标检测，检测得到包围第一对象的检测框在模板图像中的位置信息。其中，该检测得到的位置信息例如可以包括检测框的中心点在基于模板图像构建的坐标系中的坐标值，以及检测框的高度和宽度。在得到该位置信息后，可以以检测框的中心点作为中心点，根据预定高度和预定宽度裁剪该模板图像。其中，预定高度应大于检测框的高度，预定宽度应大于检测框的宽度。例如，裁剪得到的图像的大小例如可以为256像素×256像素。该实施例可以将裁剪得到的图像作为第一图像。
在一实施例中，在裁剪模板图像后，例如还可以去除裁剪得到的图像的背景图像，以此可以减少该背景图像对提取第一属性特征和第一形状特征的干扰，从而进一步提高提取的第一属性特征和第一形状特征的精度，减少提取属性特征和形状特征的计算量，利于生成更为逼真的迁移图像。
如图4所示，在该实施例400中，在获得第一图像时，可以先对获取的模板图像401进行目标检测。例如可以将模板图像401输入目标检测模型410，经由目标检测模型410得到第二位置信息402，并根据该第二位置信息裁剪模板图像401，将该裁剪得到的图像403作为中间图像。其中，目标检测模型例如可以包括Faster R-CNN模型、单发多框检测(SingleShot Multibox Detector，SSD)模型和单次查看(You Only Look Once，YOLO)检测模型等多种模型中的任意一个，本公开对此不做限定。
在得到中间图像403后，该实施例可以进一步对该中间图像进行分割处理，从而得到中间图像中目标对象的第三位置信息。其中，该目标对象包括有前述的第一对象。例如，若第一对象为人脸，则目标对象可以为人体。
例如，如图4所示，可以将该中间图像403作为图像分割模型420的输入，经由该图像分割模型420处理而得到第三位置信息404。其中，该第三位置信息404应包括有目标对象的边界线在中间图像403中的位置。图像分割模型例如可以包括全卷积网络(FullyConvolutional Networks，FCN)模型、深度掩膜(Deep Mask)模型、Snake模型或BodyPix模型等，本公开对此不做限定。
在得到第三位置信息中，可以基于该第三位置信息404，生成针对目标对象的掩膜图像405。具体地，可以将中间图像403中除第三位置信息404包围的区域外，其他区域的像素值均调整为0，而第三位置信息404包围的区域内的像素值设定为255，从而得到掩膜图像405。
在得到掩膜图像405后，可以基于该掩膜图像405去除中间图像403的背景图像，从而得到第一图像。具体地，可以将该中间图像403与掩膜图像405进行像素级的点乘，并将点乘得到的图像中各像素点的像素值除以255，从而得到第一图像406。
如图4所示，通过上述处理得到的第一图像406，仅包括有前景图像，即目标对象的图像，而该目标对象的背景均为黑色背景，可以实现背景的去除。因此，可以避免背景对提取属性特征和形状特征的影响。
根据本公开的实施例，在第一图像为去除了背景的图像时，前述输入第一编码子网络的图像即为第一图像406，前述输入第三编码子网络的图像即为背景中像素和目标区域中像素的像素值均为0的图像。
根据本公开的实施例，前述的第二图像例如可以为根据第二对象的位置裁剪后的图像，以此便于避免图像中除第二对象外的其他对象对提取第一身份特征的干扰，同时可以减少身份特征提取的计算量。
例如，可以将实时采集或预先采集的图像作为对象身份的源图像。在得到源图像后，该实施例可以先检测包括第二对象的源图像，得到第二对象在源图像中的第四位置信息。随后基于该第四位置信息裁剪源图像，获得第二图像。可以理解的是，裁剪源图像得到第二图像的原理可以与前文描述的裁剪模板图像得到第一图像的原理类似，该第二图像的大小例如也可以为256×256，在此不再赘述。
需要说明的是，在获得第二图像时，例如可以无需去除背景图像，这是因为提取身份特征的网络通常较为复杂，可以较为精准地学习到身份特征，该学习过程受背景图像的影响较小。以此，可以减少对源图像的预处理流程。
根据本公开的实施例，在提取第一身份特征时，例如可以综合从包括第二对象的多个图像提取的身份特征，以此可以避免因单个图像中身份特征表征不完整或不清晰而导致的提取的身份特征不准确的问题。如此，可以提高得到的第一身份特征的精度，使得得到的迁移图像更为逼真。
例如，可以从视频中抽取包括第二对象的多帧视频，基于该多帧视频得到第二图像包括的多个图像。例如可以对多帧视频中的每帧视频均执行前文描述的裁剪操作，从而得到包括第二对象的大小为256×256的多个图像。其中，该多个图像的个数例如可以为3、5、8等任意大于1的整数，具体可以根据实际需求设定该个数，本公开对此不做限定。
该实施例可以分别提取多个图像中每个图像包括的第二对象的身份特征，从而得到多个初始身份特征。例如，对应m个图像中的每一个，均可以通过前文描述的第二编码网络得到一个身份特征，作为一个初始身份特征，由此得到m个初始身份特征。随后可以计算该多个初始身份特征的均值特征，即对m个初始身份特征累加后除以m，从而得到该特征均值。最后，确定该多个初始身份特征的均值特征为第二对象的第一身份特征。
图5是根据本公开实施例的图像迁移方法的原理示意图。
根据本公开的实施例，在提取第一属性特征和第一形状特征时，例如可以先对第一图像进行数据增强处理，得到增强后图像。随后根据该增强后图像和第一位置信息，来分别提取第一属性特征和第一形状特征。通过该方式，可以弱化甚至去除第一图像中第一对象的身份特征，如此便于提高第一属性特征和第一形状特征的提取精度，提高得到的迁移图像的精度和真实性，并因此可以提高用户体验。
例如，数据增强处理例如可以包括对图像的缩放处理、平移处理和/或像素级增强等。其中，像素级增强例如可以包括调整像素的对比度、亮度、模糊程度或为像素进行马赛克处理。其中马赛克处理可以将像素的色阶细节劣化并造成色块打乱的效果。
该实施例可以设置有数据增强工具，将第一图像输入该数据增强工具后，数据增强工具可以随机采用前述多种数据增强处理方式中的一种或多种方式，实现对第一图像的数据增强处理，输出增强后图像。
根据本公开的实施例，在提取属性特征时，例如可以先对第一图像进行归一化处理，以此降低提取属性特征和形状特征时的计算量，提高图像迁移效率。在进行归一化处理后，例如可以得到第一归一化图像，随后可基于第一归一化图像和第一位置信息来提取第一属性特征和第一形状特征。
例如，对第一图像进行的归一化处理可以为：将第一图像中每个像素的像素值除以255，使得得到的每个像素的像素值属于取值区间[0，1]，从而得到第一归一化图像。
类似地，在提取第一身份特征时，例如也可以对第二图像进行归一化处理，以此降低提取身份特征时的计算量，提高图像迁移效率。在进行归一化处理后，例如可以得到第二归一化图像，随后可以采用编码网络来对该第二归一化图像进行编码，得到第一身份特征。具体可以将第二归一化图像输入第二编码网络，经由第二编码网络处理后得输出第一身份特征。该对第二图像的归一化处理的方法可以与前文中对第一图像进行归一化处理的方法类似，在此不再赘述。
在一实施例中，在提取第一属性特征和第一形状特征时，还可以先对第一图像进行数据增强处理，随后对增强后图像进行归一化处理。
例如，如图5所示，该实施例500的图像迁移方法中，第一图像可以采用前文描述的去除中间图像的背景图像后所得到的图像。第一编码网络例如可以包括姿态编码网络(Pose Encoder)511(前文描述的第一编码子网络)、内容编码网络(Content Encoder)512(前文描述的第二编码子网络)和表情编码网络(Emotion Encoder)513(前文描述的第一编码子网络)。第二编码网络例如可以为身份编码网络(ID Encoder)520，该身份编码网络520可以采用前文描述的ResNet网络。姿态编码网络用于提取第一姿态特征，内容编码网络用于提取第一形状特征，该第一形状特征可以在一定程度上体现出说话内容，表情编码网络用于提取第一表情特征。
在该实施例500中，可以先对第一图像501进行前文描述的数据增强处理和归一化处理等预处理，随后将预处理得到的图像输入姿态编码网络511，经由姿态编码网络511处理后输出第一姿态特征503。同时，可以基于预处理得到的图像进行前文根据目标区域进行的处理，得到图像501’和图像501”。随后将图像501’输入内容编码网络512，经由内容编码网络512处理后输出第一形状特征504。将图像501”输入表情编码网络513，经由表情编码网络513处理后输出第一表情特征505。同时，可以对第二图像502进行归一化处理等预处理，将预处理得到的图像输入身份编码网络520，经由身份编码网络520处理后输出第一身份特征506。
在得到第一身份特征506、第一姿态特征503、第一形状特征504和第一表情特征505后，可以将该四个特征经由concat()函数拼接，得到拼接特征507。随后将该拼接特征507输入多层感知机(Multilayer Perceptron，MLP)530中，以实现对第一身份特征506、第一姿态特征503、第一形状特征504和第一表情特征505的融合。随后将该多层感知机530的输出作为生成网络Generator 440的输入，由该Generator 540输出迁移图像508，该迁移图像508中的对象为第二图像502中的第二对象，但该第二对象具有第一图像501中第一对象的表情、姿态及嘴的形状。
在一实施例中，提取的第一姿态特征例如可以为12维的向量，提取的第一形状特征可以为512维的向量，提取的第一表情特征可以为256维的向量，提取的第一身份特征可以为512维的向量，则拼接特征507则为1292维的向量。其中，该多层感知机530输出的特征例如同样为1292维的向量。生成的迁移图像508的尺寸例如可以与第一图像、第二图像的尺寸均相等，例如可以是大小为256×256的图像。
基于本公开提供的图像迁移方法，本公开还提供了一种图像迁移模型的训练方法，以下将结合图6～图7对该训练方法进行详细描述。
图6是根据本公开实施例图像迁移模型的训练方法的流程示意图。
根据本公开的实施例，如图6所示，该实施例的图像迁移模型的训练方法600可以包括操作S610～操作S640，其中，图像迁移模型可以包括第一编码网络、第二编码网络和生成网络。
在操作S610，根据第三对象的目标部位在第三图像中的第五位置信息和第三图像，采用第一编码网络提取第三对象的第二属性特征和目标部位的第二形状特征。可以理解的是，该操作S610的实现方式与前文得到第一属性特征和第一形状特征的实现方式类似，在此不再赘述。
在操作S620，采用第二编码网络提取第四图像包括的第三对象的第二身份特征。其中，第二编码网络与前文描述的第二编码网络类似，该操作S620的实现方式与前文采用第二编码网络得到第一身份特征的实现方式类似，在此不再赘述。需要说明的是，若第三图像和第四图像中都包括人脸，则第三图像中的人脸和第四图像中的人脸为同一个人的人脸。
在操作S630，基于第二属性特征、第二形状特征和第二身份特征，采用生成网络生成第二迁移图像。该第二迁移图像包括具有第二属性特征和第二形状特征的第三对象。该操作S630的实现方式与前文描述的得到第一迁移图像的实现方式类似，在此不再赘述。
在操作S640，基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。
根据本公开的实施例，在第三图像为去除背景后的图像时，由于该第二迁移图像中具有背景，则首先可以采用基于第三图像得到的针对第三对象的掩膜图像，来去除第三迁移图像中的背景图像。随后根据去除了背景的第二迁移图像和第三图像的差异，来训练图像迁移模型。
例如，图像之间的差异例如可以通过对两个图像逐像素的对比得到。例如，可以采用第二迁移图像和第三图像之间的L1损失、L2损失或平滑L1损失等来表示差异。随后采用反向传播算法来对图像迁移模型进行训练。
根据本公开的实施例，该第二属性特征例如可以与第一属性特征类似，包括第二姿态特征和第二表情特征。第一编码网络可以包括第一编码子网络、第二编码子网络和第三编码子网络。上述提取第二属性特征和第二形状特征的操作可以先基于第五位置信息，确定第三图像中针对目标部位的目标区域的图像。随后基于第三图像，采用第一编码子网络提取第二姿态特征，基于目标区域的图像，采用第二编码子网络提取第二形状特征，并基于第三图像中除目标区域外其他区域的图像，采用第三编码子网络提取第二表情特征。
图7是根据本公开实施例的图像迁移模型的训练方法的原理示意图。
根据本公开的实施例，在对图像迁移模型进行训练时，例如除了前述通过逐像素对比得到的损失外，还可以考虑生成网络生成图像的损失。同时还可以为生成网络对应的设置判别网络，如此，由生成网络和判别网络构成生成式对抗网络，并通过计算生成式对抗损失来对生成网络进行训练。通过该方式，可以提高训练得到的图像迁移模型中生成网络的精度，使得生成网络生成的迁移图像更为逼真。
如图7所示，该实施例700在训练图像迁移模型时，可以与前文描述的类似，对第三图像701进行数据增强处理，随后进行归一化处理，将归一化处理得到的图像输入第一编码子网络711，得到第二姿态特征703。同时，根据数据增强处理后的图像或归一化处理后的图像生成图像701’和图像701”。图像701’经由第二编码子网络712处理得到第二形状特征704。图像701”经由第三编码子网络713处理得到第二表情特征705。同时，可以将第四图像702进行归一化处理，将归一化处理得到的图像输入第二编码网络720，得到第二身份特征706。随后可以将该第二姿态特征703、第二形状特征704、第二表情特征705和第二身份特征706拼接后得到的拼接特征707输入多层感知机730，将多层感知机730的输出作为生成网络740的输入，经由生成网络740输出第二迁移图像708。需要说明的是，在第三图像为去除背景的图像时，还可以对生成网络740输出的图像去除背景后，得到第二迁移图像708。
随后，可以基于第二迁移图像708和第三图像701之间的像素级差异，来确定图像迁移模型的第一损失709。该第一损失可以采用前文描述的L1损失等。同时，可以将第二迁移图像708和第三图像701分别输入判别网络750中，由该判别网络750输出第二迁移图像为真实图像的第一真值概率，和第三图像为真实图像的第二真实概率。并根据第二迁移图像、第三图像、第一真值概率和第二真值概率，确定生成对抗损失709’。
在得到第一损失709和生成对抗损失709’后，例如先根据第一损失709和生成对抗损失709’中生成网络部分的损失来训练图像迁移模型。随后根据生成对抗损失709’中判别网络部分的损失来训练判别网络，从而完成一次迭代训练。
在一实施例中，如图7所示，除了前述的第一损失709和生成对抗损失709’外，例如还可以对第三图像701与第二迁移图像708进行特征级别的对比，并根据对比结果生成第二损失709”。
例如，可以将第三图像701和第二迁移图像606分别输入特征提取网络760，该特征提取网络760例如可以为VGG网络、ResNet网络等，本公开对此不做限定。在提取得到两个特征后，可以根据该两个特征之间的差异计算第二损失709”。该实施例中，第二损失709”例如可以采用感知损失函数来计算得到，或者也可以采用前文描述的L1损失、L2损失等。
在得到第一损失、生成对抗损失和第二损失后，可以计算该第一损失、生成对抗损失中生成网络部分的损失及第二损失的加权和。根据该加权和对图像迁移模型进行训练。随后，基于生成对抗损失中判别网络部分的损失，对判别网络进行训练，完成一次迭代训练。
通过进行多次迭代训练，可以使得图像迁移模型的损失达到损失阈值，从而完成对图像迁移模型的训练。该实施例通过同时考虑第二迁移图像和第三图像的特征差异来训练图像迁移模型，可以进一步提高训练得到的图像迁移模型的精度。并因此可以使得训练得到的图像迁移模型能够生成更为逼真的迁移图像。
基于本公开提供的图像迁移方法，本公开还提供了一种图像迁移装置，以下将结合图8对该装置进行详细描述。
图8是根据本公开实施例的图像迁移装置的结构框图。
如图8所示，该实施例的图像迁移装置800例如可以包括第一特征提取模块810、第一身份提取模块820和第一图像生成模块830。
第一特征提取模块810用于根据第一对象的目标部位在第一图像中的第一位置信息和所述第一图像，分别提取所述第一对象的第一属性特征和所述目标部位的第一形状特征。在一实施例中，第一特征提取模块810可以用于执行前文描述的操作S210，在此不再赘述。
第一身份提取模块820用于提取第二图像包括的第二对象的第一身份特征。在一实施例中，第一身份提取模块820可以用于执行前文描述的操作S220，在此不再赘述。
第一图像生成模块830用于基于所述第一属性特征、所述第一形状特征和所述第一身份特征生成第一迁移图像，所述第一迁移图像包括具有所述第一属性特征和所述第一形状特征的第二对象。在一实施例中，第一图像生成模块830可以用于执行前文描述的操作S230，在此不再赘述。
根据本公开的实施例，上述第一属性特征包括第一姿态特征和第一表情特征。上述第一特征提取模块810可以包括第一图像确定子模块、第一姿态提取子模块、第一形状提取子模块和第一表情提取子模块。第一图像确定子模块用于基于所述第一位置信息，确定所述第一图像中针对所述目标部位的目标区域的图像。第一姿态提取子模块用于根据所述第一图像，提取所述第一姿态特征。第一形状提取子模块用于根据所述目标区域的图像，提取所述第一形状特征。第一表情提取子模块用于根据所述第一图像中除所述目标区域外其他区域的图像，提取所述第一表情特征。
根据本公开的实施例，上述图像迁移装置800还可以包括第一图像检测模块和第一图像裁剪模块。第一图像检测模块用于检测包括第一对象的模板图像，得到第一对象在模板图像中的第二位置信息。第一图像裁剪模块用于基于第二位置信息裁剪模板图像，获得第一图像。
根据本公开的实施例，上述图像裁剪模块可以包括裁剪子模块、分割子模块、掩膜生成子模块和背景去除子模块。裁剪子模块用于基于第一位置信息裁剪模板图像，得到中间图像。分割子模块用于对中间图像进行图像分割处理，得到中间图像中目标对象的第三位置信息；目标对象包括第一对象。掩膜生成子模块用于基于第三位置信息，生成针对目标对象的掩膜图像。背景去除子模块用于基于掩膜图像去除中间图像的背景图像，得到第一图像。
根据本公开的实施例，上述第一特征提取模块810可以包括图像增强子模块和特征提取子模块。图像增强子模块用于对所述第一图像进行数据增强处理，得到增强后图像。特征提取子模块用于基于所述第一位置信息和所述增强后图像，分别提取所述第一属性特征和所述第一形状特征。
根据本公开的实施例，上述第一特征提取模块810可以包括第一归一化子模块和特征提取子模块。第一归一化子模块用于对第一图像进行归一化处理，得到第一归一化图像。特征提取子模块用于根据所述第一位置信息和所述第一归一化图像，分别提取所述第一属性特征和所述第一形状特征。
根据本公开的实施例，上述图像迁移装置800还可以包括第二图像检测模块和第二图像裁剪模块。第二图像检测模块用于检测包括第二对象的源图像，得到第二对象在源图像中的第四位置信息。第二图像裁剪模块用于基于第四位置信息裁剪源图像，获得第二图像。
根据本公开的实施例，上述第一身份提取模块820可以包括第二归一化子模块和身份提取子模块。第二归一化子模块用于对第二图像进行归一化处理，得到第二归一化图像。身份提取子模块用于采用第二编码网络对第二归一化图像进行编码，得到第二对象的第一身份特征。
根据本公开的实施例，上述第二图像包括多个图像，上述第一身份提取模块820用于分别提取多个图像中每个图像包括的第二对象的身份特征，得到多个初始身份特征；以及确定多个初始身份特征的均值特征为第二对象的第一身份特征。
根据本公开的实施例，上述第一图像生成模块830可以包括特征融合子模块和图像生成子模块。特征融合子模块用于融合第一属性特征和第一身份特征，得到融合特征。图像生成子模块用于将融合特征作为生成网络的输入，得到第一迁移图像。
基于本公开提供的图像迁移模型的训练方法，本公开还提供了一种图像迁移模型的训练装置，以下将结合图9对该装置进行描述。
图9是根据本公开实施例的图像迁移模型的训练装置的结构框图。
如图9所示，该实施例的图像迁移模型的训练装置900可以包括第二特征提取模块910、第二身份提取模块920、第二图像生成模块930和模型训练模块940。其中，图像迁移模型包括第一编码网络、第二编码网络和生成网络。
第二特征提取模块910用于根据第三对象的目标部位在第三图像中的第五位置信息和所述第三图像，采用所述第一编码网络提取所述第三对象的第二属性特征和所述目标部位的第二形状特征。在一实施例中，第二特征提取模块910可以用于执行前文描述的操作S610，在此不再赘述。
第二身份提取模块920用于采用第二编码网络提取第四图像包括的第三对象的第二身份特征。在一实施例中，第二身份提取模块920可以用于执行前文描述的操作S620，在此不再赘述。
第二图像生成模块930用于基于所述第二属性特征、所述第二形状特征和所述第二身份特征，采用所述生成网络生成第二迁移图像；所述第二迁移图像包括具有所述第二属性特征和所述第二形状特征的第三对象。在一实施例中，第二图像生成模块930可以用于执行前文描述的操作S630，在此不再赘述。
模型训练模块940用于基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。在一实施例中，模型训练模块940可以用于执行前文描述的操作S640，在此不再赘述。
根据本公开的实施例，第二属性特征包括第二姿态特征和第二表情特征。上述第二特征提取模块910可以包括第二图像确定子模块、第二姿态提取子模块、第二形状提取子模块和第二表情提取子模块。第二图像确定子模块用于基于所述第五位置信息，确定所述第三图像中针对所述目标部位的目标区域的图像。第二姿态提取子模块用于基于所述第三图像，采用所述第一编码子网络提取所述第二姿态特征。第二形状提取子模块用于基于所述目标区域的图像，采用所述第二编码子网络提取所述第二形状特征。第二表情提取子模块用于基于所述第三图像中除所述目标区域外其他区域的图像，采用所述第三编码子网络提取所述第二表情特征。
根据本公开的实施例，上述模型训练模块940包括第一损失确定子模块、真值概率确定子模块、第二损失确定子模块和模型训练子模块。第一损失确定子模块用于基于第二迁移图像和第三图像之间的像素级差异，确定图像迁移模型的第一损失。真值概率确定子模块用于将第二迁移图像和第三图像分别输入判别网络中，得到针对第二迁移图像的第一真值概率和针对第三图像的第二真值概率。第二损失确定子模块用于基于第二迁移图像、第三图像、第一真值概率和第二真值概率，确定图像迁移模型的生成对抗损失。模型训练子模块用于基于第一损失和生成对抗损失，对图像迁移模型进行训练。
根据本公开的实施例，上述模型训练模块940还可以包括第三损失确定子模块，用于基于第二迁移图像和第三图像经由特征提取网络提取得到的两个特征的差异，确定图像迁移模型的第二损失。上述模型训练子模块具体用于基于第一损失、生成对抗损失和第二损失，对图像迁移模型进行训练。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开实施例的图像迁移方法和/或图像迁移模型的训练方法的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像迁移方法和/或图像迁移模型的训练方法。例如，在一些实施例中，图像迁移方法和/或图像迁移模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM1003并由计算单元1001执行时，可以执行上文描述的图像迁移方法和/或图像迁移模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像迁移方法和/或图像迁移模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (26)

1.一种图像迁移方法，包括：
根据第一人脸的目标部位在第一图像中的第一位置信息和所述第一图像，分别提取所述第一人脸的第一属性特征和所述目标部位的第一形状特征；所述目标部位为所述第一人脸中随人脸状态的变化形状变化最为明显的部位；
提取第二图像包括的第二人脸的第一身份特征；以及
基于所述第一属性特征、所述第一形状特征和所述第一身份特征生成第一迁移图像，所述第一迁移图像包括具有所述第一属性特征和所述第一形状特征的第二人脸；
其中，所述第一属性特征包括第一姿态特征和第一表情特征；所述根据第一人脸的目标部位在第一图像中的第一位置信息和所述第一图像，分别提取所述第一人脸的第一属性特征和所述目标部位的第一形状特征包括：
基于所述第一位置信息，确定所述第一图像中针对所述目标部位的目标区域的图像；
根据所述第一图像，提取所述第一姿态特征；
根据所述目标区域的图像，提取所述第一形状特征；以及
根据所述第一图像中除所述目标区域外其他区域的图像，提取所述第一表情特征。
2. 根据权利要求1所述的方法，还包括：
检测包括所述第一人脸的模板图像，得到所述第一人脸在所述模板图像中的第二位置信息；以及
基于所述第二位置信息裁剪所述模板图像，获得所述第一图像。
3.根据权利要求2所述的方法，其中，所述基于所述第二位置信息裁剪所述模板图像，获得所述第一图像包括：
基于所述第二位置信息裁剪所述模板图像，得到中间图像；
对所述中间图像进行图像分割处理，得到所述中间图像中目标人体的第三位置信息；所述目标人体包括所述第一人脸；
基于所述第三位置信息，生成针对所述目标人体的掩膜图像；以及
基于所述掩膜图像去除所述中间图像中的背景图像，得到所述第一图像。
4. 根据权利要求1所述的方法，其中，所述根据第一人脸的目标部位在第一图像中的第一位置信息和所述第一图像，分别提取所述第一人脸的第一属性特征和所述目标部位的第一形状特征包括：
对所述第一图像进行数据增强处理，得到增强后图像；以及
基于所述第一位置信息和所述增强后图像，分别提取所述第一属性特征和所述第一形状特征。
5. 根据权利要求1所述的方法，其中，所述根据第一人脸的目标部位在第一图像中的第一位置信息和所述第一图像，分别提取所述第一人脸的第一属性特征和所述目标部位的第一形状特征包括：
对所述第一图像进行归一化处理，得到第一归一化图像；以及
根据所述第一位置信息和所述第一归一化图像，分别提取所述第一属性特征和所述第一形状特征。
6. 根据权利要求1所述的方法，还包括：
检测包括所述第二人脸的源图像，得到所述第二人脸在所述源图像中的第四位置信息；以及
基于所述第四位置信息裁剪所述源图像，获得所述第二图像。
7. 根据权利要求1所述的方法，其中，所述提取第二图像包括的第二人脸的第一身份特征包括：
对所述第二图像进行归一化处理，得到第二归一化图像；以及
采用编码网络对所述第二归一化图像进行编码，得到所述第二人脸的第一身份特征。
8. 根据权利要求1或7所述的方法，其中，所述第二图像包括多个图像；所述提取第二图像包括的第二人脸的第一身份特征包括：
分别提取所述多个图像中每个图像包括的第二人脸的身份特征，得到多个初始身份特征；以及
确定所述多个初始身份特征的均值特征为所述第二人脸的第一身份特征。
9. 根据权利要求1所述的方法，其中，所述基于所述第一属性特征、所述第一形状特征和所述第一身份特征生成第一迁移图像包括：
融合所述第一属性特征、所述第一形状特征和所述第一身份特征，得到融合特征；以及
将所述融合特征作为生成网络的输入，得到所述第一迁移图像。
10.一种图像迁移模型的训练方法，其中，所述图像迁移模型包括第一编码网络、第二编码网络和生成网络；所述方法包括：
根据第三人脸的目标部位在第三图像中的第五位置信息和所述第三图像，采用所述第一编码网络提取所述第三人脸的第二属性特征和所述目标部位的第二形状特征；所述目标部位为所述第三人脸中随人脸状态的变化形状变化最为明显的部位；
采用所述第二编码网络提取第四图像包括的第三人脸的第二身份特征；
基于所述第二属性特征、所述第二形状特征和所述第二身份特征，采用所述生成网络生成第二迁移图像；所述第二迁移图像包括具有所述第二属性特征和所述第二形状特征的第三人脸；以及
基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练；
其中，所述第二属性特征包括第二姿态特征和第二表情特征；所述第一编码网络包括第一编码子网络、第二编码子网络和第三编码子网络；所述根据第三人脸的目标部位在第三图像中的第五位置信息和所述第三图像，采用所述第一编码网络提取所述第三人脸的第二属性特征和所述目标部位的第二形状特征包括：
基于所述第五位置信息，确定所述第三图像中针对所述目标部位的目标区域的图像；
基于所述第三图像，采用所述第一编码子网络提取所述第二姿态特征；
基于所述目标区域的图像，采用所述第二编码子网络提取所述第二形状特征；以及
基于所述第三图像中除所述目标区域外其他区域的图像，采用所述第三编码子网络提取所述第二表情特征。
11.根据权利要求10所述的方法，其中，基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练包括：
基于所述第二迁移图像和所述第三图像之间的像素差异，确定所述图像迁移模型的第一损失；
将所述第二迁移图像和所述第三图像分别输入判别网络中，得到针对所述第二迁移图像的第一真值概率和针对所述第三图像的第二真值概率；
基于所述第二迁移图像、所述第三图像、所述第一真值概率和所述第二真值概率，确定所述图像迁移模型的生成对抗损失；以及
基于所述第一损失和所述生成对抗损失，对所述图像迁移模型进行训练。
12. 根据权利要求11所述的方法，其中，基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练还包括：
基于所述第二迁移图像和所述第三图像经由特征提取网络提取得到的两个特征的差异，确定所述图像迁移模型的第二损失；以及
基于所述第一损失、所述生成对抗损失和所述第二损失，对所述图像迁移模型进行训练。
13.一种图像迁移装置，包括：
第一特征提取模块，用于根据第一人脸的目标部位在第一图像中的第一位置信息和所述第一图像，分别提取所述第一人脸的第一属性特征和所述目标部位的第一形状特征；所述目标部位为所述第一人脸中随人脸状态的变化形状变化最为明显的部位；
第一身份提取模块，用于提取第二图像包括的第二人脸的第一身份特征；以及
第一图像生成模块，用于基于所述第一属性特征、所述第一形状特征和所述第一身份特征生成第一迁移图像，所述第一迁移图像包括具有所述第一属性特征和所述第一形状特征的第二人脸；
其中，所述第一属性特征包括第一姿态特征和第一表情特征；所述第一特征提取模块包括：
第一图像确定子模块，用于基于所述第一位置信息，确定所述第一图像中针对所述目标部位的目标区域的图像；
第一姿态提取子模块，用于根据所述第一图像，提取所述第一姿态特征；
第一形状提取子模块，用于根据所述目标区域的图像，提取所述第一形状特征；以及
第一表情提取子模块，用于根据所述第一图像中除所述目标区域外其他区域的图像，提取所述第一表情特征。
14. 根据权利要求13所述的装置，还包括：
第一图像检测模块，用于检测包括所述第一人脸的模板图像，得到所述第一人脸在所述模板图像中的第二位置信息；以及
第一图像裁剪模块，用于基于所述第二位置信息裁剪所述模板图像，获得所述第一图像。
15.根据权利要求14所述的装置，其中，所述图像裁剪模块包括：
裁剪子模块，用于基于所述第二位置信息裁剪所述模板图像，得到中间图像；
分割子模块，用于对所述中间图像进行图像分割处理，得到所述中间图像中目标人体的第三位置信息；所述目标人体包括所述第一人脸；
掩膜生成子模块，用于基于所述第三位置信息，生成针对所述目标人体的掩膜图像；以及
背景去除子模块，用于基于所述掩膜图像去除所述中间图像的背景图像，得到所述第一图像。
16. 根据权利要求13所述的装置，其中，所述第一特征提取模块包括：
图像增强子模块，用于对所述第一图像进行数据增强处理，得到增强后图像；以及
特征提取子模块，用于基于所述第一位置信息和所述增强后图像，分别提取所述第一属性特征和所述第一形状特征。
17. 根据权利要求13所述的装置，其中，所述第一特征提取模块包括：
第一归一化子模块，用于对所述第一图像进行归一化处理，得到第一归一化图像；以及
特征提取子模块，用于根据所述第一位置信息和所述第一归一化图像，分别提取所述第一属性特征和所述第一形状特征。
18.根据权利要求13所述的装置，还包括：
第二图像检测模块，用于检测包括所述第二人脸的源图像，得到所述第二人脸在所述源图像中的第四位置信息；
第二图像裁剪模块，用于基于所述第四位置信息裁剪所述源图像，获得所述第二图像。
19. 根据权利要求13所述的装置，其中，所述第一身份提取模块包括：
第二归一化子模块，用于对所述第二图像进行归一化处理，得到第二归一化图像；以及
身份提取子模块，用于采用编码网络对所述第二归一化图像进行编码，得到所述第二人脸的第一身份特征。
20. 根据权利要求13或19所述的装置，其中，所述第一身份提取模块用于：
分别提取所述多个图像中每个图像包括的第二人脸的身份特征，得到多个初始身份特征；以及
确定所述多个初始身份特征的均值特征为所述第二人脸的第一身份特征。
21. 根据权利要求13所述的装置，其中，所述第一图像生成模块包括：
特征融合子模块，用于融合所述第一属性特征、所述第一形状特征和所述第一身份特征，得到融合特征；以及
图像生成子模块，用于将所述融合特征作为生成网络的输入，得到所述第一迁移图像。
22.一种图像迁移模型的训练装置，其中，所述图像迁移模型包括第一编码网络、第二编码网络和生成网络；所述装置包括：
第二特征提取模块，用于根据第三人脸的目标部位在第三图像中的第五位置信息和所述第三图像，采用所述第一编码网络提取所述第三人脸的第二属性特征和所述目标部位的第二形状特征；所述目标部位为所述第三人脸中随人脸状态的变化形状变化最为明显的部位；
第二身份提取模块，用于采用所述第二编码网络提取第四图像包括的第三人脸的第二身份特征；
第二图像生成模块，用于基于所述第二属性特征、所述第二形状特征和所述第二身份特征，采用所述生成网络生成第二迁移图像；所述第二迁移图像包括具有所述第二属性特征和所述第二形状特征的第三人脸；以及
模型训练模块，用于基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练；
其中，所述第二属性特征包括第二姿态特征和第二表情特征，所述第一编码网络包括第一编码子网络、第二编码子网络和第三编码子网络；所述第二特征提取模块包括：
第二图像确定子模块，用于基于所述第五位置信息，确定所述第三图像中针对所述目标部位的目标区域的图像；
第二姿态提取子模块，用于基于所述第三图像，采用所述第一编码子网络提取所述第二姿态特征；
第二形状提取子模块，用于基于所述目标区域的图像，采用所述第二编码子网络提取所述第二形状特征；以及
第二表情提取子模块，用于基于所述第三图像中除所述目标区域外其他区域的图像，采用所述第三编码子网络提取所述第二表情特征。
23.根据权利要求22所述的装置，其中，所述模型训练模块包括：
第一损失确定子模块，用于基于所述第二迁移图像和所述第三图像之间的像素级差异，确定所述图像迁移模型的第一损失；
真值概率确定子模块，用于将所述第二迁移图像和所述第三图像分别输入判别网络中，得到针对所述第二迁移图像的第一真值概率和针对所述第三图像的第二真值概率；
第二损失确定子模块，用于基于所述第二迁移图像、所述第三图像、所述第一真值概率和所述第二真值概率，确定所述图像迁移模型的生成对抗损失；以及
模型训练子模块，用于基于所述第一损失和所述生成对抗损失，对所述图像迁移模型进行训练。
24. 根据权利要求23所述的装置，其中，所述模型训练模块还包括：
第三损失确定子模块，用于基于所述第二迁移图像和所述第三图像经由特征提取网络提取得到的两个特征的差异，确定所述图像迁移模型的第二损失；以及
所述模型训练子模块用于基于所述第一损失、所述生成对抗损失和所述第二损失，对所述图像迁移模型进行训练。
25. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1~12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1~12中任一项所述的方法。
CN202111502659.3A 2021-12-09 2021-12-09 图像迁移方法和图像迁移模型的训练方法、装置 Active CN114140320B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111502659.3A CN114140320B (zh) 2021-12-09 2021-12-09 图像迁移方法和图像迁移模型的训练方法、装置
JP2022174100A JP2023027782A (ja) 2021-12-09 2022-10-31 画像遷移方法及び画像遷移モデルの訓練方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US18/072,295 US20230115765A1 (en) 2021-12-09 2022-11-30 Method and apparatus of transferring image, and method and apparatus of training image transfer model
EP22211921.6A EP4123605A3 (en) 2021-12-09 2022-12-07 Method of transferring image, and method and apparatus of training image transfer model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111502659.3A CN114140320B (zh) 2021-12-09 2021-12-09 图像迁移方法和图像迁移模型的训练方法、装置

Publications (2)

Publication Number Publication Date
CN114140320A CN114140320A (zh) 2022-03-04
CN114140320B true CN114140320B (zh) 2023-09-01

Family

ID=80385497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111502659.3A Active CN114140320B (zh) 2021-12-09 2021-12-09 图像迁移方法和图像迁移模型的训练方法、装置

Country Status (4)

Country Link
US (1) US20230115765A1 (zh)
EP (1) EP4123605A3 (zh)
JP (1) JP2023027782A (zh)
CN (1) CN114140320B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245884A (zh) * 2022-12-19 2023-06-09 南京硅基智能科技有限公司 一种头部迁移模型的训练方法与系统
CN116229379B (zh) * 2023-05-06 2024-02-02 浙江大华技术股份有限公司 一种道路属性识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
CN111598977A (zh) * 2020-05-21 2020-08-28 北京中科深智科技有限公司 一种表情迁移并动画化的方法及系统
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN113344777A (zh) * 2021-08-02 2021-09-03 中国科学院自动化研究所 基于三维人脸分解的换脸与重演方法及装置
CN113361387A (zh) * 2021-06-03 2021-09-07 湖南快乐阳光互动娱乐传媒有限公司 人脸图像融合方法及装置、存储介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023798A (ja) * 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 画像データ処理装置および方法，ならびに画像データ処理プログラム
RU2755396C1 (ru) * 2020-06-09 2021-09-15 Самсунг Электроникс Ко., Лтд. Нейросетевой перенос выражения лица и позы головы с использованием скрытых дескрипторов позы
WO2021096192A1 (en) * 2019-11-12 2021-05-20 Samsung Electronics Co., Ltd. Neural facial expressions and head poses reenactment with latent pose descriptors
CN111260545B (zh) * 2020-01-20 2023-06-20 北京百度网讯科技有限公司 生成图像的方法和装置
CN111862030B (zh) * 2020-07-15 2024-02-09 北京百度网讯科技有限公司 一种人脸合成图检测方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
CN111598977A (zh) * 2020-05-21 2020-08-28 北京中科深智科技有限公司 一种表情迁移并动画化的方法及系统
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN113361387A (zh) * 2021-06-03 2021-09-07 湖南快乐阳光互动娱乐传媒有限公司 人脸图像融合方法及装置、存储介质及电子设备
CN113344777A (zh) * 2021-08-02 2021-09-03 中国科学院自动化研究所 基于三维人脸分解的换脸与重演方法及装置

Also Published As

Publication number Publication date
US20230115765A1 (en) 2023-04-13
EP4123605A3 (en) 2023-07-12
JP2023027782A (ja) 2023-03-02
CN114140320A (zh) 2022-03-04
EP4123605A2 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
CN113343826B (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN113971751A (zh) 训练特征提取模型、检测相似图像的方法和装置
CN113901909B (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN114140320B (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN115330940B (zh) 一种三维重建方法、装置、设备和介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN113705361A (zh) 活体检测模型的方法、装置及电子设备
CN112561879A (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN113920023B (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN113553905A (zh) 图像识别方法、装置及系统
CN114387651B (zh) 一种人脸识别方法、装置、设备及存储介质
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
CN115116111B (zh) 抗扰动人脸活体检测模型训练方法、装置及电子设备
CN114863450B (zh) 图像处理方法、装置、电子设备及存储介质
CN112785524B (zh) 一种人物图像的修复方法、装置及电子设备
CN116994319A (zh) 训练模型的方法和人脸识别方法、设备、介质
CN117152352A (zh) 图像处理方法、深度学习模型训练方法及装置
CN112991451B (zh) 图像识别方法、相关装置及计算机程序产品
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN115273184A (zh) 人脸活体检测模型训练方法及装置
CN114067394A (zh) 人脸活体检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant