CN109285160B - 一种抠像方法与系统 - Google Patents

Abstract

本发明公开一种抠像方法，包括：生成预设的人像模板图的网格图像，并获取网格图像的网格顶点，为第一网格顶点；根据第一网格顶点生成第一人像遮罩图；获取待抠像的人像图；对待抠像的人像图进行人像检测，获取待抠像的人像图的关键点位；所述待抠像的人像图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；将所述待抠像的人像图的关键点位仿射至所述人像模板图上，获取第二网格顶点；根据所述第二网格顶点对所述第一人像遮罩图进行变换，获取第二人像遮罩图；根据所述第二人像遮罩图从所述待抠像的人像图中抠出人像。本发明提供的技术方案，能够在移动终端上进行快速、准确地实时抠像，从而满足移动终端用户实时查看人像ps效果的需求。

Description

一种抠像方法与系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种抠像方法与系统。

背景技术

在照片美化和视觉人像领域，通常会将画面中的人物用ps抠出，并在人物前后增加装饰物，或者对抠出的人物进行分层美化，以达到照片的前后景深效果。随着自拍APP的普及化，许多用户希望在打开相机后，能够实时预览照片ps后的效果。因此，在相机实时预览的界面，需要增加实时抠像技术，将人物图像抠出后，进一步进行ps处理，以实现对人像的实时美化。

目前，市面上有基于卷积神经网络(CNN)和基于深度学习的目标检测算法(SSD)的实时抠像技术。这两种方法均需要对大量的训练样本进行区域标注、通过机器对每一张训练样本进行多次训练，以得到一个训练模型。然后在移动平台(如IOS系统，或安卓系统)上，预先接入机器学习的框架代码，启动这个框架并载入上述训练模型，再将每一帧的相机数据传递给框架代码，通过运算后，得到一幅黑白蒙版图，最后再使用shader将蒙版图和相机画面数据融合，得到实时抠像后的照片。

虽然CNN或SSD能得到较好的抠像效果，但将其直接应用于移动终端上时，整个抠像过程非常复杂。首先，用于机器学习的训练样本数量巨大，一般不低于1万张照片，且每一张照片均需要对抠像区域进行人工逐点标注或图层分离，训练样本的数量和对其标注的质量直接影响到最终的抠像效果。同时，需要搭建机器学习的训练框架，即CNN框架或SSD框架，需要配置超高显卡的机器。其次，客户端接入机器学习的框架也比较复杂，目前除了IOS平台专属的CoreML，其它框架均需要重新研发；又因为接入上述框架需要依赖第三方库，系统的兼容性也需要解决。第三，模型的训练文件非常庞大，导致安装包需增大5～10M，这对于安卓用户来说是非常敏感的。由于模型比较大，所以在客户端的载入时间也比较长，CNN和SSD的处理流程非常复杂，内部有大量基于统计概率的算法，因此对CPU的消耗是非常昂贵的。以市面上已有的基于上述两种方法的抠图软件在移动终端上的运行速度来看，APP对于相机照片每一帧的检测时间为35～50ms，也就是20～28PFS。如果APP再增加其它功能，如滤镜、贴纸等，那么相机画面的帧率又会降低很多，只能达到15PFS，此时用户将感到明显的卡顿。

发明内容

本发明旨在提供一种抠像方法与系统，能够在移动终端上进行快速、准确地实时抠像，从而满足移动终端用户实时查看人像ps效果的需求。

为达到上述目的，本发明采用的技术方案如下：

一种抠像方法，包括：生成预设的人像模板图的网格图像，并获取所述网格图像的网格顶点，为第一网格顶点；根据所述第一网格顶点生成第一人像遮罩图；获取待抠像的人像图；对所述待抠像的人像图进行人像检测，获取所述待抠像的人像图的关键点位；所述待抠像的人像图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；将所述待抠像的人像图的关键点位仿射至所述人像模板图上，获取第二网格顶点；根据所述第二网格顶点对所述第一人像遮罩图进行变换，获取第二人像遮罩图；根据所述第二人像遮罩图从所述待抠像的人像图中抠出人像。

优选地，所述生成预设的人像模板图的网格图像包括：对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位；所述人像模板图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；根据所述人像模板图的关键点位，生成所述人像模板图的网格图像。

进一步地，还包括：获取所述待抠像的人像图的顶点；将所述待抠像的人像图的关键点位和所述待抠像的人像图的顶点仿射至所述人像模板图上，获取第二网格顶点；所述生成预设的人像模板图的网格图像还包括：获取所述人像模板图的顶点；根据所述人像模板图的关键点位和所述人像模板图的顶点，生成所述人像模板图的网格图像。

优选地，所述对所述待抠像的人像图进行人像检测，获取所述待抠像的人像图的关键点位的方法与所述对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位的方法相同；所述对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位包括：对所述人像模板图进行人脸检测，获取人脸关键点；所述人脸关键点包括额头关键点；根据所述人脸关键点模拟出所述脖子关键点和所述肩膀关键点。

优选地，所述第一人像遮罩图为黑白图像；所述第一人像遮罩图中用于遮罩人像的部分为黑色。

一种抠像系统，包括：网格图像生成模块，用于生成预设的人像模板图的网格图像，并获取所述网格图像的网格顶点，为第一网格顶点；人像遮罩图生成模块，用于根据所述第一网格顶点获取第一人像遮罩图；人像获取模块，用于获取待抠像的人像图；第一人像检测模块，用于对所述待抠像的人像图进行人像检测，获取所述待抠像的人像图的关键点位；所述待抠像的人像图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；仿射模块，用于将所述待抠像的人像图的关键点位仿射至所述人像模板图上，获取第二网格顶点；变换模块，用于根据所述第二网格顶点对所述第一人像遮罩图进行变换，获取第二人像遮罩图；抠取模块，用于根据所述第二人像遮罩图从所述待抠像的人像图中抠出人像。

优选地，所述网格图像生成模块包括：第二人像检测模块，用于对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位；所述人像模板图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；生成模块，用于根据所述人像模板图的关键点位，生成所述人像模板图的网格图像。

进一步地，还包括：第一图像顶点获取模块，用于取所述待抠像的人像图的顶点；所述仿射模块还用于将所述待抠像的人像图的关键点位和所述待抠像的人像图的顶点仿射至所述人像模板图上，获取第二网格顶点；所述网格图像生成模块还包括：第二图像顶点获取模块，用于获取所述人像模板图的顶点；所述生成模块还用于根据所述人像模板图的关键点位和所述人像模板图的顶点，生成所述人像模板图的网格图像。

优选地，所述第二人像检测模块包括：人脸关键点检测模块，用于对所述人像模板图进行人脸检测，获取人脸关键点；所述人脸关键点包括额头关键点；模拟模块，用于根据所述人脸关键点模拟出所述脖子关键点和所述肩膀关键点。

优选地，所述第一人像遮罩图为黑白图像；所述第一人像遮罩图中用于遮罩人像的部分为黑色。

本发明实施例提供的抠像方法与系统，通过预设的人像模板图生成第一人像遮罩图，再将待抠像的人像图的关键点位仿射至人像模板图上，对第一人像遮罩图进行变换，生成与待抠像的人像图相适配的第二人像遮罩图，从而将人像抠出。整个流程只涉及到对人像关键点的检测、网格化图像和仿射运算，运算量很小，相对于需要大量第三方库和大量训练模型的现有技术，本发明所占的系统内存非常小，也不存在接入第三方库时所面临的系统兼容性问题。通过对模板图的人像遮罩图进行变换而生成的第二人像遮罩图，由于与待抠像的人像图的关键点位相对应，因此，也能够较准确地反映人像所处的位置。可见，本发明提供的技术方案，能够在移动终端上进行快速、准确地实时抠像，进而对抠出的人像进行美化，满足移动终端用户实时查看人像ps效果的需求。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例的系统结构图；

图3为本发明实施例中的人像模板图；

图4为本发明实施例中的第一人像遮罩图；

图5为根据第一人像遮罩图获取第二人像遮罩图的效果图；

图6为抠像效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

为了方便理解，本实施例采用Unity开发工具对技术方案进行详解，Unity可运行于IOS系统和安卓系统中。

图1为本发明实施例的方法流程图，包括：

步骤101，生成预设的人像模板图的网格图像，并获取所述网格图像的网格顶点，为第一网格顶点；

所述生成预设的人像模板图的网格图像包括：对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位；所述人像模板图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；根据所述人像模板图的关键点位，生成所述人像模板图的网格图像。为了对图像的定位更加准确，上述生成人像模板图的网格图像的步骤还包括：获取所述人像模板图的4个顶点，则所述人像模板图的网格图像由所述人像模板图的关键点位和所述人像模板图的顶点所生成。

具体的获取人像模板图的关键点位的方法为：对所述人像模板图进行人脸检测，获取人脸关键点；所述人脸关键点包括额头关键点；根据所述人脸关键点模拟出2个脖子关键点和4个肩膀关键点。由于模拟出的点位与后续的uv贴图的偏移有关系，因此，模拟出的点位应该尽量往轮廓外边靠。

在图形渲染中，构建一个网格图像需要三种数据：三角形索引序列(triangles)、网格顶点数组(vertices)和纹理坐标数组(uv)。初步生成的网格图像，我们可以通过手动或辅助工具将其转换为程序可用的网格图像，也可以使用3Dmax等工具根据图片制作一个模型片面。

由于本实施例中的网格图像是由Anima2d插件构建的，因此网格顶点是无序的，我们需要将人像关键点位与网格顶点一一对应，通过一个数组让人像关键点位的顺序与网格顶点的顺序保持一致。当后续步骤中新的人像关键点传递过来后，我们可以通过这个索引找到新的人像关键点对应的网格顶点。

步骤102，根据所述第一网格顶点生成第一人像遮罩图；

第一人像遮罩图为黑白图像，黑色表示需要被抠出的部分，所以黑色部分需要在人脸关键点以内。

步骤103，获取待抠像的人像图；

打开相机，实时获取待抠像的人像图。

步骤104，对所述待抠像的人像图进行人像检测，获取所述待抠像的人像图的关键点位；所述待抠像的人像图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；

本实施例中，所述对所述待抠像的人像图进行人像检测，获取所述待抠像的人像图的关键点位的方法与所述对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位的方法相同。在106个人脸关键点的基础上，增加模拟3个额头关键点，2个脖子关键点，4个肩膀关键点和待抠像的人像图的4个顶点关键点，一共119个点位。如果检测出来的点位本身已经包含所需要的点位则可以直接使用。

本实施例中，肩膀外的点由已经检测出的0、32点位垂直向下进行模拟获得，肩膀内的点由102、16、114、115、116、117、118、119点位进行模拟获得。本发明实施例只采用了固定底部点位的方法进行模拟，并将四个方向的适配都进行了模拟。实际使用时可以通过陀螺仪、设备方向进行肩膀点位的模拟。上述四个方向指的是移动终端的两个横屏方向和两个竖屏方向，即，不管将移动终端旋转至任何方向，均能对图像进行实时抠像操作。

步骤105，将所述待抠像的人像图的关键点位仿射至所述人像模板图上，获取第二网格顶点；

步骤106，根据所述第二网格顶点对所述第一人像遮罩图进行变换，获取第二人像遮罩图；

当传入新的人像关键点数据时，通过人像关键点找到对应的网格顶点，并修改其位置，让新的网格顶点对第一人像遮罩图进行拉伸，变换到真实的人像位置上。本实施例中，上半身的模拟点位数量不限，原则上模拟的点位越多，抠像越准确。本实施例在检测出的人脸关键点的基础上，又增加了9个模拟点位，实际使用时，可根据实际情况考虑是否增加模拟点位，以及增加几个模拟点位。

在步骤101中对人像模板图的4个顶点进行定位、人像模板图的网格图像由人像模板图的关键点位和人像模板图的顶点所生成的情况下，还包括：获取所述待抠像的人像图的顶点；将所述待抠像的人像图的关键点位和所述待抠像的人像图的顶点仿射至所述人像模板图上，获取第二网格顶点，以使对图像的定位更加准确，从而使抠像更加准确。

步骤107，根据所述第二人像遮罩图从所述待抠像的人像图中抠出人像。

我们可以通过Camera或者Shader等渲染方法将第二人像遮罩图与原始图像相融合，得到一张抠出的人像图。需要说明的是，我们在制作第一人像遮罩图时，有意地外扩了一点耳朵部分，所以第二人像遮罩图会有耳朵部分的虚化，如果需要去除掉某部分的遮罩，可以通过修改第一人像遮罩图来实现。

本发明还提供一种抠像系统，如图2所示，包括：网格图像生成模块，用于生成预设的人像模板图的网格图像，并获取所述网格图像的网格顶点，为第一网格顶点；人像遮罩图生成模块，用于根据所述第一网格顶点获取第一人像遮罩图；人像获取模块，用于获取待抠像的人像图；第一人像检测模块，用于对所述待抠像的人像图进行人像检测，获取所述待抠像的人像图的关键点位；所述待抠像的人像图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；仿射模块，用于将所述待抠像的人像图的关键点位仿射至所述人像模板图上，获取第二网格顶点；变换模块，用于根据所述第二网格顶点对所述第一人像遮罩图进行变换，获取第二人像遮罩图；抠取模块，用于根据所述第二人像遮罩图从所述待抠像的人像图中抠出人像。

本实施例中，所述网格图像生成模块包括：第二人像检测模块，用于对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位；所述人像模板图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；生成模块，用于根据所述人像模板图的关键点位，生成所述人像模板图的网格图像。

为了使图形定位更准确，本系统还包括：第一图像顶点获取模块，用于取所述待抠像的人像图的顶点；所述仿射模块还用于将所述待抠像的人像图的关键点位和所述待抠像的人像图的顶点仿射至所述人像模板图上，获取第二网格顶点；所述网格图像生成模块还包括：第二图像顶点获取模块，用于获取所述人像模板图的顶点；所述生成模块还用于根据所述人像模板图的关键点位和所述人像模板图的顶点，生成所述人像模板图的网格图像。

本实施例中，所述第二人像检测模块包括：人脸关键点检测模块，用于对所述人像模板图进行人脸检测，获取人脸关键点；所述人脸关键点包括额头关键点；模拟模块，用于根据所述人脸关键点模拟出所述脖子关键点和所述肩膀关键点。

本发明中抠像系统的工作原理与工作流程与抠像方法相同，此处不再赘述。

本发明定位在人像自拍领域，提供快速、简单、高兼容性的抠像方案。由于人像自拍有一定的特殊性和规律性，90％的自拍都只有上半身，所以在一定程度上简化了我们的操作，本发明着重于解决上半身自拍时实时抠像的问题。本发明首先需要对人像模板图进行人脸关键点检测，得到人脸关键点，在人脸关键点的基础上模拟出脖子、肩膀的点位，将整个人的上半身完美地模拟出来，并生成人像遮罩图，再处理多人和方向上的信息。当人脸发生位移时，通过一个仿射关系将新的点位仿射到人像模板图上，最终通过渲染，得到一个半人身的蒙版图，即达到我们想要的效果。

人像自拍类型的APP，都会使用人脸的关键点位来做美妆、滤镜等，且客户端本身支持OpenGL，所以本发明不需要增加额外的第三方库，也就免去上万张的样本图片和人脸标注工作量，同时也不需要投入大量人力物力去做机器学习，在短时间内就能完成对抠像功能的接入，以占领市场。本发明相比于现有的SSD和CNN高精度抠像，更加经济，并且具有高兼容性，采用更加简单的算法使其在中低端的移动终端上更加实用。本发明所提供的抠像方法，整个渲染过程只需要1～2ms，相对于SSD和CNN动辄30ms以上的时间来说，提高了十几倍的速率。虽然本发明在有些应用场景下不能完全替代高精度抠像，但将其应用到中低端移动终端上时，能够表现出高性能。本发明在运算过程中只需要传入一张静态的人像模板图，相比于现有方法需要大量的第三方库和训练模型来说，安装包的大小减小到低于0.1M，能够有效节约内存空间，提高运行速度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种抠像方法，其特征在于，包括：

生成预设的人像模板图的网格图像，并获取所述网格图像的网格顶点，为第一网格顶点；所述生成预设的人像模板图的网格图像包括：对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位；还包括：获取所述人像模板图的顶点；根据所述人像模板图的关键点位和所述人像模板图的顶点，生成所述人像模板图的网格图像；所述人像模板图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；所述人脸关键点包括额头关键点；根据所述人脸关键点模拟出所述脖子关键点和所述肩膀关键点；

根据所述第一网格顶点生成第一人像遮罩图；

获取待抠像的人像图；

对所述待抠像的人像图进行人像检测，包括获取所述待抠像的人像图的关键点位；还包括：获取所述待抠像的人像图的顶点；将所述待抠像的人像图的关键点位和所述待抠像的人像图的顶点仿射至所述人像模板图上，获取第二网格顶点；所述待抠像的人像图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；

根据所述第二网格顶点对所述第一人像遮罩图进行变换，获取第二人像遮罩图；

根据所述第二人像遮罩图从所述待抠像的人像图中抠出人像。

2.根据权利要求1所述的抠像方法，其特征在于，所述对所述待抠像的人像图进行人像检测，获取所述待抠像的人像图的关键点位的方法与所述对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位的方法相同。

3.根据权利要求1所述的抠像方法，其特征在于，所述第一人像遮罩图为黑白图像；所述第一人像遮罩图中用于遮罩人像的部分为黑色。

4.一种抠像系统，其特征在于，包括：

网格图像生成模块，用于生成预设的人像模板图的网格图像，并获取所述网格图像的网格顶点，为第一网格顶点；所述网格图像生成模块包括：第二人像检测模块，用于对预设的人像模板图进行人像检测，获取所述人像模板图的关键点位；还包括：第二图像顶点获取模块，用于获取所述人像模板图的顶点；生成模块，用于根据所述人像模板图的关键点位和所述人像模板图的顶点，生成所述人像模板图的网格图像；所述人像模板图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；所述第二人像检测模块包括：人脸关键点检测模块，用于对所述人像模板图进行人脸检测，获取人脸关键点；所述人脸关键点包括额头关键点；模拟模块，用于根据所述人脸关键点模拟出所述脖子关键点和所述肩膀关键点；

人像遮罩图生成模块，用于根据所述第一网格顶点获取第一人像遮罩图；S

人像获取模块，用于获取待抠像的人像图；

第一人像检测模块，用于对所述待抠像的人像图进行人像检测，获取所述待抠像的人像图的关键点位；还包括：第一图像顶点获取模块，用于取所述待抠像的人像图的顶点；仿射模块，用于将所述待抠像的人像图的关键点位和所述待抠像的人像图的顶点仿射至所述人像模板图上，获取第二网格顶点；所述待抠像的人像图的关键点位包括：人脸关键点，脖子关键点，肩膀关键点；

变换模块，用于根据所述第二网格顶点对所述第一人像遮罩图进行变换，获取第二人像遮罩图；

抠取模块，用于根据所述第二人像遮罩图从所述待抠像的人像图中抠出人像。

5.根据权利要求4所述的抠像系统，其特征在于，所述第一人像遮罩图为黑白图像；所述第一人像遮罩图中用于遮罩人像的部分为黑色。

Images