CN109858333A - 图像处理方法、装置、电子设备及计算机可读介质 - Google Patents

Abstract

本公开涉及一种图像处理方法、装置、电子设备及计算机可读介质。该方法包括：对图像中目标物体进行检测，提取目标区域；将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率；确定所述热度图中的多个有效特征点；以及根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。本公开涉及的图像处理方法、装置、电子设备及计算机可读介质，能够快速精确的定位图像中的面部关键点。

Description

图像处理方法、装置、电子设备及计算机可读介质

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种图像处理方法、装置、电子设备及计算机可读介质。

背景技术

面部关键点检测也称为面部关键点定位或者面部对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等的检测技术。面部关键点检测是目前学术界研究的焦点，这项技术基于人脸框的精准检测，在检测到人脸框后精准定位出眼睛、鼻子、嘴巴和下巴等。面部关键点检测广泛应用与人脸识别、人脸跟踪、人脸动画和3D人脸建模等领域。

近些年，随着个人和网络视频图像的爆炸式增长，全自动、高效和强大的人脸关键点定位方法是十分需要的，现有技术中的面部关键点检测方法，在时效和处理量上已经不能满足当前用户的需要。

因此，需要一种新的图像处理方法、装置、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种图像处理方法、装置、电子设备及计算机可读介质，能够快速精确的定位图像中的面部关键点。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的另一方面，提出一种图像处理方法，该方法包括：对图像中目标物体进行检测，提取目标区域；将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率；确定所述热度图中的多个有效特征点；以及根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。

在一个实施例中，该方法还包括：通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

根据本公开的又一方面，提出一种图像处理装置，该装置包括：提取模块，用于对图像中目标物体进行检测，提取目标区域；模型计算模块，用于将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率；有效特征点模块，用于确定所述热度图中的多个有效特征点；以及特征点模块，用于根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。

在一个实施例中，该装置还包括：模型训练模块，用于通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本公开的图像处理方法、装置、电子设备及计算机可读介质，能够快速精确的定位图像中的人脸关键点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种图像处理方法的系统框图。

图2是根据一示例性实施例示出的一种图像处理方法的应用场景示意图。

图3是根据一示例性实施例示出的一种图像处理方法的应用场景示意图。

图4是根据一示例性实施例示出的一种图像处理方法的流程图。

图5是根据一示例性实施例示出的一种图像处理方法的示意图。

图6是根据一示例性实施例示出的一种图像处理方法的示意图。

图7是根据另一示例性实施例示出的一种图像处理方法的流程图。

图8是根据一示例性实施例示出的一种图像处理方法的示意图。

图9是根据一示例性实施例示出的一种图像处理装置的框图。

图10是根据另一示例性实施例示出的一种图像处理装置的框图。

图11是根据一示例性实施例示出的一种电子设备的框图。

图12是根据一示例性实施例示出一种计算机可读存储介质示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

图1是根据一示例性实施例示出的一种图像处理方法的系统框图。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所拍摄图片或者视频的网站提供支持的后台服务器。服务器105可以对接收到的图片或者视频图像等数据进行分析等处理，并将处理结果(例如图片中的面部特征点，或者视频图像中每一帧的面部特征点)反馈给终端设备。

用户可通过终端设备101、102、103拍摄图片或者视频，终端设备101、102、103可例如对图像中目标物体进行检测，提取目标区域；终端设备101、102、103可例如将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率；终端设备101、102、103可例如确定所述热度图中的多个有效特征点；以及终端设备101、102、103可例如根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。终端设备101、102、103还可例如通过特征点对用户拍摄的图片或者视频进行进一步的处理，可例如进行人脸识别，或者进行实时美妆处理等等。

终端设备101、102、103还可例如通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

用户可通过终端设备101、102、103拍摄图片或者视频，终端设备101、102、103可例如将图片或者视频转发至服务器105中，服务器105可例如对图像中目标物体进行检测，提取目标区域；服务器105可例如将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率；服务器105可例如确定所述热度图中的多个有效特征点；以及服务器105可例如根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。服务器105还可例如通过特征点对用户拍摄的图片或者视频进行进一步的处理，可例如进行人脸识别，或者进行实时美妆处理等等。服务器105还可例如将特征点返回终端设备101、102、103，终端设备101、102、103还可例如通过特征点对用户拍摄的图片或者视频进行进一步的处理。

服务器105还可例如通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

服务器105可以是一个实体的服务器，还可例如为多个服务器组成，需要说明的是，本公开实施例所提供的图像处理方法可以由服务器105和/或终端设备101、102、103执行，相应地，图像处理装置可以设置于服务器105和/或终端设备101、102、103中。而提供给用户进行图片或者视频输入的请求端一般位于终端设备101、102、103中。

根据本公开的图像处理方法，能够应用在各种场景中，通过将图像中的目标区域输入具有堆叠沙漏网络结构(Stacked Hourglass Network)的特征点提取模型中生成热度图，然后根据输出的热度图中的至少四个有效特征点确定图像中的特征点的方式，能够快速精确的定位图像中的人脸关键点。

根据本公开的图像处理方法，通过有堆叠沙漏网络结构的特征点提取模型，可以捕捉图像在不同尺度下的有效信息。此外，通过堆叠多个沙漏结构，该网络通过从粗到精的形式估计人脸或者人体图像中特征点的热度图，从特征图中进而估计特征点的坐标。进而使得基于本公开的图像处理方法可以精确地估计人脸图像中的特征点。

图2是根据一示例性实施例示出的一种图像处理方法的应用场景示意图。如图2所示，用户在用户终端中通过摄像装备拍摄了个人的图片，终端设备确定图像中的特征点(例如人脸轮廓以及眼睛，鼻子，嘴巴等部位的关键点)。终端设备可例如将上述特征点在用户终端设备中展示，以供用户进行点选，然后根据用户的选择，根据不同的特征点对用户的面部图像进行处理，可例如，根据用户的对唇部特征点的选择，为用户图像中的唇部区域填充上妆效果。

终端设备还可例如，根据用户预先设置的参数，在获取图片中的特征点之后，自动通过预先设置的参数处理用户的图像，进而在终端设备中展示整体上妆效果。

图3是根据一示例性实施例示出的一种图像处理方法的应用场景示意图。如图3所示，用户在用户终端中通过摄像装备拍摄了个人的视频图像，终端设备将视频图像传送到远端服务器中，远端服务器确定上述视频图像中的特征点(例如人脸轮廓以及眼睛，鼻子，嘴巴等部位的关键点)。然后远端服务器可将上述特征点返回用户的终端设备中，以便用户进行进一步的操作。

在终端设备将视频图像传送到远端服务器时，终端设备还可将预先设定的参数一并上传至远端服务器，远端服务器根据预先设定的参数，结合特征点对用户的视频图像进行进一步的处理，可例如为视频图像添加特效，然后远端服务器将处理之后的视频返回终端设备处，以便将处理后的视频图像在用户处显示。

值得一提的是，本公开虽是以处理用户面部图像，提取用户面部图像中的特征点进行示例性的说明，但是，本公开中的图像处理方法还可适应于其他图像处理场景中，本公开不以此为限。

下面将通过具体的实施例来对本公开中的图像处理方法进行详细的说明：

图4是根据一示例性实施例示出的一种图像处理方法的流程图。图像处理方法40至少包括步骤S402至S408。

如图4所示，在S402中，对图像中目标物体进行检测，提取目标区域。图像可例如为包含面部的人脸图像，目标区域可例如为矩形区域。

在一个实施例中，通过人脸检测算法由图像中提取矩形框区域图像；对矩形框区域图像缩放到预定尺寸；将缩放后的矩形框区域中的像素进行归一化处理以生成目标区域。

其中，在通过人脸检测算法由图像中提取矩形框区域图像时，可对任意大小的图像使用人脸检测算法检测出人脸位置，并输出人脸框(矩形框)；具体可通过鲁棒实时人脸检测分析技术(Robust real-time face detection)检测出人脸的位置，并提取矩形的人脸面部区域。值得一提的是，根据人脸框取出人脸部分的时候，可根据人脸框中心不变，边长扩大1.3倍来确定目标区域。其中，1.3倍为能够获得较好的人脸矩形框的经验值，在不同的使用场景和使用要求下，可设定不同的参数来获得矩形框区域。

其中，在对矩形框区域图像缩放到预定尺寸时，可将取出的矩形框区域缩放至256*256尺寸。其中，256*256尺寸倍为能够获得较好的人脸矩形框的经验值，在不同的使用场景和使用要求下，可设定不同的尺寸。

其中，在将缩放后的矩形框区域中的像素进行归一化处理以生成目标区域时，将矩形框区域中的图像的像素值归一化至[0,1]区间。

在S404中，将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率。其中，所述特征点提取模块可为堆叠沙漏网络模型。堆叠沙漏网络模型是一种应用于预测人体姿态的网络模型，堆叠沙漏网络的网络结构能捕获并整合图像的所有尺度的信息。基于对用于获取网络最终输出的池化和后续上采样步骤的可视化，一般将该结构称为沙漏。

本公开的特征点提取模型中的沙漏结构是一种简单的，最小化的设计，能够捕捉所有这些特征并将它们结合在一起以输出按像素进行预测。本公开中通过连续的将多个沙漏模块端到端地放在一起来扩展单个沙漏。这种沙漏结构的跨尺度重复自下而上，自上而下运算，实现了重复的双向推断，大大提高了该模型对图像处理的性能。

图5是根据一示例性实施例示出的一种图像处理方法的示意图。如图5所示，可将目标区域输入堆叠沙漏网络模型的第一个沙漏结构中，将第一个沙漏结构的输出数据再次输入第二个沙漏结构中，然后在输入到第三个沙漏结构中，输出带有特征点标记的热度图(Heatmap)。在图5的实施例中，仅用含有三个沙漏结构的堆叠沙漏网络模型作为示例，对该网络模型的计算过程进行了描述，在实际应用场景中，可根据实际情况选用含有多个沙漏结构的堆叠沙漏网络模型进行计算，本公开不以此为限。

图6是根据一示例性实施例示出的一种图像处理方法的示意图。图5展示了堆叠沙漏网络模型中的沙漏结构的具体的示意图，如图5所示，沙漏的设计如下：卷积和最大池化层用于将特征处理到极低解析度。在每个最大汇集步骤中，网络分支并在原始预汇集分辨率下应用更多卷积。在达到最低分辨率之后，网络开始自上而下的上采样和跨越尺度的特征组合。为了将信息汇集到两个相邻分辨率上，对下面的最近邻上采样分辨率，然后按照元素添加两组特征。

结合图5和图6的展示，进一步说明如下：将目标区域输入堆叠沙漏网络模型的第一个沙漏结构中，第一个沙漏结构可为了运算的需要，将目标区域进行压缩，从而将目标区域图像的特征处理到较低解析度，将第一个沙漏结构的输出数据再次输入第二个沙漏结构中，第二个沙漏结构可为了运算的需要，将目标区域再次进行压缩。沙漏的拓扑结构是对称的，因此对于出现在路上的每个层都有一个对应的层上升。在经过若干轮压缩之后，获得了目标区域的特征点之后，又经过与前面压缩的轮数对称的数量，连续若干个沙漏结构将上文中压缩的目标区域进行扩展，以获取预定的分辨率图像，进行进行输出。堆叠沙漏网络模型的输出是多个热图，其中每一张给定的热图，堆叠沙漏网络模型能够预测出在每个像素处特征点存在的概率。其中，每个沙漏结构中都包含着多个用于进行具体网络计算的残差块(residual block)。

在一个实施例中，将目标区域输入堆叠沙漏网络模型中，基于小批量梯度下降法(mini-batch)进行前向计算，生成热度图。小批量梯度下降法的具体思路是在更新每一参数时都使用一部分样本来进行更新，能够在计算时间和计算噪音中获得一个折中的解。当然，也可选择批量梯度下降法(Batch Gradient Descent)，或者随机梯度下降法(Stochastic Gradient Descent)等其他梯度下降法进行本步骤的前向计算。

在S406中，确定所述热度图中的多个有效特征点。其中，有效特征点是像素值不为O的点。具体可例如：确定热度图中的极值点；在距离极值点的预定范围内随机确定至少四个有效特征点。

在一个实施例中，极值点是热度图中响应最大的点。热度图是根据二维高斯函数生成的，热度图的计算公式如下：

为标记的人脸关键点坐标。

值得一提的是，人脸关键点坐标不会进行四舍五入变整数操作，会保留小数部分，避免精度损失。可通过求解热度图的二元二次方程，进而从恢复的热度图中精确估计特征点坐标。

通过特征点坐标，在获得的热度图中，通过随机的方式确定若干个有效特征点，以便后续计算。

在S408中，根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。可例如：将所述多个有效特征点的位置和像素值代入热度图方程中，并求解所述热度图方程以确定所述图像中的目标物体的目标特征点；其中，所述热度图方程为二维高斯方程。。

在一个实施例中，由于产生热度图的二维高斯函数是一个关于关键点的二元二次方程。理论上说，只要能找到4个有效特征点的位置和像素值就能求解该方程，从而恢复出精确的关键点坐标。因此对于每一个由堆叠沙漏网络模型获取的热度图，可在该热度图中确定高斯函数响应最大的点，在响应最大的点附近随机采样4个点，根据这4个点的位置和像素值代入二维高斯函数后，求解该方程得进而得到精确的点坐标，最后将点坐标放大恢复至原始图像大小。

根据本公开的图像处理方法，通过深度学习领域的堆叠沙漏网络生成的特征点提取模型可以捕捉图像在不同尺度下的有效信息。此外，通过堆叠多个沙漏结构，该网络通过从粗到精的形式估计人脸或者人体图像中特征点的热度图，从特征图中进而估计特征点的坐标。基于本公开的图像处理方法可以精确地估计人脸图像中的特征点。

根据本公开的图像处理方法，从标记的特征点坐标到热度图的生成会保留坐标点的小数部分，不会产生精度损失问题；而从恢复的热度图估计特征点坐标有闭式解，可以一步到位估计点的精确位置，在提升精度的同时几乎不会引入额外的计算复杂度，从而大大提升了最终面部特征点识别的效率。

视频数据标注需要大量的人力投入，本公开的图像处理方法可以提供高精度的半自动视频数据标注生成，有效降低人力投入。在实际场景中，该方法可应用于美妆与动效等短视频产品中相应功能，

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。

图7是根据另一示例性实施例示出的一种图像处理方法的流程图。图7所示的图像处理方法70是对图4所示的流程中S404“将所述目标区域输入特征点提取模型中生成所述目标物体的热度图”中提到的“特征点提取模型”构建过程的详细描述。具体可例如：通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

如图7所示，在S702中，由所述训练图像中提取带有目标物体的目标区域。

在一个实施例中，通过人脸检测算法由多个图像中分别提取矩形框区域图像；将多个矩形框区域图像缩放到预定尺寸；将缩放后的多个矩形框区域中的像素进行归一化处理以生成多个目标区域。

其中，在通过人脸检测算法由图像中提取矩形框区域图像时，具体可通过鲁棒实时人脸检测分析技术(Robust real-time face detection)检测出人脸的位置，并提取矩形的人脸面部区域。

在S704中，确定所述目标区域中的特征点。可例如，确定多个特征点在目标区域中的对应的多个精确坐标；以及通过多个精确坐标生成多个热度图。

在一个实时例中，可例如通过人工标注的形式确定多个目标区域中的多个特征点。在另一个实施例中，还可例如通过其他获取特征点的算法在多个目标区域中分别确定多个特征点。

如上文，热度图是根据二维高斯函数生成的，热度图的计算公式如下：

其中，为标记的人脸关键点坐标。

值得一提的是，在本公开实施例中，获取的人脸关键点坐标不会进行四舍五入变整数操作，会保留小数部分，避免精度损失。通过多个精确坐标生成多个热度图。

在S706中，通过所述特征点生成精确热度图。分别通过对每一个特征点的标注，生成对应的多个精确热度图。

图8是根据一示例性实施例示出的一种图像处理方法的示意图。如图8所示，现有的堆叠沙漏网络在处理高清人脸图像时会有精度损失的问题。具体来说，在原始堆叠沙漏网络中，从实现经过标记的训练特征点坐标到精确热度图的转换时采取四舍五入保留整数部分，如图8中点(29.55,77.38)，在生成精确热度图的标记时会四舍五入成(30,77)，然后现有的堆叠沙漏网络会以(30,77)为中心点，再根据二维高斯函数生成精确热度图。

图8中还示例性的展示了堆叠沙漏网络模型输出的热度图的具体图像，在堆叠沙漏网络模型中，用热度图上每一个像素点的颜色强度表示该像素点为目标物体的特征点的概率，颜色越强代表该像素点为特征点的概率越大。

这种生成方式会丢弃小数部分，从而产生精度损失。尤其是原始的堆叠沙漏网络的输出一般会比原始输入图像更小(比如输出为64*64，输入为256*256大小)，从输出再放大到输入大小的过程会进一步放大误差。

为了解决现有方法的问题，在本开的实施例中在从标记的特征点坐标到热度图的转换时保留了小数部分，直接以点(29.55,77.38)为中心生成热度图。

在S708中，通过所述目标区域与所述精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。可例如，将多个目标区域输入堆叠沙漏网络结构中，生成多个初始热度图；将多个初始热度图与多个精确热度图进行比较确定多个误差参数；以及基于多个误差参数与优化算法对堆叠沙漏网络结构的参数进行更新，以获取特征点提取模型。

沙漏结构中包括卷积和最大池化层，卷积和最大池化层用于将特征处理到极低解析度。在每个最大汇集步骤中，网络分支并在原始预汇集分辨率下应用更多卷积。在达到最低分辨率之后，网络开始自上而下的上采样和跨越尺度的特征组合。为了将信息汇集到两个相邻分辨率上，对下面的最近邻上采样分辨率，然后按照元素添加两组特征。

在一个是实施例中，可将多个目标区域分别输入堆叠沙漏网络模型的第一个沙漏结构中，第一个沙漏结构可为了运算的需要，将目标区域进行压缩，从而将目标区域图像的特征处理到较低解析度，将第一个沙漏结构的输出数据再次输入第二个沙漏结构中，第二个沙漏结构可为了运算的需要，将目标区域再次进行压缩。

由于堆叠沙漏网络模型结构中，每一个沙漏的拓扑结构是对称的，因此对于出现在路上的每个层都有一个对应的层上升。在经过若干轮压缩之后，获得了目标区域的特征点之后，又经过与前面压缩的轮数对称的数量，连续若干个沙漏结构将上文中压缩的目标区域进行扩展，以获取预定的分辨率图像，进行进行输出。在堆叠沙漏网络模型结构的训练过程中，堆叠沙漏网络模型的输出是多个初始热图，其中每一张给定的初始热图，堆叠沙漏网络模型能够预测出在每个像素处特征点存在的概率。

在一个实施例中，将多个初始热度图与多个精确热度图进行比较确定多个误差参数包括：通过欧式损失函数将多个初始热度图与多个精确热度图进行比较确定多个误差参数。可例如训练过程中基于mini-batch进行前向计算，得到恢复的热度图，对初始热度图和精确热度图使用欧氏损失函数(Euclidean Loss)，得到热度图图像误差。

其中，在将多个初始热度图与多个精确热度图进行比较确定多个误差参数时，基于热度图图像误差通过Adam(优化算法)算法进行模型参数更新，不断重复迭代，直到模型收敛。在训练过程中，整个堆叠沙漏网络模型采用端到端的训练方式进行训练。

值得一提的是，上文中所介绍的各种算法，仅为示例性的说明，在实际的堆叠沙漏网络结构训练的过程中，可根据不同的需要选取不同的优化算法进行辅助训练，本公开不以此为限。

损失函数(loss function)是指一种将一个事件(在一个样本空间中的一个元素)映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。例如，在初始热度图和精确热度图进行比较的过程中，可选用各种类型的损失函数获取误差，可例如为：对数损失函数，平方损失函数，指数损失函数，等等其他形式的损失函数。

优化算法可以加快模型训练过程中的模型计算收敛速度，从而得到一个更好更小的损失函数值。例如，可通过一阶优化算法、二阶优化算法、或梯度下降法基于热度图图像的误差进行模型参数更新。

根据本公开的图像处理方法，通过提高特征点坐标与热度图的转换精度，从而提升网络在高清人脸图像上配准的性能。通过提高特征点坐标与热度图的转换精度，可以比原始堆叠沙漏模型得到更好的人脸配准性能，从而更好的应用于后续的美妆、瘦脸等应用场景。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图9是根据一示例性实施例示出的一种图像处理装置的框图。图像处理装置90包括：提取模块902，模型计算模块904，有效特征点模块906，以及特征点模块908。

提取模块902用于由图像中提取目标区域；具体可例如，通过人脸检测算法由图像中提取矩形框区域图像；对矩形框区域图像缩放到预定尺寸；将缩放后的矩形框区域中的像素进行归一化处理以生成目标区域。

模型计算模块904用于将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图上的像素点通过颜色强度表示其为所述目标物体的特征点的概率。特征点提取模型可具有堆叠沙漏网络模型结构，堆叠沙漏网络模型是一种应用于预测人体姿态的网络模型，堆叠沙漏网络的网络结构能捕获并整合图像的所有尺度的信息。基于对用于获取网络最终输出的池化和后续上采样步骤的可视化，一般将该结构称为沙漏。可将目标区域输入堆叠沙漏网络模型的第一个沙漏结构中，将第一个沙漏结构的输出数据再次输入第二个沙漏结构中，以此类推，直至由最后一个沙漏结构中输出带有特征点标记的热度图。

有效特征点模块906用于确定所述热度图中的多个有效特征点；其中，有效特征点是像素值不为O的点。具体可例如：确定热度图中的极值点；在距离极值点的预定范围内随机确定至少四个有效特征点。

特征点模块908用于根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。可例如：基于二维高斯函数通过至少四个有效特征点的位置和像素值确定图像的特征点。

根据本公开的图像处理装置，通过深度学习领域的堆叠沙漏网络，可以捕捉图像在不同尺度下的有效信息。此外，通过堆叠多个沙漏结构，该网络通过从粗到精的形式估计人脸或者人体图像中特征点的热度图(Heatmap)，从特征图中进而估计特征点的坐标。基于本公开的图像处理方法可以精确地估计人脸图像中的特征点。

图10是根据另一示例性实施例示出的一种图像处理装置的框图。如图10所示，图像处理装置1000在图像处理装置90的基础上还包括：模型训练模块1002。

模型训练模块1002用于通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。具体可例如：分别由多个图像中提取多个目标区域；确定多个目标区域中的多个特征点；通过多个特征点生成多个精确热度图；以及通过所述目标区域与所述精确热度图对所述堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

根据本公开的图像处理装置，通过提高特征点坐标与热度图的转换精度，从而提升网络在高清人脸图像上配准的性能。通过提高特征点坐标与热度图的转换精度，可以比原始堆叠沙漏模型得到更好的人脸配准性能，从而更好的应用于后续的美妆、瘦脸等应用场景。

图11是根据一示例性实施例示出的一种电子设备的框图。

下面参照图11来描述根据本公开的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：至少一个处理单元1110、至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130、显示单元1140等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1110执行，使得所述处理单元1110执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1110可以执行如图4，图7中所示的步骤。

所述存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(ROM)11203。

所述存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1100也可以与一个或多个外部设备1100’(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器1160可以通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。

图12示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。

参考图12所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品1200，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：对图像中目标物体进行检测，提取目标区域；将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率；确定所述热度图中的多个有效特征点；以及根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

对图像中目标物体进行检测，提取目标区域；

将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率；

确定所述热度图中的多个有效特征点；以及

根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。

2.如权利要求1所述的方法，其特征在于，确定所述热度图中的多个有效特征点包括：

确定所述热度图中的极值点；以及

在距离所述极值点的预定范围内随机确定所述多个有效特征点。

3.如权利要求1所述的方法，其特征在于，根据所述多个有效特征点确定所述图像中的目标物体的目标特征点包括：

将所述多个有效特征点的位置和像素值代入热度图方程中，并求解所述热度图方程以确定所述图像中的目标物体的目标特征点；

其中，所述热度图方程为二维高斯方程。

4.如权利要求1所述的方法，其特征在于，对图像中目标物体进行检测，提取目标区域包括：

通过人脸检测算法对图像中目标物体进行检测；

根据检测结果提取检测区域图像；

将所述检测区域图像缩放到预定尺寸；以及

将缩放后的所述检测区域图像中的像素进行归一化处理以生成所述目标区域。

5.如权利要求1所述的方法，其特征在于，将所述目标区域输入特征点提取模型中生成所述目标物体的热度图包括：

将所述目标区域输入所述特征点提取模型中，基于小批量梯度下降法进行前向计算，生成所述目标物体的所述热度图。

6.如权利要求1所述的方法，其特征在于，还包括：

通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

7.如权利要求6所述的方法，其特征在于，通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型包括：

由所述训练图像中提取带有目标物体的目标区域；

确定所述目标区域中的特征点；

通过所述特征点生成精确热度图；以及

通过所述目标区域与所述精确热度图对所述堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

8.如权利要求7所述的方法，其特征在于，通过所述特征点生成精确热度图包括：

确定所述特征点在所述目标区域中的对应的精确坐标；以及

通过所述精确坐标生成所述精确热度图。

9.如权利要求7所述的方法，其特征在于，通过所述目标区域与所述精确热度图对所述堆叠沙漏网络模型进行训练，生成所述特征点提取模型包括：

将所述目标区域输入所述堆叠沙漏网络模型中，生成初始热度图；

将所述初始热度图与所述精确热度图进行比较确定误差参数；以及

基于所述误差参数与优化算法对所述堆叠沙漏网络模型的参数进行更新，以获取所述特征点提取模型。

10.如权利要求9所述的方法，其特征在于，将所述目标区域输入所述堆叠沙漏网络模型中，生成初始热度图包括：

将所述目标区域输入所述堆叠沙漏网络模型中，基于小批量梯度下降法进行前向计算，生成所述初始热度图。

11.如权利要求9所述的方法，其特征在于，将所述初始热度图与所述精确热度图进行比较确定误差参数包括：

通过欧式损失函数将所述初始热度图与所述精确热度图进行比较确定所述误差参数。

12.一种图像处理装置，其特征在于，包括：

提取模块，用于对图像中目标物体进行检测，提取目标区域；

模型计算模块，用于将所述目标区域输入特征点提取模型中生成所述目标物体的热度图，所述热度图用于显示所述目标区域中的像素点为所述目标物体的特征点的概率；

有效特征点模块，用于确定所述热度图中的多个有效特征点；以及

特征点模块，用于根据所述多个有效特征点确定所述图像中的目标物体的目标特征点。

13.如权利要求12所述的装置，其特征在于，还包括：

模型训练模块，用于通过训练图像和所述训练图像对应的精确热度图对堆叠沙漏网络模型进行训练，生成所述特征点提取模型。

14.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。