CN109829380B - 一种狗脸特征点的检测方法、装置、系统及存储介质 - Google Patents

Abstract

本发明提供了一种狗脸特征点的标注方法、装置、系统及计算机存储介质。所述狗脸特征点的标注方法包括：基于包含狗脸的图像和训练好的检测模型进行特征点检测，得到精定位的特征点；其中，所述检测模型包括第一级网络和第二级网络，所述得到精定位的特征点包括：基于所述狗脸的全脸图像和检测模型的第一级网络进行特征点检测，得到粗定位的特征点；基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到所述精定位的特征点。根据本发明的方法、装置、系统及计算机存储介质，可以有效地提高狗脸特征点检测的准确性和实时性。

Description

一种狗脸特征点的检测方法、装置、系统及存储介质

技术领域

本发明涉及图像处理技术领域，更具体地涉及狗脸图像的处理。

背景技术

特征点标注作为图像对齐前非常重要的一步，很大程度影响到图像识别、分析、搜索系统的整体性能。目前在人脸识别的过程中，存在很多有效的特征点标注方法，但是对于动物识别中的特征点标注的方法却非常少，例如狗脸识别中对狗脸特征点的标注。

如果采用传统的特征点标注和检测方法对狗脸进行标注，由于每个关键点被单独检测，狗脸的全局几何信息被完全忽略了，这使得其对细微扰动非常敏感，对光照变化、姿态变化等鲁棒性不好。此外，计算时间、复杂程度和特征点的个数成正比，待检测的特征点越多，所需的检测器就越多，这使得其在较密特征点的应用中很难实施。

因此，现有技术中缺乏较好的针对狗脸特征点进行标注的方法，传统的特征点标注方法受细微扰动影响很大，容易造成漏报或误报，使得准确度和召回率低，当标注点较多时，导致运行效率低。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种狗脸特征点的标注方法、装置、系统及计算机存储介质，通过基于全脸和局部信息建立的多级神经网络，能够有效地提高狗脸特征点检测的准确性和实时性。

根据本发明一方面，提供了一种狗脸特征点的检测方法，包括：

基于包含狗脸的图像和训练好的检测模型进行特征点检测，得到精定位的特征点；

其中，所述检测模型包括第一级网络和第二级网络，所述得到精定位的特征点包括：

基于所述狗脸的全脸图像和检测模型的第一级网络进行特征点检测，得到粗定位的特征点；

基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到所述精定位的特征点。

示例性地，所述方法还包括：根据狗脸器官的位置对所述狗脸全脸图像进行分割，得到所述狗脸的局部图像。

示例性地，基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到所述精定位的特征点包括：

基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到局部图像的特征点；

将局部图像的特征点进行坐标变换和整合得到所述狗脸的精定位的特征点。

示例性地，将局部图像的特征点进行坐标变换和整合得到所述狗脸的精定位的特征点，包括：

获得狗脸的局部图像相对全脸图像的参考位置和旋转角度；

根据所述参考位置和旋转角度对所对应的局部图像的特征点进行坐标变换，得到变换后的局部图像的特征点；

对各个变换后局部图像的特征点进行整合，得到狗脸的精定位的特征点。

示例性地，所述检测模型的训练包括：基于预定规则对训练样本全脸图像和训练样本局部图像中的狗脸进行特征点标注；

基于标注后的训练样本全脸图像和训练样本局部图像对检测模型进行训练，得到训练好的检测模型。

示例性地，所述预定规则包括基于所述狗脸的耳部轮廓、眼部轮廓、鼻部轮廓、嘴部轮廓、脸部轮廓中的至少一种进行特征点的标注。

示例性地，基于所述狗脸的耳部轮廓进行特征点的标注包括：标注耳根的左右边界特征点、耳根中心特征点、耳尖特征点、以及以耳根中心特征点到耳尖特征点为基准等距标注的特征点。

示例性地，基于所述狗脸的眼部轮廓进行特征点的标注包括：标注左眼中心特征点、左眼中心水平线与所述左眼轮廓的左右两侧相交的特征点、以及左眼中心竖直线与所述左眼轮廓的上下两侧相交的特征点；和

标注右眼中心特征点、右眼中心水平线与所述右眼轮廓的左右两侧相交的特征点、以及右眼中心竖直线与所述右眼轮廓的上下两侧相交的特征点。

示例性地，基于所述狗脸的眼部轮廓进行特征点的标注还包括：以所述左眼中心水平线和左眼中心竖直线与所述左眼轮廓相交的特征点为基准，沿所述左眼轮廓等距标注特征点；和

以所述右眼中心水平线和右眼中心竖直线将所述右眼轮廓相交的特征点为基准，沿所述右眼轮廓等距标注特征点。

示例性地，基于所述狗脸的鼻部轮廓进行标注包括：标注鼻尖中心特征点。

示例性地，基于所述狗脸的嘴部轮廓进行标注包括：标注左侧嘴角特征点、上嘴唇左侧轮廓拐点特征点、上嘴唇中心特征点、上嘴唇右侧轮廓拐点特征点、右侧嘴角特征点、下嘴唇左侧轮廓拐点特征点、下嘴唇中心特征点、下嘴唇右侧轮廓拐点特征点。

示例性地，基于所述狗脸的脸部轮廓进行标注包括：

标注头顶中心特征点、左眼中心水平线与脸左侧轮廓相交的特征点、鼻尖中心水平线与脸左侧轮廓相交的特征点、右眼中心水平线与脸右侧轮廓相交的特征点、以及鼻尖中心水平线与脸右侧轮廓相交的特征点。

示例性地，基于所述狗脸的脸部轮廓进行标注还包括：以所述左眼中心水平线与脸左侧轮廓相交的特征点，和所述鼻尖中心水平线与脸左侧轮廓相交的特征点为基准，沿着脸左侧轮廓等距标注特征点；以所述右眼中心线与脸右侧轮廓相交的特征点，和所述鼻尖中心水平线与脸右侧轮廓相交的特征点为基准点，沿着脸右侧轮廓等距标注特征点。

根据本发明另一方面，提供了一种狗脸特征点的检测装置，包括：

检测模块，用于基于包含狗脸的图像和训练好的检测模型进行特征点标注，得到精定位的特征点；

其中，所述检测模型包括第一级网络和第二级网络，所述第一级网络用于基于所述狗脸的全脸图像和检测模型的第一级网络进行特征点检测，得到粗定位的特征点；

所述第二级网络用于基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到所述精定位的特征点。

示例性地，所述检测模型的训练包括：基于预定规则对训练样本图像全脸图像和训练样本局部图像中的狗脸进行特征点标注；

基于标注后的训练样本全脸图像和训练样本局部图像对检测模型进行训练，得到训练好的检测模型。

示例性地，所述检测模型的第一级网络的训练包括：

基于标注前的所述训练样本图像得到标注前的狗脸全脸样本图像，以及基于标注后的所述训练样本图像得到标注后的狗脸全脸样本图像；

依据标注后的狗脸全脸样本图像对第一神经网络进行训练，得到训练好的检测模型的第一级网络。

示例性地，所述检测模块还用于：根据狗脸器官的位置对所述狗脸全脸图像进行分割，得到所述狗脸的局部图像。

示例性地，所述检测模型的第二级网络的训练包括：

基于标注前的所述训练样本图像得到标注前的狗脸局部样本图像，以及基于标注后的所述训练样本图像得到标注后的狗脸局部样本图像；

依据标注后的狗脸局部样本图像对第二神经网络进行训练，得到训练好的检测模型的第二级网络。

示例性地，所述第二级网络进一步用于：

基于所述狗脸的局部图像对粗定位的特征点进行定位，得到局部图像的特征点；

将局部图像的特征点进行坐标变换和整合，得到所述狗脸的精定位的特征点。

示例性地，所述第二级网络进一步用于：

获得狗脸的局部图像相对全脸图像的参考位置和旋转角度；

根据所述参考位置和旋转角度对所对应的局部图像的特征点进行坐标变换，得到变换后的局部图像的特征点；

对各个变换后局部图像的特征点进行整合，得到狗脸的精定位的特征点。

示例性地，所述装置还包括：输出模块，用于输出包括所述狗脸特征点和/或所述狗脸特征点坐标的狗脸图像。

根据本发明另一方面，提供了一种狗脸特征点的检测系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。

根据本发明另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现上述方法的步骤。

根据本发明实施例的狗脸特征点的检测方法、装置、系统及计算机存储介质，通过基于全脸和局部信息建立的级联神经网络，逐步精确预测狗脸特征点的位置信息，实现了狗脸特征点的高精度定位，能够有效地提高狗脸特征点检测的准确性和实时性，可以广泛应用于关于狗脸图像处理的各种场合。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是用于实现根据本发明实施例的狗脸特征点的检测方法和装置的示例电子设备的示意性框图；

图2是根据本发明实施例的狗脸特征点的检测方法的示意性流程图；

图3是根据本发明实施例的狗脸特征点的示例图；

图4是根据本发明实施例的狗脸特征点的检测装置的示意性框图；

图5是根据本发明实施例的狗脸特征点的检测系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参考图1来描述用于实现本发明实施例的狗脸特征点的检测方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器101、一个或多个存储装置102、输入装置103、输出装置104、图像传感器105，这些组件通过总线系统106和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置103可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置104可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器105可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置102中以供其它组件使用。

示例性地，用于实现根据本发明实施例的狗脸特征点的检测方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的视频采集端等。

下面，将参照图2描述根据本发明实施例的狗脸特征点的检测方法200。所述方法200包括：

基于包含狗脸的图像和训练好的检测模型进行特征点检测，得到精定位的特征点；

其中，所述检测模型包括第一级网络和第二级网络，所述得到精定位的特征点包括：

基于所述狗脸的全脸图像和检测模型的第一级网络进行特征点检测，得到粗定位的特征点；

基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到所述精定位的特征点。

其中，第一级网络基于狗脸的全脸图像粗略估计狗脸的特征点，得到所述狗脸的粗定位的特征点；为了进一步提高特征点检测的精度，第二级网络在粗定位的特征点的基础上，基于狗脸的局部图像对粗定位的特征点进行调整，最终得到精确定位的特征点。而基于狗脸的全脸信息建立的第一级网络，以及基于局部信息建立的第二级网络组成的级联神经网络，逐步精确预测狗脸特征点的位置信息，实现狗脸特征点的高精度定位。示例性地，根据本发明实施例的狗脸特征点的检测方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的狗脸特征点的检测方法可以部署在图像采集端处，例如，可以部署在门禁系统的图像采集端；可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。替代地，根据本发明实施例的狗脸特征点的检测方法还可以分布地部署在服务器端(或云端)和个人终端处。

根据本发明实施例的狗脸特征点的检测方法，通过基于全脸和局部信息建立的级联神经网络，逐步精确预测狗脸特征点的位置信息，实现了狗脸特征点的高精度定位，能够有效地提高狗脸特征点检测的准确性和实时性，可以广泛应用于关于狗脸图像处理的各种场合。

根据本发明实施例，所述方法200还包括：基于预定规则对训练样本图像全脸图像和训练样本局部图像中的狗脸进行特征点标注；

基于标注后的训练样本全脸图像和训练样本局部图像进行训练，得到训练好的检测模型。

示例性地，所述预定规则包括基于所述狗脸的耳部轮廓、眼部轮廓、鼻部轮廓、嘴部轮廓、脸部轮廓中的至少一中进行特征点的标注。

示例性地，基于所述狗脸的耳部轮廓进行特征点标注包括：标注耳根的左右边界特征点、耳根中心特征点、耳尖特征点以及以耳根中心特征点到耳尖特征点为基准等距标注的特征点。

示例性地，基于所述狗脸的眼部轮廓进行标注包括：标注左眼中心特征点、左眼中心水平线与所述左眼轮廓的左右两侧相交的特征点、以及左眼中心竖直线与所述眼部轮廓的上下两侧相交的特征点；和

标注右眼中心特征点、右眼中心水平线与所述右眼轮廓的左右两侧相交的特征点、以及右眼中心竖直线与所述右眼轮廓的上下两侧相交的特征点。

示例性地，基于所述狗脸的眼部轮廓进行标注还包括：以所述左眼中心水平线和左眼中心竖直线与所述左眼轮廓相交的特征点为基准，沿所述左眼轮廓等距标注特征点；和

以所述右眼中心水平线和右眼中心竖直线将所述右眼轮廓相交的特征点为基准，沿所述右眼轮廓等距标注特征点。

示例性地，基于所述狗脸的鼻部轮廓进行标注包括：标注鼻尖中心特征点。

示例性地，基于所述狗脸的嘴部轮廓进行标注包括：标注左侧嘴角特征点、上嘴唇左侧轮廓拐点特征点、上嘴唇中心特征点、上嘴唇右侧轮廓拐点特征点、右侧嘴角特征点、下嘴唇左侧轮廓拐点特征点、下嘴唇中心特征点、下嘴唇右侧轮廓拐点特征点。

在一个实施例中，基于所述狗脸的嘴部轮廓进行标注包括：从一侧嘴角触发，沿着上嘴唇依次标注该侧嘴角特征点，上嘴唇该侧轮廓拐点特征点，上嘴唇中心特征点，上嘴唇另一侧轮廓拐点特征点，另一侧嘴角特征点；

沿着下嘴唇依次标注下嘴唇该侧轮廓拐点特征点，下嘴唇中心特征点，下嘴唇另一侧轮廓拐点特征点。

示例性地，基于所述狗脸的脸部轮廓进行标注包括：

标注头顶中心特征点、左眼中心水平线与脸左侧轮廓相交的特征点、鼻尖中心水平线与脸左侧轮廓相交的特征点、右眼中心水平线与脸右侧轮廓相交的特征点、以及鼻尖中心水平线与脸右侧轮廓相交的特征点。

示例性地，基于所述狗脸的脸部轮廓进行标注还包括：

以所述左眼中心水平线与脸左侧轮廓相交的特征点，和所述鼻尖中心水平线与脸左侧轮廓相交的特征点为基准点，沿着脸左侧轮廓等距标注特征点(如从下到上)；以所述右眼中心线与脸右侧轮廓相交的特征点和所述鼻尖中心水平线与脸右侧轮廓相交的特征点为基准点，沿着脸右侧轮廓等距标注特征点。

在一个实施例中，如图3所示，图3示出了根据本发明实施例的包含狗脸的特征点的图像示例。参见图3，以一张狗脸图像为例进一步说明根据预定规则对狗脸进行标注。具体来说，基于图3所示的狗脸图像中狗脸的耳、脸、鼻、嘴、脸部轮廓五个基本部位选取合适的特征点进行标注。

首先，基于所述狗脸的耳部轮廓进行特征点的标注；具体包括：基于狗脸的耳部轮廓，标注左耳耳根的左右边界特征点1、2，可以从左耳耳根从上到下标出两个特征点1、2；标注左耳耳根中心特征点3、左耳耳尖特征点4、以左耳耳根中心特征点3到左耳耳尖特征点4为基准等距标注的特征点5、6；同样的，标注右耳耳根的左右边界特征点7、8，可以从右耳耳根从上到下标出两个特征点7、8；标注右耳耳根中心特征点9、右耳耳尖特征点10、以右耳耳根中心特征点9到右耳耳尖特征点10为基准等距标注的特征点11、12。

然后，基于所述狗脸的眼部轮廓进行标注；具体包括：标注左眼中心特征点14、左眼中心水平线与所述左眼轮廓左右两侧相交的特征点15、16、以及左眼中心竖直线与所述左眼轮廓上下两侧相交的特征点17、18；以所述左眼中心水平线和左眼中心竖直线与所述左眼轮廓相交的特征点15、16、17、18四个特征点为基准，将左眼轮廓分为四大块，从左上方顺时针出发，每块等距标出一个特征点，一共标出4个特征点：19、20、21、22；

标注右眼中心特征点23、右眼中心水平线与右眼轮廓左右两侧相交的特征点24、25、右眼中心竖直线与右眼轮廓上下两侧的相交特征点26、27；以所述右眼中心水平线和右眼中心竖直线将所述右眼轮廓相交的特征点24、25、26、27四个特征点为基准，将右眼轮廓分为四大块，从左上方顺时针出发，每块等距标出一个特征点，一共标出4个特征点：28、29、30、31。

接着，基于所述狗脸的鼻部轮廓进行标注，具体包括：标注鼻尖中心特征点32。

接着，基于所述狗脸的脸部轮廓进行标注，具体包括：标注头顶中心特征点13、左眼中心水平线与脸左侧轮廓相交的特征点33，鼻尖中心水平线与脸左侧轮廓相交的特征点34；以上述33、34两个特征点为基准，沿着脸左侧轮廓等距标注特征点，可以是从上到下等距标出两个特征点35、36；

标注右眼中心水平线与脸右侧轮廓相交的特征点37，鼻尖中心水平线与脸右侧轮廓相交的特征点38；以上述37、38两个特征点为基准，沿着脸右侧轮廓等距标注特征点，可以是从上到下等距标出两个特征点39、40。

最后，基于所述狗脸的嘴部轮廓进行标注，具体包括：标注左侧嘴角特征点41、上嘴唇左侧轮廓拐点特征点42、上嘴唇中心特征点43、上嘴唇右侧轮廓拐点特征点44、右侧嘴角特征点45、下嘴唇左侧轮廓拐点特征点46、下嘴唇中心特征点47、下嘴唇右侧轮廓拐点特征点48；

可以是从左边嘴角出发，沿着上嘴唇轮廓依次标出左边嘴角特征点41、上嘴唇左边轮廓拐点特征点42、上嘴唇中心特征点43、上嘴唇右边轮廓拐点特征点44、右边嘴角特征点45；沿着下嘴唇轮廓依次标出下嘴唇左边轮廓拐点特征点46、下嘴唇中心特征点47、下嘴唇右边轮廓拐点特征点48。可以理解，也可以基于从右边嘴角出发，沿着上嘴唇轮廓以及下嘴唇轮廓标注相应的特征点。

由此可知，在本实施例中，基于预定规则对狗脸进行特征点标注，最终对于每只耳朵标注了6个特征点、每个眼睛标注了9个特征点、嘴唇部位标注了8个特征点、鼻子标注了1个特征点、脸部的轮廓标注了9个特征点，一共48个特征点。

需要说明的是，上述标注步骤仅仅为示例，并不代表所述预定规则；所述预定规则对于标注顺序没有限制。此外，所述预定规则可以根据设计需要和实际情况增加特征点的个数，以提高标注的准确度，为后续程序提供良好的数据基础。

根据本发明实施例，所述方法200还包括：

基于标注前的所述训练样本图像得到标注前的狗脸全脸样本图像，以及基于标注后的所述训练样本图像得到标注后的狗脸全脸样本图像；

依据标注后的狗脸全脸样本图像对第一神经网络进行训练，得到训练好的检测模型的第一级网络。

根据本发明实施例，所述方法200还包括：根据狗脸器官的位置对所述狗脸全脸图像进行分割，得到所述狗脸的局部图像。

其中，局部图像是根据狗脸器官将狗脸全脸图像划分成若干部分，每个部分均包含完整的狗脸器官的图像。如，狗脸器官包括：左耳、右耳、左眼、右眼、鼻子、嘴、左脸、右脸等，那么狗脸的局部图像可以是包括左耳、右耳、左眼、右眼、鼻子、嘴、左脸、或右脸的图像。

根据本发明实施例，所述方法200还包括：

基于标注前的所述训练样本图像得到标注前的狗脸局部样本图像，以及基于标注后的所述训练样本图像得到标注后的狗脸局部样本图像；

依据标注后的狗脸局部样本图像对第二神经网络进行训练，得到训练好的检测模型的第二级网络。

根据本发明实施例，所述方法200进一步包括：基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到所述精定位的特征点包括：

基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到局部图像的特征点；

将局部图像的特征点进行坐标变换和整合，得到所述狗脸的精定位的特征点。

因为检测模型的第一级网络已经对所述狗脸的全脸图像进行特征点检测，得到全脸图像的粗定位特征点；为了进一步提高特征点的精度，通过第二级网络对所述粗定位特征点进行进一步调整。由于第二级网络是基于狗脸的局部图像，采用局部信息进行特征点检测，输入第二级网络的局部图像应当是将相同器官对应的同一种局部图像归一化到标准大小，并旋转对齐到统一角度后输入第二级网络，可以将第一级网络的输出划分为与各个局部图像相对应的多组粗定位的特征点，每一局部图像经过第二级网络对所对应的一组粗定位的特征点进行调整，得到与每一个局部图像对应的一组的特征点，将各个局部图像对应的特征点进行坐标变换和整合可以得到整个狗脸的精定位的特征点。

示例性地，将局部图像的特征点进行坐标变换和整合得到所述狗脸的精定位的特征点，包括：

获得狗脸的局部图像相对全脸图像的参考位置和旋转角度；

根据所述参考位置和旋转角度对所对应的局部图像的特征点进行坐标变换，得到变换后的局部图像的特征点；

对各个变换后局部图像的特征点进行整合，得到狗脸的精定位的特征点。

其中，局部图像特征点的坐标是相对于自身局部图像确定的，因此，需要获得局部图像相对全脸图像的参考位置，根据参考位置获得局部图像特征点的在全脸图像中的位置。另外，由于输入到第二网络的局部图像进行了旋转，因此，需要根据局部图像相对全脸图像的旋转角度将局部图像的特征点旋转变换到在全脸中的位置。所述坐标变换是从二维坐标到二维坐标的线性变换，且保持图像的平直性和平行性，针对平面上的物体位姿变化，可以通过矩阵描述，将输入图像与变换矩阵进行矩阵乘法得到变换后的图像坐标。

在第二级网络对局部图像进行特征点检测的过程中，将局部图像相对全脸图像的参考位置进行旋转对齐到同一个角度，进而保证了特征点检测的准确性。

根据本发明实施例，所述方法200还包括：输出包括所述狗脸特征点的狗脸图像。

图4示出了根据本发明实施例的狗脸特征点的检测装置300的示意性框图。如图4所示，根据本发明实施例的狗脸特征点的检测装置400包括：

检测模块410，用于基于包含狗脸的图像和训练好的检测模型进行特征点检测，得到精定位的特征点；

其中，所述检测模型包括第一级网络411和第二级网络412，所述第一级网络411用于对所述狗脸的全脸图像进行特征点检测，得到粗定位的特征点；

所述第二级网络412用于根据狗脸的局部图像对所述粗定位的特征点进行定位，得到所述精定位的特征点。

根据本发明实施例，所述检测模型的训练包括：基于预定规则对训练样本图像全脸图像和训练样本局部图像中的狗脸进行特征点标注；

基于标注后的训练样本全脸图像和训练样本局部图像对检测模型进行训练，得到训练好的检测模型。

示例性地，所述预定规则包括基于所述狗脸的耳部轮廓、眼部轮廓、鼻部轮廓、嘴部轮廓、脸部轮廓中的至少一中进行特征点的标注。

示例性地，基于所述狗脸的耳部轮廓进行特征点的标注包括：标注耳根的左右边界特征点，耳根中心特征点、耳尖特征点以及以耳根中心特征点到耳尖特征点为基准等距标注的特征点。

示例性地，基于所述狗脸的眼部轮廓进行特征点的标注包括：标注左眼中心特征点，左眼中心水平线与所述左眼轮廓的左右两侧相交的特征点，以及左眼中心竖直线与所述眼部轮廓的上下两侧相交的特征点；和

标注右眼中心特征点、右眼中心水平线与所述右眼轮廓的左右两侧相交的特征点、以及右眼中心竖直线与所述右眼轮廓的上下两侧相交的特征点。

示例性地，基于所述狗脸的眼部轮廓进行特征点的标注还包括：以所述左眼中心水平线和左眼中心竖直线与所述左眼轮廓相交的特征点为基准，沿所述左眼轮廓等距标注特征点；和

以所述右眼中心水平线和右眼中心竖直线将所述右眼轮廓相交的特征点为基准，沿所述右眼轮廓等距标注特征点。

示例性地，基于所述狗脸的鼻部轮廓进行特征点的标注包括：标注鼻尖中心特征点。

示例性地，基于所述狗脸的嘴部轮廓进行特征点的标注包括：标注左侧嘴角特征点、上嘴唇左侧轮廓拐点特征点、上嘴唇中心特征点、上嘴唇右侧轮廓拐点特征点、右侧嘴角特征点、下嘴唇左侧轮廓拐点特征点、下嘴唇中心特征点、下嘴唇右侧轮廓拐点特征点。

示例性地，基于所述狗脸的脸部轮廓进行特征点的标注包括：

标注头顶中心特征点、左眼中心水平线与脸左侧轮廓相交的特征点，鼻尖中心水平线与脸左侧轮廓相交的特征点、右眼中心水平线与脸右侧轮廓相交的特征点、以及鼻尖中心水平线与脸右侧轮廓相交的特征点。

示例性地，基于所述狗脸的脸部轮廓进行特征点的标注还包括：

以所述左眼中心水平线与脸左侧轮廓相交的特征点，和所述鼻尖中心水平线与脸左侧轮廓相交的特征点为基准点，沿着脸左侧轮廓等距标注特征点；以所述右眼中心线与脸右侧轮廓相交的特征点和所述鼻尖中心水平线与脸右侧轮廓相交的特征点为基准点，沿着脸右侧轮廓等距标注特征点。

根据本发明实施例，所述检测模型的第一级网络的训练包括：

基于标注前的所述训练样本图像得到标注前的狗脸全脸样本图像，以及基于标注后的所述训练样本图像得到标注后的狗脸全脸样本图像；

依据标注后的狗脸全脸样本图像对第一神经网络进行训练，得到训练好的检测模型的第一级网络。

根据本发明实施例，所述检测模块410还用于：根据狗脸器官的位置对所述狗脸全脸图像进行分割，得到所述狗脸的局部图像。

根据本发明实施例，所述检测模型的第二级网络的训练包括：

基于标注前的所述训练样本图像得到标注前的狗脸局部样本图像，以及基于标注后的所述训练样本图像得到标注后的狗脸局部样本图像；

依据标注后的狗脸局部样本图像对第二神经网络进行训练，得到训练好的检测模型的第二级网络。

根据本发明实施例，所述第二级网络412进一步用于：

基于所述狗脸的局部图像对粗定位的特征点进行定位，得到局部图像的特征点；

将局部图像的特征点进行坐标变换和整合，得到所述狗脸的精定位的特征点。

示例性地，所述第二级网络412进一步用于：

获得狗脸的局部图像相对全脸图像的参考位置和旋转角度；

根据所述参考位置和旋转角度对所对应的局部图像的特征点进行坐标变换，得到变换后的局部图像的特征点；

对各个变换后局部图像的特征点进行整合，得到狗脸的精定位的特征点。

根据本发明实施例，所述装置400还包括：输出模块420，用于输出包括所述狗脸特征点和/或所述狗脸特征点坐标的狗脸图像。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图5示出了根据本发明实施例的狗脸特征点的标注检测500的示意性框图。狗脸特征点的检测系统500包括图像传感器510、存储装置530、以及处理器540。

图像传感器510用于采集图像数据。

所述存储装置530存储用于实现根据本发明实施例的狗脸特征点的检测方法中的相应步骤的程序代码。

所述处理器540用于运行所述存储装置530中存储的程序代码，以执行根据本发明实施例的狗脸特征点的检测方法的相应步骤，并且用于实现根据本发明实施例的狗脸特征点的检测装置中的检测模块410。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的狗脸特征点的标注方法的相应步骤，并且用于实现根据本发明实施例的狗脸特征点的标注装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行狗脸特征点的标注的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的狗脸特征点的检测装置的各个功能模块，并且/或者可以执行根据本发明实施例的狗脸特征点的检测方法。

根据本发明实施例的狗脸特征点的检测系统中的各模块可以通过根据本发明实施例的狗脸特征点的检测的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的狗脸特征点的检测方法、装置、系统以及存储介质，通过基于全脸和局部信息建立的级联神经网络，逐步精确预测狗脸特征点的位置信息，实现了狗脸特征点的高精度定位，能够有效地提高狗脸特征点检测的准确性和实时性，可以广泛应用于关于狗脸图像处理的各种场合。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种狗脸特征点的检测方法，其特征在于，所述方法包括：

基于包含狗脸的图像和训练好的检测模型进行特征点检测，得到精定位的特征点；其中，所述检测模型的训练包括：

基于预定规则对训练样本全脸图像和训练样本局部图像中的狗脸进行特征点标注；其中，所述预定规则包括基于所述狗脸的脸部轮廓进行特征点的标注，包括：标注头顶中心特征点、左眼中心水平线与脸左侧轮廓相交的特征点、鼻尖中心水平线与脸左侧轮廓相交的特征点、右眼中心水平线与脸右侧轮廓相交的特征点、以及鼻尖中心水平线与脸右侧轮廓相交的特征点；

基于标注后的训练样本全脸图像和训练样本局部图像对检测模型进行训练，得到训练好的检测模型；其中，所述检测模型包括第一级网络和第二级网络，所述得到精定位的特征点包括：

基于所述狗脸的全脸图像和检测模型的第一级网络进行特征点检测，得到粗定位的特征点；

基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到所述精定位的特征点。

2.如权利要求1所述的检测方法，其特征在于，所述方法还包括：根据狗脸器官的位置对所述狗脸全脸图像进行分割，得到所述狗脸的局部图像。

3.如权利要求2所述的检测方法，其特征在于，基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到所述精定位的特征点包括：

基于所述狗脸的局部图像和检测模型的第二级网络对粗定位的特征点进行定位，得到局部图像的特征点；

将局部图像的特征点进行坐标变换和整合得到所述狗脸的精定位的特征点。

4.如权利要求3所述的检测方法，其特征在于，将局部图像的特征点进行坐标变换和整合得到所述狗脸的精定位的特征点，包括：

获得狗脸的局部图像相对全脸图像的参考位置和旋转角度；

根据所述参考位置和旋转角度对所对应的局部图像的特征点进行坐标变换，得到变换后的局部图像的特征点；

对各个变换后局部图像的特征点进行整合，得到狗脸的精定位的特征点。

5.如权利要求1所述的检测方法，其特征在于，所述预定规则还包括基于所述狗脸的耳部轮廓、眼部轮廓、鼻部轮廓、嘴部轮廓中的至少一种进行特征点的标注。

6.如权利要求5所述的检测方法，其特征在于，基于所述狗脸的耳部轮廓进行特征点的标注包括：标注耳根的左右边界特征点、耳根中心特征点、耳尖特征点、以及以耳根中心特征点到耳尖特征点为基准等距标注的特征点。

7.如权利要求5所述的检测方法，其特征在于，基于所述狗脸的眼部轮廓进行特征点的标注包括：标注左眼中心特征点、左眼中心水平线与所述左眼轮廓的左右两侧相交的特征点、以及左眼中心竖直线与所述左眼轮廓的上下两侧相交的特征点；和

标注右眼中心特征点、右眼中心水平线与所述右眼轮廓的左右两侧相交的特征点、以及右眼中心竖直线与所述右眼轮廓的上下两侧相交的特征点。

8.如权利要求7所述的检测方法，其特征在于，基于所述狗脸的眼部轮廓进行特征点的标注还包括：以所述左眼中心水平线和左眼中心竖直线与所述左眼轮廓相交的特征点为基准，沿所述左眼轮廓等距标注特征点；和

以所述右眼中心水平线和右眼中心竖直线将所述右眼轮廓相交的特征点为基准，沿所述右眼轮廓等距标注特征点。

9.如权利要求5所述的检测方法，其特征在于，基于所述狗脸的鼻部轮廓进行标注包括：标注鼻尖中心特征点。

10.如权利要求5所述的检测方法，其特征在于，基于所述狗脸的嘴部轮廓进行标注包括：标注左侧嘴角特征点、上嘴唇左侧轮廓拐点特征点、上嘴唇中心特征点、上嘴唇右侧轮廓拐点特征点、右侧嘴角特征点、下嘴唇左侧轮廓拐点特征点、下嘴唇中心特征点、下嘴唇右侧轮廓拐点特征点。

11.如权利要求1所述的检测方法，其特征在于，基于所述狗脸的脸部轮廓进行标注还包括：以所述左眼中心水平线与脸左侧轮廓相交的特征点，和所述鼻尖中心水平线与脸左侧轮廓相交的特征点为基准，沿着脸左侧轮廓等距标注特征点；以所述右眼中心线与脸右侧轮廓相交的特征点，和所述鼻尖中心水平线与脸右侧轮廓相交的特征点为基准点，沿着脸右侧轮廓等距标注特征点。

12.一种狗脸特征点的检测装置，其特征在于，所述装置包括：

检测模块，用于基于包含狗脸的图像和训练好的检测模型进行特征点检测，得到精定位的特征点；其中，所述检测模型的训练包括：

基于预定规则对训练样本全脸图像和训练样本局部图像中的狗脸进行特征点标注；其中，所述预定规则包括基于所述狗脸的脸部轮廓进行特征点的标注，包括：标注头顶中心特征点、左眼中心水平线与脸左侧轮廓相交的特征点、鼻尖中心水平线与脸左侧轮廓相交的特征点、右眼中心水平线与脸右侧轮廓相交的特征点、以及鼻尖中心水平线与脸右侧轮廓相交的特征点；

基于标注后的训练样本全脸图像和训练样本局部图像对检测模型进行训练，得到训练好的检测模型；其中，所述检测模型包括第一级网络和第二级网络，所述第一级网络用于对所述狗脸的全脸图像进行特征点检测，得到粗定位的特征点；

所述第二级网络用于根据狗脸的局部图像对所述粗定位的特征点进行定位，得到所述精定位的特征点。

13.一种狗脸特征点的检测系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至11中任一项所述方法的步骤。

Images