Nothing Special   »   [go: up one dir, main page]

CN111797813B - 基于可见感知纹理语义对齐的部分行人重识别方法 - Google Patents

基于可见感知纹理语义对齐的部分行人重识别方法 Download PDF

Info

Publication number
CN111797813B
CN111797813B CN202010708118.5A CN202010708118A CN111797813B CN 111797813 B CN111797813 B CN 111797813B CN 202010708118 A CN202010708118 A CN 202010708118A CN 111797813 B CN111797813 B CN 111797813B
Authority
CN
China
Prior art keywords
pedestrian
human body
texture
alignment
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010708118.5A
Other languages
English (en)
Other versions
CN111797813A (zh
Inventor
高赞
高立帅
张桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN202010708118.5A priority Critical patent/CN111797813B/zh
Publication of CN111797813A publication Critical patent/CN111797813A/zh
Application granted granted Critical
Publication of CN111797813B publication Critical patent/CN111797813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种基于可见感知纹理语义对齐的部分行人重识别方法(TSA)该方法能够同时高效地解决行人被遮挡和姿态或观察视角变化这两大问题。方法的具体步骤如下：(1)设计基于人体姿态的局部区域对齐网络，重点解决行人被遮挡得问题；(2)设计基于语义可见性的纹理对齐网络，重点解决行人姿态变化或视角变化问题；(3)为了使模型具有更好的泛化能力，将两个网络进行联合学习，从而使得模型能够更好的处理行人被遮挡和姿态或观察视角变化问题。本发明基于可见感知纹理语义对齐和基于人体姿态部分区域对齐进行高效的部分行人重识别，能够有效地解决行人重识别中遮挡和姿态变化问题，并且该方法收敛速度快，可以在行人遮挡中实现高效的重识别。

Description

基于可见感知纹理语义对齐的部分行人重识别方法
技术领域
本发明属于计算机视觉和模式识别技术领域，涉及一种基于可见感知纹理语义对齐的部分行人重识别方法(TSA)，可以在纹理上和局部区域上同时进行对齐，能够解决行人重识别中遮挡和姿态变换的问题。
背景技术
近几年中，随着基础设施建设的不断完善，为了保障公共治安和安全，数以千万计的不重叠(不相交)摄像头被放置在许多城市的各个角落。在某些特殊情况下，当目标人物从一个摄像头中消失时，我们希望迅速从其他摄像头中重新识别该目标人物。这正是计算机视觉和机器学习领域的研究热点-行人再识别(ReID)任务。因为其在公共治安和安全中的重要性，人们提出了很多方法。所有这些方法都假设整体人可以被任何摄像机完全覆盖，但在真实的监控环境中，遮挡问题经常发生。由于部分人形象与整体人形象存在明显的差异，现有的这些ReID方法在应用于部分行人再识别任务时，大多数都无法识别目标人物，其性能急剧下降。由于一个人的局部视角可能是身体的任意一部分，为了将它与人的整体图像匹配，这个部分经常需要被缩放成固定大小的图像，在缩放过程中，会出现不希望发生的变形，从而导致性能下降。因此，一些研究考虑了如何识别被遮挡后行人图像的任意部分，如SWM、AMC、DSR和DCR。然而，在这些方法中，图像中的行人被划分为独立的模块，然后这些方法计算图像匹配度都是基于这些块，但是非共享的区域仍然保留，因此，这些非共享块将成为半身图与全身图匹配过程中的噪音，导致非对齐情况出现，影响匹配性能。
发明内容
本发明目的是解决现有经典算法SWM[1]与AWC[1]中输入图像尺度大小不一致问题、DSR[2]与DCR[3]算法中非共享区域特征干扰问题，以及这些方法中未考虑到真实场景中存在的人体姿态变换问题，提供一种基于可见感知纹理语义对齐的部分行人重识别方法(TSA)。
本发明的技术方案
一种基于可见感知纹理语义对齐的部分行人重识别方法(TSA)，该方法具体包含以下步骤：
第1、设计基于人体姿态的局部区域对齐网络；
第1.1步、提出人体部件局部区域对齐方案进一步解决遮挡问题；
对于完整行人图片，利用姿态估计得到17个人体位置关键点，分别定为眼睛、耳朵、口、肩、肘、手、臀、膝，脚，将行人在纵向上划分为5个区域，这5个区域分别为：头、躯干、上腿、下腿、脚，记作Vi，i＝1、2、3、4、5，然后根据关键点缺失情况判断哪个区域被遮挡，如果被遮挡Vi等于0，未被遮挡Vi等于1；
第1.2步、利用像素级分类方案进一步解决位姿变换问题；
对每个像素点通过softmax分类器进行分类，其中总的类别数为第1.1步得到的5个区域类别；对每个行人图片对应区域作softmax分类，类别数为训练集中对应行人数；利用第1.1步所得到的Vi信息计算query与gallery欧式距离，即计算部分行人图片可见块与完整行人图片对应块之间距离；在基础网络的选择方面，选择Resnet作为该步骤网络模型backbone；
第1.3步、在第1.2步基础上计算交叉熵损失和欧式距离：
a.训练过程中每个像素点作分类的交叉熵损失，其中类别标签为第1.1步所对应5个区域序号；b.训练过程中每张图片作分类的交叉熵损失，其中类别标签为训练集中图像对应标签；c.通过第1.2步计算得出的图片之间欧式距离，设计三元组损失函数；
第2、设计基于语义可见性的纹理对齐网络；
人体是由3D网格和UV坐标系下的纹理图组成，纹理对齐方案即利用身体部件所对应的纹理图特征计算行人之间距离，解决人体姿态与摄像机拍摄视角变换问题；
第2.1步、利用纹理生成器生成行人图像纹理图，UV坐标系下的纹理图能够实现特征图角度不变性；利用EANet方法训练出的人体语义分割分割模型将ReID数据集每个行人进行部件分类，该模型在COCO-Part14数据集训练将行人图片划分为14个类，这14个类分别为身体部位的：头、躯干、左上胳膊、右上胳膊、左下胳膊、右下胳膊、左手、右手、左上腿、右上腿、左下腿、右下腿、左脚、右脚，，利用人体语义分割信息也能够知道哪个部位缺失即被遮挡；
第2.2步、通过第2.1步训练的人体语义分割模型在半身图片上能够判断人体哪个部位被遮挡，记作Vj，如果被遮挡等于0，未被遮挡等于1；
第2.3步、第2.1步得到的纹理图根据第2.2步得到每个身体部件是否被遮挡信息Vj，能够计算出每个身体部件对应纹理图；然后对这些部件进行拼接，对每个合成后的部位作softmax分类，计算此时query与gallery欧式距离，此时在基础网络的选择方面，选择Resnet作为该第2步网络模型backbone；
第3、两个网络联合学习；
第1步中的基于人体姿态的局部区域对齐网络是专门为解决遮挡问题而设计，第2步中的基于语义可见性的纹理对齐网络是专门为解决姿态变化而设计，两个步骤所对应网络都具有重识别功能，他们分别可以进行ReID任务，但遮挡和姿态多样性经常同时出现在部分行人再识别任务中；因此有必要同时解决这两个问题，所以利用JointlyLearning将两个网络联合学习训练；
第3.1步、将第1步与第2步两个分支网络所得到的特征图作element-wiseadd操作，得到融合特征，然后将全局特征与局部特征进行结合以提高ReID性能；
第3.2步、利用全局特征进行softmax分类。对第3.1步得到的融合特征作softamx分类，计算交叉熵损失，类别数即为行人个数；
第3.3步、利用局部特征进行人体部位块与块之间的匹配，计算query与gallery图像在第3.1步融合特征人体部位块与块之间欧式距离，然后设计三元损失函数；
第4、模型训练数据集与模型测试数据集选择，在测试数据集上验证算法的有效性；
为了能够贴近真实场景，将Market1501作为训练集，将全身图片进行0～50％比例进行裁剪来获得半身图片；测试集，使用两个半身数据集PartialREID和Partial-iLIDS，其中，PartialREID有600张图片来自60个行人，每个行人有5张全身图片和5张半身图片；Partial-iLIDS有476张图片来自119个行人，每个行人有3张全身图和1张半身图。在两个测试数据集实验结果发现，本发明的方法比现有最好的方法VPM在Rank-1上分别有5％和6.4％性能上的提升。
本发明的优点和有益效果；
1)通过使用纹理语义对齐使得特征具有空间不变性(TEA)。2)通过基于人体姿态的局部区域对齐(PRA)，将局部行人图像与整体行人图像自适应对齐，将不相关区域或被覆盖区域的负面影响尽可能减少。3)通过对像素点分类，有效解决姿态变换问题。4)通过联合学习策略对模型优化，获得了收敛速度上的提升。
附图说明
图1为本发明部分行人重识别方法TSA的流程图。
图2为人体姿态局部区域自适应对齐的结构图。
图3为纹理语义对齐的结构图。
图4是将TEA子网络分支中纹理图与PRA子网络中人体区域相对应的关系，其中：a.原始行人图片；b.经过姿态估计纵向划分为5部分；c.图像中每个像素点所属类别分布情况；d.人体语义分割得到14个类别；e.根据人体语义分割信息将产生的纹理图分割成对应的14个人体部件，然后为了与图a、b特征作对齐，将这些部件进行merge运算。其中经过人体语义分割之后可以将行人图像划分为14个类如d所示，然后为使身体部件与图b、c进行语义上对齐，我们通过图e方式将身体部件进行拼接。
图5为现有解决行人再识别遮挡问题方法与本发明提出方法在rank-k上比较，其中图5中对比方法所对应的文献如下所示：
[1]Wei Shi Zheng,Li Xiang,Xiang Tao,Shengcai Liao,Jianhuang Lai,andShaogang Gong.Par-tial person re-identification.In IEEE International Con-ference on Computer Vision(CVPR),2016.
[2]Lingxiao He,Jian Liang,Haiqing Li,and Zhenan Sun.Deep spatialfeature reconstruction for par-tial person re-identification:Alignment-freeapproach.In Computer Vision and Pattern Recognition(CVPR),2018.
[3]Zan Gao,Lishuai Gao,Hua Zhang,Zhiyong Cheng,and Richang Hong.Deepspatial pyramid features collaborative reconstruction for partial personreid.In ACM International Conference on Multimedia,2019.
[4]Xin Jin,Cuiling Lan,Wenjun Zeng,Guo-qiang Wei,and ZhiboChen.Semantics-aligned repre-sentation learning for person re-identification.In Thirty-Fourth AAAI Conference on Artificial Intelligence,2020.
[5]Hao Luo,Xing Fan,Chi Zhang,and Wei Jiang.Stnreid:Deepconvolutional networks with pair-wise spatial transformer networks forpartial person re-identification.In IEEE Conference on Computer Vision andPattern Recognition(CVPR),2019.
[6]Yifan Sun,Qin Xu,and Yali et al.Li.Perceive where to focus:Learning visibility-aware part-level features for partial person re-identification.In IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2019.
图6为现有解决行人再识别遮挡问题方法与本发明提出方法在ROC曲线上比较，可以看出TSA性能有明显优势。其中A是在Partial-iLIDS数据集性能比较，B是在PartialREID数据集性能比较。
图7为使用联合学习策略与分别单独使用基于语义可见性的纹理对齐网络与基于人体姿态的局部区域对齐网络性能上的比较。其中A是在PartialREID数据集性能比较，B是在Partial-iLIDS数据集性能比较，我们发现联合学习是模型更具有泛化能力。
图8为了证明可见感知信息对算法鲁棒性的积极作用，其中图A、B分别表示可见感知信息对部件特征对齐在Partial REID与Partial-iLDS数据集上的影响；图C、D分别表示可见感知信息对纹理特征对齐在Partial REID和Partial-iLIDS数据集上的影响。
图9展示了TSA在训练过程中快速收敛性。
具体实施方式
我们通过具体3个步骤进行网络设计：首先，我们设计基于人体姿态的局部区域对齐网络，该步骤主要针对解决遮挡问题；然后，我们设计基于人体语义信息可见性的纹理对齐网络，该步骤主要解决姿态变换和摄像头角度变换问题；最后，我们为了将两个解决方向进行统一，设计了联合学习网络。下面结合附图对本发明作进一步的描述。
实施例1
如图1所示，为本发明的一种基于可见感知纹理语义对齐的部分行人重识别方法(TSA)的操作流程图，该流程图包含3部分：1、基于人体姿态的局部区域对齐网络(PRA)；2、基于人体语义信息可见性的纹理对其网络(TEA)；3、联合学习策略。该方法的操作步骤包括：
步骤1设计基于人体姿态的局部区域对齐网络
利用姿态估计(KD)得到的17个关键点将行人划分为5个区域如图2下分支所示，然后根据关键点缺失情况判断哪个区域被遮挡。记作Vi，如果被遮挡等于0，未被遮挡等于1。因此可见区域部分的id分类损失函数为
Figure GDA0002671154890000051
其中Lid表示每个区域特征所对应IDE分类损失，
Figure GDA0002671154890000052
表示每个行人所对应可见区域部分IDE分类损失。
然后利用像素级分类方案进一步解决位姿变换问题。对每个像素点进行在下分支得到5个区域作softmax分类，该步骤损失函数为
Figure GDA0002671154890000061
其中hj表示第j个像素值，Ri表示所划分好区域索引位置，特征图经过1x1卷积层W后进行softmax分类，P(Ri|hj)表示hj属于Ri的概率；当像素信息hj属于索引区域Ri(即i＝j)时Γ＝1否则Γ＝0。
根据PRA分支所得到Vi信号，计算query与gallery欧式距离
Figure GDA0002671154890000062
其中，
Figure GDA0002671154890000063
表示query图像中第Ri所对应特征，
Figure GDA0002671154890000064
表示gallery图像中第Ri所对应特征，p表示将行人图像纵向分为p块，论文中p＝5。
我们对步骤1实验结果进行分析，对应图5中TSA-PRA实验方法，发现PRA网络在解决遮挡问题表现上有很好的性能。
步骤2设计基于语义可见性的纹理对齐网络
如图3所示纹理语义对齐的流程图，在下分支中利用纹理生成器生成行人图像纹理图；然后在上分支中利用人体语义信息具体得知每个部分是否被遮挡；将两个分支得到的信息特征进行乘运算可以得出每个身体部件对应的纹理图。为了在图1中使得下分支(TEA)与上分支(PRA)所产生图像特征进行语义上的对齐，即对应附图说明中图5解释部分，我们使用图4策略将这个纹理图进行融合。
通过上分支行人部位语义分割模型(PPS)判断人体哪个部位被遮挡。记作Vj，如果被遮挡等于0，未被遮挡等于1，因此可见区域部分的id分类损失函数为
Figure GDA0002671154890000065
其中Lid表示每个区域特征所对应IDE分类损失，
Figure GDA0002671154890000066
表示每个行人所对应可见区域部分IDE分类损失。
根据PPS所得到Vj信号，将不可见部分特征置为零矩阵，因此此时query与gallery欧式距离为
Figure GDA0002671154890000071
其中，
Figure GDA0002671154890000072
表示query图像中第Rj所对应特征，
Figure GDA0002671154890000073
表示gallery图像中第Rj所对应特征，p表示将行人纹理图像按图4策略合并成p块，论文中p＝5。
我们对步骤2实验结果进行分析，对应图5中TSA-TEA实验方法，发现TEA网络在解决遮挡问题表现上有很好的性能。
步骤3将两个网络进行联合学习
基于语义可见性纹理对齐网络(TEA)是专门为解决姿态变化而设计，基于人体姿态局部区域对齐网络(PRA)是专门为解决遮挡问题而设计，但遮挡和姿态多样性经常同时出现在部分行人再识别任务中。因此有必要同时解决这两个问题。
首先将步骤1与步骤2的id分类损失函数做和运算
Figure GDA0002671154890000074
然后构造难样本三元组损失函数，对于构建每个batch我们随机选择P个人，然后对每个人随机选出Q张图片，所以每个batch有P*Q张图片，对于每个batch中的anchor，我们该批次中最难的正样本(所有正样本中距离最远的那张图)和最难的负样本(所有负样本中距离最近那张图)。anchor与正样本positive、负样本negative图片距离为步骤1与步骤2欧式距离之和
Figure GDA0002671154890000075
Figure GDA0002671154890000076
因此构造的难样本三元组损失函数为
Figure GDA0002671154890000077
在图5与图7实验结果分析中我们发现，经过联合学习策略，我们所涉及的模型性能有进一步明显提升。
步骤4模型训练和测试
对步骤3已经构建好的模型进行训练，我们选择Market1501作为训练集，整个训练过程损失函数为
Figure GDA0002671154890000078
在测试过程中，我们分为以下几个步骤：
1、与当前最先进的方法进行比较；
2、评估联合学习的优越性；
3、分析可见感知方法优势。
我们实验测试环节在两个公开半身数据集上进行，分别是Partial REID和Partial-iLIDS。我们遵循常规测试做法，分别以Rank-k的平均积累匹配特征(CMC)曲线和Receiver Operating Characteristic(ROC)曲线对模型进行评估。如图5，图6所示我们的方法具有更高精准度。图7中TSA-PRA表示只用PRA网络分支进行训练，TSA-TEA表示只用TEA网络分支进行训练，TSA表示将两个模型进行联合学习，从对比实验结果我们可以看出联合学习具有很好的有效性。图8对比结果表明，可见感知方法对提升模型泛化能力有重大意义。图9中，我们发现TSA方法在训练过程中具有很好的收敛性。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于可见感知纹理语义对齐的部分行人重识别方法，该方法具体包含以下步骤：
第1、 设计基于人体姿态的局部区域对齐网络；
第1.1步、提出人体部件局部区域对齐方案进一步解决遮挡问题；
对于完整行人图片，利用姿态估计得到17个人体位置关键点，分别定为眼睛、耳朵、口、肩、肘、手、臀、膝，脚，将行人在纵向上划分为5个区域，这5个区域分别为：头、躯干、上腿、下腿、脚，记作
Figure DEST_PATH_IMAGE001
，i=1、2、3、4、5，然后根据关键点缺失情况判断哪个区域被遮挡，如果被遮挡
Figure 961494DEST_PATH_IMAGE001
等于0，未被遮挡
Figure 987219DEST_PATH_IMAGE001
等于1；
第1.2步、利用像素级分类方案进一步解决位姿变换问题；
对每个像素点通过softmax分类器进行分类，其中总的类别数为第1.1步得到的5个区域类别；对每个行人图片对应区域作softmax分类，类别数为训练集中对应行人数；利用第1.1步所得到的
Figure 519831DEST_PATH_IMAGE001
信息计算query与gallery欧式距离，即计算部分行人图片可见块与完整行人图片对应块之间距离；在基础网络的选择方面，选择Resnet作为该步骤网络模型backbone；
第1.3步、在第1.2步基础上计算交叉熵损失和欧式距离：
a.训练过程中每个像素点作分类的交叉熵损失，其中类别标签为第1.1步所对应5个区域序号；b.训练过程中每张图片作分类的交叉熵损失，其中类别标签为训练集中图像对应标签；c.通过第1.2步计算得出的图片之间欧式距离，设计三元组损失函数；
第2、 设计基于语义可见性的纹理对齐网络；
人体是由3D网格和UV坐标系下的纹理图组成，纹理对齐方案即利用身体部件所对应的纹理图特征计算行人之间距离，解决人体姿态与摄像机拍摄视角变换问题；
第2.1步、利用纹理生成器生成行人图像纹理图，UV坐标系下的纹理图能够实现特征图角度不变性；利用EANet方法训练出的人体语义分割分割模型将ReID数据集每个行人进行部件分类，该模型在COCO-Part14数据集训练将行人图片划分为14个类，这14个类分别为身体部位的：头、躯干、左上胳膊、右上胳膊、左下胳膊、右下胳膊、左手、右手、左上腿、右上腿、左下腿、右下腿、左脚、右脚，利用人体语义分割信息也能够知道哪个部位缺失即被遮挡；
第2.2步、通过第2.1步训练的人体语义分割模型在半身图片上能够判断人体哪个部位被遮挡，记作
Figure 125256DEST_PATH_IMAGE002
，如果被遮挡等于0，未被遮挡等于1；
第2.3步、第2.1步得到的纹理图根据第2.2步得到每个身体部件是否被遮挡信息
Figure 262976DEST_PATH_IMAGE002
，能够计算出每个身体部件对应纹理图；然后对这些部件进行拼接，对每个合成后的部位作softmax分类，计算此时query与gallery欧式距离，此时在基础网络的选择方面，选择Resnet作为该第2步网络模型backbone；
第3、 两个网络联合学习；
第1步中的基于人体姿态的局部区域对齐网络是专门为解决遮挡问题而设计，第2步中的基于语义可见性的纹理对齐网络是专门为解决姿态变化而设计，两个步骤所对应网络都具有重识别功能，他们分别可以进行ReID任务，但遮挡和姿态多样性经常同时出现在部分行人再识别任务中；因此有必要同时解决这两个问题，所以利用JointlyLearning将两个网络联合学习训练；
第3.1步、将第1步与第2步两个分支网络所得到的特征图作element-wise add操作，得到融合特征，然后将全局特征与局部特征进行结合以提高ReID性能；
第3.2步、利用全局特征进行softmax分类；对第3.1步得到的融合特征作softamx分类，计算交叉熵损失，类别数即为行人个数；
第3.3步、利用局部特征进行人体部位块与块之间的匹配，计算query与gallery图像在第3.1步融合特征人体部位块与块之间欧式距离，然后设计三元损失函数；
第4、模型训练数据集与模型测试数据集选择，在测试数据集上验证算法的有效性；
为了能够贴近真实场景，将Market1501作为训练集，将全身图片进行0～50%比例进行裁剪来获得半身图片；测试集，使用两个半身数据集Partial REID和Partial-iLIDS，其中，Partial REID有600张图片来自60个行人，每个行人有5张全身图片和5张半身图片；Partial-iLIDS有476张图片来自119个行人，每个行人有3张全身图和1张半身图；在两个测试数据集的实验结果发现，本发明方法比现有最好的方法VPM在Rank-1上分别有5%和6.4%性能上的提升。
CN202010708118.5A 2020-07-21 2020-07-21 基于可见感知纹理语义对齐的部分行人重识别方法 Active CN111797813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010708118.5A CN111797813B (zh) 2020-07-21 2020-07-21 基于可见感知纹理语义对齐的部分行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010708118.5A CN111797813B (zh) 2020-07-21 2020-07-21 基于可见感知纹理语义对齐的部分行人重识别方法

Publications (2)

Publication Number Publication Date
CN111797813A CN111797813A (zh) 2020-10-20
CN111797813B true CN111797813B (zh) 2022-08-02

Family

ID=72827271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708118.5A Active CN111797813B (zh) 2020-07-21 2020-07-21 基于可见感知纹理语义对齐的部分行人重识别方法

Country Status (1)

Country Link
CN (1) CN111797813B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580525B (zh) * 2020-12-22 2023-05-23 南京信息工程大学 一种基于行人再识别的病例活动轨迹监测方法
CN113139504B (zh) * 2021-05-11 2023-02-17 支付宝(杭州)信息技术有限公司 身份识别方法、装置、设备及存储介质
CN113221776B (zh) * 2021-05-19 2024-05-28 彭东乔 一种基于人工智能对反刍动物一般行为识别的方法
CN113743239A (zh) * 2021-08-12 2021-12-03 青岛图灵科技有限公司 行人重识别方法、装置及电子设备
CN114091548B (zh) * 2021-09-23 2024-08-09 昆明理工大学 一种基于关键点和图匹配的车辆跨域重识别方法
CN114842512B (zh) * 2022-07-01 2022-10-14 山东省人工智能研究院 基于多特征协同和语义感知的遮挡行人重识别和检索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224937A (zh) * 2015-11-13 2016-01-06 武汉大学 基于人体部件位置约束的细粒度语义色彩行人重识别方法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108960127A (zh) * 2018-06-29 2018-12-07 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224937A (zh) * 2015-11-13 2016-01-06 武汉大学 基于人体部件位置约束的细粒度语义色彩行人重识别方法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108960127A (zh) * 2018-06-29 2018-12-07 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Pedestrian Alignment Network for;Zhedong Zheng et al.;《arXiv》;20170703;第1-13页 *
基于多尺度卷积特征融合的行人重识别;徐龙壮等;《激光与光电子学进展》;20190731;第５６卷(第１４期);第141504-1-7页 *
基于特征融合的行人重识别方法;张耿宁等;《计算机工程与应用》;20160510;第53卷(第12期);第185-189页 *

Also Published As

Publication number Publication date
CN111797813A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111797813B (zh) 基于可见感知纹理语义对齐的部分行人重识别方法
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN112597941B (zh) 一种人脸识别方法、装置及电子设备
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN112001859A (zh) 一种人脸图像的修复方法及系统
CN113269089A (zh) 基于深度学习的实时手势识别方法及系统
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN111160291A (zh) 基于深度信息与cnn的人眼检测方法
Zhang et al. Removing Foreground Occlusions in Light Field using Micro-lens Dynamic Filter.
CN113642393A (zh) 基于注意力机制的多特征融合视线估计方法
Zhu et al. Occlusion-free scene recovery via neural radiance fields
CN111709997B (zh) 一种基于点与平面特征的slam实现方法及系统
Zhu et al. Spectral dual-channel encoding for image dehazing
CN116092190A (zh) 一种基于自注意力高分辨网络的人体姿态估计方法
Fu et al. CBAM-SLAM: A semantic slam based on attention module in dynamic environment
Chen et al. Face recognition with masks based on spatial fine-grained frequency domain broadening
Xu et al. A two-stage progressive shadow removal network
Tan et al. Local context attention for salient object segmentation
Gong et al. SFD-SLAM: a novel dynamic RGB-D SLAM based on saliency region detection
CN112906508B (zh) 一种基于卷积神经网络的面部活体检测方法
Zhang et al. Light field occlusion removal network via foreground location and background recovery
Duan et al. Two-Stage Video Shadow Detection via Temporal-Spatial Adaption
Doshi et al. Monochromatic Image Dehazing Using Enhanced Feature Extraction Techniques in Deep Learning
CN113609993A (zh) 一种姿态估计方法、装置、设备及计算机可读存储介质
Lei et al. Human Pose Estimation of Diver Based on Improved Stacked Hourglass Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant