CN109977109A - 一种轨迹数据清洗方法及伴随分析方法 - Google Patents

Abstract

本发明公开一种轨迹数据清洗方法，包括：计算轨迹所属网格及分析时间段；汇集相同时间段及网格的轨迹数据；对同一时间段及网格的数据进行清洗；数据入库存储。还公开一种基于轨迹数据清洗方法的伴随分析方法，包括：筛选伴随目标的轨迹数据；统计活动网格信息；广播目标活动网格信息并统计伴随目标出现过的所有活动网格；过滤其他人员的轨迹数据；按人员和网格聚合数据；与伴随目标同一网格的数据进行关联比较并筛选满足条件的网格；按人员聚合满足条件的网格；统计所有满足条件人员的网格数量并判断是否为伴随者；输出所有满足条件的伴随者。本发明实现高效清洗轨迹数据；还实现精准分析目标人员的伴随对象，快速获得目标人员的伴随分析结果。

Description

一种轨迹数据清洗方法及伴随分析方法

技术领域

本发明涉及安防与信息技术领域，尤其涉及一种轨迹数据清洗方法及伴随分析方法。

背景技术

目前，安防系统中多种监控设备会采集大量行为轨迹数据，包括：人脸、MAC、IMSI和IMEI；而安防系统中采集设备本身只能对进入其侦测范围的目标信息进行识别，不能判断监控目标是从哪个方向进入设备侦测范围，也无法得到设备与监控目标之间的距离，因而无法得到目标的精准地理位置。通常系统以采集设备自身的地理位置作为探测目标的位置，而采集设备分为固定采集设备和移动采集设备，对于地理位置保持不变的固定采集设备，以其所处的地理位置作为探测目标的位置；对于移动采集设备，以其探测时刻所处的地理位置作为探测目标的位置。

此外，一个监控目标在同一时刻可能会被多个设备探测到，目标活动期间所有设备采集的数据组成了目标活动轨迹的时空信息(包括时间、经度和纬度的3维信息)，其中，经纬度位置信息是不准确的。

为了后期能更有效的利用采集设备采集的海量行为轨迹数据，需要对海量地理位置不精确的轨迹数据进行清洗，因此，合理与高效的轨迹数据清洗方法以及信息存储格式成为亟待解决的问题。另一方面，如何利用数据清洗过的轨迹数据高效和精准的分析出目标人员的伴随对象是个重要的问题。

伴随分析是指使用相同类型的轨迹数据(如使用MAC轨迹数据)，在输入伴随目标、活动时间范围、伴随时间间隔的条件下，找出满足下列条件的伴随对象：在伴随目标所出现过地点中，有至少N个地点伴随人员也出现过，且出现的时间差不超过伴随时间间隔。

由于需要处理的数据量巨大，并且期望快速获得分析结果，特别是待处理的地理信息不准确，因此急需提出快速和有效的数据清洗方法，用以估计出监控目标精准的地理信息，并解决伴随分析的问题。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明的目的是克服现有技术的不足，提供一种轨迹数据清洗方法及伴随分析方法。

首先，本发明提供一种轨迹数据清洗方法，包括以下步骤：

步骤S101，获取采集设备采集的原始行为轨迹数据；

步骤S102，对上述原始行为轨迹数据进行数据切分，并将切分的数据输出至下一环节；

步骤S103，对上述切分后的数据进行数据聚合，并将聚合的数据输出至下一环节；

步骤S104，对上述聚合后的数据进行数据清洗，输出一组或多组轨迹数据；

步骤S105，将清洗后的轨迹数据入库存储。

进一步地，所述步骤S101获取的数据包括人脸数据、MAC数据、IMSI数据、IMEI数据中的一种或多种。

进一步地，所述步骤S102中的数据切分包括时间切分和空间切分；所述时间切分按指定的时间间隔将所述原始行为轨迹数据切分成若干时间段；所述空间切分按指定的空间刻度将所述原始行为轨迹数据切分成若干空间网格。

进一步地，所述步骤S102中的数据切分通过map函数执行对所述原始行为轨迹数据的切分，并确定轨迹所属的时间段以及空间网格，以及将切分的数据转换成Key-value格式输出至下一环节。

进一步地，所述步骤S103中的数据聚合通过groupByKey函数执行对属于同一时间段以及空间网格的轨迹数据聚合。

进一步地，所述步骤S104中的数据清洗包括以下步骤：

步骤a，对步骤S103聚合的数据按时间排序，并对排序好的数据按给定的时间刻度进行数据切分；

步骤b，从上述切分好的数据中过滤出所有满足连续两条轨迹时间间隔的数据，且该数据的时间间隔不超过给定时间刻度，并将该数据划分为一组；

步骤c，取最早出现时间或者平均时间作为上述分组的采集时间，统计平均经纬度作为该分组的目标采集位置，根据所述采集时间和目标采集位置将每一组内的所有轨迹分别合并成一条轨迹。

进一步地，所述步骤S104中的数据清洗通过flatMap函数执行对所述步骤S103聚合的数据的清洗处理，并以组的形式输出清洗后的轨迹数据；输出的轨迹数据选自伴随目标、空间网格、时间、经度、纬度中的一种或多种。

其次，本发明还提供一种基于轨迹数据清洗方法的轨迹数据伴随分析方法，包括以下步骤：

步骤S201，从轨迹库中过滤出目标人员活动时间区间内的所有轨迹数据；

步骤S202，将上述轨迹数据按采集网格进行聚合，统计每个活动网格的信息；

步骤S203，将目标人员活动网格信息进行关联处理，同时统计出随着目标人员出现过的伴随人员的所有活动网格；

步骤S204，根据伴随人员活动时间以及活动网格从轨迹库中过滤出伴随人员的轨迹数据；

步骤S205，将上述轨迹数据按伴随人员和活动网格进行聚合；

步骤S206，对每个伴随人员以及相关联的活动网格的聚合数据，从步骤S203关联的伴随目标活动网格信息中找出相同网格的数据进行比较，筛选所有满足伴随条件的网格；

步骤S207，将上述所有满伴随足条件的网格按伴随人员进行聚合；

步骤S208，统计所有满足伴随条件人员的网格数量，并将每个满足伴随条件人员的网格数量与最少匹配网格数量作比较，判断该人员是否为伴随者；

步骤S209，输出所有满足条件的伴随者。

进一步地，所述步骤S202、步骤S205和步骤S207中的聚合通过groupByKey函数执行对属于同一类型数据的聚合处理。

进一步地，所述步骤S203中的关联处理通过broadcast函数执行对所述伴随目标活动网格信息的关联。

采用上述方案，本发明具有以下有益效果：

1、本发明实现对海量地理位置不精确的轨迹数据的高效清洗。

本发明通过map函数将海量行为轨迹数据切分成若干时间段和空间网格，并将切分好的数据转换成Key-value格式，通过groupByKey函数聚合属于同一时间段以及网格的轨迹数据，通过flatMap函数清洗groupByKey函数聚合的轨迹数据，所有操作基于ApacheSpark计算引擎，可快速完成海量行为轨迹数据的清洗；另一方面，经过清洗的轨迹数据将被压缩处理，入库存储效率高，利于轨迹数据的后续使用。

2、本发明实现精准分析目标人员的伴随对象，可快速获得目标人员的伴随分析结果。

本发明通过筛选伴随目标的轨迹数据，并按采集网格进行数据聚合，统计出所有活动网格信息，然后将目标活动网格信息进行广播，统计出伴随目标出现过的所有活动网格；另一方面，根据目标活动时间及网格从轨迹库过滤出其他人员的轨迹数据，按人员和网格进行聚合，并与伴随目标同一网格的数据进行关联比较，筛选出满足伴随条件的网格，再将满足伴随条件的网格按人员进行聚合，判断每个人员符合条件的网格数，输出所有满足条件的伴随着即可得到目标人员的伴随分析结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明数据清洗方法的流程示意图；

图2为本发明伴随分析方法的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

首先，参照图1所示，本发明提供一种轨迹数据清洗方法，包括以下步骤：

步骤S101，获取采集设备采集的海量原始行为轨迹数据；

步骤S102，对上述海量原始行为轨迹数据进行数据切分，并将切分好的轨迹数据输出至下一环节；

步骤S103，对上述切分后的轨迹数据进行数据聚合，并将聚合的轨迹数据输出至下一环节；

步骤S104，对上述聚合后的轨迹数据进行数据清洗，输出一组或多组轨迹数据；

步骤S105，将清洗后的轨迹数据入库存储，构成轨迹库。

作为一种实施例，所述步骤S101获取的数据包括人脸数据、MAC数据、IMSI数据、IMEI数据中的一种或多种。

作为一种实施例，所述步骤S102中的数据切分包括时间切分和空间切分；所述时间切分按指定的时间间隔将所述海量原始行为轨迹数据切分成若干时间段；所述空间切分按指定的空间刻度将所述海量原始行为轨迹数据切分成若干空间网格。

在本实施例中，所述步骤S102中的数据切分通过map函数执行对所述海量原始行为轨迹数据的切分，并确定轨迹数据所属的时间段以及网格，以及将切分的数据转换成Key-value格式输出至下一环节。

其中，Key包括目标、时间段以及网格；value包括时间、经度以及纬度。

作为一种实施例，所述步骤S103中的数据聚合通过groupByKey函数执行对属于同一时间段以及网格的轨迹数据聚合。

作为一种实施例，所述步骤S104中的数据清洗包括以下步骤：

步骤a，对步骤S103聚合的数据按时间排序，并对排序好的数据按给定的时间刻度进行数据切分；

步骤b，从上述切分好的数据中过滤出所有满足连续两条轨迹时间间隔的数据，且该数据的时间间隔不超过给定时间刻度，并将该数据划分为一组；

步骤c，取最早出现时间或者平均时间作为上述分组的采集时间，统计平均经纬度作为该分组的目标采集位置，根据所述采集时间和目标采集位置将每一组内的所有轨迹分别合并成一条轨迹。

在本实施例中，所述步骤S104中的数据清洗通过flatMap函数执行对所述步骤S103聚合的数据的清洗处理，并以组的形式输出清洗后的轨迹数据；输出的轨迹数据选自伴随目标、空间网格、时间、经度、纬度中的一种或多种。

在本实施例中，所述map函数、groupByKey函数和flatMap函数基于Apache Spark计算引擎实现各自的功能，使用Apache Spark可方便、快速的进行进行海量轨迹数据的数据清洗。

作为一种实施例，所述步骤S105中的轨迹库可以是kudu数据库、HBase数据库中的一种或多种。

其次，参考图2所示，本发明还提供一种基于轨迹数据清洗方法的轨迹数据伴随分析方法，包括以下步骤：

步骤S201，从轨迹库中过滤出目标人员活动时间区间内的所有轨迹数据；

步骤S202，将上述轨迹数据按采集网格进行聚合，统计每个活动网格的信息；

步骤S203，将目标人员活动网格信息进行关联处理，同时统计出随着目标人员出现过的伴随人员的所有活动网格；

步骤S204，根据伴随人员活动时间以及活动网格从轨迹库中过滤出伴随人员的轨迹数据；

步骤S205，将上述轨迹数据按伴随人员和活动网格的组合信息进行聚合；

步骤S206，对每个伴随人员以及相关联的活动网格的聚合数据，从步骤S203关联的伴随目标活动网格信息中找出相同网格的数据进行比较，筛选所有满足伴随条件的网格；

步骤S207，将上述所有满伴随足条件的网格按伴随人员进行聚合；

步骤S208，统计所有满足伴随条件人员的网格数量，并将每个满足伴随条件人员的网格数量与最少匹配网格数量作比较，判断该人员是否为伴随者；

步骤S209，输出所有满足条件的伴随者。

作为一种实施例，所述步骤S202、步骤S205和步骤S207中的聚合通过groupByKey函数执行对属于同一类型数据的聚合处理。

作为一种实施例，所述步骤S203中的关联处理通过broadcast函数执行对所述伴随目标活动网格信息的关联。

与现有技术相比，本发明具有以下有益效果：

1、本发明实现对海量地理位置不精确的轨迹数据的高效清洗。

本发明通过map函数将海量行为轨迹数据切分成若干时间段和空间网格，并将切分好的数据转换成Key-value格式，通过groupByKey函数聚合属于同一时间段以及网格的轨迹数据，通过flatMap函数清洗groupByKey函数聚合的轨迹数据，所有操作基于ApacheSpark计算引擎，可快速完成海量行为轨迹数据的清洗；另一方面，经过清洗的轨迹数据将被压缩处理，入库存储效率高，利于轨迹数据的后续使用。

2、本发明实现精准分析目标人员的伴随对象，可快速获得目标人员的伴随分析结果。

本发明通过筛选伴随目标的轨迹数据，并按采集网格进行数据聚合，统计出所有活动网格信息，然后将目标活动网格信息进行广播，统计出伴随目标出现过的所有活动网格；另一方面，根据目标活动时间及网格从轨迹库过滤出其他人员的轨迹数据，按人员和网格进行聚合，并与伴随目标同一网格的数据进行关联比较，筛选出满足伴随条件的网格，再将满足伴随条件的网格按人员进行聚合，判断每个人员符合条件的网格数，输出所有满足条件的伴随着即可得到目标人员的伴随分析结果。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种轨迹数据清洗方法，其特征在于，包括以下步骤：

步骤S101，获取采集设备采集的原始行为轨迹数据；

步骤S102，对上述原始行为轨迹数据进行数据切分，并将切分的数据输出至下一环节；

步骤S103，对上述切分后的数据进行数据聚合，并将聚合的数据输出至下一环节；

步骤S104，对上述聚合后的数据进行数据清洗，输出一组或多组轨迹数据；

步骤S105，将清洗后的轨迹数据入库存储。

2.根据权利要求1所述的轨迹数据清洗方法，其特征在于，所述步骤S102中的数据切分包括时间切分和空间切分；所述时间切分按指定的时间间隔将所述原始行为轨迹数据切分成若干时间段；所述空间切分按指定的空间刻度将所述原始行为轨迹数据切分成若干空间网格。

3.根据权利要求2所述的轨迹数据清洗方法，其特征在于，所述步骤S102中的数据切分通过map函数执行对所述原始行为轨迹数据的切分，并确定轨迹所属的时间段以及空间网格，以及将切分的数据转换成Key-value格式输出至下一环节。

4.根据权利要求3所述的轨迹数据清洗方法，其特征在于，所述步骤S103中的数据聚合通过groupByKey函数执行对属于同一时间段以及空间网格的轨迹数据聚合。

5.根据权利要求1所述的轨迹数据清洗方法，其特征在于，所述步骤S104中的数据清洗包括以下步骤：

步骤a，对步骤S103聚合的数据按时间排序，并对排序好的数据按给定的时间刻度进行数据切分；

步骤b，从上述切分好的数据中过滤出所有满足连续两条轨迹时间间隔的数据，且该数据的时间间隔不超过给定时间刻度，并将该数据划分为一组；

步骤c，取最早出现时间或者平均时间作为上述分组的采集时间，统计平均经纬度作为该分组的目标采集位置，根据所述采集时间和目标采集位置将每一组内的所有轨迹分别合并成一条轨迹。

6.根据权利要求5所述的轨迹数据清洗方法，其特征在于，所述步骤S104中的数据清洗通过flatMap函数执行对所述步骤S103聚合的数据的清洗处理，并以组的形式输出清洗后的轨迹数据；输出的轨迹数据选自伴随目标、空间网格、时间、经度、纬度中的一种或多种。

7.一种基于权利要求1-6任一项所述轨迹数据清洗方法的轨迹数据伴随分析方法，其特征在于，包括以下步骤：

步骤S201，从轨迹库中过滤出目标人员活动时间区间内的所有轨迹数据；

步骤S202，将上述轨迹数据按采集网格进行聚合，统计每个活动网格的信息；

步骤S203，将目标人员活动网格信息进行关联处理，同时统计出随着目标人员出现过的伴随人员的所有活动网格；

步骤S204，根据伴随人员活动时间以及活动网格从轨迹库中过滤出伴随人员的轨迹数据；

步骤S205，将上述轨迹数据按伴随人员和活动网格进行聚合；

步骤S206，对每个伴随人员以及相关联的活动网格的聚合数据，从步骤S203关联的伴随目标活动网格信息中找出相同网格的数据进行比较，筛选所有满足伴随条件的网格；

步骤S207，将上述所有满伴随足条件的网格按伴随人员进行聚合；

步骤S208，统计所有满足伴随条件人员的网格数量，并将每个满足伴随条件人员的网格数量与最少匹配网格数量作比较，判断该人员是否为伴随者；

步骤S209，输出所有满足条件的伴随者。

8.根据权利要求7所述的轨迹数据伴随分析方法，其特征在于，所述步骤S202、步骤S205和步骤S207中的聚合通过groupByKey函数执行对属于同一类型数据的聚合处理。

9.根据权利要求7所述的轨迹数据伴随分析方法，其特征在于，所述步骤S203中的关联处理通过broadcast函数执行对所述伴随目标活动网格信息的关联。

10.根据权利要求7所述的轨迹数据伴随分析方法，其特征在于，所述步骤S206中的伴随条件为存在一条轨迹与伴随人员轨迹的时间间隔不超过给定的伴随时间间隔。