CN115937421B - 仿真视频数据的生成方法、图像生成装置及可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种仿真视频数据的生成方法、图像生成装置及可读存储介质，涉及数据生成领域。仿真视频数据的生成方法包括：基于接收到的车辆采集数据，构建对应的初始虚拟场景；确定所述初始虚拟场景的初始道路环境信息与目标道路环境信息；根据所述初始道路环境信息与所述目标道路环境信息对所述初始虚拟场景进行调整，得到至少一个目标虚拟场景；在各所述目标虚拟场景中取景进行渲染，得到各所述目标虚拟场景对应的仿真视频图像数据，并将各所述仿真视频图像数据回注到数据处理设备。本发明中，能够得到背景内容更加丰富的仿真视频图像数据。

Description

仿真视频数据的生成方法、图像生成装置及可读存储介质

技术领域

本发明涉及数据生成技术领域，具体涉及一种仿真视频数据的生成方法、图像生成装置及可读存储介质。

背景技术

车辆中，图像处理算法是关乎于车辆行驶安全的重要部分之一，例如针对摄像头所采集图像的目标检测算法，对行车过程中的智能避障、主动刹车、车速控制来说起到非常重要的作用。

在对图像处理算法进行训练、测试以及验证的过程中往往需要大量的视频数据，但是真实的视频数据往往是非常有限的，难以覆盖各种可能的情形，一般会通过仿真的方式来生成更多的仿真视频数据。

目前常用的仿真场景的生成，一般只是对真实场景的模拟重现，真实场景的视频数据中包括：真实的人、车、动态对象、道路、静态对象等，以及场景中人、车、动态对象的运动过程，对真实场景模拟重现则是在仿真场景中以新的取景位置、视角进行取景，生成相应的仿真视频数据，在这个过程中，可以突破取景位置、视角的局限。但是，这个过程中，只是视频数据的取景位置、视角更丰富了，所得到的仿真视频数据中所展现的内容，依旧还是真实场景中的那些，可见，场景依旧单一，仿真场景的丰富性较差。基于上述技术问题，申请人提出了本申请的技术方案。

发明内容

本发明的目的是提供了一种仿真视频数据的生成方法、图像生成装置及可读存储介质，能够得到背景内容更加丰富的仿真视频图像数据，这些不同背景下的仿真视频图像数据回注到数据处理设备中后，有助于数据处理设备利用回注的仿真视频图像数据更好的进行图像处理算法的训练、测试以及验证等。

为实现上述目的，本发明提供了一种仿真视频数据的生成方法，包括：基于接收到的车辆采集数据，构建对应的初始虚拟场景；确定所述初始虚拟场景的初始道路环境信息与目标道路环境信息；根据所述初始道路环境信息与所述目标道路环境信息对所述初始虚拟场景进行调整，得到至少一个目标虚拟场景；在各所述目标虚拟场景中取景进行渲染，得到各所述目标虚拟场景对应的仿真视频图像数据，并将各所述仿真视频图像数据回注到数据处理设备。

本发明还提供了一种图像生成装置，用于执行上述的仿真视频数据的生成方法。

本发明还提供了一种可读存储介质，存储有计算机程序，所述计算机程序运行时实现如上述的仿真视频数据的生成方法。

本发明实施例提供了一种仿真视频数据的生成方法，能够得到背景内容更加丰富的仿真视频图像数据，这些不同背景下的仿真视频图像数据回注到数据处理设备中后，有助于数据处理设备利用回注的仿真视频图像数据更好的进行图像处理算法的训练、测试以及验证等。

同时，初始虚拟场景是针对车辆采集数据的虚拟仿真，后续仅对初始虚拟场景的道路环境进行了替换，所得到不同背景下的目标虚拟场景仍然能反映出车辆在行驶时间段内的真实环境变化，然后得到的不同背景下的仿真视频图像数据被回注到数据处理设备中，在不同背景下识别检测动态对象、静待对象的难度、影响是不同的，由此数据处理设备基于这些不同背景下的仿真视频图像数据完成算法的训练、测试及验证流程后，使得算法在不同背景下均能有效的识别动态对象与静待对象，以更好的辅助智能驾驶。。

在一个实施例中，所述确定所述初始虚拟场景的初始道路环境信息与目标道路环境信息，包括：将所述车辆采集数据覆盖的车辆行驶时间段内按照道路环境划分为多个子时间段，每个所述子时间段内各个时刻的道路环境相同，相邻两个所述子时间段的道路环境不同；对于所述初始虚拟场景中每个所述子时间段内的初始子场景，获取所述初始子场景的初始道路环境与目标道路环境；所述根据所述初始道路环境信息与所述目标道路环境信息对所述初始虚拟场景进行调整，得到至少一个目标虚拟场景，包括：针对每个所述子时间段的所述初始子场景，获取所述初始子场景的初始道路环境所包含的N个初始元素以及所述初始子场景的任一目标道路环境对应的预设元素集合，并将所述N个初始元素中的一个或多个所述初始元素替换为所述预设元素集合中的目标元素，得到一个目标虚拟场景在所述子时间段内的目标子场景，N为正整数。

在一个实施例中，所述预设元素集合中替换所述N个初始元素中的初始元素的目标元素包括以下至少之一：替换所述N个初始元素中的第一初始元素的第一类目标元素，所述第一类目标元素包括所述预设元素集合中的至少一个所述目标元素，所述第一类目标元素中的所述目标元素与所述第一初始元素的类型相同；替换所述N个初始元素中的第二初始元素的第二类目标元素，所述第一类目标元素包括所述预设元素集合中的至少一个所述目标元素，所述第二类目标元素中的所述目标元素与所述第二初始元素满足预设的元素对应关系；替换所述N个初始元素中的第三初始元素的第三类目标元素，所述第一类目标元素包括所述预设元素集合中的至少一个所述目标元素，所述第三类目标元素中的所述目标元素的属性与所述第二初始元素的属性相匹配。

在一个实施例中，所述将所述N个初始元素中的一个或多个所述初始元素替换为所述预设元素集合中的目标元素，包括：当所述N个初始元素中的目标初始元素被所述预设元素集合中的一个所述目标元素替换时，若所述目标初始元素的体积与所述一个所述目标元素的体积匹配，将所述一个所述目标元素的边界轮廓上的各边界点分别映射到所述目标初始元素的边界轮廓上，以替换所述目标初始元素；若所述目标初始元素的体积为所述一个所述目标元素的体积的多倍时，则将多个所述一个所述目标元素组合后替换所述目标初始元素；当所述N个初始元素中的目标初始元素被所述预设元素集合中的多个所述目标元素替换时，若所述目标初始元素的体积小于所述多个目标元素中的各所述目标元素的体积，则从所述多个目标元素中的选择一个所述目标元素替换所述目标初始元素；若所述目标初始元素的体积大于所述多个目标元素中至少两个所述目标元素的体积之和，则从所述多个目标元素中选取体积小于所述目标初始元素的多个所述目标元素组合后替换所述目标初始元素；若所述多个目标元素中存在体积与所述目标初始元素的体积匹配的至少一个所述目标元素，则从所述多个目标元素中选取体积与目标初始元素所述目标初始元素的体积匹配的所述目标元素替换所述目标初始元素。

在一个实施例中，在所述将所述N个初始元素中的一个或多个所述初始元素替换为所述预设元素集合中的目标元素之前，还包括：判断所述N个初始元素中与所述预设元素集合的目标元素类型相同的所述初始元素的数量是否满足预设条件；若所述N个初始元素中与所述预设元素集合的目标元素类型相同的所述初始元素的数量满足预设条件，则将所述初始子场景作为一个目标虚拟场景中在所述子时间段内的目标子场景；若所述N个初始元素中与所述预设元素集合的目标元素类型相同的所述初始元素的数量不满足预设条件，则进入所述将所述N个初始元素中的一个或多个所述初始元素替换为所述预设元素集合中的目标元素的步骤。

在一个实施例中，所述将所述车辆采集数据覆盖的车辆行驶时间段内按照道路环境划分为多个子时间段，包括：基于所述车辆采集数据中车辆的位置信息与地图上预设的道路环境标识，得到在所述车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境；将所述车辆行驶时间段内道路环境相同的连续时刻作为一个子时间段。

在一个实施例中，所述将所述车辆采集数据覆盖的车辆行驶时间段内按照道路环境划分为多个子时间段，包括：基于识别得到的所述车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路特征，得到在所述车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境；将所述车辆行驶时间段内道路环境相同的连续时刻作为一个子时间段。

在一个实施例中，所述获取所述初始子场景的初始道路环境与目标道路环境，包括：获取所述初始子场景的初始道路环境，并将预设的第一道路环境设定为所述初始子场景的的目标道路环境；或者，获取所述初始子场景的初始道路环境，并将与所述初始道路环境不同的另一道路环境作为所述初始子场景的的目标道路环境；或者，获取所述初始子场景的初始道路环境，若所述初始道路环境为第二道路环境，将与所述第二道路环境不同的第三道路环境作为所述初始子场景的的目标道路环境。

附图说明

图1是根据本发明第一实施例中的仿真视频数据的生成方法的具体流程图；

图2是根据本发明第二实施例中的仿真视频数据的生成方法的具体流程图。

具体实施方式

以下将结合附图对本发明的各实施例进行详细说明，以便更清楚理解本发明的目的、特点和优点。应理解的是，附图所示的实施例并不是对本发明范围的限制，而只是为了说明本发明技术方案的实质精神。

在下文的描述中，出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。

除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。

在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。

如该说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物，除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“或/和”的含义使用，除非文中清楚地另外规定。

在以下描述中，为了清楚展示本发明的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“上”、“下”等词语理解为方便用语，而不应当理解为限定性词语。

本发明第一实施方式涉及一种仿真视频数据的生成方法，应用于图像处理装置，图像处理装置可以采用本实施例中的仿真测试图像生成方法基于车辆采集数据生成仿真视频图像数据，仿真视频图像数据可以大量生成并回注到数据处理设备中用于进行图像处理算法的训练、测试以及验证等。

本实施方式的仿真视频数据的生成方法的具体流程如图1所示。

步骤101，基于接收到的车辆采集数据，构建对应的初始虚拟场景。

具体而言，车辆采集数据可以由车辆上安装的采集传感器采集得到，车辆采集数据能够反应车辆在行驶时间段内的行驶过程及周围的真实环境变化，包括但不限于：人、车等动态对象，道路、树木、建筑、障碍物、路牌等静态对象，以及人、车等动态对象的运动过程。其中，采集传感器即为待仿真的采集传感器，例如为车载的摄像头传感器、雷达传感器等，例如，采集传感器为摄像头传感器，则车辆采集数据为摄像头所采集的视频数据；采集传感器为雷达传感器，则车辆采集数据为雷达所采集的点云图像数据。采集传感器所采集的车辆采集数据可用于智能驾驶(例如自动驾驶辅助系统ADAS，再例如更高阶的L3、L4、L5级的自动驾驶)。

图像处理装置对于输入的车辆采集数据，能够获取该车辆采集数据所覆盖的行驶时间段中每个时刻得到真实环境中所出现的动态对象与静待对象，以及静态对象、动态对象与车辆的位置关系，继而能够构建出该行驶时间段内的初始虚拟场景；例如，在初始虚拟场景中，能够建模得到车辆在行驶时间段内仿真环境下的仿真道路(包含仿真路面、仿真车道线等)、仿真动态对象(人、车等)、仿真静态对象(树木、建筑、障碍物、路牌等)，以及各仿真动态对象的运动过程，即该初始虚拟场景能够在三维的虚拟仿真环境中表征出车辆在行驶时间段内的行驶过程及车辆周围的真实环境变化。

步骤102，确定初始虚拟场景的初始道路环境信息与目标道路环境信息。

具体而言，初始虚拟场景的初始道路环境信息包含了车辆在行驶时间段内的初始道路环境，图像处理装置车辆可以基于车辆采集数据得到在行驶时间段内的初始道路环境；其中，车辆在行驶时间段中可能始终处于同一种道路环境，也可能在不同的时间段内处于不同的道路环境；常见的道路环境包括但不限于：城市道路环境、野外道路环境、高速道路环境。

在确定了初始虚拟场景的初始道路环境信息后，图像处理装置再确定目标道路环境，该目标道路环境信息中包含一个或多个目标道路环境。

步骤103，根据初始道路环境信息与目标道路环境信息对初始虚拟场景进行调整，得到至少一个目标虚拟场景。

具体而言，图像处理装置所确定出的目标道路环境信息中包含一个或多个目标道路环境用于对初始虚拟场景的初始道路环境信息的初始道路环境进行调整；在每次调整时，可以利用目标道路环境对初始虚拟场景的初始道路环境信息中的至少一个初始道路环境进行道路环境的调整，得到一个新的虚拟场景记作目标虚拟场景，目标虚拟场景表征了车辆在行驶时间段内的行驶过程及非完全真实的车辆周围的环境变化；基于此，通过对初始虚拟场景的初始道路环境的多次调整，得到多个目标虚拟场景，在后续的过程中也能够相应的得到多个仿真视频图像数据。其中，对于每个初始道路环境来说，用于调整该初始道路环境的目标道路环境与该初始道路环境为不同的道路环境。

步骤104，在各目标虚拟场景中取景进行渲染，得到各目标虚拟场景对应的仿真视频图像数据，并将各仿真视频图像数据回注到数据处理设备。

具体而言，针对所得到的每个目标虚拟场景，图像处理装置通过虚拟采集传感器对目标虚拟场景进行取景，再采用设定的渲染分辨率对取景得到数据进行渲染得到仿真视频图像数据。具体的，虚拟采集传感器对目标虚拟场景进行取景，即将目标虚拟场景向虚拟采集传感器进行投影，仿真视频图像数据中的每一个像素需要基于虚拟情境数据中对应的像素通过光线追踪的方式计算得到该像素的颜色。

其中，设定的渲染分辨率可以与所需仿真的采集传感器的采集分辨率相同，也可以小于该采集分辨率，能够减少图像处理装置的渲染压力，若渲染分辨率小于该采集分辨率，则后续再对渲染得到仿真视频图像数据进行上采样得到分辨率与采集传感器的采集分辨率相同的仿真视频图像数据。

图像处理装置在等到分辨率与待仿真的采集传感器的采集分辨率相同的仿真视频图像数据后，再将所得到的仿真视频图像数据回注到数据处理设备，数据处理设备中包含可运行图像处理算法的控制器，控制器利用回注的仿真视频图像数据进行图像处理算法的训练、测试以及验证等。

需要说明的是，本实施例中仅简单描述了对目标虚拟场景进行取景与渲染的过程，现有的取景、渲染技术均可应用在本申请中，在此不再一一赘述。

本实施例中，先基于接收到的车辆采集数据，构建对应的初始虚拟场景，并确定初始虚拟场景的初始道路环境信息与目标道路环境信息；随后根据初始道路环境信息与目标道路环境信息对初始虚拟场景进行调整，得到至少一个目标虚拟场景，即能够通过道路环境的替换得到更多不同背景下的目标虚拟场景，然后在各目标虚拟场景中取景进行渲染得到对应的仿真视频图像数据，各目标虚拟场景与初始虚拟场景所处的背景不同，可以推出各仿真视频图像数据与车辆采集数据所处的背景也是不同的，由此能够得到背景内容更加丰富的仿真视频图像数据，这些不同背景下的仿真视频图像数据回注到数据处理设备中后，有助于数据处理设备利用回注的仿真视频图像数据更好的进行图像处理算法的训练、测试以及验证等。

同时，初始虚拟场景是针对车辆采集数据的虚拟仿真，后续仅对初始虚拟场景的道路环境进行了替换，所得到不同背景下的目标虚拟场景仍然能反映出车辆在行驶时间段内的真实环境变化，然后得到的不同背景下的仿真视频图像数据被回注到数据处理设备中，在不同背景下识别检测动态对象、静待对象的难度、影响是不同的，由此数据处理设备基于这些不同背景下的仿真视频图像数据完成算法的训练、测试及验证流程后，使得算法在不同背景下均能有效的识别动态对象与静待对象，以更好的辅助智能驾驶。

本发明的第二实施例涉及一种仿真视频数据的生成方法，本实施方式相对于第一实施方式而言，主要区别之处在于：本实施例提供了生成目标虚拟场景的一种具体实现方式。

本实施例的仿真视频数据的生成方法的具体流程如图2所示。

步骤201，基于接收到的车辆采集数据，构建对应的初始虚拟场景。与第一实施例中的步骤101大致相同，在此不再赘述。

步骤202，确定初始虚拟场景的初始道路环境信息与目标道路环境信息，包括以下子步骤：

子步骤2021，将车辆采集数据覆盖的车辆行驶时间段内按照道路环境划分为多个子时间段，每个子时间段内各个时刻的道路环境相同，相邻两个子时间段的道路环境不同。

具体而言，车辆在行驶时间段内行驶的过程中，可能始终处于同一种道路环境，也有可能随着时间的道路环境不断的发生变化，例如车辆先处于城市道路环境，随后又进入了野外道路环境。

图像处理装置在确定车辆在行驶时间段内所包含的道路环境时，先获取在车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境，然后基于车辆行驶时间段内各个时刻的道路环境，将车辆行驶时间段内道路环境相同的连续时刻作为一个子时间段，由此能够将车辆行驶时间段划分为多个子时间段，每个子时间段内各个时刻的道路环境相同，相邻两个子时间段的道路环境不同。在一个例子中，在确定了车辆行驶时间段内每个时刻的道路环境后，可以对车辆行驶时间段内各个时刻的道路环境进行修正，例如对于每个时刻的道路环境，若该时刻的道路环境与相邻的两个时刻的道路环境均不相同，则可以将该时刻的道路环境修正为相邻的两个时刻的道路环境中的任意一个。

将车辆行驶时间段划分为多个子时间段的方式例如为：假设行驶时间段包括M个时刻，分别为t1、t2、t3、……、t(m-1)、tm，以t1时刻作为第1个子时间段的起始时刻，再依时序读取各个时刻的道路环境，当读取到第n个时刻时，若第n时刻的道路环境与第n-1时刻的道路环境相同，则将第n时刻划分到第n-1时刻所处的子时间段内；若第n时刻的道路环境与第n-1时刻的道路环境不相同，则将第n-1时刻作为其所属的子时间段的结束时刻，将第n时刻作为一个新的子时间段的起始时刻，随后重复上述过程，直至完成所有的时刻的道路环境的读取，此时车辆行驶时间段被划分为多个子时间段。其中，1＜n＜m，n为整数。

举例来说，以t1时刻作为第1个子时间段的起始时刻，t1时刻的道路环境为第1个子时间段的道路环境，再读取t2时刻的道路环境，t2时刻的道路环境与t1时刻的道路环境相同，将t2时刻划分到第1个子时间段，读取的t3时刻的道路环境与t2时刻的道路环境相同，将t3时刻划分到第1个子时间段，t4时刻的道路环境与t3时刻的道路环境不同，将t3时刻作为第1个子时间段的结束时刻，t4时刻作为第2个子时间段的起始时刻，t2时刻的道路环境为第2个子时间段的道路环境，重复上述过程，直至将tm时刻也划分到对应的子时间段；通过划分得到，第1子时间段包含t1至t3时刻，第1子时间段的道路环境为道路环境A，第2子时间段包含t4至t(m-5)时刻，第2子时间段的道路环境为道路环境B，第3子时间段包含t(m-4)至tm时刻，第3子时间段的道路环境为道路环境C，道路环境A与道路环境B不同，道路环境B与道路环境C不同，道路环境A与道路环境C可以相同或不同。

本实施例中，图像处理装置获取在车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境的方式包括以下两种：

第一方式，基于车辆采集数据中车辆的位置信息与地图上预设的道路环境标识，得到在车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境。具体的，地图上预先标注了每条道路所对应的道路环境标识，例如在城市范围内的道路其对应的道路环境标识为城市道路环境、在高速道路对应的道路环境标识为高速道路环境、对于未在任一已知道路的行驶路线，则将其对应的道路环境标识为野外道路环境。

车辆采集数据中包含车辆行驶时间段内每个时刻的位置信息，位置信息可以为定位位置或者导航信息，结合地图便能够得到车辆行驶时间段内每个时刻所处的道路，继而可以确定出每个时刻的道路环境标识，即确定出了每个时刻的初始道路环境。

第二方式，基于识别得到的车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路特征，得到在车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境。

车辆采集数据中包含了车辆行驶时间段内每个时刻车辆周围所出现的道路特征，包含了人、障碍物、路牌、树木等，基于每个时刻车辆周围所出现的道路特征，每种道路环境有其所对应的道路特征，由此能够确定出各个时刻的道路环境。举例来说，当前时刻车辆周围所出现的道路特征包含路牌，通过文字识别技术得到路牌上的文字，若路牌上包含了高速路编号(例如S203高速路、G40高速路、G42高速路等)、高速路名称(例如XX高速)，则能够确定该路牌为高速路牌，高速路牌对应了高速道路环境，则确定出当前时刻的道路环境为高速道路环境；若路牌上包含了道路名称(例如XX大街、XX路等)，则能够确定该路牌为城市路牌，城市路牌对应了城市道路环境，能够确定出当前时刻的道路环境为城市道路环境；又或者，当前时刻车辆周围所出现的道路特征中包含了多个高层建筑，高层建筑对应了城市道路环境，则能够确定出当前时刻的道路环境为城市道路环境；又或者，当前时刻车辆周围所出现的道路特征中包含了多个行人，行人对应了城市道路环境，则能够确定出当前时刻的道路环境为城市道路环境；又或者，当前时刻车辆周围所出现的道路特征中包含了多种树木，通过树木种类、大小等特征识别，确定出该树木为野外树木，则能够确定出当前时刻的道路环境为野外道路环境。

需要说明的是，获取在车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境时，还可以结合上述两种方式来综合得到每个时刻的道路环境，又或者采用上述的一种或两种方式多次识别来综合得到每个时刻的道路环境。

子步骤2022，对于初始虚拟场景中每个子时间段内的初始子场景，获取初始子场景的初始道路环境与目标道路环境。

具体而言，基于子步骤2021将车辆采集数据覆盖的车辆行驶时间段划分为多个子时间段后，初始虚拟场景也可以相应的被划分为多个初始子场景，初始虚拟场景中每个子时间段内的场景即为一个初始子场景，即初始子场景与子时间段一一对应，每个子时间段的道路环境即为其所对应的初始子场景的初始道路环境，每个子时间段的初始子场景表征了车辆在该子时间段内的行驶过程及车辆周围的真实环境变化。由此，能够获取各初始子场景的初始道路环境。

随后再获取各初始子场景的目标道路环境，目标道路环境可以为一个或多个，各初始子场景的目标道路环境分别用于替换各初始子场景的初始道路环境。

在一些实施例中，对于每个初始子场景来说，获取该初始子场景的初始道路环境与目标道路环境的方式可以为以下三种中的任意一种。

第一方式，获取初始子场景的初始道路环境，并将预设的第一道路环境设定为初始子场景的的目标道路环境。具体的，对于每个子时间段的初始子场景来说，在获取该初始子场景的初始道路环境之后，将第一道路环境作为该初始子场景的目标道路环境，能够获取道路环境统一的一个目标虚拟场景，从而可以获取单一道路环境下充分的素材，便于后续数据处理设备针对单一道路环境进行算法的训练、测试及验证流程。

举例来说，初始虚拟场景被划分得到3个子时间段的初始子场景，分别为子时间段1的初始子场景A、子时间段2的初始子场景B、子时间段3的初始子场景C，初始子场景A的初始道路环境为高速道路环境、初始子场景B的初始道路环境为野外道路环境、初始子场景C的初始道路环境为城市道路环境，预设的第一道路环境为野外道路环境，则将初始子场景A的目标道路环境设置为野外道路环境、初始子场景C的目标道路环境设置为野外道路环境；在后续进行道路环境替换时，将初始子场景A的道路环境由高速道路环境替换为野外道路环境、将初始子场景C的道路环境由城市道路环境替换为野外道路环境，其中初始子场景B的初始道路环境为野外道路环境，无需对初始子场景B进行道路环境的替换，可以减轻图像处理装置的计算压力；基于此，能够得到全程均为野外道路环境的目标虚拟场景。

第二方式，获取初始子场景的初始道路环境，并将与初始道路环境不同的另一道路环境作为初始子场景的的目标道路环境。具体的，对于每个子时间段的初始子场景来说，在获取该初始子场景的初始道路环境之后，将与该初始子场景的初始道路道路环境不同的其他道路环境作为该初始子场景的目标道路环境，后续会针对每个初始子场景进行道路环境的替换，得到道路环境变化更加的丰富目标虚拟场景。

举例来说，初始虚拟场景被划分得到3个子时间段的初始子场景，分别为子时间段1的初始子场景A、子时间段2的初始子场景B、子时间段3的初始子场景C，初始子场景A的初始道路环境为高速道路环境、初始子场景B的初始道路环境为野外道路环境、初始子场景C的初始道路环境为城市道路环境，随后可以设置始子场景A的目标道路环境为城市道路环境、初始子场景B的目标道路环境为高速道路环境、初始子场景C的目标道路环境为野外道路环境。在后续进行道路环境替换时，将初始子场景A的道路环境由高速道路环境替换为城市道路环境、将初始子场景B的道路环境由野外道路环境替换为高速道路环境。

第三方式，获取初始子场景的初始道路环境，若初始道路环境为第二道路环境，将与第二道路环境不同的第三道路环境作为初始子场景的的目标道路环境。具体的，对于每个子时间段的初始子场景来说，在获取该初始子场景的初始道路环境之后，判断该初始子场景的初始道路环境是否为第二道路环境，若是，则将该初始子场景的目标道路环境设置为第三道路环境，第三道路环境是与第二道路环境不同的另一道路环境；若否，则无需对该初始子场景进行道路环境的替换，可以减轻图像处理装置的计算压力；即针对第二道路环境进行单独替换，由此能够得到无第二道路环境的目标虚拟场景，便于数据处理设备针对无第二道路环境的道路场景下，进行算法的训练、测试及验证流程。

举例来说，初始虚拟场景被划分得到3个子时间段的初始子场景，分别为子时间段1的初始子场景A、子时间段2的初始子场景B、子时间段3的初始子场景C，初始子场景A的初始道路环境为高速道路环境、初始子场景B的初始道路环境为野外道路环境、初始子场景C的初始道路环境为城市道路环境，假设第二道路环境为高速道路环境、第三道路环境为城市道路环境，其中仅初始子场景A的初始道路环境为高速道路环境，则设置初始子场景A的目标道路环境为城市道路环境。在后续进行道路环境替换时，将初始子场景A的道路环境由高速道路环境替换为城市道路环境，其中初始子场景B、初始子场景C的初始道路环境均不是高速道路环境，无需对初始子场景B、初始子场景C进行道路环境的替换，可以减轻图像处理装置的计算压力。

步骤203，针对每个子时间段的初始子场景，获取初始子场景的初始道路环境所包含的N个初始元素以及初始子场景的任一目标道路环境对应的预设元素集合，并将N个初始元素中的一个或多个初始元素替换为预设元素集合中的目标元素，得到一个目标虚拟场景在子时间段内的目标子场景，N为正整数。

具体而言，初始虚拟场景被划分为了与多个子时间段一一对应的多个初始子场景，在对初始虚拟场景进行一次道路环境的替换时，针对初始虚拟场景的每个子时间段内的初始子场景，将该初始子场景的道路环境替换为该初始子场景的任一目标道路环境，能够得到在目标虚拟场景在该时间段内的目标子场景，每个子时间段的目标子场景表征了车辆在该子时间段内的行驶过程及非完全真实的车辆周围的环境变化；重复该过程中，能够得到目标虚拟场景在各子时间段内的目标子场景，将所得到的各个子时间段的目标子场景组合后能够得到初始虚拟场景在本次道路环境替换后得到的一个目标虚拟场景。基于上述过程，对初始虚拟场景进行多次道路环境的替换，每次替换时确保对初始虚拟场景的至少一个子时间段内的初始子场景采用不同的道路环境进行替换，由此能够得到多个不同的目标虚拟场景。

下面以初始虚拟场景的一个子时间段内的初始子场景为例，对初始子场景的道路环境替换进行详细说明。

获取子时间段内的初始子场景的初始道路环境所包含的N个初始元素(N为正整数)，即N个初始元素即为车辆在该子时间段内周围环境所出现的动态对象与静态对象。

从该初始子场景的目标道路环境中选取一个目标道路环境用来替换该初始子场景的初始道路环境，先获取所选取的目标道路环境所包含的预设元素集合，该预设元素集合包含多个目标元素。

目标道路环境所包含的预设元素集合中的目标元素用于替换初始子场景的初始道路环境中的初始元素，对于初始道路环境包含的N个初始元素中每个初始元素，预设元素集合中替换该初始元素的目标元素包括以下至少之一：

替换N个初始元素中的第一初始元素的第一类目标元素，第一类目标元素包括预设元素集合中的至少一个目标元素，第一类目标元素中的目标元素与第一初始元素的类型相同。其中，元素的类型指的是元素的类别，例如为树木、车辆、行人等，对于初始道路环境包含的N个初始元素中的第一初始元素(第一初始元素可以为N个初始元素中的任意一个初始元素)，从目标道路环境的预设元素集合中选取与第一初始元素类型相同的目标元素，组合得到第一类目标元素，第一类目标元素中所包含的目标元素即为用于替换第一初始元素的目标元素。举例来说，第一初始元素的类型为树木，则从目标道路环境的预设元素集合中选取类型为树木的所有目标元素组成第一类目标元素。

替换N个初始元素中的第二初始元素的第二类目标元素，第一类目标元素包括预设元素集合中的至少一个目标元素，第二类目标元素中的目标元素与第二初始元素满足预设的元素对应关系。对于初始道路环境包含的N个初始元素中的第二初始元素(第二初始元素可以为N个初始元素中的任意一个初始元素)，图像处理装置中预设了元素对应关系，元素对象关系表征的是初始道路环境的初始元素与目标道路环境的预设元素集合中的目标元素之间的对应关系，由此可以查询该元素对应关系，得到预设元素集合中与第二初始元素对应的目标元素组成第二类目标元素，第二类目标元素中所包含的目标元素即为用于替换第二初始元素的目标元素。举例来说，初始子场景的初始道路环境为城市道路环境、目标道路环境为高速道路环境，第二初始元素为建筑物，元素对应关系中设定了城市道路环境的建筑物对应于高速道路环境的树木，由此通过查询该元素对应关系，从预设元素集合中选取类型为树木的所有目标元素组成第二类目标元素。

替换N个初始元素中的第三初始元素的第三类目标元素，第一类目标元素包括预设元素集合中的至少一个目标元素，第三类目标元素中的目标元素的属性与第二初始元素的属性相匹配。其中，元素的属性为元素的外部观测特性，例如体积、所处位置等，对于初始道路环境包含的N个初始元素中的第三初始元素(第一初始元素可以为N个初始元素中的任意一个初始元素)，从预设元素集合中选取与第三初始元素属性匹配的目标元素组成第三类目标元素，第三类目标元素中所包含的目标元素即为用于替换第三初始元素的目标元素。举例来说，初始道路环境为城市道路环境、目标道路环境为高速道路环境，属性匹配例如为所处位置上的匹配，若第三初始元素为建筑物，建筑物与树木在位置上均处于道路两边，认为二者属性匹配，从预设元素集合中选取处于道路两边的树木作为目标元素组成第三类目标元素；若第三初始元素为人，识别出的人在城市道路的中间，在高速道路环境中，处于高速道路中间的一般为障碍物，则从预设元素集合中选取可能出现在高速道路中间的障碍物作为目标元素组成第三类目标元素。

本实施例中，可以将上述三种从预设元素集合中选取替换初始元素的目标元素的方式设置不同的优先级，按照优先级高低来选取替换初始元素的目标元素。

对于子时间段内的初始子场景中N个初始元素中被替换的目标初始元素，在基于上述方式获取了替换该目标初始元素的目标元素后，进行元素的替换。

当N个初始元素中的目标初始元素被预设元素集合中的一个目标元素替换时，若目标初始元素的体积与一个目标元素的体积匹配，将一个目标元素的边界轮廓上的各边界点分别映射到目标初始元素的边界轮廓上，以替换目标初始元素；若目标初始元素的体积为一个目标元素的体积的多倍时，则将多个一个目标元素组合后替换目标初始元素。

以子时间段内的初始子场景的N个初始元素中被替换的目标初始元素X为例，若该目标初始元素X由目标元素Y来替换，将目标初始元素X与目标元素Y进行体积的对比，若目标初始元素X的体积除以目标元素Y的体积的商值在0至2之间，判定二者的体积匹配，此时仅需一个目标元素Y来替换目标初始元素X即可，替换方式为，先获取目标元素Y的边界轮廓上的所有的边界点与目标初始元素X的边界轮廓上的边界点，然后设置目标元素Y的边界轮廓上的边界点与目标初始元素X的边界轮廓上的边界点对应关系并进行映射，将目标元素Y的边界轮廓上的边界点一一映射到目标初始元素X的边界轮廓上，由此实现了目标初始元素X到目标元素Y的元素替换。在另一个例子中，还可以获取目标初始元素X的重心点与目标元素Y的重心点，将二者重心点设置为重合，实现目标初始元素X到目标元素Y的元素替换。

若目标初始元素X的体积除以目标元素Y的体积的商值大于或等于2，则利用多个目标元素Y来替换该目标初始元素X，目标初始元素X的数量等于上述的商值向上取整，假设利用K个(K为大于或等于2的整数)目标元素Y来替换该目标初始元素X，则K个目标元素Y的体积之和大于目标初始元素X体积，则可以将K个目标元素Y之间进行叠放，叠放之后的K个目标元素Y的体积之和等于目标初始元素X体积，随后将叠放之后的K个目标元素Y作为一体采用上述的边界轮廓映射方式将到K个目标元素Y映射到目标初始元素X的边界轮廓上，由此实现了目标初始元素X到K个目标元素Y的元素替换。

当N个初始元素中的目标初始元素被预设元素集合中的多个目标元素替换时，若目标初始元素的体积小于多个目标元素中的各目标元素的体积，则从多个目标元素中的选择一个目标元素替换目标初始元素。

若目标初始元素的体积大于多个目标元素中至少两个目标元素的体积之和，则从多个目标元素中选取体积小于目标初始元素的多个目标元素组合后替换目标初始元素。

若多个目标元素中存在体积与目标初始元素的体积匹配的至少一个目标元素，则从多个目标元素中选取体积与目标初始元素目标初始元素的体积匹配的目标元素替换目标初始元素。

以子时间段内的初始子场景的N个初始元素中被替换的目标初始元素X为例，若该目标初始元素X由多个目标元素来替换，将目标初始元素X分别与这多个目标元素一一进行体积对比，若目标初始元素X的体积小于各个目标元素的体积，则从多个目标元素中选择一个目标元素来替换目标初始元素X，元素之间的替换可以采用上述的边界轮廓映射方式来实现，在此不再赘述。

若目标初始元素X的体积为这多个目标元素中至少两个目标元素的体积之和，则说明至少有两个目标元素的体积是小于目标初始元素X，则从多个目标元素中选取体积小于目标初始元素X的多个目标元素来替换目标初始元素X，即目标初始元素X与目标元素进行一对多的替换，元素之间的替换与上述的“K个目标元素Y来替换该目标初始元素X”类似，在此不再一一赘述。

若这多个目标元素中存在体积与目标初始元素X匹配的至少一个目标元素，则从多个目标元素中选取体积与目标初始元素X匹配的一个目标元素(记作目标元素Z)来替换目标初始元素X，元素之间的替换可以采用上述的边界轮廓映射方式来实现，在此不再赘述。

在一个例子中，在将N个初始元素中的一个或多个初始元素替换为预设元素集合中的目标元素之前，还包括：判断N个初始元素中与预设元素集合的目标元素类型相同的初始元素的数量是否满足预设条件；若N个初始元素中与预设元素集合的目标元素类型相同的初始元素的数量满足预设条件，则将初始子场景作为一个目标虚拟场景中在子时间段内的目标子场景；若N个初始元素中与预设元素集合的目标元素类型相同的初始元素的数量不满足预设条件，则进入将N个初始元素中的一个或多个初始元素替换为预设元素集合中的目标元素的步骤。

即，在对一个子时间段内初始子场景的初始道路环境的N个初始元素中的初始元素进行替换之前，先判断该这N个初始元素中与预设元素集合的目标元素类型相同的初始元素的数量是否满足预设条件，预设条件例如为与预设元素集合的目标元素类型相同的初始元素的数量占N个初始的比例达到预设的比例上限值，若满足该预设条件，则判定需要进行道路环境的替换，将N个初始元素中的一个或多个初始元素替换为预设元素集合中的目标元素，元素替换的方式可以参照前述内容，在此不再赘述。若满足该预设条件，则判定无需进行道路场景的替换，直接将该子时间段内的初始子场景作为目标虚拟场景在子时间段内的目标子场景。举例来说，若初始子场景的初始道路环境为城市道路环境、目标道路环境为高速道路环境，若该初始子场景所处的城市道路环境下，道路两边仍然是树木茂密的场景，则其与高速道路环境相似，无需进行道路环境的替换。又例如，初始子场景的初始道路环境为高速道路环境、目标道路环境为城市道路环境，若该初始子场景所处的高速道路环境，道路两边仍然是建筑物林立，则其与城市道路环境相似，无需进行道路环境的替换。

在另一个例子中，某子时间段内初始子场景的初始道路环境的N个初始元素中与该初始道路环境所对应的预设元素集合中元素类型相同的元素，占N个初始元素的比例小于预设的比例下限值，则判定初始子场景的初始道路环境无法体现该初始道路环境的环境特征，也无需进行道路环境的替换。

步骤204，在各目标虚拟场景中取景进行渲染，得到各目标虚拟场景对应的仿真视频图像数据，并将各仿真视频图像数据回注到数据处理设备。与第一实施例中的步骤104大致相同，在此不再赘述。

本实施例中，在将一个时间段内的初始子场景的初始道路环境替换为目标道路环境时，通过元素替换的方式来实现道路环境的替换，由此能够充分替换道路环境之间的差异化，所得到的该时间段内的目标子场景能够更好的模拟出目标道路环境的效果。

以针对用于进行车辆、人识别的算法为例，通过替换道路环境的元素所得到的目标虚拟场景，后续基于该目标虚拟场景所得到的仿真视频图像数据被回注到数据处理设备进行算法训练后，能够提升在不同背景下该算法识别出车辆、人的准确度，有助于提升算法的兼容性。举例来说，初始子场景的初始道路环境为高速道路环境、目标道路环境为城市道路环境，被替换的初始元素为树木，替换树木的目标元素为建筑物，相对于树木来说，建筑物常采用玻璃外墙，因此树木的反光相较于建筑物也少很多，在初始子场景由高速道路环境被替换为城市道路环境后进行算法训练，训练所得到的算法在外部反光较强时，仍然能达到较好的识别准确率。

本发明的第三实施例涉及一种图像生成装置，图像生成装置可以为包括GPU的工控机，图像生成装置用于执行第一或第二实施例中的仿真视频数据的生成方法，图像生成装置可以大量生成仿真视频图像数据，并将生成的仿真视频图像数据回注到数据处理设备中用于进行图像处理算法的训练、测试以及验证等。

本发明的第四实施例涉及一种可读存储介质，其特征在于，存储有程序，程序运行时实现如第一或第二实施例中的仿真视频数据的生成方法。

以上已详细描述了本发明的较佳实施例，但应理解到，若需要，能修改实施例的方面来采用各种专利、申请和出版物的方面、特征和构思来提供另外的实施例。

考虑到上文的详细描述，能对实施例做出这些和其它变化。一般而言，在权利要求中，所用的术语不应被认为限制在说明书和权利要求中公开的具体实施例，而是应被理解为包括所有可能的实施例连同这些权利要求所享有的全部等同范围。

Claims (9)

1.一种仿真视频数据的生成方法，其特征在于，包括：

基于接收到的车辆采集数据，构建对应的初始虚拟场景；

确定所述初始虚拟场景的初始道路环境信息与目标道路环境信息；

根据所述初始道路环境信息与所述目标道路环境信息对所述初始虚拟场景进行调整，得到至少一个目标虚拟场景；

在各所述目标虚拟场景中取景进行渲染，得到各所述目标虚拟场景对应的仿真视频图像数据，并将各所述仿真视频图像数据回注到数据处理设备；

其中，所述确定所述初始虚拟场景的初始道路环境信息与目标道路环境信息，包括：

将所述车辆采集数据覆盖的车辆行驶时间段内按照道路环境划分为多个子时间段，每个所述子时间段内各个时刻的道路环境相同，相邻两个所述子时间段的道路环境不同；

对于所述初始虚拟场景中每个所述子时间段内的初始子场景，获取所述初始子场景的初始道路环境与目标道路环境；

所述根据所述初始道路环境信息与所述目标道路环境信息对所述初始虚拟场景进行调整，得到至少一个目标虚拟场景，包括：

针对每个所述子时间段的所述初始子场景，获取所述初始子场景的初始道路环境所包含的N个初始元素以及所述初始子场景的任一目标道路环境对应的预设元素集合，并将所述N个初始元素中的一个或多个所述初始元素替换为所述预设元素集合中的目标元素，得到一个目标虚拟场景在所述子时间段内的目标子场景，N为正整数。

2.根据权利要求1所述的仿真视频数据的生成方法，其特征在于，所述预设元素集合中替换所述N个初始元素中的初始元素的目标元素包括以下至少之一：

替换所述N个初始元素中的第一初始元素的第一类目标元素，所述第一类目标元素包括所述预设元素集合中的至少一个所述目标元素，所述第一类目标元素中的所述目标元素与所述第一初始元素的类型相同；

替换所述N个初始元素中的第二初始元素的第二类目标元素，所述第一类目标元素包括所述预设元素集合中的至少一个所述目标元素，所述第二类目标元素中的所述目标元素与所述第二初始元素满足预设的元素对应关系；

替换所述N个初始元素中的第三初始元素的第三类目标元素，所述第一类目标元素包括所述预设元素集合中的至少一个所述目标元素，所述第三类目标元素中的所述目标元素的属性与所述第二初始元素的属性相匹配。

3.根据权利要求1所述的仿真视频数据的生成方法，其特征在于，所述将所述N个初始元素中的一个或多个所述初始元素替换为所述预设元素集合中的目标元素，包括：

当所述N个初始元素中的目标初始元素被所述预设元素集合中的一个所述目标元素替换时，若所述目标初始元素的体积与所述一个所述目标元素的体积匹配，将所述一个所述目标元素的边界轮廓上的各边界点分别映射到所述目标初始元素的边界轮廓上，以替换所述目标初始元素；若所述目标初始元素的体积为所述一个所述目标元素的体积的多倍时，则将多个所述一个所述目标元素组合后替换所述目标初始元素；

当所述N个初始元素中的目标初始元素被所述预设元素集合中的多个所述目标元素替换时，若所述目标初始元素的体积小于所述多个目标元素中的各所述目标元素的体积，则从所述多个目标元素中的选择一个所述目标元素替换所述目标初始元素；

若所述目标初始元素的体积大于所述多个目标元素中至少两个所述目标元素的体积之和，则从所述多个目标元素中选取体积小于所述目标初始元素的多个所述目标元素组合后替换所述目标初始元素；

若所述多个目标元素中存在体积与所述目标初始元素的体积匹配的至少一个所述目标元素，则从所述多个目标元素中选取体积与目标初始元素所述目标初始元素的体积匹配的所述目标元素替换所述目标初始元素。

4.根据权利要求1所述的仿真视频数据的生成方法，其特征在于，在所述将所述N个初始元素中的一个或多个所述初始元素替换为所述预设元素集合中的目标元素之前，还包括：

判断所述N个初始元素中与所述预设元素集合的目标元素类型相同的所述初始元素的数量是否满足预设条件；

若所述N个初始元素中与所述预设元素集合的目标元素类型相同的所述初始元素的数量满足预设条件，则将所述初始子场景作为一个目标虚拟场景中在所述子时间段内的目标子场景；

若所述N个初始元素中与所述预设元素集合的目标元素类型相同的所述初始元素的数量不满足预设条件，则进入所述将所述N个初始元素中的一个或多个所述初始元素替换为所述预设元素集合中的目标元素的步骤。

5.根据权利要求1所述的仿真视频数据的生成方法，其特征在于，所述将所述车辆采集数据覆盖的车辆行驶时间段内按照道路环境划分为多个子时间段，包括：

基于所述车辆采集数据中车辆的位置信息与地图上预设的道路环境标识，得到在所述车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境；

将所述车辆行驶时间段内道路环境相同的连续时刻作为一个子时间段。

6.根据权利要求1所述的仿真视频数据的生成方法，其特征在于，所述将所述车辆采集数据覆盖的车辆行驶时间段内按照道路环境划分为多个子时间段，包括：

基于识别得到的所述车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路特征，得到在所述车辆采集数据覆盖的车辆行驶时间段内每个时刻的道路环境；

将所述车辆行驶时间段内道路环境相同的连续时刻作为一个子时间段。

7.根据权利要求1所述的仿真视频数据的生成方法，其特征在于，所述获取所述初始子场景的初始道路环境与目标道路环境，包括：

获取所述初始子场景的初始道路环境，并将预设的第一道路环境设定为所述初始子场景的的目标道路环境；或者，

获取所述初始子场景的初始道路环境，并将与所述初始道路环境不同的另一道路环境作为所述初始子场景的的目标道路环境；或者，

获取所述初始子场景的初始道路环境，若所述初始道路环境为第二道路环境，将与所述第二道路环境不同的第三道路环境作为所述初始子场景的的目标道路环境。

8.一种图像生成装置，其特征在于，用于执行权利要求1至7中任一项所述的仿真视频数据的生成方法。

9.一种可读存储介质，其特征在于，存储有计算机程序，所述计算机程序运行时实现如权利要求1至7中任一项所述的仿真视频数据的生成方法。