CN111652062B - 一种基于无人驾驶的样本图像处理方法、装置及介质 - Google Patents

Abstract

本发明提供一种基于无人驾驶的样本图像处理方法、装置及介质。方法包括：获取车辆的运行环境数据；基于运行环境数据得到包含目标对象的目标图像；在目标图像中确定目标对象的当前显示区域；从运行环境数据提取目标对象的属性信息，以及根据属性信息和当前显示区域确定目标对象的被遮挡情况；当被遮挡情况符合预设要求时，从运行环境数据提取目标对象对应的关联数据，以及基于属性信息和对应的关联数据对目标图像进行标注。本发明能够快速获取符合内容要求的目标图像，减少进行人工采集的工作量。从图像数量、图像内容主题(对应被遮挡情况)和图像内容丰富度(对应预设要求)上保证样本图像的品质，保证训练得到的模型具有较高的识别适应能力。

Description

一种基于无人驾驶的样本图像处理方法、装置及介质

技术领域

本发明涉及汽车技术领域，特别涉及一种基于无人驾驶的样本图像处理方法、装置及介质。

背景技术

随着科学技术的迅猛发展，汽车已经成为人们生活中不可或缺的代步工具。伴随科技发展和人们的需要，汽车上的科技也得到了飞跃性的发展，自动驾驶的出现更是提升了道路交通智能化水平。无人驾驶汽车是一种通过电脑系统实现无人驾驶的智能汽车。无人驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。

感知能力在一定程度上决定这无人驾驶汽车的技术高度。对图像(包括二维图像、三维图像等)的识别能力体现着感知能力的高低。在相关技术中，往往基于机器学习模型的训练来提高对图像的识别能力，相应的，在训练中存在大量的样本图像需求。这些样本图像需要满足相应的内容要求，然而，以人工进行图像采集，虽然可以得到符合要求的图像，但是效率低下，无法满足模型训练所用样本图像的数量需求。

发明内容

为了解决现有技术应用在获取样本图像时，存在的效率低等问题，本发明提供了一种基于无人驾驶的样本图像处理方法、装置及介质：

一方面，本发明提供了一种基于无人驾驶的样本图像处理方法，所述方法包括：

获取车辆的运行环境数据；

基于所述运行环境数据得到包含目标对象的目标图像；

在所述目标图像中确定所述目标对象的当前显示区域；

从所述运行环境数据提取所述目标对象的属性信息，以及根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况；

当所述被遮挡情况符合预设要求时，从所述运行环境数据提取所述目标对象对应的关联数据，以及基于所述属性信息和所述对应的关联数据对所述目标图像进行标注。

另一方面提供了一种基于无人驾驶的样本图像处理装置，其特征在于，所述装置包括：

运行环境数据获取模块：用于获取车辆的运行环境数据；

目标图像得到模块：用于基于所述运行环境数据得到包含目标对象的目标图像；

当前显示区域确定模块：用于在所述目标图像中确定所述目标对象的当前显示区域；

被遮挡情况确定模块：用于从所述运行环境数据提取所述目标对象的属性信息，以及根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况；

图像处理模块：用于当所述被遮挡情况符合预设要求时，从所述运行环境数据提取所述目标对象对应的关联数据，以及基于所述属性信息和所述对应的关联数据对所述目标图像进行标注。

另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的基于无人驾驶的样本图像处理方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的基于无人驾驶的样本图像处理方法。

本发明提供的一种基于无人驾驶的样本图像处理方法、装置及介质，具有如下技术效果：

本发明为无人驾驶领域提供了一种训练模型用样本图像的处理方法。本发明能够快速获取符合内容要求的目标图像，减少进行人工采集的工作量和成本。目标对象的被遮挡情况可以作为衡量目标图像内容主题的重要因素，预设要求可以作较灵活的设置，两者结合可以平衡对目标图像的内容主题和内容丰富度要求。本发明从图像数量、图像内容主题以及图像内容丰富度上保证样本图像的品质，进而保证训练得到的模型具有较高的识别适应能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种应用环境的示意图；

图2是本发明实施例提供的一种基于无人驾驶的样本图像处理方法的流程示意图；

图3是本发明实施例提供的构建虚拟环境的一种流程示意图；

图4是本发明实施例提供的获取车辆的运行环境数据的一种流程示意图；

图5是本发明实施例提供的根据属性信息和当前显示区域确定目标对象的被遮挡情况的一种流程示意图；

图6是本发明实施例提供的确定将目标图像加入样本图像库的一种流程示意图；

图7是本发明实施例提供的一种基于无人驾驶的样本图像处理装置的组成框图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，有车辆在目标环境中运行，该目标环境中还可以包括有交通灯、车道线、指示牌、行人、其他车辆(比如机动车、非机动车)等交通参与者，它们在一定情形下可视作该车辆的障碍物。服务器获取该车辆的运行环境数据，服务器基于该运行环境数据得到包含有障碍物的图像，服务器基于该图像中障碍物的被遮挡情况确定是否对该图像进行标注。需要说明的是，图1仅仅是一种示例。

具体的，服务器可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器可以包括有网络通信单元、处理器和存储器等等。

在实际应用中，无人驾驶领域涉及的机器学习模型可以包括车道线模型、交通灯模型、车辆和行人模型等。上述标注的图像可以作为加入样本图像库的候选图像。

以下介绍本发明一种基于无人驾驶的样本图像处理方法的具体实施例，图2是本发明实施例提供的一种基于无人驾驶的样本图像处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

S201：获取车辆的运行环境数据；

在本发明实施例中，服务器获取车辆的运行环境数据。车辆可以为在真实环境(比如真实城市)中运行的真实车辆，车辆也可以为在虚拟环境(比如构建的虚拟城市)中运行的虚拟车辆。运行环境数据指示车辆在对应的环境中运行涉及的相关数据。

在一个具体的实施例中，当以将虚拟车辆放入虚拟环境中漫游的方式获取运行环境数据时，如图3所示，所述获取车辆的运行环境数据之前，所述方法还包括：

S301：配置环境基础信息和环境对象信息；

S302：配置对应所述车辆的车辆属性信息和检测信息；

S303：利用图形引擎渲染所述环境基础信息、所述环境对象信息、所述车辆属性信息和所述检测信息得到驾驶场景；

虚拟环境可以与真实环境对应的交通场景类似。相比于获取来自真实环境的车辆的运行环境数据，借助计算机构建虚拟环境，具有无安全风险、测试速度快、成本低等优点。环境基础信息可以包括以下至少一个：虚拟环境对应的地形信息(比如可以对应山地地形、平原地形等)、地区信息(比如可以对应左舵车国家、右舵车国家；可以对应城市区域、农村区域)、路段信息(比如可以对应拥堵路段等)、时间信息(比如可以对应日间、夜间、冬季等)、天气信息(比如可以对应晴朗天气、雨雪天气、雾霾天气等)、取景间隔时间信息和漫游规则信息(比如可以对应交通道路行驶规则等)。环境对象信息可以指示存在于虚拟环境中与车辆相对的交通参与者的自身属性信息，比如交通灯的属性信息、车道线的属性信息、指示牌的属性信息、行人的属性信息、其他车辆(比如机动车、非机动车)的属性信息等。

车辆的车辆属性信息也是指示该车辆的自身属性信息，比如汽车类型、汽车颜色、汽车材质等。车辆的检测信息可以指示从该车辆出发对虚拟环境进行检测的相关信息。车辆的检测信息可以包括检测模块的类型信息(比如摄像头、激光雷达、毫米波雷达、超声波雷达)、检测模块的检测设置信息(比如视场角设置、朝向设置)、检测模块在车辆上的安装信息(比如安装位置、安装方式)等。具体的，检测模块(属于图形引擎)作为真实传感器的仿真模块，可以模拟真实传感器采集信息、转换信息以及输出信息。当然，检测模块的类型信息可以指向摄像头与激光雷达的组合。

在实际应用中，可以基于不同的分类标准将上述记载的配置信息进行分类，相应的，可以分别为用户提供用于输入每个分类的配置信息的用户交互界面。由配置工具模块(属于服务器)将接收到的输入数据进行整合，再将整合后的数据发送给图形引擎(属于服务器)。图像引擎对整合后的数据进行渲染，输出对应的驾驶场景。

以上记载的配置信息明确了将构建怎样的一个虚拟环境，以及车辆在这样的虚拟环境中运行时，每隔多长时间对驾驶场景作一次取景截图。

相应的，所述检测信息记录有安装于所述车辆的检测模块的设置信息，如图4所示，所述获取车辆的运行环境数据，包括：

S401：利用所述图形引擎从所述驾驶场景中截取场景图像；

S402：获取所述图形引擎接收到的配置信息；

S403：接收所述检测模块发送的所述车辆与对象之间的关联数据；

S404：将所述场景图像、所述配置信息和所述关联数据作为所述运行环境数据。

在图形引擎渲染出的驾驶场景中，呈现车辆和与车辆相对的交通参与者，车辆和其他车辆按照漫游规则在虚拟环境中运行，交通灯基于漫游规则变化。检测模块安装于车辆上，检测模块可以从该车辆出发感知虚拟环境的变化，例如：1、车辆与某一交通参与者之间的相对距离、相对方位和角度的变化；2、视场内有新出现的交通参与者、有交通参与者离开当前视场，以及视场内某一交通参与者的属性变化；3、虚拟环境中光照强度、云层高度、雨量、地面湿度等的变化。上述变化都可以经检测模块采集的取景数据体现。

在某一时刻，服务器利用所述图形引擎从所述驾驶场景中截取场景图像，该场景图像是从该车辆出发对虚拟环境进行取景的截图。检测模块(属于图形引擎)采集对应视角下的相关数据，并将处理后的相关数据进行输出。图形引擎利用处理后的相关数据得到场景截图以及上述关联数据。关联数据指示车辆与某一交通参与者(对应对象)之间的相对距离、相对方位和角度信息，以及指示车辆所处环境的相关信息。相应的，服务器基于场景图像、配置信息和关联数据得到运行环境数据。

S202：基于所述运行环境数据得到包含目标对象的目标图像；

在本发明实施例中，服务器可以在运行环境数据中选择出携带有对象标识的环境对象信息，再根据选择出的环境对象信息所指示的对象与车辆间的关联关系(是否具有漫游规则下较强的关联关系)确定目标对象，进而基于运行环境数据构建车辆视角下的包含目标对象的目标图像。

在一个具体的实施例中，结合上述步骤S401-S404的相关记载，可以在存在与车辆间的关联关系符合预设关联关系要求的对象时，直接将场景截图作为目标图像。目标对象中可以包含至少两个目标对象。

S203：在所述目标图像中确定所述目标对象的当前显示区域；

在本发明实施例中，目标对象在目标图像中的呈现可以是完整的(比如目标图像中包括了目标对象的主视图)，也可以不是完整的(比如对应行人的目标对象在目标图像中右臂部分存在遮挡)。服务器可以在目标图像中将具有相同或相似像素值且位置相邻的像素点组成的区域确定为候选区域。基于目标对象的像素特征将对应的候选区域作为当前显示区域，或者对对应的候选区域作适应性范围调整，将调整后的区域作为当前显示区域。

在一个具体的实施例中，目标对象的像素特征是基于目标对象的属性信息确定的，服务器可以基于目标对象的像素特征对目标图像进行指向目标对象的定位检测，进而确定出当前显示区域。

在另一个具体的实施例中，所述在所述目标图像中确定所述目标对象的当前显示区域之后，所述方法还包括：获取目标形状；基于所述目标形状在所述当前显示区域为所述目标对象创建标注框；获取间距阈值，以及基于所述间距阈值调整所述标注框以使所述当前显示区域落入调整后的标注框中。

在以标注框框选目标对象时，需要标注框将目标对象在目标图像中的当前显示区域框住，以及标注框与当前显示区域之间的间距符合要求。当然，还需要考虑下目标对象与车辆间的关系是否符合实际逻辑，例如对红绿灯对应的目标对象进行标注框框选时，不能框选与非本车道(车辆所在车道)无关的红绿灯。

在实际应用中，可以利用图形引擎对目标图像所包含的目标对象作二维标注框框选(参考图1(1))，以及三维标注框框选(参考图1(2))。对于二维标注框框选，可以确定目标对象的当前显示区域在目标图像上的最左、最右、最上、最下的四个点，然后生成一个能够容纳这四个点的矩形边框，即为二维标注框。对于三维标注框框选，基于目标对象在目标图像上的当前显示区域，在目标对象周围画立方体边框，该立方体边框即为三维标注框。由此可以展现目标对象的近似深度，使用该标注框图像来训练模型，可以获得更多的数据特征。进一步的，可以利用图形引擎先对目标图像所包含的目标对象作三维标注框框选，再以此进行投影，使得目标对象落入二维标注框中。落入二维标注框中的目标对象可以作为后续计算被遮挡情况的基准。

S204：从所述运行环境数据提取所述目标对象的属性信息，以及根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况；

在本发明实施例中，目标对象的属性信息可以用于验证当前显示区域是否涵盖了目标对象在对应投影方向下的全部显示内容。服务器基于目标对象的对象标识从运行环境数据提取目标对象的属性信息，以及根据目标对象的属性信息和当前显示区域确定目标对象的被遮挡情况。被遮挡情况指示可目标对象在目标图像中的呈现是否完整，是否被其他对象覆盖，以及覆盖程度(也就是两个对象的重叠程度)是否严重。

在一个具体的实施例中，如图5所示，所述根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况，包括：

S501：基于所述属性信息确定所述目标对象对应的目标渲染像素数值；

S502：利用所述图形引擎获取所述当前显示区域对应的实际渲染像素数值；

S503：基于所述目标渲染像素数值和所述实际渲染像素数值确定所述被遮挡情况。

目标对象的属性信息可以确定图形引擎在对目标对象进行渲染时所用到的目标渲染像素数值，也就是目标对象完整显示、不被遮挡所对应的理想渲染像素数值。基于目标图像，服务器利用图形引擎获取当前显示区域对应的实际渲染像素数值。相应的，对比实际渲染像素数值和目标渲染像素数值可以确定目标对象的被遮挡情况。比如可以对两个数值作比：实际渲染像素数值/目标渲染像素数值，得到目标对象的非重叠占比。其中，目标渲染像素数值和实际渲染像素数值中的像素数值可以指示像素个数，利用目标渲染像素数值和实际渲染像素数值可以精确确定目标对象在目标图像中对应的重叠面积。当然，目标渲染像素数值也可以利用图形引擎来获取。

S205：当所述被遮挡情况符合预设要求时，从所述运行环境数据提取所述目标对象对应的关联数据，以及基于所述属性信息和所述对应的关联数据对所述目标图像进行标注。

在本发明实施例中，目标对象的被遮挡情况符合预设要求指示目标对象在目标图像中的呈现完整，或者目标对象被其他对象覆盖的覆盖程度不严重。具体的，可以结合上述步骤S204的相关记载，引入预设阈值(比如70％)，当非重叠占比大于等于预设阈值时，说明目标对象可能在目标图像中的呈现完整，或者目标对象被其他对象覆盖的覆盖程度不严重，相应的，目标对象的被遮挡情况符合预设要求。当非重叠占比小于预设阈值时，说明目标对象被其他对象覆盖的覆盖程度严重，相应的，目标对象的被遮挡情况不符合预设要求。当被遮挡情况不符合预设要求时，服务器丢弃目标图像。当被遮挡情况符合预设要求时，服务器基于属性信息和对应的关联数据对目标图像进行标注。

本发明实施例不需要基于相应的内容要求编写规则，以及利用规则生成符合要求的图像。这种方式得到的图像内容上较为单一，图像中对象(对应本发明实施例的目标对象)往往都是完整呈现、不存在遮挡的。本发明实施例引入可以作灵活设置的预设要求，综合考虑目标图像的内容主题和内容丰富度，避免一味关注内容主题将目标对象存在一定遮挡的目标图像丢弃，可以保证模型训练所用样本图像的丰富性，可以得到数量和质量较为合适的难样本，进而无保证训练得到的模型具有较高的识别适应能力。

在一个具体的实施例中，服务器对目标图像进行标注的过程可以包括：首先，基于目标对象的属性信息确定目标对象对应的第一目标标签。比如目标对象也为一车辆(障碍物)，根据目标对象的属性信息确定目标对象对应的第一目标标签为“汽车类型：SUV(运动型实用汽车)”、“汽车颜色：银白色”。然后，基于所述对应的关联数据生成所述目标对象对应的第二目标标签。相应的，第二目标标签可以为“相对车辆(步骤S201“获取车辆的运行环境数据”中的“车辆”，与上述障碍物车辆相对的主控车)角度：15.7度”、“天气：中雨”。再者，基于所述第一目标标签和所述第二目标标签对所述目标图像进行标注。

在另一个具体的实施例中，如图6所示，所述基于所述属性信息和所述关联数据对所述目标图像进行标注之后，所述方法还包括：

S601：基于图像标注信息确定所述目标图像与样本图像库中样本图像的相似度；

S602：当存在与所述目标图像之间的相似度大于相似度阈值的样本图像时，丢弃所述目标图像；

S603：当不存在与所述目标图像之间的相似度大于相似度阈值的样本图像时，将所述目标图像加入所述样本图像库。

可以基于上述“服务器对目标图像进行标注的过程”中的相关记载，先从所述样本图像库中抽取对应同一目标标签的多个样本图像，比如样本图像库中也携带有标签“汽车颜色：银白色”的多个样本图像：样本图像A、样本图像B和样本图像D。再基于所述第一目标标签、所述第二目标标签生成所述目标对象对应的目标特征，也就是对目标对象携带的第一目标标签和第二目标标签进行特征提取。最后将所述目标特征分别与每个所述样本图像对应的特征作相似度计算，比如样本图像A除了携带有标签“汽车颜色：银白色”外，还携带有标签“天气：雾霾”、“汽车类型：紧凑车型汽车”。对样本图像A携带的这些特征进行特征提取得到样本特征，计算目标特征与样本特征之前的相似度。当相似度大于等于相似度阈值时，说明样本图像库中已经存在与目标图像特征相同或相似的样本图像了，为保证样本图像库图像特征的丰富度，将目标图像丢弃。当相似度小于相似度阈值时，则将目标图像加入样本图像库。利用标签和特征对待加入样本图像库的目标图像作自动化去重，可以提高去重效率和准确性。需要说明的是，样本图像库维护着样本图像以及样本图像携带的标签。

在实际应用中，可以基于标签从样本图像库中提取用于模型训练的样本图像。由于真实环境对应的标注数据较为昂贵，本发明实施例从虚拟环境中获取标注数据，将其作为模型收敛训练的标注数据集，当模型收敛到一定程度(即模型的基本框架成型)后，再使用真实环境对应的标注数据集。这样既能满足模型对大量标注数据的需求，又能保证训练得到的模型具有较高的识别精确性。可以将虚拟环境对应的标注数据与真实环境对应的标注数据的比例设置为2比1，大大降低样本图像的标注成本。

由以上本说明书实施例提供的技术方案可见，本说明书实施例为无人驾驶领域提供了一种训练模型用样本图像的处理方法。本说明书实施例先获取车辆的运行环境数据，然后基于运行环境数据得到包含目标对象的目标图像，再在目标图像中确定目标对象的当前显示区域，接着根据从运行环境数据提取的目标对象的属性信息和当前显示区域确定目标对象的被遮挡情况，进而当被遮挡情况符合预设要求时，从运行环境数据提取目标对象对应的关联数据，以及基于属性信息和对应的关联数据对所述目标图像进行标注。本说明书实施例能够快速获取符合内容要求的目标图像，减少进行人工采集的工作量和成本。目标对象的被遮挡情况可以作为衡量目标图像内容主题的重要因素，预设要求可以作较灵活的设置，两者结合可以平衡对目标图像的内容主题和内容丰富度要求。本说明书实施例从图像数量、图像内容主题以及图像内容丰富度上保证样本图像的品质，进而保证训练得到的模型具有较高的识别适应能力。

本发明实施例还提供了基于无人驾驶的样本图像处理装置，如图7所示，所述装置包括：

运行环境数据获取模块710：用于获取车辆的运行环境数据；

目标图像得到模块720：用于基于所述运行环境数据得到包含目标对象的目标图像；

当前显示区域确定模块730：用于在所述目标图像中确定所述目标对象的当前显示区域；

被遮挡情况确定模块740：用于从所述运行环境数据提取所述目标对象的属性信息，以及根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况；

图像处理模块750：用于当所述被遮挡情况符合预设要求时，从所述运行环境数据提取所述目标对象对应的关联数据，以及基于所述属性信息和所述对应的关联数据对所述目标图像进行标注。

具体的，所述图像处理模块包括：相似度确定单元：用于基于图像标注信息确定所述目标图像与样本图像库中样本图像的相似度；第一图像处理单元：用于当存在与所述目标图像之间的相似度大于相似度阈值的样本图像时，丢弃所述目标图像；第二图像处理单元：用于当不存在与所述目标图像之间的相似度大于相似度阈值的样本图像时，将所述目标图像加入所述样本图像库。

需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。

本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的基于无人驾驶的样本图像处理方法。

进一步地，图8示出了一种用于实现本发明实施例所提供的基于无人驾驶的样本图像处理方法的电子设备的硬件结构示意图，所述电子设备可以参与构成或包含本发明实施例所提供的基于无人驾驶的样本图像处理装置。如图8所示，电子设备80可以包括一个或多个(图中采用802a、802b，……，802n来示出)处理器802(处理器802可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器804、以及用于通信功能的传输装置806。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备80还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

应当注意到的是上述一个或多个处理器802和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到电子设备80(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器804可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器802通过运行存储在存储器84内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于无人驾驶的样本图像处理方法。存储器804可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器804可进一步包括相对于处理器802远程设置的存储器，这些远程存储器可以通过网络连接至电子设备80。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备80的通信供应商提供的无线网络。在一个实例中，传输装置806包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实施例中，传输装置806可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与电子设备80(或移动设备)的用户界面进行交互。

本发明的实施例还提供了一种存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种基于无人驾驶的样本图像处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的基于无人驾驶的样本图像处理方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无人驾驶的样本图像处理方法，其特征在于，所述方法包括：

获取虚拟车辆的运行环境数据，所述虚拟车辆在虚拟环境中运行；

基于所述运行环境数据得到包含目标对象的目标图像；

在所述目标图像中确定所述目标对象的当前显示区域；

从所述运行环境数据提取所述目标对象的属性信息，以及根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况；

当所述被遮挡情况符合预设要求时，从所述运行环境数据提取关联数据，以及基于所述属性信息和所述关联数据对所述目标图像进行标注，所述关联数据指示所述目标对象与所述虚拟车辆间的关联关系；

其中，所述获取虚拟车辆的运行环境数据之前，所述方法还包括：配置环境基础信息和环境对象信息，所述环境基础信息包括以下至少之一：所述虚拟环境对应的地形信息、地区信息、路段信息、时间信息、天气信息、取景间隔时间信息和漫游规则信息，所述环境对象信息指示存在于所述虚拟环境中与所述虚拟车辆相对的交通参与者自身的属性信息；配置所述虚拟车辆自身的属性信息和检测信息；利用图形引擎渲染所述环境基础信息、所述环境对象信息、所述虚拟车辆自身的属性信息和检测信息得到所述虚拟环境中的驾驶场景；

相应的，所述虚拟车辆自身的检测信息包括安装于所述虚拟车辆的检测模块的设置信息，所述获取虚拟车辆的运行环境数据，包括：利用所述图形引擎从所述驾驶场景中截取场景图像；获取所述图形引擎接收到的配置信息，所述配置信息指示被所述图形引擎渲染的所述环境基础信息、所述环境对象信息、所述虚拟车辆自身的属性信息和检测信息；接收所述检测模块发送的所述关联数据；将所述场景图像、所述配置信息和所述关联数据作为所述运行环境数据。

2.根据权利要求1所述的方法，其特征在于，所述基于所述属性信息和所述关联数据对所述目标图像进行标注之后，所述方法还包括：

基于图像标注信息确定所述目标图像与样本图像库中样本图像的相似度；

当存在与所述目标图像之间的相似度大于相似度阈值的样本图像时，丢弃所述目标图像；

当不存在与所述目标图像之间的相似度大于相似度阈值的样本图像时，将所述目标图像加入所述样本图像库。

3.根据权利要求2所述的方法，其特征在于，所述基于所述属性信息和所述关联数据对所述目标图像进行标注，包括：

基于所述属性信息确定所述目标对象对应的第一目标标签；

基于所述关联数据生成所述目标对象对应的第二目标标签；

基于所述第一目标标签和所述第二目标标签对所述目标图像进行标注；

相应的，所述基于图像标注信息确定所述目标图像与样本图像库中样本图像的相似度，包括：

从所述样本图像库中抽取对应同一目标标签的多个样本图像；

基于所述第一目标标签、所述第二目标标签生成所述目标对象对应的目标特征；

将所述目标特征分别与每个所述样本图像对应的特征作相似度计算。

4.根据权利要求1所述的方法，其特征在于，所述根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况之后，所述方法还包括：

当所述被遮挡情况不符合预设要求时，丢弃所述目标图像。

5.根据权利要求1所述的方法，其特征在于，所述根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况，包括：

基于所述属性信息确定所述目标对象对应的目标渲染像素数值；

利用所述图形引擎获取所述当前显示区域对应的实际渲染像素数值；

基于所述目标渲染像素数值和所述实际渲染像素数值确定所述被遮挡情况。

6.根据权利要求1所述的方法，其特征在于，所述在所述目标图像中确定所述目标对象的当前显示区域之后，所述方法还包括：

获取目标形状；

基于所述目标形状在所述当前显示区域为所述目标对象创建标注框；

获取间距阈值，以及基于所述间距阈值调整所述标注框以使所述当前显示区域落入调整后的标注框中。

7.一种基于无人驾驶的样本图像处理装置，其特征在于，所述装置包括：

运行环境数据获取模块：用于获取虚拟车辆的运行环境数据，所述虚拟车辆在虚拟环境中运行；

目标图像得到模块：用于基于所述运行环境数据得到包含目标对象的目标图像；

当前显示区域确定模块：用于在所述目标图像中确定所述目标对象的当前显示区域；

被遮挡情况确定模块：用于从所述运行环境数据提取所述目标对象的属性信息，以及根据所述属性信息和所述当前显示区域确定所述目标对象的被遮挡情况；

图像处理模块：用于当所述被遮挡情况符合预设要求时，从所述运行环境数据提取关联数据，以及基于所述属性信息和所述关联数据对所述目标图像进行标注，所述关联数据指示所述目标对象与所述虚拟车辆间的关联关系；

其中，所述装置还包括驾驶场景渲染模块，所述驾驶场景渲染模块：用于配置环境基础信息和环境对象信息，所述环境基础信息包括以下至少之一：所述虚拟环境对应的地形信息、地区信息、路段信息、时间信息、天气信息、取景间隔时间信息和漫游规则信息，所述环境对象信息指示存在于所述虚拟环境中与所述虚拟车辆相对的交通参与者自身的属性信息；配置所述虚拟车辆自身的属性信息和检测信息；利用图形引擎渲染所述环境基础信息、所述环境对象信息、所述虚拟车辆自身的属性信息和检测信息得到所述虚拟环境中的驾驶场景；

相应的，所述虚拟车辆自身的检测信息包括安装于所述虚拟车辆的检测模块的设置信息，所述运行环境数据获取模块：用于利用所述图形引擎从所述驾驶场景中截取场景图像；获取所述图形引擎接收到的配置信息，所述配置信息指示被所述图形引擎渲染的所述环境基础信息、所述环境对象信息、所述虚拟车辆自身的属性信息和检测信息；接收所述检测模块发送的所述关联数据；将所述场景图像、所述配置信息和所述关联数据作为所述运行环境数据。

8.根据权利要求7所述的装置，其特征在于，所述图像处理模块包括：

相似度确定单元：用于基于图像标注信息确定所述目标图像与样本图像库中样本图像的相似度；

第一图像处理单元：用于当存在与所述目标图像之间的相似度大于相似度阈值的样本图像时，丢弃所述目标图像；

第二图像处理单元：用于当不存在与所述目标图像之间的相似度大于相似度阈值的样本图像时，将所述目标图像加入所述样本图像库。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-6任一所述的基于无人驾驶的样本图像处理方法。

10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-6任一所述的基于无人驾驶的样本图像处理方法。