CN112150635A - 基于数字孪生的ar单兵与机器人混编作战系统及其方法 - Google Patents

Abstract

本发明公开了一种基于数字孪生的AR单兵与机器人混编作战系统及其方法，所述系统包括：地面作战机器人；AR显示设备，能够构建AR三维立体虚拟空间，虚实融合显示真实战场环境、人员装备和虚拟目标，对虚拟3D地面作战机器人进行交互操作，能够显示AR电子沙盘，对战场态势进行显示；穿戴设备，通过数据链与地面作战机器人实时通信，并与AR显示设备连接；以及AR应用系统，用于将地面作战机器人及真实战场环境快速构建为AR三维立体虚拟空间，实现3D地面作战机器人对单个或多个真实地面作战机器人的“领头羊”功能。本发明以穿戴式的AR眼镜替代手持式的操控设备，可解放操控手的双手，方便操控手迅速转换任务角色，使用步枪等武器进行战斗。

Description

基于数字孪生的AR单兵与机器人混编作战系统及其方法

技术领域

本发明涉及未来地面智能作战技术领域，更具体涉及一种基于数字孪生的AR单兵与机器人混编作战系统及其方法。

背景技术

未来的轻型高机动作战，以无人化作战、集群作战等先进作战理念为核心，以无人技术、人工智能技术为基础的有人作战系统与无人作战系统共同编组、协同作战已经成为未来战争发展的必然趋势。

从公开报道资料看，Six3公司设计、开发和验证具有人类和机器人协同作战能力的“联合兵种班”的系统原型，“将把人类与无人操纵装备、无所不在的通信和信息，以及各种领域的先进作战能力结合起来，以便在日益复杂的作战环境中最大限度提高一个班的战斗水平”。“机器人与自主系统战略”将机器人和自主系统嵌入到作战队形中，其远期目标(2030-2040年)不局限于单个机器人各自为战，当小型机器人无法靠个体能力完成某项任务时，通过合作、组合等方式继续推动任务完成。

地面作战机器人由操控手通过便携式无线电遥控设备的操作杆和面板部件控制机器人的行军、侦察、排雷、排爆、救援和精确射击等作战任务；遥控设备的高亮度显示屏用于显示机器人光电设备的光学图像，其侦察图像和数据，可自动或半自动上传至指挥员；地面作战机器人的程序控制装置可按路径规划进行自主行进、自动图像识别与跟踪。其主要缺陷及不足有：

1)便携式操控设备有一定的体积和重量，且其携带和手持操作占用了操控手的双手，不利于操控手迅速转换任务角色，如使用步枪等武器进行战斗；

2)便携式操控设备受体积和重量的限制，其显示屏很小，不便于操控手进行图像观察、目标识别与跟踪，也不便于进行战场态势显示和地面作战机器人的路径规划等；

3)便携式操控设备显示屏只能显示二维图像，不能显示三维电子沙盘等立体图像，不能构建虚拟三维立体空间，进行三维立体虚拟环境的地面作战机器人操控技能训练、作战方案推演和作战指挥训练等。

发明内容

本发明需要解决的技术问题是提供一种基于数字孪生的AR单兵与机器人混编作战系统及其方法，以解决背景技术中指出的缺陷，以将具有三维虚拟图像显示和手势识别控制功能的AR眼镜替代地面作战机器人的便携式无线电遥控装备，以在AR眼镜构建的虚拟三维立体空间进行地面作战机器人的行军、侦察、排雷、排爆、救援和精确射击等作战任务。

为解决上述技术问题，本发明所采取的技术方案如下。

基于数字孪生的AR单兵与机器人混编作战系统，包括：

地面作战机器人，能够伴随行军，能够前出侦察、作战或执行其他任务；

AR显示设备，能够构建AR三维立体虚拟空间，虚实融合显示真实战场环境、人员装备和虚拟目标，对虚拟3D地面作战机器人进行交互操作，能够显示AR电子沙盘，对战场态势进行显示；

穿戴设备，通过数据链与地面作战机器人实时通信，接收地面作战机器人的运行参数，并与AR显示设备连接；所述穿戴设备能够对操控手进行导航定位，并在AR电子沙盘上实时标绘；以及

AR应用系统，能够将地面作战机器人及真实战场环境快速构建为AR三维立体虚拟空间，实现3D地面作战机器人和真实的地面作战机器人“共处同一个时空”，具有虚实映射关系，能够进行数字孪生式的AR单兵与地面作战机器人混编作战，实现3D地面作战机器人对单个或多个真实地面作战机器人的“领头羊”功能。

进一步优化技术方案，所述地面作战机器人包括无人车、自动驾驶仪、车载武器、光电转塔、伺服控制系统和数据链车载终端，数据链车载终端分别与地面作战机器人的自动驾驶仪、车载武器、光电转塔和伺服系统通过标准接口连接。

进一步优化技术方案，在所述AR显示设备构建的AR三维立体虚拟空间内，操控手能够交互操作3D地面作战机器人的光电转塔和自动驾驶仪进行光电侦察、跟踪瞄准、车辆运动和武器射击；真实地面作战机器人与3D地面作战机器人具有映射关系，能够复制3D地面作战机器人的动作，执行行军、侦察、排雷、排爆、救援和精确射击作战任务，用于地面作战机器人操控技能训练、作战方案推演和作战指挥训练。

进一步优化技术方案，所述穿戴设备能够插入迷彩服的左/右臂口袋内或战术背包的侧面口袋内；所述穿戴设备包括：

单兵导航定位系统，用于对操控手进行导航定位，单兵导航定位系统的数据自动定位在AR电子沙盘上，显示操控手的位置；

数据链单兵终端，实现遥控、遥测信息和侦察图像的实时通信，并通过标准接口分别与单兵导航定位系统和AR眼镜连接；所述数据链单兵终端与数据链车载终端之间进行数据传输；以及

电源模块，用于提供电能。

进一步优化技术方案，所述操控手的位置和速度参数能够驱动真实的地面作战机器人前出侦察及攻击前进，操控手与真实的地面作战机器人之间的距离与方位每次都在一定的范围内随机产生。

进一步优化技术方案，所述AR显示设备为AR眼镜；所述AR眼镜包括AR光学模组、微处理器、图像采集模组、传感器、通信模组和结构组件；

所述微处理器用于对AR三维立体虚拟空间及3D地面作战机器人的构建与控制；

所述图像采集模组用于进行景深图像处理和手势识别；

所述传感器包括头部追踪传感器、手部追踪传感器、眼动追踪传感器、虹距测量传感器、语音AI芯片和视频AI芯片；

所述通信模组包括wifi通信模块、蓝牙通信模块；

所述结构组件用于对AR光学模组、微处理器、图像采集模组、传感器和通信模组进行安装定位，并集成到单兵护目镜或直接集成到头盔上。

进一步优化技术方案，所述AR眼镜选能构建具有沉浸感的虚拟空间，能够进行虚实融合的空间映射，能够快速构建AR电子沙盘，进行手动追踪、眼动追踪和头部追踪，能以人体自然交互的方式对3D地面作战机器人及其光电转塔和车载武器进行操控。

进一步优化技术方案，所述AR应用系统包括：

AR管理软件，用于系统登录、任务管理、虚拟屏幕和虚拟空间管理、模型管理和数据库管理；

AR电子沙盘软件，采用二维或三维电子沙盘的形式，能够进行电子沙盘的二维或三维的战场态势显示、标绘和计算，进行地面作战机器人航路规划；

侦察及瞄准软件，侦察及瞄准的图像显示在AR眼镜的虚拟屏幕上，侦察图像和瞄准分划能够通过采集头部追踪传感器的参数，驱动真实地面作战机器人的光电转塔转动，侦察、甄别自动图像识别标记的可疑目标，驱动瞄准分划瞄准目标、射击；

3D地面作战机器人操控软件，在虚拟空间内以手势识别操作虚拟操控部件，控制虚拟现实的3D地面作战机器人虚拟驾驶和侦察，以及3D虚拟光电转塔的图像识别与目标跟踪，3D地面作战机器人操控软件用于地面作战机器人操控技能训练、作战方案推演和人机混编作战；以及

AR数字孪生软件，一方面是真实地面作战机器人的位置、姿态和速度参数能够驱动AR电子沙盘上的3D地面作战机器人同步运动，实现实时的战场态势显示；或一方面是通过手势识别操控三维电子沙盘的3D地面作战机器人运动，并敏感操控手的头部姿态控制3D虚拟光电转塔的转动，使3D地面作战机器人及其3D虚拟光电转塔的运动参数驱动真实地面作战机器人运动、光电侦察和火力运用，实现3D地面作战机器人和真实地面作战机器人的虚实映射关系。

基于数字孪生的AR单兵与机器人混编作战系统的方法，该方法基于所述的基于数字孪生的AR单兵与机器人混编作战系统进行，包括以下步骤：

S1、操控手佩戴增强现实AR眼镜，登录并启动任务，根据数字地图的数据快速构建三维电子沙盘；

S2、通过手势识别或语音控制设置地面作战机器人的位置，进行地面作战机器人航路规划；

S3、数据链车载终端与数据链单兵终端间高速传输：地面作战机器人的位置、姿态和速度参数，光电转塔的可见光和红外侦察图像、瞄准分划图像，AR电子沙盘中3D地面作战机器人自动驾驶仪的操控数据，以及3D地面作战机器人的伺服系统的操纵数据；

S4、AR眼镜接收到数据链的真实地面作战机器人的位置、姿态和速度参数，同步数据驱动标绘AR电子沙盘中的3D地面作战机器人的运动，实现实时的战场态势显示；

S5、AR眼镜接收到数据链的真实地面作战机器人的侦察及瞄准的图像，显示在AR眼镜的虚拟屏幕上，供操控手侦察目标和瞄准射击；

S6、AR眼镜在观看侦察图像和瞄准分划时，侦察、甄别自动图像识别标记的可疑目标，操控瞄准分划瞄准目标；

S7、操控手在虚拟空间内以手势识别操作，控制虚拟现实的3D地面作战机器人虚拟作战任务，3D地面作战机器人的运行参数传输至真实地面作战机器人，控制真实地面作战机器人跟随3D地面作战机器人运动；

操控手的头部姿态控制3D虚拟光电转塔的转动，使3D地面作战机器人及其3D虚拟光电转塔的运动参数驱动真实的地面作战机器人运动及光电侦察。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明以穿戴式的AR眼镜、微处理器和微型天线等设备替代手持式地面作战机器人的操控设备，体积小、重量轻，便携性能好，可解放操控手的双手，方便操控手迅速转换任务角色，使用步枪等武器进行战斗。

本发明以AR眼镜构建沉浸式三维虚拟空间，能够显示二维或三维电子沙盘，可进行地面作战机器人航路规划，在虚拟空间中构建虚拟操控手柄和开关按钮等，采用手势识别的方式操作。地面作战机器人的侦察图像显示在AR眼镜的虚拟屏幕上。真实地面作战机器人的位置和运动参数通过数据链实时下行传输到AR眼镜，同样实时标绘在三维电子沙盘中，实时显示战场态势。

本发明AR虚拟空间中通过手势识别操控AR电子沙盘的3D地面作战机器人运动，并敏感操控手的头部姿态控制3D虚拟光电转塔的转动，3D地面作战机器人的位置和运动参数可实时标绘在三维电子沙盘中。同时，以3D地面作战机器人的位置和运动参数驱动真实地面作战机器人的运动，并校正AR电子沙盘上的3D地面作战机器人的位置和运动显示，实现3D地面作战机器人和真实地面作战机器人的极为相似的虚实映射关系(数字孪生)。

本发明地面作战机器人可按航路规划进行自主驾驶，甚至可切断通信联系，保持无线电静默。也可按操控手的位置和速度伴随驾驶，两者间的距离与方位每次都在一定的范围内随机产生，可防止敌人利用地面作战机器人准确定位操控手的位置，保障了操控手的安全。还可设置地面作战机器人为跟随状态，3D地面作战机器人的运动参数上行传输到真实地面作战机器人的自动驾驶仪，控制真实地面作战机器人对3D地面作战机器人的跟随行军，实现3D地面作战机器人对单个或多个真实地面作战机器人的“领头羊”领航功能。

本发明单兵伴随地面作战机器人也可执行光电侦察、火力打击和定点投放等支援保障任务；其AR眼镜的虚拟屏幕可开窗显示侦察图像及瞄准分划，可授权地面作战机器人自动跟踪射击或选用手动瞄准跟踪与射击模式。

本发明操控手及地面作战机器人位置和导航信息可加密上传连指挥信息系统，并接收下发的作战命令与战场态势等信息，显示在AR眼镜上。操控手行进或执行其他任务时，可语音控制或手势拖拽切换头盔的红外夜视图像和地面作战机器人的昼夜图像的显示位置或隐藏，不造成信息干扰。

附图说明

图1为本发明基于数字孪生的AR单兵与机器人混编作战系统的系统框图；

图2为本发明基于数字孪生的AR单兵与机器人混编作战系统中AR眼镜的外形；

图3为本发明基于数字孪生的AR单兵与机器人混编作战系统中AR光学模组的控制连接图；

图4为本发明基于数字孪生的AR单兵与机器人混编作战系统中AR光学模组的全息光波导光学方案；

图5为本发明基于数字孪生的AR单兵与机器人混编作战系统中AR光学模组的自由曲面反射方案。

具体实施方式

下面将结合附图和具体实施例对本发明进行进一步详细说明。

一种基于数字孪生的AR单兵与机器人混编作战系统，结合图1所示，包括：地面作战机器人、数据链、AR显示设备、穿戴设备和AR应用系统。

地面作战机器人，能够伴随行军，能够前出侦察、作战或执行其他任务。

地面作战机器人包括无人车、自动驾驶仪、车载武器、光电转塔、伺服控制系统和数据链车载终端，数据链车载终端分别与地面作战机器人的自动驾驶仪、车载武器、光电转塔和伺服系统通过标准接口连接。

AR显示设备，能够构建AR三维立体虚拟空间，虚实融合显示真实战场环境、人员装备和虚拟目标，对虚拟3D地面作战机器人进行交互操作，能够显示AR电子沙盘，对战场态势进行显示，并进行虚拟现实的3D地面作战机器人来虚拟真实地面作战机器人具有的作战功能。

在AR显示设备构建的AR三维立体虚拟空间内，操控手能够交互操作3D地面作战机器人的光电转塔和自动驾驶仪进行光电侦察、跟踪瞄准、车辆运动和武器射击；真实地面作战机器人与3D地面作战机器人具有映射关系，能够复制3D地面作战机器人的动作，执行行军、侦察、排雷、排爆、救援和精确射击作战任务，用于地面作战机器人操控技能训练、作战方案推演和作战指挥训练。还能够进行光电转塔的图像识别与目标跟踪，用于地面作战机器人操控技能训练、作战方案推演和人机混编作战。

AR显示设备为AR眼镜；AR眼镜包括AR光学模组、微处理器、图像采集模组、传感器、通信模组和结构组件。

微处理器用于对AR三维立体虚拟空间及3D地面作战机器人的构建与控制。

图像采集模组用于进行景深图像处理和手势识别。

传感器包括头部追踪传感器、手部追踪传感器、眼动追踪传感器、虹距测量传感器、语音AI芯片和视频AI芯片，头部追踪传感器、手部追踪传感器、眼动追踪传感器、虹距测量传感器、语音AI芯片和视频AI芯片的输出端分别连接于微处理器的输入端。

通信模组包括wifi通信模块、蓝牙通信模块。

结构组件用于对AR光学模组、微处理器、图像采集模组、传感器和通信模组进行安装定位，并集成到单兵护目镜或直接集成到头盔上。

AR眼镜集成到单兵护目镜或直接集成到头盔上，在透视观察真实世界的同时，也能在其虚拟屏幕上看到微处理器生成的虚拟图像以及无线接收的光电转塔或其他设备的可见光与红外图像。不仅AR眼镜的虚拟屏幕尺寸远远大于手持式操控设备的显示屏，而且可以显示三维电子沙盘，构建AR三维立体虚拟空间。

AR三维立体虚拟空间能够显示二三维电子沙盘，可进行二三维的战场态势显示和地面作战机器人的路径规划，进行虚拟现实的3D地面作战机器人的行军、侦察、排雷、排爆、救援和精确射击等作战任务，用于地面作战机器人操控技能训练、作战方案推演和作战指挥训练等。

AR眼镜可定制近视镜片，替代原有的近视镜，内衬安装在头盔护目镜上，可显示大尺寸的虚拟屏幕，如某FOV40°中小视场角的AR眼镜，即可达到3米处86寸的虚拟屏幕效果。

AR眼镜选用透光率超过50％的自由曲面AR眼镜或透光率超过80％的光波导AR眼镜，不影响操控手观察战场环境。

AR眼镜的外形如图2所示。AR光学模组一般采用RGB光学照明和LCOS反射式硅基液晶投影技术或有机发光二极管OLED器件，如图3所示。LCOS控制器将信号处理后加载到LCOS中，同时将RGB照明信号传输到照明控制系统，照明控制系统再点亮RGB LEDs，将LCOS点亮。OLED是一种利用多层有机薄膜结构产生电致发光的器件，在电场的作用下，阳极产生的空穴和阴极产生的电子分别向空穴传输层和电子传输层注入，迁移到发光层，当发光层界面处的电子和空穴累积到一定数目时，电子和空穴结合产生激子，激发有机分子最外层的电子从基态跃迁到激发态，激发态的电子向基态跃迁的过程中会有能量以光的形式被释放出来，从而激发发光分子产生可见光，发光强度与注入的电流成正比。

AR光学模组一般采用光波导或自由曲面棱镜等光学方案，图4为全息光波导光学方案，图5为自由曲面反射方案。

地面作战机器人光电转塔的可见光或红外图像可无线数传到AR眼镜的虚拟屏幕上，对敌目标进行远程侦察；头盔夜视图像增强器或单兵武器图像瞄准具的可见光或红外图像可有线或无线传输到AR虚拟屏幕上，使之具有夜视功能，且不必进行机械的头盔夜视仪切换，使用方便，可实现武器的遥控瞄准，具有“不露头”射击功能。

AR三维立体虚拟图像能构建具有沉浸感的虚拟空间，能够进行虚实融合的空间映射，能够快速构建AR电子沙盘，进行手动追踪、眼动追踪和头部追踪，能以人体自然交互的方式对3D地面作战机器人及其光电转塔和车载武器进行操控。

穿戴设备，通过数据链与地面作战机器人实时通信，接收地面作战机器人的运行参数，并通过标准接口与AR显示设备连接。运行参数包括地面作战机器人的光电图像、位置和运动参数。

穿戴设备能够对操控手进行导航定位，并在AR电子沙盘上实时标绘，在AR电子沙盘上显示操控手的位置。

穿戴设备采用集成化、微型化设计方案，能够插入迷彩服的左/右臂口袋内或战术背包的侧面口袋内。穿戴设备主要由单兵导航定位系统、数据链单兵终端和电源模块等组成。

单兵导航定位系统用于对操控手进行导航定位，单兵导航定位系统的数据自动定位在AR电子沙盘上，显示操控手的位置。

电源模块用于提供电能。

数据链单兵终端与地面作战机器人的机载终端采用集成化、小型化设计，实现遥控、遥测信息和侦察图像的实时通信(调制发射与接收解调)，并通过标准接口分别与单兵导航定位系统和AR眼镜连接。数据链单兵终端与数据链车载终端之间进行数据传输。

其中，可见光或红外侦察图像、瞄准分划等可显示在AR虚拟屏幕上，可进行自动校准。数据链采用跳扩频相结合的工作方式提高抗干扰能力，采用量子通信实现保密信息传输，采用TDMA或动态TDMA组网控制，实现一种双向、高速、保密、抗干扰的战术数据通信系统。

数据链采用保密、抗干扰的战术信息通信系统，数据链车载终端与地面作战机器人的自动驾驶仪、导航定位系统、光电转塔和伺服系统通过标准接口连接，数据链单兵终端与操控手的导航定位系统和AR眼镜通过标准接口连接。

AR应用系统，能够将地面作战机器人及真实战场环境快速构建为AR三维立体虚拟空间，实现3D地面作战机器人和真实的地面作战机器人“共处同一个时空”，具有虚实映射关系，能够进行数字孪生式的AR单兵与地面作战机器人混编作战，实现3D地面作战机器人对单个或多个真实地面作战机器人的“领头羊”功能。

AR应用系统包括AR管理软件、AR电子沙盘软件、侦察及瞄准软件、3D地面作战机器人操控软件和AR数字孪生软件。

AR管理软件用于系统登录、任务管理、虚拟屏幕和虚拟空间管理、模型管理和数据库管理。

AR电子沙盘软件采用二维或三维电子沙盘的形式，能够进行电子沙盘的二维或三维的战场态势显示、标绘和计算，进行地面作战机器人航路规划。地面作战机器人的位置、姿态和速度等参数可驱动AR电子沙盘上的3D地面作战机器人同步标绘，实现实时的战场态势显示。

侦察及瞄准软件侦察、瞄准的图像显示在AR眼镜的虚拟屏幕上，侦察图像和瞄准分划能够通过采集头部追踪传感器的参数，驱动真实地面作战机器人的光电转塔转动，侦察、甄别自动图像识别标记的可疑目标，驱动瞄准分划瞄准目标、射击。

3D地面作战机器人操控软件是在虚拟空间内以手势识别操作虚拟操控部件，控制虚拟现实的3D地面作战机器人虚拟驾驶和侦察，以及3D虚拟光电转塔的图像识别与目标跟踪，3D地面作战机器人操控软件用于地面作战机器人操控技能训练、作战方案推演和人机混编作战。

AR数字孪生软件，一方面是真实地面作战机器人的位置、姿态和速度参数能够驱动AR电子沙盘上的3D地面作战机器人同步运动，实现实时的战场态势显示；

或者另一方面是通过手势识别操控三维电子沙盘的3D地面作战机器人运动，并敏感操控手的头部姿态控制3D虚拟光电转塔的转动，使3D地面作战机器人及其3D虚拟光电转塔的运动参数驱动真实地面作战机器人运动、光电侦察和火力运用，实现3D地面作战机器人和真实地面作战机器人的极为相似的虚实映射关系(数字孪生)；也可实现3D地面作战机器人对单个或多个真实地面作战机器人的“领头羊”的领航功能。

数字孪生(Digital Twin)尚无业界公认的标准定义，本发明的数字孪生是业界流行概念，即虚拟3D物体(数字孪生体)与物理实体(物理孪生体)具有极为相似的虚实映射关系。

地面作战机器人的运行参数被穿戴设备采集后，能够通过AR应用系统驱动3D地面作战机器人在AR电子沙盘上进行同步标绘，对战场态势进行实时显示，实现3D地面作战机器人和地面作战机器人的虚实映射关系。

一种基于数字孪生的AR单兵与机器人混编作战系统的方法，该方法基于上述的基于数字孪生的AR单兵与机器人混编作战系统进行，包括以下步骤：

S1、操控手佩戴增强现实AR眼镜，登录并启动任务，根据数字地图的数据快速构建三维电子沙盘。

S2、电子沙盘具有二三维战场态势显示、标绘和计算等功能，通过手势识别或语音控制设置地面作战机器人的位置，进行地面作战机器人航路规划。

S3、数据链车载终端与数据链单兵终端间高速传输：地面作战机器人的位置、姿态和速度参数，光电转塔的可见光和红外侦察图像、瞄准分划图像，AR电子沙盘中3D地面作战机器人自动驾驶仪的操控数据，以及3D地面作战机器人的车载武器和光电转塔的伺服系统的操纵数据。

S4、AR眼镜接收到数据链的真实地面作战机器人的位置、姿态和速度参数，同步数据驱动标绘AR电子沙盘中的3D地面作战机器人的运动，实现实时的战场态势显示。

S5、AR眼镜接收到数据链的真实地面作战机器人的侦察及瞄准的图像，显示在AR眼镜的虚拟屏幕上，供操控手侦察目标和瞄准射击。

S6、AR眼镜在观看侦察图像和瞄准分划时，侦察、甄别自动图像识别标记的可疑目标，操控瞄准分划瞄准目标。可通过采集头部追踪传感器的参数，上传至地面作战机器人数据链车载终端和光电转塔伺服系统，驱动真实地面作战机器人光电转塔的转动，操控瞄准分划瞄准目标，供操控手远程遥控瞄准射击和定点投放等支援保障任务。

S7、AR眼镜中的3D地面作战机器人虚拟操控设备，可操控手在虚拟空间内以手势识别操作，控制虚拟现实的3D地面作战机器人虚拟行军、侦察、排雷、排爆、救援和精确射击等作战任务，以及3D虚拟光电转塔的图像识别与目标跟踪，可用于地面作战机器人操控技能训练、作战方案推演和人机混编作战等。

3D地面作战机器人的运行参数传输至真实地面作战机器人，控制真实地面作战机器人跟随3D地面作战机器人运动；

操控手的头部姿态控制3D虚拟光电转塔的转动，使3D地面作战机器人及其3D虚拟光电转塔的运动参数驱动真实的地面作战机器人运动及光电侦察。

AR眼镜中通过手势识别，操控手可操控三维电子沙盘的3D地面作战机器人运动，并敏感操控手的头部姿态控制3D虚拟光电转塔的转动，使3D地面作战机器人及其3D虚拟光电转塔的运动参数驱动真实的地面作战机器人运动、光电侦察和火力运用，实现3D地面作战机器人和真实地面作战机器人的极为相似的数字孪生关系。

也可实现3D地面作战机器人对单个或多个真实地面作战机器人的“领头羊”的领航功能，具体实现过程为：设置真实地面作战机器人为跟随状态，3D地面作战机器人的运动参数上行传输到真实地面作战机器人的自动驾驶仪，控制真实地面作战机器人对3D地面作战机器人的跟随进军。

本发明提出了单兵与地面作战机器人混编作战的概念，地面作战机器人按路径规划或自主驾驶模式，其运动、侦察、射击等完全自动化，比人类士兵以更快的速度观察、思考、反应和行动，且其迭代进化速度远超人类。因此，地面作战机器人将是未来战场直接使用武器战斗的主力，但是人类的联想思维、谋略能力又是机器所不具备的，人机混编作战能很好地解决这个问题。人机混编作战不是人与机器人一起冲锋陷阵，而是地面作战机器人突前作战，操控手在安全的位置谋划指挥作战。

地面作战机器人的武器操控和射击则必须由人授权或人工手动跟踪射击，将射击权利掌握在人的手中，避免出现机器人出现“疯狂”无控状态。地面作战机器人可按路径规划进行自主行军，也可伴随单兵行军，伴随行军时，操控手的卫星定位参数可驱动真实的地面作战机器人前出侦察及攻击前进，两者间的距离与方位每次都在一定的范围内随机产生，可防止敌人利用地面作战机器人准确定位操控手的位置，保障了操控手的安全。

操控手驱使地面作战机器人伴随行军、前出侦察及攻击前进时，操控手与地面作战机器人需保持在一定的距离范围之内，其相对距离与方位每次任务均可随机设置，其目的一是防止因二者规律性的相对位置关系而易被敌方锁定、打击，二是实现地面作战机器人自主对操控手的伴随行军。伴随行军时，操控手导航定位系统的位置和运动参数叠加预先设置的相对距离和方位，可计算出地面作战机器人的要求位置，用于控制地面作战机器人自主伴随操控手行军，实现“遛狗”式行军；地面作战机器人可按路径规划进行自主运动。

操控手行进或执行其他任务时，可语音控制或手势识别拖拽切换AR眼镜的红外夜视图像和地面作战机器人的昼夜图像的显示位置或隐藏，不造成信息干扰；不需要操控手实时控制，甚至可切断地面作战机器人与地面的通信联系，保持无线电静默。

选装单兵武器图像瞄准具，可实现武器的遥控瞄准，具有“不露头”射击功能。

操控手单兵及地面作战机器人位置和导航信息可加密抗干扰上传连作战指挥系统，并接收其下发的作战命令与战场态势等信息。

Claims (9)

1.基于数字孪生的AR单兵与机器人混编作战系统，其特征在于，包括：

地面作战机器人，能够伴随行军，能够前出侦察、作战或执行其他任务；

AR显示设备，能够构建AR三维立体虚拟空间，虚实融合显示真实战场环境、人员装备和虚拟目标，对虚拟3D地面作战机器人进行交互操作，能够显示AR电子沙盘，对战场态势进行显示；

穿戴设备，通过数据链与地面作战机器人实时通信，接收地面作战机器人的运行参数，并与AR显示设备连接；所述穿戴设备能够对操控手进行导航定位，并在AR电子沙盘上实时标绘；以及

AR应用系统，能够将地面作战机器人及真实战场环境快速构建为AR三维立体虚拟空间，实现3D地面作战机器人和真实的地面作战机器人“共处同一个时空”，具有虚实映射关系，能够进行数字孪生式的AR单兵与地面作战机器人混编作战，实现3D地面作战机器人对单个或多个真实地面作战机器人的“领头羊”功能。

2.根据权利要求1所述的基于数字孪生的AR单兵与机器人混编作战系统，其特征在于，所述地面作战机器人包括无人车、自动驾驶仪、车载武器、光电转塔、伺服控制系统和数据链车载终端，数据链车载终端分别与地面作战机器人的自动驾驶仪、车载武器、光电转塔和伺服系统通过标准接口连接。

3.根据权利要求2所述的基于数字孪生的AR单兵与机器人混编作战系统，其特征在于，在所述AR显示设备构建的AR三维立体虚拟空间内，操控手能够交互操作3D地面作战机器人的光电转塔和自动驾驶仪进行光电侦察、跟踪瞄准、车辆运动和武器射击；真实地面作战机器人与3D地面作战机器人具有映射关系，能够复制3D地面作战机器人的动作，执行行军、侦察、排雷、排爆、救援和精确射击作战任务，用于地面作战机器人操控技能训练、作战方案推演和作战指挥训练。

4.根据权利要求2所述的基于数字孪生的AR单兵与机器人混编作战系统，其特征在于，所述穿戴设备能够插入迷彩服的左/右臂口袋内或战术背包的侧面口袋内；所述穿戴设备包括：

单兵导航定位系统，用于对操控手进行导航定位，单兵导航定位系统的数据自动定位在AR电子沙盘上，显示操控手的位置；

数据链单兵终端，实现遥控、遥测信息和侦察图像的实时通信，并通过标准接口分别与单兵导航定位系统和AR眼镜连接；所述数据链单兵终端与数据链车载终端之间进行数据传输；以及

电源模块，用于提供电能。

5.根据权利要求4所述的基于数字孪生的AR单兵与机器人混编作战系统，其特征在于，所述操控手的位置和速度参数能够驱动真实的地面作战机器人前出侦察及攻击前进，操控手与真实的地面作战机器人之间的距离与方位每次都在一定的范围内随机产生。

6.根据权利要求1所述的基于数字孪生的AR单兵与机器人混编作战系统，其特征在于，所述AR显示设备为AR眼镜；所述AR眼镜包括AR光学模组、微处理器、图像采集模组、传感器、通信模组和结构组件；

所述微处理器用于对AR三维立体虚拟空间及3D地面作战机器人的构建与控制；

所述图像采集模组用于进行景深图像处理和手势识别；

所述传感器包括头部追踪传感器、手部追踪传感器、眼动追踪传感器、虹距测量传感器、语音AI芯片和视频AI芯片；

所述通信模组包括wifi通信模块、蓝牙通信模块；

所述结构组件用于对AR光学模组、微处理器、图像采集模组、传感器和通信模组进行安装定位，并集成到单兵护目镜或直接集成到头盔上。

7.根据权利要求6所述的基于数字孪生的AR单兵与机器人混编作战系统，其特征在于，所述AR眼镜能构建具有沉浸感的虚拟空间，能够进行虚实融合的空间映射，能够快速构建AR电子沙盘，进行手动追踪、眼动追踪和头部追踪，能以人体自然交互的方式对3D地面作战机器人及其光电转塔和车载武器进行操控。

8.根据权利要求6所述的基于数字孪生的AR单兵与机器人混编作战系统，其特征在于，所述AR应用系统包括：

AR管理软件，用于系统登录、任务管理、虚拟屏幕和虚拟空间管理、模型管理和数据库管理；

AR电子沙盘软件，采用二维或三维电子沙盘的形式，能够进行电子沙盘的二维或三维的战场态势显示、标绘和计算，进行地面作战机器人航路规划；

侦察及瞄准软件，侦察及瞄准的图像显示在AR眼镜的虚拟屏幕上，侦察图像和瞄准分划能够通过采集头部追踪传感器的参数，驱动真实地面作战机器人的光电转塔转动，侦察、甄别自动图像识别标记的可疑目标，驱动瞄准分划瞄准目标、射击；

3D地面作战机器人操控软件，在虚拟空间内以手势识别操作虚拟操控部件，控制虚拟现实的3D地面作战机器人虚拟驾驶和侦察，以及3D虚拟光电转塔的图像识别与目标跟踪，3D地面作战机器人操控软件用于地面作战机器人操控技能训练、作战方案推演和人机混编作战；以及

AR数字孪生软件，一方面是真实地面作战机器人的位置、姿态和速度参数能够驱动AR电子沙盘上的3D地面作战机器人同步运动，实现实时的战场态势显示；或一方面是通过手势识别操控三维电子沙盘的3D地面作战机器人运动，并敏感操控手的头部姿态控制3D虚拟光电转塔的转动，使3D地面作战机器人及其3D虚拟光电转塔的运动参数驱动真实地面作战机器人运动、光电侦察和火力运用，实现3D地面作战机器人和真实地面作战机器人的虚实映射关系。

9.基于数字孪生的AR单兵与机器人混编作战系统的方法，其特征在于，该方法基于权利要求1至8任意一项所述的基于数字孪生的AR单兵与机器人混编作战系统进行，包括以下步骤：

S1、操控手佩戴增强现实AR眼镜，登录并启动任务，根据数字地图的数据快速构建三维电子沙盘；

S2、通过手势识别或语音控制设置地面作战机器人的位置，进行地面作战机器人航路规划；

S3、数据链车载终端与数据链单兵终端间高速传输：地面作战机器人的位置、姿态和速度参数，光电转塔的可见光和红外侦察图像、瞄准分划图像，AR电子沙盘中3D地面作战机器人自动驾驶仪的操控数据，以及3D地面作战机器人的伺服系统的操纵数据；

S4、AR眼镜接收到数据链的真实地面作战机器人的位置、姿态和速度参数，同步数据驱动标绘AR电子沙盘中的3D地面作战机器人的运动，实现实时的战场态势显示；

S5、AR眼镜接收到数据链的真实地面作战机器人的侦察及瞄准的图像，显示在AR眼镜的虚拟屏幕上，供操控手侦察目标和瞄准射击；

S6、AR眼镜在观看侦察图像和瞄准分划时，侦察、甄别自动图像识别标记的可疑目标，操控瞄准分划瞄准目标；

S7、操控手在虚拟空间内以手势识别操作，控制虚拟现实的3D地面作战机器人虚拟作战任务，3D地面作战机器人的运行参数传输至真实地面作战机器人，控制真实地面作战机器人跟随3D地面作战机器人运动；

操控手的头部姿态控制3D虚拟光电转塔的转动，使3D地面作战机器人及其3D虚拟光电转塔的运动参数驱动真实的地面作战机器人运动及光电侦察。

Images