CN115514885A - 基于单双目融合的远程增强现实随动感知系统及方法 - Google Patents

Abstract

本发明公开基于单双目融合的远程增强现实随动感知系统及方法，属于智能工程机械领域，所述系统包括用于采集施工场景的RGB信息和深度数据并通过无线传输技术发送到服务器端边缘端单双目融合随动智能感知模块、服务器端智能处理模块以及用户端增强现实模块；所述服务器端智能处理模块用于执行铲斗姿态估计、铲斗斗尖定位、精准环境感知以及增强现实所需的计算；所述用户端增强现实模块包括三维显示设备和操纵台，三维显示设备用于显示服务器端算法处理模块处理的三维信息融合图像，操纵台用于控制施工现场的工程机械作业。本发明以远程随动智能感知技术为基础，能够解决操作者的临场感和距离感缺失等问题。

Description

基于单双目融合的远程增强现实随动感知系统及方法

技术领域

本发明涉及智能工程机械领域，尤其是基于单双目融合的远程增强现实随动感知系统及方法。

背景技术

在国内和国际市场上，工程机械用户对设备的需求正在不断多样化，人们对操作舒适性的要求越来越高。特别是在艰苦、高危、重复性作业环境中，由于无法保障作业人员的健康，熟练操作机手严重短缺，施工企业招工越来越困难。而在这些环境以及意外灾害事故中，往往需要大量装载机、挖掘机等工程机械进行现场清理、道路恢复等抢险救援，人们越来越渴望通过远程智能遥控工程机械获得舒适的作业环境以及同等的作业效率。但是，目前工程机械遥操作系统的环境感知一般采用位置相对机体固定的可见光相机或激光雷达，一定程度上限制了智能感知的视场范围。

申请号为201810268923.3的发明公开了一种应用于灾区搜索的立体视觉随动系统，通过操作人员头戴VR眼镜和蓝牙耳机实时获取灾区现场音视频，并用头部姿态控制无人机摄像头的同步运动；申请号为202010882933.3的发明公开了一种适用于机器人遥操作的仿人双目随动虚拟现实系统，将双目相机放置在二维平台上，通过随动机构控制双目相机跟随操作人员的头部运动同步俯仰和旋转，从而改变双目相机视角。上述技术虽然为操作人员提供了身临其境的立体感，但还存在一些不足：仅仅为操作人员直接提供双目图像，依旧会导致临场感和距离感缺失的问题。

发明内容

本发明需要解决的技术问题是提供一种基于单双目融合的远程增强现实随动感知系统及方法，该系统以远程随动智能感知技术为基础，能够为操作者提供铲斗的实时姿态估计以及铲斗的斗尖定位等重要信息，解决了操作者的临场感和距离感缺失等问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于单双目融合的远程增强现实随动感知系统，包括边缘端单双目融合随动智能感知模块、服务器端智能处理模块以及用户端增强现实模块；

所述边缘端单双目融合随动智能感知模块，基于单双目融合方法采集施工场景的RGB信息和深度数据，并通过无线传输发送到服务器端；

所述服务器端智能处理模块，用于执行铲斗姿态估计、铲斗斗尖定位、精准环境感知以及增强现实所需的计算；

所述用户端增强现实模块，包括用于显示服务器端算法处理模块处理的三维信息融合图像的三维显示设备和用于控制施工现场的工程机械作业的操纵台。

本发明技术方案的进一步改进在于：所述边缘端单双目融合随动智能感知模块，包括单双目视觉传感器、边缘端AI处理器以及随动云台；所述边缘端AI处理器用于实现单双目RGB信息、深度数据、相机位姿信息和关键目标信息的融合感知，并读取用户端佩戴视频眼镜的操作者的头部姿态，进而通过直流无刷电机控制方法控制搭载了单双目视觉传感器的随动云台快速同步操作者头部姿态，达到随动效果。

本发明技术方案的进一步改进在于：所述边缘端AI处理器，通过USB数据线与单双目视觉传感器连接，实时读取单目RGB信息、双目灰度信息以及相机位姿信息；所述双目灰度信息采用立体匹配算法恢复深度图，通过双目深度摄像头内外参数将深度图上的2D点转换到世界坐标系下的3D点，再通过单目RGB摄像头的内外参数将世界坐标系下的3D点投影到RGB图像上，实现单双目信息融合；基于目标检测算法实时检测关键目标信息，并将关键目标的位置发送到服务器端智能处理模块用于铲斗斗尖定位。

本发明技术方案的进一步改进在于：所述服务器端智能处理模块，铲斗姿态估计与定位算法采用高效的、基于稀疏区域模板匹配方法和实时轻量化深度学习网络对铲斗状态进行实时跟踪，精准环境感知算法采用单目视觉SLAM算法，能够为安全作业提供必要的环境地图信息和工程机械姿态信息。

本发明技术方案的进一步改进在于：所述三维显示设备在显示服务器端处理完成的融合图像的同时，能够精准捕获操作者头部姿态，并实时发送到服务器端，进而被边缘端AI处理器读取，控制随动云台进行跟随；所述操纵台还能用于为操作者提供真实的操纵环境，配合视频眼镜能够达到身临其境的效果。

一种基于单双目融合的远程增强现实随动感知方法，包括以下步骤：

步骤1，将边缘端单双目融合随动智能感知模块放置在工程机械驾驶室内，确保驾驶室前方玻璃无遮挡后，打开边缘端处理器电源，使其处于等待状态，等待与服务器端智能处理模块建立通信连接；

步骤2，打开服务器端电源，使其处于监听状态，等待与边缘端单双目融合随动智能感知模块和用户端增强现实模块建立通信连接；

步骤3，操纵者进入操纵台，并佩戴视频眼镜，等待三维显示设备出现施工界面后，开始远程遥控作业；

步骤4，边缘端处理器读取操作者头部姿态数据，控制随动云台实时更新姿态，同时将施工场景的RGB信息和深度数据通过无线传输技术发送到服务器端；

步骤5，服务器端智能处理模块通过接收的RGB信息和深度数据进行铲斗的姿态估计与铲斗斗尖定位，以及环境地图信息构建，最终将融合了铲斗姿态信息、斗尖位置信息以及斗尖与自卸卡车等周围物体的实际距离信息的融合图像发送到用户端进行显示；

步骤6，用户端操作者通过视频眼镜显示的融合图像和现场三维信息，配合操纵台远程遥控工程机械作业，同时视频眼镜实时捕获操作者头部姿态，并将其发送到服务器端等待边缘端处理器读取；

步骤7，重复步骤4～步骤6。

一种基于稀疏区域的铲斗姿态跟踪方法，其中使用基于单双目融合的远程增强现实随动感知系统，包括以下步骤：

S1，将铲斗置于自然光照下，周围避免反光性物体出现，利用拍照设备围绕铲斗一圈，拍摄30张照片，拍摄时要使铲斗处于图像中心位置；

S2，打开RealityCapture软件，利用30张铲斗照片生成铲斗三维模型，该三维模型与真实铲斗比例完全相同；

S3，在三维模型周围2562个不同的位置放置虚拟相机对三维模型进行渲染，利用渲染图采集铲斗当前姿态下的稀疏轮廓点，并将轮廓点反投影到铲斗三维模型坐标系下进行保存，同时保存轮廓点的法向量和当前姿态的方向向量；最终生成2562个模板视图；

S4，给定铲斗的初始姿态，将所有模板视图的方向向量与初始姿态相乘，找出与初始姿态一致的模板视图；将该模板视图的轮廓点投影到当前真实图像上，轮廓点沿法线方向前18个像素指定为铲斗像素，后18个像素指定为背景像素，将铲斗与背景分割，进而得到铲斗的真实轮廓；

S5，利用模型轮廓点与真实轮廓点沿法线方向的距离估计铲斗的真实姿态，进而实现铲斗跟踪。

由于采用了上述技术方案，本发明取得的技术进步是：

1、本发明由于采用了单双目随动智能感知技术，实现了操作人员在超视距情景下，摆脱传统遥操作视角固定的局限，能够通过头部姿态的变化自由获取施工现场的不同视角的单目RGB信息和双目深度数据。

2、本发明由于采用了高效实时的铲斗跟踪与斗尖定位算法，能够实时通过图像捕获铲斗的姿态以及铲斗斗尖的空间位置，进而配合增强现实技术为操作人员提供铲斗的实时姿态信息和位置信息，摆脱传统遥操作无法为操作人员提供距离感的局限。

3、本发明由于采用了SLAM+YOLO的环境感知算法，能够将铲斗斗尖的局部坐标实时变换到相机的起点坐标系下，进而提供全局的环境感知，为工程机械的高效作业提供基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；

图1为本发明实施例中基于单双目融合的远程增强现实随动感知系统总体结构示意图一；

图2为本发明实施例中基于单双目融合的远程增强现实随动感知系统总体结构示意图二；

图3为本发明实施例中基于单双目融合的远程增强现实随动感知系统随动云台结构图；

图4为本发明实施例中基于单双目融合的远程增强现实随动感知系统单双目融合示意图；

图5为本发明实施例中基于单双目融合的远程增强现实随动感知系统铲斗跟踪示意图；

图6为本发明实施例中基于单双目融合的远程增强现实随动感知系统铲斗斗尖定位示意图；

其中，1、边缘端AI处理器，2、单双目视觉传感器，3、y轴直流无刷电机，4、x轴直流无刷电机，5、RGB摄像头，6、左目深度摄像头，7、右目深度摄像头。

具体实施方式

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语 “包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图及实施例对本发明做进一步详细说明：

如图1、2所示，一种基于单双目融合的远程增强现实随动感知系统，包括边缘端单双目融合随动智能感知模块、服务器端智能处理模块以及用户端增强现实模块；

边缘端单双目融合随动智能感知模块，放置在工程机械驾驶室内，用于采集施工场景的RGB信息和深度数据，并通过无线传输技术发送到服务器端；

服务器端智能处理模块，用于执行铲斗姿态估计、铲斗斗尖定位、精准环境感知以及增强现实所需的计算；

用户端增强现实模块，包括视频眼镜和操纵台，视频眼镜用于显示服务器端算法处理模块处理的三维信息融合图像，操纵台用于控制施工现场的工程机械作业。

如图3所示，随动云台集成了单双目视觉传感器2、边缘端AI处理器1、x轴直流无刷电机4以及y轴直流无刷电机3，采用solidworks软件自行设计，拥有x轴和y轴两个自由度，通过电机控制技术（FOC电机控制技术），使直流电机的转矩波动小、效率高、噪声小、动态响应快，能够快速同步操作者头部姿态。

如图4所示，单双目视觉传感器2拥有三个摄像头，分别为RGB摄像头5、左目深度摄像头6以及右目深度摄像头7，RGB摄像头5能够采集包括铲斗在内的RGB信息，通过无线传输发送到服务器端智能处理模块进行铲斗跟踪，左目深度摄像头6与右目深度摄像头7能够采集包括铲斗在内的灰度信息，通过上采样与RGB图像的分辨率保持一致，采用SGBM双目立体匹配算法基于右目图像进行深度恢复，最终通过右目深度摄像头7与RGB摄像头5之间的坐标变换关系将深度图像像素点重投影到RGB图像上进行单双目信息融合，使得铲斗姿态信息可以变换到RGB坐标系下，便于后续对铲斗斗尖进行定位。

如图5所示，服务器端智能处理模块部署的铲斗姿态估计算法，能够利用铲斗的三维模型生成各个姿态的模板视图，之后与随动云台回传的铲斗真实视图进行匹配，进而得到铲斗姿态的精确估计，再将当前姿态的渲染图与真实图叠加显示，可视化跟踪结果。

如图6中的（a）所示，服务器端智能处理模块部署的铲斗斗尖定位算法，能够利用铲斗三维模型渲染的二维图像得到斗尖的二维像平面坐标，再通过虚拟相机的内外参数得到铲斗斗尖在三维模型坐标系下的三维坐标。如图6中的（b）所示，三维模型坐标系下的斗尖坐标可以通过相机姿态变换到相机坐标系下，同时通过边缘端AI处理器1部署的YOLOv4目标检测算法检测自卸卡车的位置，配合深度数据得到卡车中心点在相机坐标系下的三维坐标，进而计算铲斗斗尖到卡车中心点的欧式距离，为操作者提供斗尖到卡车的相对距离信息，当相对距离小于设定的阈值时，会向操作者发出警报，避免发生碰撞。如图6中的（c）所示，通过服务器端部署的SLAM+YOLO算法，方框外的点代表检测到的静态特征点，方框内的点代表铲斗及其周围的动态特征点，通过每一帧的静态特征点计算当前帧相对于第一帧的变换关系，从而将每一时刻的斗尖坐标转换为初始时刻相机坐标系下坐标，即全局坐标系下的坐标。全局铲斗坐标能够更好的估计当前工程机械所处的施工状态。

一种基于单双目融合的远程增强现实随动感知方法，包括以下步骤：

步骤1，将边缘端单双目融合随动智能感知模块放置在工程机械驾驶室内，确保驾驶室前方玻璃无遮挡后，打开边缘端处理器电源，使其处于等待状态，等待与服务器端智能处理模块建立通信连接；

步骤2，打开服务器端电源，使其处于监听状态，等待与边缘端单双目融合随动智能感知模块和用户端增强现实模块建立通信连接；

步骤3，操纵者进入操纵台，并佩戴视频眼镜，等待三维显示设备出现施工界面后，开始远程遥控作业；

步骤4，边缘端处理器读取操作者头部姿态数据，控制随动云台实时更新姿态，同时将施工场景的RGB信息和深度数据通过无线传输技术发送到服务器端；

步骤5，服务器端智能处理模块通过接收的RGB信息和深度数据进行铲斗的姿态估计与铲斗斗尖定位，以及环境地图信息构建，最终将融合了铲斗姿态信息、斗尖位置信息以及斗尖与自卸卡车等周围物体的实际距离信息的融合图像发送到用户端进行显示；

步骤6，用户端操作者通过视频眼镜显示的融合图像和现场三维信息，配合操纵台远程遥控工程机械作业，同时视频眼镜实时捕获操作者头部姿态，并将其发送到服务器端等待边缘端处理器读取；

步骤7，重复步骤4～步骤6。

具体的，工程机械进行遥控作业时，操作者位于操纵台上，佩戴视频眼镜。此时视频眼镜显示的图像为服务器端智能处理模块处理完成的融合图像，包含了铲斗的姿态信息、铲斗斗尖与随动云台的距离信息、铲斗斗尖与自卸卡车的距离信息以及铲斗所处的全局环境信息，操作者可以利用这些信息判断施工现场的施工状态，并通过操纵台控制施工现场的工程机械作业。施工现场的工程机械驾驶室内放置的随动云台能够根据操作者的头部姿态自由转动，实时采集现场的RGB图像和深度图像，进而通过无线传输技术发送到服务器端智能处理模块进行姿态估计、斗尖定位、环境感知和基于增强现实技术的图像融合，最后服务器端将融合图像发送到视频眼镜进行显示。

可以将基于单双目融合的超视距远程增强现实随动智能感知系统及方法用于现有的实际的智能工程机械遥操作系统中，智能随动云台可代替无人机进行环境感知，基于视觉的铲斗跟踪方法可代替基于IMU传感器的跟踪方法，视频眼镜可代替大屏二维显示界面，为遥操作者提供身临其境的临场感。

本发明还提供一种基于稀疏区域的铲斗姿态跟踪方法，使用基于单双目融合的远程增强现实随动感知系统，所述跟踪方法通过以下步骤实现功能：

S1，将铲斗置于自然光照下，周围尽量避免反光性物体出现。利用任意拍照设备围绕铲斗一圈，拍摄30张照片，拍摄时要尽可能使铲斗处于图像中心位置。

S2，打开RealityCapture软件，利用30张铲斗照片生成铲斗三维模型，该三维模型与真实铲斗比例完全相同。

S3，在三维模型周围2562个不同的位置放置虚拟相机对三维模型进行渲染，利用渲染图采集铲斗当前姿态下的稀疏轮廓点，并将轮廓点反投影到铲斗三维模型坐标系下进行保存，同时保存轮廓点的法向量和当前姿态的方向向量。最终可生成2562个模板视图。

S4，给定铲斗的初始姿态，将所有模板视图的方向向量与初始姿态相乘，找出最接近初始姿态的模板视图。将该模板视图的轮廓点投影到当前真实图像上，轮廓点沿法线方向前18个像素指定为铲斗像素，后18个像素指定为背景像素，即可将铲斗与背景分割，进而得到铲斗的真实轮廓。

S5，利用模型轮廓点与真实轮廓点沿法线方向的距离估计铲斗的真实姿态，进而实现铲斗跟踪。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于单双目融合的远程增强现实随动感知系统，其特征在于：包括边缘端单双目融合随动智能感知模块、服务器端智能处理模块以及用户端增强现实模块；

所述边缘端单双目融合随动智能感知模块，基于单双目融合方法采集施工场景的RGB信息和深度数据，并通过无线传输发送到服务器端；

所述服务器端智能处理模块，用于执行铲斗姿态估计、铲斗斗尖定位、精准环境感知以及增强现实所需的计算；

所述用户端增强现实模块，包括用于显示服务器端算法处理模块处理的三维信息融合图像的三维显示设备和用于控制施工现场的工程机械作业的操纵台。

2.根据权利要求1所述的一种基于单双目融合的远程增强现实随动感知系统，其特征在于：所述边缘端单双目融合随动智能感知模块，包括单双目视觉传感器、边缘端AI处理器以及随动云台；所述边缘端AI处理器用于实现单双目RGB信息、深度数据、相机位姿信息和关键目标信息的融合感知，并读取用户端佩戴视频眼镜的操作者的头部姿态，进而通过直流无刷电机控制方法控制搭载了单双目视觉传感器的随动云台快速同步操作者头部姿态，达到随动效果。

3.根据权利要求2所述的一种基于单双目融合的远程增强现实随动感知系统，其特征在于：所述边缘端AI处理器，通过USB数据线与单双目视觉传感器连接，实时读取单目RGB信息、双目灰度信息以及相机位姿信息；所述双目灰度信息采用立体匹配算法恢复深度图，通过双目深度摄像头内外参数将深度图上的2D点转换到世界坐标系下的3D点，再通过单目RGB摄像头的内外参数将世界坐标系下的3D点投影到RGB图像上，实现单双目信息融合；基于目标检测算法实时检测关键目标信息，并将关键目标的位置发送到服务器端智能处理模块用于铲斗斗尖定位。

4.根据权利要求1所述的一种基于单双目融合的远程增强现实随动感知系统，其特征在于：所述服务器端智能处理模块，铲斗姿态估计与定位算法采用高效的、基于稀疏区域模板匹配方法和实时轻量化深度学习网络对铲斗状态进行实时跟踪，精准环境感知算法采用单目视觉SLAM算法，能够为安全作业提供必要的环境地图信息和工程机械姿态信息。

5.根据权利要求1所述的一种基于单双目融合的远程增强现实随动感知系统，其特征在于：所述三维显示设备在显示服务器端处理完成的融合图像的同时，能够精准捕获操作者头部姿态，并实时发送到服务器端，进而被边缘端AI处理器读取，控制随动云台进行跟随；所述操纵台还能用于为操作者提供真实的操纵环境，配合视频眼镜能够达到身临其境的效果。

6.一种如权利要求1-5任一项所述的基于单双目融合的远程增强现实随动感知系统的感知方法，其特征在于：包括以下步骤：

步骤1，将边缘端单双目融合随动智能感知模块放置在工程机械驾驶室内，确保驾驶室前方玻璃无遮挡后，打开边缘端处理器电源，使其处于等待状态，等待与服务器端智能处理模块建立通信连接；

步骤2，打开服务器端电源，使其处于监听状态，等待与边缘端单双目融合随动智能感知模块和用户端增强现实模块建立通信连接；

步骤3，操纵者进入操纵台，并佩戴视频眼镜，等待三维显示设备出现施工界面后，开始远程遥控作业；

步骤4，边缘端处理器读取操作者头部姿态数据，控制随动云台实时更新姿态，同时将施工场景的RGB信息和深度数据通过无线传输技术发送到服务器端；

步骤5，服务器端智能处理模块通过接收的RGB信息和深度数据进行铲斗的姿态估计与铲斗斗尖定位，以及环境地图信息构建，最终将融合了铲斗姿态信息、斗尖位置信息以及斗尖与自卸卡车周围物体的实际距离信息的融合图像发送到用户端进行显示；

步骤6，用户端操作者通过视频眼镜显示的融合图像和现场三维信息，配合操纵台远程遥控工程机械作业，同时视频眼镜实时捕获操作者头部姿态，并将其发送到服务器端等待边缘端处理器读取；

步骤7，重复步骤4～步骤6。

7.一种基于稀疏区域的铲斗姿态跟踪方法，其中使用如权利要求1-5任一项所述的基于单双目融合的远程增强现实随动感知系统，其特征在于：包括以下步骤：

S1，将铲斗置于自然光照下，周围避免反光性物体出现，利用拍照设备围绕铲斗一圈，拍摄30张照片，拍摄时要使铲斗处于图像中心位置；

S2，打开RealityCapture软件，利用30张铲斗照片生成铲斗三维模型，该三维模型与真实铲斗比例完全相同；

S3，在三维模型周围2562个不同的位置放置虚拟相机对三维模型进行渲染，利用渲染图采集铲斗当前姿态下的稀疏轮廓点，并将轮廓点反投影到铲斗三维模型坐标系下进行保存，同时保存轮廓点的法向量和当前姿态的方向向量；最终生成2562个模板视图；

S4，给定铲斗的初始姿态，将所有模板视图的方向向量与初始姿态相乘，找出与初始姿态一致的模板视图；将该模板视图的轮廓点投影到当前真实图像上，轮廓点沿法线方向前18个像素指定为铲斗像素，后18个像素指定为背景像素，将铲斗与背景分割，进而得到铲斗的真实轮廓；

S5，利用模型轮廓点与真实轮廓点沿法线方向的距离估计铲斗的真实姿态，进而实现铲斗跟踪。

Images