CN110249277A - 具有导航能力和映射能力的能潜水的检查载具 - Google Patents

Abstract

一种被用于检查液冷式电力变压器的能潜水的可远程操作的载具可以包括：若干单独的相机和传感器，用于利用所述变压器中剩余的液体冷却剂来对所述变压器的所述内部结构进行映射和导航。所述可远程操作的载具可以被无线地控制，以在所述若干相机提供要处理的视频流的同时执行各种检查功能，以基于所述可远程操作的载具的观察位置来产生三维视场。

Description

具有导航能力和映射能力的能潜水的检查载具

技术领域

本发明总体上涉及能潜水的检查载具，并且更具体地但是非排他地涉及基于视觉遥测的自主导航和映射，其中能潜水的可远程操作的载具在内部检查填充有液体的壳体，诸如电力变压器。

背景技术

电源变压器是变电和配电的关键组成部分。大型电源变压器非常重，并且难以运输和更换。另外，即使变压器没有被损坏，变压器也具有有限的寿命，并且必须定期维护和修理电源变压器。虽然在线监测、溶解气体分析、噪声水平监测以及相关技术通常被用于标识变压器可能具有的潜在问题，但是维护和修理工作需要在现场或者修理车间中执行，维护和修理工作都需要排出变压器油。因此，在物理上接近变压器的内部以便人进行检查会是昂贵并且耗时的任务。手动检查、排出和再填充操作还涉及安全考虑和环境考虑。

因此，在油箱中剩余有冷却油的情况下检查大型电源变压器的内部这一能力，是变压器检修和制造业非常期望的。然而，对变压器进行内部检查通常仅在有限的应用中是可能的，诸如通过使用标准的视觉工具，如同用于较小大小单元的管道镜。对于中型和大型电源变压器，由于诸如电缆长度和控制管道镜等技术问题，只能在视觉上检查变压器的有限内部区域。因此，不得不通过使用间接的技术来检测许多变压器缺陷(诸如变压器绕组的损坏)，诸如通过对油的温度进行分析，检测在某些条件下出现在油中的气体以及例如噪声水平。因此，该技术领域仍然需要进一步的贡献。

发明内容

本发明的一个实施例是一种用于在填充有液体的壳体内进行内部检查的独特的能潜水的可远程操作的载具，并且更具体地但是非排他地涉及用于对电力变压器进行内部检查的独特的能潜水的可远程操作的载具。其他实施例包括用于利用能潜水的可远程操作的载具来无线地对变压器的内部结构进行导航和三维映射的装置、系统、设备、硬件、方法和组合。本申请的其他实施例、形式、特征、方面、益处和优点将通过本文所提供的描述和附图而变得清楚。

附图说明

图1描绘了具有与基站通信的能潜水的可远程操作的载具的系统的实施例。

图2描绘了能潜水的可远程操作的载具的一个实施例的示意图。

图3描绘了针对处理来自N个相机的视频流的示意流程图，以产生三维视场，用于通过在能潜水的环境中的可远程操作的载具来进行自主导航和映射。

图4描绘了对将三维点投影到相机平面(u,v)的表示。

图5描绘了针对对来自相机的视频流的实时稠密地图融合和追踪改正的示意流程图。

图6描绘了具有面向不同视图的多个相机以从可远程操作的载具的观察位置提供准球形视场(FOV)的系统。

具体实施方式

为了促进对本发明的原理的理解，现在将参照在附图中图示的实施例，并且将使用特定语言来描述这些实施例。然而，要明白的是并不旨在由此限制本发明的范围。本发明所涉及的领域的技术人员通常会想到：在所描述的实施例中的任何改变和进一步的修改以及本文所描述的本发明的原理的任何进一步的应用。

参照图1，图示了用于现场检查的、被一般地指定为50的系统。系统50总体包括通过控制站来无线地控制的形式为能潜水的可远程操作的载具(ROV)52的检查设备，在图示的实施例中，该控制站包括处理设备54，诸如计算机和显示器56。如本文使用的，术语“能潜水的”包括但不限于：能够在液体的表面下操作的载具。虽然为了一致性，下面的大部分描述都利用术语ROV，但是要明白，术语ROV囊括本文描述的各个实施例，包括自主的能潜水的机器人、无人机以及其他设备，诸如但不限于：远程地被触发但是在其他方面是自主的那些设备。因此，ROV 52旨在涵盖广泛的机器人检查设备。在图1中值得注意的是，系统50通常包括位于图的左侧和底侧的组件，其中位于右上方的组件表示系统50的某些方面的示意模型(例如ROV52在其中进行操作的油箱)，本领域的技术人员将理解该箱。在许多形式下，本文所描述的能潜水的载具能够在维持流体的容器(诸如水池或者药液储存槽)中进行操作，但是在其他形式下，可以是密封容器，诸如变压器箱。液体可以采取任何各种形式，包括水或者油，但是可以设想其他可能的液体。通过示例的方式而非限制，可以在船体、电中断器、高压开关装置、核反应堆、燃料箱、食品加工设备、浮顶存储系统、药液储存槽或者类似性质的其他装置的部分上/中执行内部检查。

在图示的实施例中示出的能潜水的ROV 52被用于在内部检查变压器58的箱59和在箱59中的内部组件61，但是本文设想了其他应用。技术人员要了解，内部检查通常仅在变压器58离线或者未使用时发生。在许多实施例中，变压器58利用其液体作为被限制在箱59以及内部变压器组件61内的冷却流体60。冷却流体60维持和分配在变压器58的操作期间由内部组件61产生的热量。

冷却流体60可以是被包括在电力变压器内的任何液体冷却剂，诸如但不限于：液体有机聚合物。因此，这种液体可以是变压器油，诸如但不限于：矿物油。在其他形式下，变压器液体可以是季戊四醇四脂肪酸天然酯和合成酯。也可以使用基于硅树脂或者碳氟化合物的油。在又一形式下，也可以使用基于植物的制剂(诸如但不限于：通过使用椰子油)。对于机器人载具在其中进行操作的流体，甚至可能可以使用纳米流体。在一些实施例中，在变压器中使用的流体包括介电特性。使用上述液体的任何组合的混合物或者可能的其他液体(诸如多氯联苯)也是可能的。

如技术人员要了解的，变压器58通常维持处于密封配置，以防止污染物或者其他物质进入。如本文使用的，箱的“密封配置”允许密封的导管和/或管道与变压器的箱或者壳体相关联，以允许连接至被维持在箱中的电气组件和/或监测设备。箱还设置有至少一个开口，以允许冷却流体的填充和/或排出。如在图1中示出的，开口62可以是现有的检修孔，例如被用于填充变压器油的那些检修孔和/或在技术人员进行检修时被用于进入箱的那些孔。在一般操作中，油通过被定位在箱的顶部的任何数目的孔被插入。开口62还可以被设置在箱59的底部，以允许排出流体。开口62可以设置有适当的塞子或者盖子，以对变压器58进行密封。在一些实施例中，开口62的大小和结构可以被设计成使得不需要完全开启变压器箱顶部、或者根本不需要开启变压器箱顶部来引入能潜水的ROV 52。因此，要了解，ROV 52的大小可以使得其可以装配在指定的开口内，无论开口是在插图中描绘的开口62还是本文在其他地方讨论的和/或本领域的技术人员了解的其他类型的接入点。

ROV 52可插入到变压器58或者其他箱中，并且为了本文中的各个实施例，将ROV52设想为：可通过利用未系绳的无线遥控器(尽管不排除用绳系住)移动。在图示的实施例中，计算机处理器54(在图示的实施例中，被描绘为膝上型计算机，但是也可以设想其他适当的计算机处理设备)被设想为与ROV 52进行无线通信。运动控制输入设备(诸如操纵杆63)被连接至计算机处理器54，并且允许技术人员控制ROV 52在变压器58内的移动。这种导航控制可以通过技术人员的视觉意识和/或通过经由显示器56而可获得的信息实现，诸如通过观察获得的三维映射、变压器58的虚拟模型。可以采用其他类型的运动控制输入设备(诸如被用于视频游戏、手持式计算机平板、计算机触摸屏等)。

在一些实施例中，计算机处理器54可以经由网络(作为一个示例，诸如所描绘的互联网64)被连接至另一计算机，以允许将图像或者传感器数据传递给由块66指定的专家(可以远程地对这些专家进行定位)，使得可以将他们的输入提供给技术人员，以确定在变压器58内的状况的性质和程度，并且然后根据需要来提供校正动作。在一些实施例中，也可以将对ROV 52的控制转移给专家(可以远程地对该专家进行定位)。在这种实施例中，专家将具有可以经由网络来向本地计算机处理器54发送控制信号的另一计算机，该本地计算机处理器54进而发送信号以如上面描述的那样控制ROV 52。

变压器58可以配置有被安装在变压器58的上部角落、边缘或者其他区域上或者在变压器附近的多个信号传输器和/或接收器68。传输器和/或接收器68被构造为从检查设备发送和/或接收无线信号69，以确定检查设备在变压器箱中的位置。要了解，在一些形式下，针对冗余，传输器和/或接收器68可以包括任何数目的单独的传输器和/或接收器配对，以适应可以被用于ROV 52的相似数目的传输器和/或接收器，下面将进一步描述其一些实施例。要了解，考虑到本文中的公开内容，提及传输器和/或接收器68可以是指与ROV 52上的对应的传输器和/或接收器配对的多个单独的传输器和/或接收器。

在一个实施例中，传输器和/或接收器68可以是收发器，但是在其他实施例中，传输器和/或接收器68可以包括彼此分离并且彼此不同的传输器和天线。例如，传输器可以被构造为通过使用不同的频率/调制/协议/等等来发送信息，而不是天线被构造为进行接收。因此，如本文使用的，术语“传输器”和“天线”可以是指收发器的组成部分以及彼此分离和分开的独立组件。除非另有相反指出，否则在此不旨在进行限制，除非明确地相反理解为：术语“传输器”和/或“天线”限于独立组件。此外，除非另有相反指出，否则在此不进行以下限制：使用短语“传输器和/或接收器”必须限于单独的组件。

由ROV 52和任何相关联的传感器收集的信息数据可以通过流体和具有开口62的箱壁被传输至控制器76和/或计算机处理器54。针对ROV 52的操作的不同方面使用不同的通信路径可以被用于防止在信号之间的干扰。一些实施例可以根据合适的情况利用相同的通信路径来传递与定位有关的数据、数据信息和控制信息。

现在转向图2，ROV 52的一个实施例被描绘为包括若干(N个)相机70、马达72和传输器和/或接收器74a、74b和74c。其他组件也可以被包括在ROV 52中，但是为了简洁起见，未图示这些组件(例如用于向相机提供电力的电池、附加传感器(诸如速率陀螺仪或者磁力计)、用于在狭窄的位置进行检查的具有(多个)光纤相机的(多个)可伸展臂等)。当ROV 52对变压器58进行导航时，相机70被利用来捕获使变压器的内部组件成像的视频流。

在ROV 52的一个实施例中，提供了多个(N个)相机70，该多个(N个)相机70在定向上是固定的并且相对于彼此被固定，并且不具有用于改变其视点或者视场的单独的机构(例如伺服机构)。在其他实施例中，ROV 52的所有相机70都具有固定的视场，并且不能被移动。相机70可以被布置在不同的方向上，以提供重叠的固定视场。相机70提供视频，以允许技术人员监测和检查变压器58内的各种组件。相机70可以采取任何合适的形式，以便移动图片相机(例如视频相机)。设想了任何数目和分布的相机70。在一种形式下，ROV 52可以具有被分布在一个区域中的相机70的阵列，但是在其他形式下，相机70可以被定位在ROV 52的所有侧面上。在另一种形式下，一个或者多个相机70是被设置在可远程控制的臂上的光纤相机，该可远程控制的臂被引导以提供对变压器绕组(诸如管道镜)的详细检查。

在一些实施例中，ROV 52设置有促进照亮ROV 52周围的区域的灯。在一些实施例中，灯是发光二极管，但是要了解，可以使用其他照明设备。照明设备被定向成照亮一个或者多个相机70的查看区域。在一些实施例中，用户可以控制光的强度和波长。

马达72被用于向推进器(例如叶轮)提供动力，该推进器被用于控制ROV 52的推进动力和/或向ROV 52提供推进动力。每个马达72可以是可逆的，以控制流体或者油流动穿过流动通道。每个马达可以彼此独立地被操作，以控制相关联的推进器(例如推力器泵)的操作，使得泵在一个方向上的旋转使液体沿指定方向流过流动通道，从而帮助在期望的方向上推进ROV 52。除了上面提到的螺旋桨的形式之外，还设想了推进器的其他配置，诸如可以备选地和/或另外地利用的桨式泵。

在一些实施例中，单个马达可以被用于产生流体穿过超过一个通道的流动。换句话说，ROV 52的壳体可以只提供一个入口、和两个或者更多个出口。被维持在壳体内的阀门可以被用于控制和重新引导流体的内部流动，并且因此，控制ROV 52在箱内的移动。也可以使由马达引起的流体流动转向(诸如通过使用方向舵或者其他流体引导设备)，以提供操纵载具所需的控制。通过利用控制器协调马达的操作，并且因此，协调流过ROV 52的壳体的油，ROV 52可以遍历变压器的、可以装配ROV 52的所有区域。此外，ROV 52能够在变压器58中进行操纵的同时维持定向稳定性。换句话说，ROV 52可以是稳定的，使得当ROV 52在变压器箱内移动时，ROV 52将不会来回移动。

传输器和/或接收器74a、74b和74c中的任何一个可以被连接至ROV 52上的控制器76，以传输从相机70采集到的数据，并且还用于发送和接收用于控制ROV 52在变压器58内的运动和/或方向的控制信号。传输器和/或接收器74a、74b和74c被构造为生成可以由计算机或者任何中间设备检测的无线信号，诸如通过经由传输器和/或接收器68进行检查(尽管在图1中仅描绘了两个传输器和/或接收器68，但是要了解，在图2中描绘的实施例中，另一传输器和/或接收器68也被用于适应三个单独的传输器和/或接收器74a、74b和74c)。

在国际申请公布WO 2014/120568中描述了在图1或者图2中描述的填充有流体的变压器箱中操作的示例性可远程操作的能潜水的载具的其他方面，其内容通过引用的方式被并入本文。

现在参照图1和图2，来自传输器和/或接收器68和传输器和/或接收器74a、74b和74c的配对中的任何配对的传输可以通过各种方式发生，包括可以通过各种频率、功率和协议发生。在一些应用中，可以利用转发器或者中继站来补充ROV 52与基站之间的通信，但是并非所有实施例都需要包括这种设备。在所有实施例中，在任何传输器和/或接收器68与传输器和/或接收器74a/74b/74c之间的传输的方式不需要相同。仅举几例，被用于从基站广播信号的传输器和/或接收器68可以按照范围从1W到5W的功率进行传输。基站还可以按照范围从大约300MHz到大约5GHz的频率进行传输，并且在一些形式下，按照300MHz、400MHz、433MHz、2.4GHz和5GHz中的任何一个进行传输。该传输可以通过使用各种协议/格式/调制/等等发生。在一个示例中，来自基站的传输可以使用数字无线电通信，诸如被用于RC模型车/船/航空器/直升机的数字无线电通信。传输还可以根据TCP/IP或者UDP发生，其可以通过WiFi无线电、通过蓝牙无线电进行的串行通信等发生。在一种特定形式下，视频传输可以当Wi-Fi相机按照2.4GHz进行串流时发生。

按照与基站的传输器和/或接收器68大致相同的方式，ROV 52的传输器和/或接收器可以按照范围从250mW到3W的功率进行传输。基站还可以按照范围从大约300MHz到大约5GHz的频率进行传输，并且在一些形式下，按照300MHz、400MHz、433MHz、2.4GHz和5GHz中的任何一个进行传输。传输可以通过使用各种协议/格式/调制/等等发生。在一个示例中，来自基站的传输可以使用数字无线电通信，诸如被用于RC模型车/船/航空器/直升机的数字无线电通信。该传输可以是通过IP的视频，并且IP的一个实施例可以是WiFi/WLAN。在一个非限制性实施例中，因此，该传输可以根据TCP/IP或者UDP发生，其可以通过WiFi无线电、通过蓝牙无线电进行的串行通信等发生。在一种特定形式下，视频传输可以当Wi-Fi相机按照4.2GHz进行串流时发生。简而言之，本文设想了各种传输技术/方法/协议/频率/等等。

在图2中图示的ROV 52还包括可以被用于接收命令和向ROV 52的有用的组件提供控制信号的控制器76。例如，控制器76可以被用于激活一个或者多个马达72、相机70和/或一个或者多个附加传感器。控制器76还可以被用于激活压载系统，紧急型的压载系统或者被用于控制在液体表面下的深度的有源压载系统。控制器76可以由数字电路系统、模拟电路系统或者这两种类型的混合组合组成。而且，控制器76可以是可编程的控制器、集成状态机或者其混合组合。控制器76可以包括一个或者多个算术逻辑单元(ALU)、中央处理单元(CPU)、存储器、限制器、调节器、滤波器、格式转换器等，这些组件未被示出，以保持清楚明了。在一种形式下，控制器76是执行算法并且根据操作逻辑78来处理数据的可编程种类，该操作逻辑78由非暂时性计算机可读介质上的编程指令所定义。备选地或者此外，用于控制器76的操作逻辑78可以至少部分地由硬连线逻辑或者其他硬件定义。

在一种形式下，相机70、具有操作逻辑78的控制器76以及传输器和/或接收器74a/74b/74c形成本地定位系统80，该本地定位系统80提供视觉数据和遥测数据，以确定ROV 52的位置和定向，并且当与使用变压器58的被存储在控制器76的存储器中和/或计算机处理器54中的模型(诸如CAD模型)结合时，本地定位系统80可操作以确定在变压器58的箱内的ROV 52的观察位置。

本地定位系统80和计算机处理器54通过使用多感官输入来为能潜水的变压器检查机器人(诸如ROV 52)提供基于稳健的视觉遥测的自主导航和映射。基于ROV 52的已知的观察位置的导航和映射使得能够对变压器进行有效并且完整的内部检查，并且为数据库生成信息，以随着时间的推移追踪变压器状况。通过同时进行映射和导航，用户可以容易地追踪已经检查了变压器的哪些内部部分以及变压器的哪些内部部分已经返回到标识到的重要区域，以便进行进一步的调查。

本地定位系统80的处理器和/或计算机处理器54采用来自具有重叠的FOV的N个相机70的移动的、严格地链接的阵列的视频流的单独对准和校准的单眼重建，以生成变压器58的稠密的全局三维地图。该地图有助于针对每一个帧而产生准确的单个动态相机姿态，并且有助于严格地连接相对的相机姿态。处理这些相机姿态和对相机的严格分布，以计算ROV 52的观察位置(诸如质心)，并且因此，计算ROV 52在变压器58内的全局姿态。实时计算并且更新该信息，以提供在变压器58内的ROV 52的实时自主导航。

现在转向图3，提供了针对本地定位系统80的处理系统(例如控制器76)和/或计算机处理器54的操作的过程100的流程图的一个实施例。过程100从来自被安装在ROV 52中的N个相机70中的每个相机70的视频流和来自ROV 52中的一个或者多个传感器的遥测数据中获取信息。这些视频流被广播到地面站(诸如在操作102中执行相机校准的计算机处理器54)。对于来自相应的相机70的视频流中的每个帧，过程100还包括：通过在操作104中应用若干滤波器来将帧细化。过程100然后包括整合操作106。操作106包括：建立或者获得变压器的结构模型，并且通过整合来自ROV 52的遥测数据来将结构模型细化，以减少在导航期间与ROV 52的旋转和平移相关联的不确定性。

过程100继续，在操作106中，通过滤波的帧来创建或者更新帧的多视图稀疏重建，并且然后在操作108中，使用先前的信息来产生对帧的稠密重建和定位，以便进行稠密追踪。过程100还包括操作112、操作114和操作116，操作112用于使用基于照片一致性的深度估计来清除帧中的图像的估计的深度，操作114及用于保持点云的网格累积，操作116用于转换为网格以使结构正则化。然后，在操作118中，将经正则化的网格用于对变压器的定位和映射。

对于存在于系统中的每个相机(N个)，实时执行过程100的这些步骤。此外，为了创建全局地图，在操作120中实时融合并且改正每个相机获得的地图，以基于ROV 52的观察位置来提供三维视场。在处理了来自若干相机70的帧之后，在操作122中，ROV 52准备好计算碰撞并且计划变压器58的运动，以便进行检查规划。

关于过程100的相机校准操作102，可以使用多个平面图案以及随后的非线性优化算法来对固有参数进行细化，以获得全局最小值。例如，图4描绘了将3D点(X_c,Y_c,Z_c)投影到相机平面(u,v)，以从已知的3D点或者(多个)校准对象中找到相机参数。这些相机参数可以是通过以下等式描述的内部参数或者固有参数(诸如焦距、光学中心、纵横比)以及外部(姿态)参数或者非固有(姿态)参数：

其中R和t是描述相机的位置的非固有参数，并且K是包括焦距、径向失真、非方形像素、偏斜和主点的固有校准矩阵。

对于从存在于ROV 52中的每个相机70的一组帧中提取三维度量测量值而言，需要校准操作。对油底光学设备进行校准必须考虑到在空气-丙烯酸界面和丙烯酸-油界面处的折射的效应，当相机被安装在ROV 52的壳体中时，存在该空气-丙烯酸界面和丙烯酸-油界面。

在一种形式下，通过隐式建模来将折射效应结合到相机校准参数中。在该方法中，在空气中对相机70进行校准，并且然后在油中对相机70进行校准，以导出折射界面的几何形状，这是因为折射效应和图像失真的主要分量是径向的。

通过将被定位在校准样品(棋盘)上的已知点的坐标与图像平面上在两个环境中的对应坐标相关联，来获得每个相机70的固有参数和非固有参数。下一步骤是：计算系统的非固有参数，从而使每个相机帧与唯一的全局坐标系有关。按照这种方式，建立了在全局坐标系与N相机阵列坐标系之间的关系。

一旦在两个环境中进行了测量，对于给定的投影失真地图，点全部同时是未失真的，并且针对如下考虑到给定x_d和D(通常是不可逆的)的x_u对点进行求解：

Lavenberg-Marquard的线性化：

对导数进行求解：

在来自空气环境的参数比来自油环境的参数具有更少的失真的这种假设下，校准操作102允许校准模型将来自空气环境的参数用作主要参数。该假设通常是正确的，因为非固有参数在校准过程中不会发生变化(与棋盘有关的相机位置)，并且失真参数可以被用于改正由于照明条件而引起的光度变化。

过程100还包括：在操作104中进行滤波。在一种形式下，滤波包括同态滤波。由于在变压器的内部捕获到的视图的颜色是均匀的，因此，在不进行滤波的情况下，难以检测特征和形状。可以对非均匀的照明进行校正，并且同时可以通过同态滤波提高每个视频帧的质量来使边缘锐化。由于图像或者视频帧可以被认为是照度和反射率的乘积的函数，因此，可以使用同态滤波器来对非均匀的照明进行校正以提高在图像中的对比度。

由于同态滤波器使存在于视频帧中的噪声放大，因此，可以通过在操作104中应用小波去噪技术来抑制噪声。在图像去噪或者视频去噪中，多分辨率分解已经显示出显著的优点。在一种形式下，该去噪滤波器使用几乎对称的正交小波基，这些正交小波基通过利用尺度间依赖性具有双变量收缩。小波去噪不假设系数是独立的，这提高了输出的质量。

操作104还可以包括：向视频帧应用各向异性滤波器。应用该滤波器以使在均匀区域中的图像帧流畅并且保存和增强边缘。这被用于使纹理平滑，并且通过删除由在先前的步骤中使用的同态滤波器放大的小边缘来减少伪像。这还去除了或者减弱了不需要的伪像和剩余的噪声。

操作106包括遥测整合和通过运动确定结构。ROV 52具有完全六自由度(DOF)姿态，其中在针对变压器的内部面参考的局部级笛卡尔框架中定义姿态。姿态图并行定位和映射方法可以被用于状态表示，其中状态向量X由历史姿态的类集所组成。

图中的每个节点x_i与基于视图的地图中包括的视频帧对应，并且这些图节点通过遥测约束或者相机约束被加以链接。对于每个节点，添加基于重力的滚转/俯仰和偏航(IMU、加速度计等)的测量作为绝对约束，因为绝对航向测量可能由于无法获得在铁制变压器壁附近的磁性衍生的罗盘航向而不可用。

操作106允许ROV 52相对于变压器环境对其自身进行定位，以确定观察位置，从而同时生成几乎最佳的稀疏地图。过程100的操作108包括稠密追踪和地图正则化。为了在映射和定位中获得更完整、更准确并且更稳健的结果，可以对图中的每个元素进行后处理。当ROV 52在流体环境中进行导航时，图逐渐增大，并且在将每个节点添加到图之后，对于每个节点，发生对每个图元素的后处理。该后处理可以使用估计的全局机器人帧变换和全部帧信息(来自图像的每个像素)，而经由整个图像配准执行完全稠密的相机追踪。实时对每个帧执行该操作，并且经由网格累积和网格正则化来提供高质量的纹理映射模型。此外，通过使用整个图像地图对准来以帧速率进行准确的相机定位。

过程100的操作120涉及地图融合和追踪改正。先前的操作被应用于来自每个相机70的视频流。因此，N个稠密地图和N个相机图姿态可用。对于在ROV 52内的每个相机，由于相对相机位置因固定的壳体而相对于彼此是已知的，因此如在图5中描绘，可以计算ROV52的全局姿态或者观察位置，并且使用全局姿态或者观察位置来全局地改正N个地图，并且将N个地图融合到单个地图中。还实时执行对全局地图的更新。

多相机实时稠密映射和定位允许ROV 52实时具有改正过的三维地图。另外，通过使用面向不同视图的N个相机，诸如在图6中描绘的，机器人具有提供优点的准球形FOV。例如，非常大的FOV会在每个时间戳增加地图的大小。另外，准球形FOV提供有关在变换器内的场景的瞬时信息，从而减少了对获得多个视图以对场景进行初步估计而通常需要的数次机器人运动的需要。而且，准球形FOV视频可以被显示在视频接收器设备(诸如显示器56)上，以向用户提供沉浸式第一人称视角以获得更好的控制、检查和重放体验。此外，实时稠密映射过程100向ROV 52提供了在任何种类的操作模式(诸如远距离操作的或者自主操作)下检测几乎瞬时的碰撞的能力。

针对ROV 52的观察位置的准确的姿态估计和对在变压器58内的周围环境的稳健的估计改进了ROV 52的导航。地图被用于检测在已知的并且不断发展的三维环境中的碰撞，并且可以采用运动规划算法来帮助ROV 52在一组给定视点之间进行导航。在创建了地图之后，用户可以定义限制区域(定义检查位置/视点等)，以简化检查过程。最终，用户可以自动进行检查。而且，可以允许多个检查机器人在不同的区域中同时工作，以提高检查速度。

ROV 52可以被用作用于对较大大小的变压器进行机器人检查以维护和检修它们的支持技术。通过在每次检查期间对变压器的内部结构进行映射，可以获得对变压器的变化和其油随着时间的推移的光学特性的新洞察。例如，可以观察并且记录由相机校准引起的油特性变化以指示油的状况。这种类型的数据将产生对先前无法实现的变压器状况的洞察。

可以全部地或者部分地与上面描述的各个实施例一起使用的系统50的一种操作模式如下进行：为了确保ROV 52与计算机处理器54之间的可靠通信，可以通过在变压器的顶部的检修开口，来将收发器68插入到冷却油箱中。在某些实施例中，收发器68被用于经由控制器来将来自ROV 52上的(多个)传感器和相机70的数据信息交换给计算机处理器54；并且经由计算机处理器54来将来自操纵杆63的运动控制或者操纵信号交换给控制器以操作马达72和推力器。由ROV 52传输的视频和遥测信号由计算机处理器54使用，以在变压器58的箱内确定ROV位置和定向。

计算机处理器54接收遥测信号和视频信号，以采集数据并且通过ROV 52的观察位置来产生三维图像或者视频，以允许技术人员监测和控制ROV 52的移动，而油或者其他流体保留在变压器箱内，其中ROV 52使接收到的信号与箱的模型相关。所公开的实施例对多个相机70进行校准以用于变压器冷却流体环境，并且减少由于流体内环境而导致的噪声主要测量、有限FOV和光失真的影响。

所公开的系统50允许技术人员检查变压器的内部组件，并且若需要，允许技术人员特别注意在变压器内的某些区域。对ROV 52的位置和通过箱的路线进行映射、导航和记录，使得当结合变压器58的内部部件的模型而使用ROV 52时，可以确定ROV 52的位置和定向以定义在箱内的ROV 52的观察位置。

通过利用变压器的内部特征的模型以及ROV 52相对于那些内部特征的位置和定向，可以将所获得的视频图像与在实际的变压器箱内的对应观察位置相匹配。基于通过处理来自相机70的多个视频图像而提供的观察位置和扩展FOV，技术人员可以响应于导航穿过变压器58来操纵操纵杆63。计算机54接收来自操纵杆的移动信号并且无线地将它们传输至天线74，接着，控制器实施在内部维护的子例程，以控制泵推力器产生所需的移动。可以根据情况重新调整ROV 52的位置的技术人员实时监测该移动。

本申请的一个方面包括一种装置，该装置包括能潜水的可远程操作的载具。可远程操作的载具包括：被构造为穿过液体环境从远程控制站接收命令的信号接收器；相对于彼此被固定在就位的多个相机，具有重叠的视场，其中该多个相机中的每个相机可操作以产生视频流；以及被配置为将视频流传输至处理设备的传输器。处理设备被配置为处理视频流，以基于视频流来输出三维地图。

在一个实施例中，处理设备是被无线地连接至可远程操作的载具的计算机。在另一实施例中，处理设备被包括具有在可远程操作的载具上的控制器。

在另一实施例中，该多个相机在可远程操作的载具上被定向，所以三维地图提供准球形视场。

在再一实施例中，处理设备被配置为：基于来自可远程操作的载具的遥测数据和包括液体环境的结构的模型，来确定在液体环境中的可远程操作的载具的观察位置。在另一实施例中，可远程操作的载具包括具有一个或者多个马达的推进系统。

在又一实施例中，该装置包括：具有与可远程操作的载具的信号传输器互补的信号接收器的基站。该基站还包括与可远程操作的载具的信号接收器互补的信号传输器。可远程操作的载具被构造为被浸没在箱中进行操作，该箱包括被浸没在有机聚合物液体中的电力变压器。

根据本申请的另一方面，一种装置包括被构造为在表面之下并且在液体的主体内被操作的可远程操作的载具。该可远程操作的载具包括被构造为利用被浸没在液体中的可远程操作的载具来广播信号的传输器、以及相对于彼此被固定在就位的多个相机。该多个相机中的每个相机被构造为从在液体内的可远程操作的载具捕获视频流。处理器被配置为接收并且处理视频流，以确定在液体内的可远程操作的载具的观察位置，并且基于视频流和观察位置来输出三维视场。

在一个实施例中，处理设备是被无线地连接至可远程操作的载具的计算机、和在可远程操作的载具上的控制器中的至少一个。在另一实施例中，该多个相机在可远程操作的载具上被定向，以提供准球形视场。

在再一实施例中，处理设备被配置为基于来自可远程操作的载具的遥测数据和包括液体环境的结构的模型来确定在液体环境中的可远程操作的载具的观察位置。

根据另一方面，一种方法包括：将能潜水的可远程操作的载具插入到变压器箱的内部中，该变压器箱包括被浸没在液体冷却剂中的电力变压器；通过变压器箱中的液体冷却剂来推进可远程操作的载具，以检查电力变压器；操作被固定在可远程操作的载具上的多个相机，以产生变压器箱的内部的视频流；基于遥测数据和电力变压器的模型来确定可远程操作的载具的观察位置；以及处理来自该多个相机中的每个相机的视频流以从可远程操作的载具的观察位置输出变压器箱的内部和电力变压器的三维视场。

在一个实施例中，该方法包括：在可远程操作的载具通过液体冷却剂被推进的同时，实时更新观察位置和三维视场。

在另一实施例中，该方法包括：在确定观察位置之前，对该多个相机中的每个相机进行校准以便在液体冷却剂中操作。在对该实施例的改进中，对相机中的每个相机进行校准包括：首先在空气中对该多个相机中的每个相机进行校准，并且然后在液体冷却剂中对该多个相机中的每个相机进行校准。

在再一实施例中，该方法包括：对来自该多个相机中的每个相机的视频流中的每个视频流中的帧进行滤波。在另一实施例中，确定观察位置包括：参考可远程操作的载具相对于变压器箱的内表面的姿态。

在又一实施例中，该方法包括：基于三维视场来对电力变压器进行映射。在该方法的另一实施例中，该多个相机被布置为提供准球形三维视场。在另一实施例中，该方法包括：将三维视场显示在显示器上。

虽然已经在附图和前面的描述中详细图示和描述了本发明，但是本发明应该被认为是说明性的而非限制性的，应该理解，仅已经示出和描述了优选实施例，并且期望保护落入本发明的精神内的所有改变和修改。应该理解，虽然对诸如在上面的描述中利用的“优选”、“优选地”、“优选的”或者“更优选的”等词语的使用表示如此描述的特征将是更满足需要的，但是这可以不是必需的，并且可以缺少这些特征的实施例可以被认为是在本发明的范围内，该范围由随附权利要求书限定。在阅读权利要求书时，意图是：当使用诸如“一”、“一个”、“至少一个”或者“至少一部分”等词语时，不旨在将权利要求书限制为仅一个项，除非权利要求书中另有明确说明。当使用语言“至少一部分”和/或“一部分”时，项可以包括一部分和/或整个项，除非另有明确说明。除非另有指定或者限制，否则在广泛的意义上使用术语“安装”、“连接”、“支撑”和“联接”及其变化，并且术语“安装”、“连接”、“支撑”和“联接”囊括直接和间接安装、连接、支撑和联接。进一步地，“连接”和“联接”不限于物理或者机械连接或者联接。

Claims (20)

1.一种装置，包括：

能潜水的可远程操作的载具，所述可远程操作的载具包括：

信号接收器，被构造为穿过液体环境从远程控制站接收命令；

多个相机，相对于彼此被固定就位，具有重叠的视场，所述多个相机中的每个相机可操作以产生视频流；以及

传输器，被配置为将所述视频流传输至处理设备，所述处理设备被配置为处理所述视频流，以基于所述视频流来输出三维地图。

2.根据权利要求1所述的装置，其中所述处理设备是被无线地连接至所述可远程操作的载具的计算机。

3.根据权利要求1或者2所述的装置，其中所述处理设备被包括具有在所述可远程操作的载具上的控制器。

4.根据前述权利要求中任一项所述的装置，其中所述多个相机在所述可远程操作的载具上被定向，所以所述三维地图提供准球形视场。

5.根据前述权利要求中任一项所述的装置，其中所述处理设备被配置为：基于来自所述可远程操作的载具的遥测数据和包括所述液体环境的结构的模型，来确定在所述液体环境中的所述可远程操作的载具的观察位置。

6.根据前述权利要求中任一项所述的装置，其中所述可远程操作的载具包括具有一个或者多个马达的推进系统。

7.根据前述权利要求中任一项所述的装置，还包括：基站，具有与所述可远程操作的载具的信号传输器互补的信号接收器，所述基站还包括与所述可远程操作的载具的所述信号接收器互补的信号传输器，并且其中所述可远程操作的载具被构造为被浸没在箱中进行操作，所述箱包括被浸没在有机聚合物液体中的电力变压器。

8.一种装置，包括：

可远程操作的载具，被构造为在表面之下并且在液体的主体内被操作；传输器，被构造为利用被浸没在液体中的所述可远程操作的载具，来广播信号；多个相机，在所述可远程操作的载具上相对于彼此被固定就位，所述多个相机分别被构造为从在所述液体内的所述可远程操作的载具捕获视频流；以及处理器，被配置为接收并且处理所述视频流，以确定在所述液体内的所述可远程操作的载具的观察位置，并且基于所述视频流和所述观察位置来输出三维视场。

9.根据权利要求8所述的装置，其中所述处理设备是以下中的至少一项：被无线地连接至所述可远程操作的载具的计算机、和在所述可远程操作的载具上的控制器。

10.根据权利要求8或者9所述的装置，其中所述多个相机在所述可远程操作的载具上被定向，以提供准球形视场。

11.根据权利要求8至11中任一项所述的装置，其中所述处理设备被配置为：基于来自所述可远程操作的载具的遥测数据和包括所述液体环境的结构的模型，来确定在所述液体环境中的所述可远程操作的载具的所述观察位置。

12.一种方法，包括：

将能潜水的可远程操作的载具插入到变压器箱的内部中，所述变压器箱包括被浸没在液体冷却剂中的电力变压器；

通过所述变压器箱中的所述液体冷却剂来推进所述可远程操作的载具，以检查所述电力变压器；操作被固定在所述可远程操作的载具上的多个相机，以产生所述变压器箱的所述内部的视频流；

基于遥测数据和所述电力变压器的模型，来确定所述可远程操作的载具的观察位置；以及

处理来自所述多个相机中的每个相机的所述视频流，以从所述可远程操作的载具的所述观察位置输出所述变压器箱的所述内部和所述电力变压器的三维视场。

13.根据权利要求12所述的方法，还包括：在所述可远程操作的载具通过所述液体冷却剂被推进的同时，实时更新所述观察位置和所述三维视场。

14.根据权利要求12或者13中任一项所述的方法，还包括：在确定所述观察位置之前，对所述多个相机中的每个相机进行校准，以便在所述液体冷却剂中操作。

15.根据权利要求14所述的方法，其中对所述相机中的每个相机进行校准包括：首先在空气中对所述多个相机中的每个相机进行校准，并且然后在所述液体冷却剂中对所述多个相机中的每个相机进行校准。

16.根据权利要求12至15中任一项所述的方法，还包括：对来自所述多个相机中的每个相机的所述视频流中的每个视频流中的帧进行滤波。

17.根据权利要求12至15中任一项所述的方法，其中确定所述观察位置包括：参考所述可远程操作的载具相对于所述变压器箱的内表面的姿态。

18.根据权利要求12至15中任一项所述的方法，还包括：基于所述三维视场来对所述电力变压器进行映射。

19.根据权利要求12至15中任一项所述的方法，其中所述多个相机被布置为提供准球形三维视场。

20.根据权利要求12至15中任一项所述的方法，还包括：将所述三维视场显示在显示器上。