CN113885495B - 一种基于机器视觉的室外自动工作控制系统、方法及设备 - Google Patents
一种基于机器视觉的室外自动工作控制系统、方法及设备 Download PDFInfo
- Publication number
- CN113885495B CN113885495B CN202111151219.8A CN202111151219A CN113885495B CN 113885495 B CN113885495 B CN 113885495B CN 202111151219 A CN202111151219 A CN 202111151219A CN 113885495 B CN113885495 B CN 113885495B
- Authority
- CN
- China
- Prior art keywords
- outdoor automatic
- automatic tool
- boundary
- working area
- outdoor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 22
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000009333 weeding Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000035613 defoliation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于机器视觉的室外自动工作控制系统、方法及设备，本方案控制室外自动工具沿工作区域边界运行一周后，基于机器视觉所获取到的室外自动工具周围图像信息建立工作区域边界的特征坐标地图；控制室外自动工具在由特征坐标地图限定的工作区域内工作，并基于机器视觉实时计算室外自动工具相对于工作区域边界的位置关系，并在室外自动工具到达工作区域边界时，对室外自动工具形成返回工作区域的自动工作控制模式。本发明提供的方案基于机器视觉和神经网络技术大大简化了室外自动工作设备的部署的条件，增加的室外自动工作设备在工作区域内自动工作的可靠性和控制精度，提高了室外自动设备的工作效率。
Description
技术领域
本发明涉及设备自动化技术，具体涉及室外工作设备自动工作控制技术。
背景技术
室外自动工具基于使用时的便捷性，在人们的日常生活中得到越来越多的应用。特别是一些能够在特定工作区域内自动完成辅助任务的室外自动工具，极大的受到欢迎，如庭院除草机器人等。对于这类的室外自动工具在实现时，其首要解决的问题是如何精确识别对应的工作区域边界，确定工作区域；在此基础上，如何在工作区域内进行工作路径规划，以尽可能的最大范围覆盖整个工作区域，同时还能够越过工作区域边界。
对此，目前常见的室外自动工具，如庭院除草机器人，在确定工作区域边界方面，往往是使用导线上输入固定频率的交变电流或者固定频率的电脉冲，利用变化的电流在导体上产生磁场的作为电磁边界；在此基础上，再使用电感或者霍尔元件感应地面及平面上的磁场信号强弱，进行巡线运动和跟踪。同时在运动路径方面，只能在电磁边界框定范围内做无序的乒乓运动。
这样的技术在实际应用时存在诸多问题，其中集中在如下几点：
(1)只能简单的就一维的电磁边界和远近进行非常粗糙的判断，无法利用电感值进行精确地定位或姿态解算；
(2)无法建立工作地图，也无法定位，在电磁边界框定范围内做无序的乒乓运动工作和覆盖地图的效率低下；
(3)传感器结构单一，容易受低下市电的交变电的干扰，一旦某边界断电和损坏，机器容易驶离工作区域，发生越界，造成安全隐患。
由此可见，现有的室外自动工具存在自动控制精度不高，以及可靠性差的问题，如何有效提高室外自动工具自动工作的控制精度以及可靠性为本领域亟需解决的问题
发明内容
针对现有室外自动工具的自动工作控制技术在控制精度和可靠性方面所存在的问题，需要一种新的室外自动工具的自动工作控制技术。
为此，本发明的目的在于提供一种基于机器视觉的室外自动工作控制系统，实现基于机器视觉来实现提高室外自动工具自动工作的控制精度以及可靠性；
进一步的，本发明还进一步提供基于机器视觉的室外自动工作控制方法，以及可运行该室外自动工作控制方法的自动工作设备。
为了达到上述目的，本发明提供的基于机器视觉的室外自动工作控制系统，包括机器视觉图像传感器、智能控制单元、定位模块、运动传感模块，
所述机器视觉图像传感器实时获取室外自动工具周围图像信息；
所述定位模块获取室外自动工具的空间位置信息；
所述运动传感模块获取室外自动工具的运动状态信息；
所述智能控制单元基于机器视觉图像传感器获取的室外自动工具周围图像信息、定位模块获取室外自动工具的空间位置信息以及运动传感模块获取室外自动工具的运动状态信息，在室外自动工具沿工作区域边界运行一周后，建立工作区域边界的特征坐标地图；
所述智能控制单元基于室外自动工具周围图像信息、空间位置信息运动状态信息，以及所建立的工作区域边界的特征坐标地图，实时计算室外自动工具相对于工作区域边界的位置关系，并在室外自动工具到达工作区域边界时，对室外自动工具形成返回工作区域的自动工作控制模式。
进一步的，所述智能控制单元
根据机器视觉图像传感器采集的周围图像信息，利用神经网络对图像进行识别和分割，并判断室外自动工具是否接近指定的工作区域边界；如未能检测到边界，控制室外自动工具依据当前状态继续行驶，直到识别到边界；届时，同步的采集室外自动工具中定位模块获取到的绝对坐标点，以构建对应的边界特征向量；
所述智能控制单元控制室外自动工具连续的沿边界线自主行走，并自主采集一系列边界的特征向量，直到出现特征向量重复，基于所获取到的边界坐标点以及对应的特征向量来建立工作区域边界的特征坐标地图。
进一步的，所述智能控制单元可基于外部遥控信号控制室外自动工具连续的沿边界线自主行走，并自主采集一系列边界的特征向量，直到出现特征向量重复，基于所获取到的边界坐标点以及对应的特征向量来建立工作区域边界的特征坐标地图。
进一步的，所述智能控制单元基于机器视觉图像传感器获取的室外自动工具周围图像信息估计室外自动工具的运动过程信息，所述运动过程信息包括室外自动工具自主行走的位移信息及空间姿态信息。
进一步的，所述智能控制单元通过获取相邻两帧之间的RT坐标系变换关系，将获取得到的多个RT相乘获取得到当前帧与原始位置之间的变换关系，然后进行迭代优化；同时，融合运动传感模块获取室外自动工具的运动状态信息，通过时间积分计算室外自动工具的位移，由此完成对室外自动工具位姿信息及运动位移信息的估算。
为了达到上述目的，本发明提供的基于机器视觉的室外自动工作控制方法，包括：
控制室外自动工具沿工作区域边界运行一周后，基于机器视觉所获取到的室外自动工具周围图像信息建立工作区域边界的特征坐标地图；
控制室外自动工具在由特征坐标地图限定的工作区域内工作，并基于机器视觉实时计算室外自动工具相对于工作区域边界的位置关系，并在室外自动工具到达工作区域边界时，对室外自动工具形成返回工作区域的自动工作控制模式。
进一步的，所述控制方法在建立工作区域边界的特征坐标地图时，包括：
控制室外自动工具动作，获取室外自动工具周围图像信息，以判断取室外自动工具是否处于指定类型的工作区域内；
根据获取到的室外自动工具周围图像信息计算判断室外自动工具是否接近工作区域的边界；
采集工作区域边界点的位置坐标，基于各个位置的坐标点及其对应的特征向量，生成由特征向量和位置坐标的工作区域边界的特征地图。
进一步的，所述室外自动工作控制方法通过识别室外自动工具周围图像中相应工作区域的有、无、或比例，判断室外自动工具是否在指定工作区域内。
进一步的，所述室外自动工作控制方法还融合工作区域边界线深度信息，以及室外自动工具相对于工作区域边界线的夹角信息来判断室外自动工具是否在指定工作区域内。
进一步的，所述方法还基于获取的室外自动工具周围图像信息估计室外自动工具的运动过程信息，所述运动过程信息包括室外自动工具自主行走的位移信息及空间姿态信息。
进一步的，所述方法首先通过获取相邻两帧之间的RT坐标系变换关系，将获取得到的多个RT相乘获取得到当前帧与原始位置之间的变换关系；
接着，进行迭代优化，并融合运动传感模块获取室外自动工具的运动状态信息，通过时间积分计算室外自动工具的位移，由此完成对室外自动工具位姿信息及运动位移信息的估算。
进一步的，所述控制室外自动工具返回工作区域的自动工作控制模式包括沿边模式、随机模式、路径规划模式、自动回充模式、避障模式中的一种或多种。
为了达到上述目的，本发明提供的一种终端设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，所述程序代码由所述处理器加载并执行上述室外自动工作控制方法的步骤。
本发明提供的方案基于机器视觉和神经网络技术大大简化了室外自动工作设备的部署的条件，增加的室外自动工作设备在工作区域内自动工作的可靠性和控制精度，提高了室外自动设备的工作效率。
本发明提供的方案在具体应用时，能够在控制成本的同时增加室外自动工作设备的工作效率和控制精度，从根本上实现对工作区域的全覆盖。
本发明提供的方案在具体应用时，提高工作区域的覆盖率，以及降低了设备在运行过程中受其他交变磁场，和电磁边界线断开和断电影响的可能性。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明中室外自动工作控制系统的构成示例图；
图2为本发明中室外自动工具的设置原理图；
图3为本发明中建立工作区域边界的特征坐标地图的流程示例图；
图4为本发明中控制室外自动工具自动工作的逻辑示例图；
图5为本发明实例中庭院机器人自动建立工作地图的流程示例图；
图6为本发明实例中庭院机器人进行随机工作模式的流程示例图；
图7为本发明实例中庭院机器人进行随机工作模式的工作路径示例图；
图8为本发明实例中庭院机器人进行路径规划模式时，有绝对位置信息下的工作路径示例图；
图9为本发明实例中庭院机器人进行路径规划模式时，纯机器视觉下的工作路径示例图；
图10为本发明实例中庭院机器人在路径规划模式下的工作流程示例图；
图11为本发明实例中庭院机器人在避障模式下的工作流程示例图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
针对室外工作环境的特殊性，本方案给出基于机器视觉的室外自动工具路径规划方案，实现以摄像头为主导，通过机器视觉和神经网络大大简化室外自动工具的部署的条件，增加的室外自动工具的在工作区域内的可靠性，提高室外自动工具的工作效率。
在此基础上，本方案构建一套基于机器视觉的室外自动工作控制系统，实现基于深度学习的机器视觉技术，自主识别工作区域，使得机器保持在工作区域内自动工作。
参见图1，其所示为本方案给出的基于机器视觉的室外自动工作控制系统的一种构成示例。
本基于机器视觉的室外自动工作控制系统100主要包括机器视觉图像传感器110，AI智能单元120，嵌入式处理器130，定位模块140，运动传感模块150等这几个功能模块。
其中，机器视觉图像传感器110实时获取室外自动工具周围图像信息。该机器视觉图像传感器与AI智能单元120数据交互，可将获取到的室外自动工具周围图像信息输入至AI智能单元120进行AI算法运算处理，识别相应的工作区域边界。
在具体实现时，该机器视觉图像传感器110的具体构成可根据实际需求而定，作为举例，其可以为目摄像头，双目摄像头，全景摄像头，RGBD等中的一种或多种。
该机器视觉图像传感器在具体部署时，可根据实际需求而定，作为举例，可部署在室外自动工具本体的四周和/或顶部。
本系统中的定位模块140，用于获取室外自动工具的空间位置信息。
作为优选，该定位模块140可与嵌入式处理器130进行数据交互，完成空间定位计算参考，可对系统的累积误差进行修正。
在具体实现时，该定位模块140的具体构成可根据实际需求而定，作为举例，优选采用无线电定位模块，如卫星定位系统、GNSS、RTK、RTD、基站定位、AGPS、UWB超宽带定位模块、蓝牙定位模块等中的一种或多种
如图2所示，该定位模块140在具体部署时，可根据实际需求而定，作为举例，可部署在室外自动工具本体的内部。
本系统中的运动传感模块150，用于获取室外自动工具的运动状态信息。
具体的，本运动传感模块150与嵌入式处理器130进行数据交互，完成实时检测室外自动工具的运动状态，通过传感器融合算法计算室外自动工具行走距离，为边界点确定一个大致的坐标，以用于绘制工作区域地图。
在具体实现时，该运动传感模块150的具体构成可根据实际需求而定，作为举例，优选采用惯性导航传感器、电机数字编码器等。
该运动传感模块在具体部署时，可部署在室外自动工具本体的内部。
本系统中的AI智能单元120与嵌入式处理器130配合构成整个自动工作控制系统的智能控制单元，完成对室外自动工具的自动工作控制。
由此形成的智能控制单元，与机器视觉图像传感器进行数据交互，基于深度学习的机器视觉完成工作区域的自主识别，并控制室外自动工具自动工作在工作区域内。
在具体实现时，该AI智能单元120的具体构成可根据实际需求而定，作为举例，优选采用GPU、FPGA、DSP、NCU、人工智能ASIC等中的一种或多种。
如图2所示，该AI智能单元120与嵌入式处理器130在具体部署时，可根据实际需求而定，作为举例，可部署在室外自动工具本体的内部。
同时，本系统中还包括电源模块161、充电模块162以及电机驱动模块163，这些模块与嵌入式处理器配合，部署在室外自动工具本体的内部，以完成对室外自动工具的基础驱动控制。
这里对于电源模块161、充电模块162以及电机驱动模块163的构成，不加以限定，可根据实际需求而定。
在此基础上，本系统中进一步设置障碍识别传感器180和电磁边界传感器170，以进一步提高本系统实现对室外自动工具控制的精度和可靠性。
这里的障碍识别传感器180与嵌入式处理器130进行数据交互，用于记录当前地表的障碍物，对机器视觉识别处理的进一步补充，根据地表障碍物，辅助建立工作任务区。
如图2所示，该障碍识别传感器180，可根据实际需求而定，作为举例，优选可部署在室外自动工具本体的四周。
这里的电磁边界传感器170，具体为用于在光线受限的情况下辅助判断的电磁边界传感器，作为对机器视觉识别的进一步补充，根据地表预设的电磁边界，辅助建立工作任务区。
如图2所示，该电磁边界传感器170，可根据实际需求而定，作为举例，优选可部署在室外自动工具本体的四周。
基于上述方案构成的室外自动工作控制系统，在控制室外自动工具进行工作时，首先，由AI智能单元基于机器视觉图像传感器获取的室外自动工具周围图像信息、定位模块获取室外自动工具的空间位置信息以及运动传感模块获取室外自动工具的运动状态信息，在室外自动工具沿工作区域边界运行一周后，建立工作区域边界的特征坐标地图；
接着，由AI智能单元基于室外自动工具周围图像信息、空间位置信息运动状态信息，以及所建立的工作区域边界的特征坐标地图，实时计算室外自动工具相对于工作区域边界的位置关系，并在室外自动工具到达工作区域边界时，对室外自动工具形成返回工作区域的自动工作控制模式。
以下具体说明一下，本方案控制室外自动工具完成工作区域识别以及自动在识别出的工作区域内自动完成全覆盖工作实现过程。
本方案给出的室外自动工作控制系统在控制室外自动工具进行自动工作时，主要包括建立工作区域地图和自动工作两个阶段。
(一)工作区域地图建立阶段
该阶段用于室外自动工具初始工作时，针对待工作区域建立工作区域边界的特征坐标地图。
该阶段中，本室外自动工作控制系统控制室外自动工具在工作区域自动寻找工作区域边界运行一周，通过机器视觉图像传感器和无线电定位模块和运动传感器建立工作区域边界的特征坐标地图。
具体的，控制系统通过机器视觉传感器实时采集室外自动工具周围图像，再由人工智能单元利用神经网络对采集到的图像进行识别和分割，并判断室外自动工具是否贴近指定的工作区域边界：
如未能检测到边界，控制室外自动工具按照当前行驶状态继续直行，直至识别到边界；
在识别达到边界的同时，同步采集室外自动工具中定位模块获取的定位信息中的绝对坐标点、基于室外自动工具位姿的边界方向向量、边界图像内的特征物信息，据此建立室外自动工具当前所到达边界点的特征向量。
控制系统在室外自动工具达到工作区域边界时，将控制室外自动工具调整行驶方向，使得室外自动工具自主连续的沿工作区域边界线行走，并同步自主采集一系列边界的特征向量，直到出现特征向量重复。
此时，控制系统通过嵌入式处理器对存储的坐标点和其特征向量做滤波和优化，并基于优化的数据建立工作区域边界的特征坐标地图。
另外，作为替换方案，本方案在控制室外自动工具沿工作区域边界运行一周时，除了前述的在工作区域自动寻找工作区域边界运行一周的方式外，还可通过手动遥控室外自动工具沿工作区域边界运行一周。同样的，在手动遥控室外自动工具沿工作区域边界运行一周的过程中，控制系统同步采集对应边界点的坐标点和特征向量，对采集的坐标点和其特征向量做滤波和优化，并基于优化的数据建立工作区域边界的特征坐标地图。
作为举例，针对室外自动工具难自主行走建立地图的场景，如工作边界图像定义不清晰，工作区域为一个整体大区域的局部区域时，此情况下，可通过遥控模式辅助室外自动工具完成工作区边界特征坐标地图的建立。可由操作人员(如用户)通过遥控装置对室外自动工具进行遥控沿工作区边界行走，并在行走过程中同步采集一系列边界的特征向量，直到出现特征向量重复，对采集的坐标点和其特征向量做滤波和优化，并基于优化的数据建立工作区域边界的特征坐标地图。
进一步的，本室外自动工作控制系统在行进工作区域地图构建的过程中，系统中的人工智能单元对机器视觉图像传感器采集并输入的室外自动工具周围图像，具体基于深度学习的神经网络算法进行运算，优化，加速；在此基础上对图像中的工作区域进行识别和分割处理，以输出机器可识别的工作区域边界信息，这里的工作区域边界信息包括边界种类，方向向量及法向量，及其与设备方向的夹角，并据此信息构成对应的边界特征向量输入系统的处理单元中。
进一步的，本室外自动工作控制系统在行进工作区域地图构建的过程中，还利用单个或多个机器视觉图像传感器采集并输入的图像信息估计室外自动工具的运动过程信息。
这里的运动过程信息主要是指室外自动工具自主行走的位移信息及空间的姿态信息。
具体的，本方案通过获取相邻两帧图片之间的RT坐标系变换关系，将获取得到的多个RT相乘获取得到当前帧与原始位置之间的变换关系，即计算出室外自动工具帧间的运动变化；然后在此基础上进行迭代优化；同时，人工智能处理单元融合运动传感模块例如编码器和陀螺仪采集到的室外自动工具的速度信息、加速度信息，通过时间积分来计算自室外自动工具的位移变化，完成对室外自动工具的位姿信息及运动信息的估计。
如此，本方案行进工作区域地图构建时，通过基于神经网络的机器视觉识别后，能够更方便的提取出边界线图像的特征。同时配合，通过相邻两帧图像之间的区别，来计算出帧间的运动变化来过滤掉不必要的特征点，由此实现更高效的利用图像信息，计算出对室外自动工具的位姿信息及运动信息的估计，从而得到室外自动工具行走的路径和方向角，使得要建立的边界线地图的边界的坐标更加完整和准确。
进一步的，由于运动位姿的估计只依赖于相邻两帧图像之间的数据(包括图像，加速度，角速度等信息)，位姿估计中的误差会累加。对此，本方案中通过无线电定位模块获取室外自动工具的定位信息，并据此来消除累计误差，提高了自动工具的定位精度。
作为举例，对于通过神经网络和图像变换的方式处理边界地图时，若出现边界线难以闭合，难以构成一个封闭的图形时，此时，可通过无线电模块辅助获得室外自动工具的高精度定位点信息，来对累计误差的漂移误差量进行实时或者间断的修正，从而实现消除这个累计误差带来的边界点坐标的偏移，这样可基于修正后的数据形成一个完整且封闭的边界线地图。
本室外自动工作控制系统在完成工作区域地图构建时，以工作区域边界点的位置坐标和机器遍历走过这边位置的方式，将各个位置的坐标点及其对应的特征向量存贮下来，生成由特征向量和位置坐标的工作区域边界的特征地图。
参见图3，给了本室外自动工作控制系统控制室外自动工具进行工作区域地图构建的一种示例流程。
由图可知，本室外自动工作控制系统控制室外自动工具针对相应的工作区域，进行工作区域地图构建时，根据控制模式采用自动或手动遥控的方式控制室外自动工具在工作区域内寻找工作区域边界。
接着，控制室外自动工具进行初始化，即控制室外自动工具原地旋转，并获取室外自动工具周围的图像信息。
这里控制室外自动工具进行原地旋转，可实现扫描获取室外自动工具周围的工作边界图像，使得室外自动工具能够以就近的方式寻找边界线，并开始沿线构建工作区域地图；
这里控制室外自动工具进行原地旋转，还可实现扫描获取室外自动工具周围的工作区域图像，当室外自动工具周围图像识别结果都是工作区域内时，判断室外自动工具处在工作区域内可以开始安全的工作。
这里控制室外自动工具进行原地旋转，还可同时校准磁力计获得更准确地方向角。
接着，根据选定的控制模式控制室外自动工具在工作区域内寻找工作区域边界移动，并基于机器视觉实时计算室外自动工具是否贴近工作区域边界。
接着，在室外自动工具到达工作区域边界时，采集该边界点的特征向量和位置坐标，并将该边界点的位置坐标及其对应的特征向量进行存贮。
接着，据此控制室外自动工具遍历走过工作区域边界一周，将各个边界位置的坐标点及其对应的特征向量存贮，据此生成由特征向量和位置坐标的工作区域边界的特征地图。
最后，根据需要可对所建立的工作区域边界的特征地图进行人机交互确认，完成最后的确认和保护。
(二)自动工作阶段
基于第一步建立的工作区域边界的特征地图，本室外自动工作控制系统控制室外自动工作工具一方面通过比对室外自动工具自身的特征坐标与工作区域边界的特征坐标地图；另一方面，通过机器视觉的深度学习的方式，对图像中的工作区域进行识别和分割处理，输出机器可识别的工作区域边界信息，帮助室外自动工具的控制系统决策是否处在指定的工作区域，即是否处于工作区域边界特征地图所限定的工作区域内。
作为举例，可通过识别室外自动工具周围图像中相应工作区域的有、无、或比例，判断室外自动工具是否在指定工作区域内。
在此基础上，可进一步融合通过神经网络计算边界线深度信息的和室外自动工具相对于边界线夹角信息,来判断室外自动工具是否在指定工作区域内工作，以提高判断的精度。
在确定室外自动工作工具处于工作区域边界特征地图所限定的工作区域内，室外自动工作控制系统将基于建立的工作区域边界的特征地图控制控制室外自动工作工具在工作区域边界特征地图所限定的工作区域内按照预定的工作模式自动行驶，即实现自动工作。
进一步的，在该过程中，室外自动工作控制系统，同样利用图像传感器的输入周围图像信息，融合运动传感模块，定位模块的绝对定位信息，实时的生成室外自动工作工具自身的特征坐标和位姿信息及运动信息的估计。进一步确保实现室外自动工作工具在指定工作区域内自动工作，实现不跨出该指定工作区域的自主行走和按照一定运行模式和逻辑的自动工作。
参见图4，给了本室外自动工作控制系统控制室外自动工具在由特征坐标地图限定的工作区域内自动工作的一种示例流程。
本室外自动工作控制系统控制室外自动工具在由特征坐标地图限定的工作区域自动工作时，基于机器视觉实时计算室外自动工具相对于工作区域边界的位置关系，并在室外自动工具到达工作区域边界时，根据选定的自动工作模式控制室外自动工具按模式要求返回工作区域。
作为举例，这里的自动工作模式可以为沿边模式、随机模式、路径规划模式、自动回充模式、避障模式中的一种或多种。
这里需要指出的，本方案中的自动工作模式并不限于上述这几种。
针对前述给出的基于机器视觉的室外自动工作控制系统方案，以下通过相应的实例进一步来说明其实现过程及其性能。
本实例以庭院机器人为例，本实例在庭院机器人内设置相应的基于机器视觉的室外自动工作控制系统的软件程序，该软件程序在被相应的处理器运行时，能够执行前述室外自动工作控制方法的步骤。
如此部署的庭院机器人，可根据用户布置的任务的不同，通过机器视觉自动规划工作区域，首先将工作区域由深度学习算法对工作区域的进行识别并进行语义分割，将自然边界生成机器可识别的工作区域边界信息，包括边界种类，方向向量及法向量，及其与设备方向的夹角；接着，具体完成工作区域的识别和规划。
该庭院机器人在启动运行时，能够自动进行庭院养护工作，例如除草，落叶清扫，除雪，施肥，播种草籽，巡逻等庭院养护工作。
本庭院机器人在进行工作时，主要包括建图模式和自动工作模式。
本实例给出的庭院机器人可采用两种建图模式，即手动遥控建图模式和自动建图模式(参见图5)。
对于手动遥控建图模式：
在该模式下，使用有线或无线遥控器，并选择建立地图模式，遥控庭院机器人行走在工作区域，通过采集庭院机器人行走时的周围环境图像，通过深度学习的机器视觉算法产生基于环境的多维电子信息地图，即工作区域边界的特征坐标地图。
这样庭院机器人沿工作区域边界行走一个闭合路径，即为大致的工作区域，系统根据机器视觉的结果，自动识别工作区域边界，建立工作禁区。
当然作为补充方案，最后还可通过人工在上位机上手动再次设置工作边界及工作禁区。
对于自动建图模式：
该模式下，控制庭院机器人在工作区域内自动沿指定工作区域边界工作和沿着边界线建立工作区域地图的运行模式。
本实例中庭院机器人进行自动建立工作区域地图时，首先进行庭院机器人的初始化，控制庭院机器人在工作区域内原地旋转，无边界时沿随机方向直行，寻找工作区域边界。同时，获取庭院机器人周围环境图像，并根据获取到的图像计算判断庭院机器人是否处于指定类型的工作区域内，例如：草坪，街道，雪地等。
如图5所述，其给出了本实例中庭院机器人进行自动建图的一种实现逻辑过程示例。
首先放庭院机器人(以下简称设备)在工作区域外边界周围，或从设置在地图边界的充电桩出发，设定机器进入建立地图模式。
接着，设备会开始初次建立工作区域的外边界地图。设备从起点直线行走或原地旋转，该过程通过设备上的机器视觉传感器获取庭院机器人周围环境图像，设备内的智能处理单元将根据获取到的图像计算判断庭院机器人是否处于指定类型的工作区域内，例如：草坪，街道，雪地等。若不在，则停机报警。
接着，设备内的智能处理单元识别出设备接近或即将驶出所指定的工作区域的连续边界，则发送沿边指令给控制执行单元，设备转向贴近工作区域的边界的方向，设备运行方向平行于工作区域边界方向向量，同时确保设备保证在指定类型的工作区域内工作。将地图边界的起始点1作为边界起点，直到回到该点完成工作区域的闭合。起始点为第一次找到边界的特征坐标点或者设置在工作边界上的充电桩的特征坐标点。
接着，将获取到的特征坐标点存储在设备内部，优化并建立工作地图。
最后，用户确认，保存地图，建图结束。
本实例方案在实施时，其通过基于神经网络的机器视觉识别来方便的提取出边界线图像的特征；同时通过相邻两帧图像之间的区别，来计算出帧间的运动变化，能过滤掉不必要的特征点，实现更高效的利用图像信息，计算出针对该设备的位姿信息及运动信息的估计，以获得设备行驶过的路径和方向角，使得要建立的边界线地图的边界的坐标更加完整和准确。
本庭院机器人在完成工作区域建图后，进入自动工作模式，将在建立的地图所规划的工作区域内完成全覆盖的自动工作。
这里该模式下，设备可进行沿边模式、随机模式、路径规划模式、自动回充模式、避障模式的自动工作模式。
(一)对于随机模式
在该模式下，设备在工作区域内自动随机工作，并完成工作区域的全覆盖。
参见图6和图7，设备进入自动随机工作模式时，设备获取庭院机器人周围环境图像，并根据获取到的图像计算判断设备是否处于指定类型的工作区域内；
接着，在工作区域内进行随机路径覆盖，每当设备中的机器视觉图像传感器输入设备周围环境图像后，设备内的智能控制单元判断该设备是否在指定的工作区域内；若设备内的智能控制单元识别出设备接近或即将驶出所指定的工作区域边界，则发送转向指令给设备的控制执行单元，控制设备按照相应的转向策略转向并远离工作区域的边界，使设备保证在指定类型的工作区域内工作。
本实例以随机模式为例，在该模式下，设备在工作区域内自动随机工作，并完成工作区域的全覆盖。
(二)对于路径规划模式
该模式下，设备在运行过程中，由设备中智能控制单元根据无线电定位模块提供位置信息、机器视觉传感器采集的设备周围环境图像以及识别出的边界位置信息来完成径规划工作模式下的视觉边界识别及自动工作。
本实例在该模式下，根据采用的数据不同，具有两种工作方式：视觉信号与位置信号结合的工作方式和纯视觉信号的工作方式。
(1)视觉信号与位置信号结合的工作方式。
如图8所示，在该工作方式，本设备可以通过无线电定位模块提供位置信息,融合神经网络的机器视觉识别后提取出的边界线图像的特征信息，通过相邻两帧图像之间的区别，来计算出帧间的运动变化，计算出针对该设备的位姿信息及运动信息的估计，得到设备走过的坐标和方向角。在此基础上，再进一步结合边界线的方向向量信息，使用路径规划算法，覆盖工作区域边界地图，实现工作区域全覆盖的路径规划。
(2)纯视觉信号的工作方式
如图9所示，当设备的无线电定位信号突然受到遮挡，设备将可只通过视觉进行定位导航和位姿推算，为避免位姿的累计误差，该工作方式下，将控制设备只要沿着边界的顺时针或逆时针，结合边界线的方向向量信息，走出平行于和垂直于地图边界的轨迹，最多将边界线遍历，由此来实现路径规划完成对工作区域无遗漏的覆盖。
在此工作方式下，当设备收到无线电定位模块发来的绝对位置信息后，依然可以按照视觉信号与位置信号结合的工作方式继续路径规划。
参见图10，其所示为本实例给出的设备基于机器视觉路径规划工作模式的实现流程图。
该模式下，设备进行路径规划模式工作时，设备获取庭院机器人周围环境图像，并根据获取到的图像计算判断设备是否处于指定类型的工作区域内；如不在，则进行停机报警。
接着，控制设备按照当前工作姿态直行，并同时获取庭院机器人周围环境图像。每当设备中的机器视觉图像传感器输入设备周围环境图像后，设备内的智能控制单元将识别出设备是否接近工作区域边界。
接着，设备内的智能控制单元识别出设备接近工作区域边界时，并同时计算出边界线的深度信息、方向向量和法向向量。
接着，设备内的运动控制单元控制设备转一定得角度，使得设备前进方向平行于边界线。
接着，控制设备继续直行预设距离。
接着，设备内的运动控制单元控制设备转一定得角度，使得设备前进方向垂直于边界线。
最后，设备据此模式完成工作区域边界地图的全覆盖。
另外，根据设定，设备在完成工作区域边界地图的全覆盖后，可根据设定路径自动返回初始工作位置、充电桩等等。
(三)对于避障模式
该模式下，设备在运行过程中能够实现对动态障碍物和静态障碍物的识别和处理。
如图11所示，设备中的机器视觉传感器输入设备周围环境图像，设备中的智能控制单元根据机器视觉传感器输入设备周围环境图像识别出了障碍物，将进入到避障模式。
在设备中的智能控制单元第一次检测到障碍物，识别时间小于预设的触发时间t时，设备中的智能控制单元判断遇到了动态障碍物，发送命令给设备的运动控制单元，控制设备停止移动，直到障碍物离开继续前行。
当设备中的智能控制单元检测到障碍物并持续识别到障碍物时，识别时间大于预设的触发时间t时，设备中的智能控制单元默认遇到了静态障碍物，设备中的智能控制单元发送命令给设备的运动控制单元，控制设备尝试绕过障碍物；同时设备内智能控制单元将重新生成一个规划的路线确保工作区域地图覆盖。
由上述实例可知，本实例给以机器视觉传感器为主导的室外自动工作设备，通过机器视觉和神经网络大大简化了室外自动工作设备的部署的条件，增加的室外自动设备的在工作区域内的可靠性，提高了室外自动工作设备的工作效率。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (11)
1.基于机器视觉的室外自动工作控制系统，其特征在于，包括机器视觉图像传感器、智能控制单元、定位模块、运动传感模块，
所述机器视觉图像传感器实时获取室外自动工具周围图像信息；
所述定位模块获取室外自动工具的空间位置信息；
所述运动传感模块获取室外自动工具的运动状态信息；
所述智能控制单元基于机器视觉图像传感器获取的室外自动工具周围图像信息、定位模块获取室外自动工具的空间位置信息以及运动传感模块获取室外自动工具的运动状态信息，在室外自动工具沿工作区域边界运行一周后，建立工作区域边界的特征坐标地图；通过基于神经网络的机器视觉识别来提取出边界线图像的特征；同时通过相邻两帧图像之间的区别，来计算出帧间的运动变化，过滤掉不必要的特征点，计算出针对该室外自动工具的位姿信息及运动信息的估计，以获得室外自动工具行驶过的路径和方向角，且在出现边界线难以闭合，难以构成一个封闭的图形时，通过无线电模块辅助获得室外自动工具的高精度定位点信息，来对累计误差的漂移误差量进行实时或者间断的修正，消除累计误差带来的边界点坐标的偏移，并基于修正后的数据形成一个完整且封闭的边界线地图；
所述智能控制单元基于机器视觉图像传感器获取的室外自动工具周围图像信息估计室外自动工具的运动过程信息，所述运动过程信息包括室外自动工具自主行走的位移信息及空间姿态信息；
所述智能控制单元基于室外自动工具周围图像信息、空间位置信息、运动状态信息，以及所建立的工作区域边界的特征坐标地图，实时计算室外自动工具相对于工作区域边界的位置关系，通过机器视觉的深度学习方式，对图像中的工作区域进行识别和分割处理，输出机器可识别的工作区域边界信息，并融合通过神经网络计算边界线深度信息和室外自动工具相对于边界线夹角信息来判断室外自动工具是否在指定工作区域内工作，并在室外自动工具到达工作区域边界时，对室外自动工具形成返回工作区域的自动工作控制模式。
2.根据权利要求1所述的基于机器视觉的室外自动工作控制系统，其特征在于，所述智能控制单元根据机器视觉图像传感器采集的周围图像信息，利用神经网络对图像进行识别和分割，并判断室外自动工具是否接近指定的工作区域边界；如未能检测到边界，控制室外自动工具依据当前状态继续行驶，直到识别到边界；届时，同步的采集室外自动工具中定位模块获取到的绝对坐标点，以构建对应的边界特征向量；
所述智能控制单元控制室外自动工具连续的沿边界线自主行走，并自主采集一系列边界的特征向量，直到出现特征向量重复，基于所获取到的边界坐标点以及对应的特征向量来建立工作区域边界的特征坐标地图。
3.根据权利要求1所述的基于机器视觉的室外自动工作控制系统，其特征在于，所述智能控制单元基于外部遥控信号控制室外自动工具连续的沿边界线自主行走，并自主采集一系列边界的特征向量，直到出现特征向量重复，基于所获取到的边界坐标点以及对应的特征向量来建立工作区域边界的特征坐标地图。
4.根据权利要求1所述的基于机器视觉的室外自动工作控制系统，其特征在于，所述智能控制单元通过获取相邻两帧之间的 RT 坐标系变换关系，将获取得到的多个 RT 相乘获取得到当前帧与原始位置之间的变换关系， 然后进行迭代优化；同时，融合运动传感模块获取室外自动工具的运动状态信息，通过时间积分计算室外自动工具的位移，由此完成对室外自动工具位姿信息及运动位移信息的估算。
5.基于机器视觉的室外自动工作控制方法，其特征在于，包括：
控制室外自动工具沿工作区域边界运行一周后，基于机器视觉所获取到的室外自动工具周围图像信息建立工作区域边界的特征坐标地图；通过基于神经网络的机器视觉识别来提取出边界线图像的特征；同时通过相邻两帧图像之间的区别，来计算出帧间的运动变化，过滤掉不必要的特征点，计算出针对该室外自动工具的位姿信息及运动信息的估计，以获得室外自动工具行驶过的路径和方向角；且在出现边界线难以闭合，难以构成一个封闭的图形时，通过无线电模块辅助获得室外自动工具的高精度定位点信息，来对累计误差的漂移误差量进行实时或者间断的修正，消除累计误差带来的边界点坐标的偏移，并基于修正后的数据形成一个完整且封闭的边界线地图；
基于获取的室外自动工具周围图像信息估计室外自动工具的运动过程信息，所述运动过程信息包括室外自动工具自主行走的位移信息及空间姿态信息；
控制室外自动工具在由特征坐标地图限定的工作区域内工作，并基于机器视觉实时计算室外自动工具相对于工作区域边界的位置关系，并在室外自动工具到达工作区域边界时，对室外自动工具形成返回工作区域的自动工作控制模式。
6.根据权利要求5所述的基于机器视觉的室外自动工作控制方法，其特征在于，所述控制方法在建立工作区域边界的特征坐标地图时，包括：
控制室外自动工具动作，获取室外自动工具周围图像信息，以判断室外自动工具是否处于指定类型的工作区域内；
根据获取到的室外自动工具周围图像信息计算判断室外自动工具是否接近工作区域的边界；
采集工作区域边界点的位置坐标，基于各个位置的坐标点及其对应的特征向量，生成由特征向量和位置坐标的工作区域边界的特征地图。
7.根据权利要求5所述的基于机器视觉的室外自动工作控制方法，其特征在于，所述室外自动工作控制方法通过识别室外自动工具周围图像中相应工作区域的有、无、或比例，判断室外自动工具是否在指定工作区域内。
8.根据权利要求7所述的基于机器视觉的室外自动工作控制方法，其特征在于，所述室外自动工作控制方法还融合工作区域边界线深度信息，以及室外自动工具相对于工作区域边界线的夹角信息来判断室外自动工具是否在指定工作区域内。
9.根据权利要求5所述的基于机器视觉的室外自动工作控制方法，其特征在于，所述方法首先通过获取相邻两帧之间的 RT 坐标系变换关系，将获取得到的多个 RT 相乘获取得到当前帧与原始位置之间的变换关系；
接着，进行迭代优化，并融合运动传感模块获取室外自动工具的运动状态信息，通过时间积分计算室外自动工具的位移，由此完成对室外自动工具位姿信息及运动位移信息的估算。
10.根据权利要求5所述的基于机器视觉的室外自动工作控制方法，其特征在于，所述控制室外自动工具返回工作区域的自动工作控制模式包括沿边模式、随机模式、路径规划模式、自动回充模式、避障模式中的一种或多种。
11.一种终端设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述程序代码由所述处理器加载并执行权利要求5-10中任一项所述的室外自动工作控制方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111151219.8A CN113885495B (zh) | 2021-09-29 | 2021-09-29 | 一种基于机器视觉的室外自动工作控制系统、方法及设备 |
| PCT/CN2021/132653 WO2023050545A1 (zh) | 2021-09-29 | 2021-11-24 | 一种基于机器视觉的室外自动工作控制系统、方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111151219.8A CN113885495B (zh) | 2021-09-29 | 2021-09-29 | 一种基于机器视觉的室外自动工作控制系统、方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113885495A CN113885495A (zh) | 2022-01-04 |
| CN113885495B true CN113885495B (zh) | 2024-08-20 |
Family
ID=79007978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111151219.8A Active CN113885495B (zh) | 2021-09-29 | 2021-09-29 | 一种基于机器视觉的室外自动工作控制系统、方法及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113885495B (zh) |
| WO (1) | WO2023050545A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116088533B (zh) * | 2022-03-24 | 2023-12-19 | 未岚大陆(北京)科技有限公司 | 信息确定方法、远程终端、设备、割草机及存储介质 |
| CN116991169A (zh) * | 2023-08-30 | 2023-11-03 | 深圳市鑫旭源环保有限公司 | 光伏清扫机器人的姿态调整方法、装置及光伏清扫机器人 |
| CN117191030A (zh) * | 2023-09-08 | 2023-12-08 | 深圳市鑫旭源环保有限公司 | 一种清扫机器人的路径规划方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106647765A (zh) * | 2017-01-13 | 2017-05-10 | 深圳拓邦股份有限公司 | 一种基于割草机器人的规划平台 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101125233B1 (ko) * | 2010-11-25 | 2012-03-21 | 재단법인대구경북과학기술원 | 융합기술기반 보안방법 및 융합기술기반 보안시스템 |
| CN110612492A (zh) * | 2018-06-20 | 2019-12-24 | 灵动科技（北京）有限公司 | 一种自驱动无人驾驶割草机 |
| US12048267B2 (en) * | 2018-08-08 | 2024-07-30 | The Toro Company | Handle assembly for autonomous vehicle |
| CN109859158A (zh) * | 2018-11-27 | 2019-06-07 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
| CN111238465B (zh) * | 2018-11-28 | 2022-02-18 | 台达电子工业股份有限公司 | 地图建置设备及其地图建置方法 |
| CN110347153A (zh) * | 2019-06-26 | 2019-10-18 | 深圳拓邦股份有限公司 | 一种边界识别方法、系统及移动机器人 |
| US11480973B2 (en) * | 2019-07-15 | 2022-10-25 | Deere & Company | Robotic mower boundary detection system |
| CN111199677B (zh) * | 2019-12-25 | 2022-02-18 | 邦鼓思电子科技（上海）有限公司 | 一种室外区域的工作地图自动建立方法，装置，存储介质及工作设备 |
| CN113128747B (zh) * | 2019-12-30 | 2024-03-19 | 南京泉峰科技有限公司 | 智能割草系统及其自主建图方法 |
| CN113296495B (zh) * | 2020-02-19 | 2023-10-20 | 苏州宝时得电动工具有限公司 | 自移动设备的路径形成方法、装置和自动工作系统 |
-
2021
- 2021-09-29 CN CN202111151219.8A patent/CN113885495B/zh active Active
- 2021-11-24 WO PCT/CN2021/132653 patent/WO2023050545A1/zh active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106647765A (zh) * | 2017-01-13 | 2017-05-10 | 深圳拓邦股份有限公司 | 一种基于割草机器人的规划平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113885495A (zh) | 2022-01-04 |
| WO2023050545A1 (zh) | 2023-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113885495B (zh) | 一种基于机器视觉的室外自动工作控制系统、方法及设备 | |
| US11845189B2 (en) | Domestic robotic system and method | |
| CN112584697B (zh) | 使用视觉系统的自主机器导航和训练 | |
| US11753039B2 (en) | Collaborative autonomous ground vehicle | |
| CN112183133B (zh) | 一种基于ArUco码引导的移动机器人自主充电方法 | |
| EP1240562B1 (en) | Autonomous multi-platform robot system | |
| WO2021164738A1 (en) | Area division and path forming method and apparatus for self-moving device and automatic working system | |
| US20110046784A1 (en) | Asymmetric stereo vision system | |
| EP2296072A2 (en) | Asymmetric stereo vision system | |
| JP2011138502A (ja) | 区域分解を用いるエリア・カバレッジ・システムおよび方法 | |
| CN114407030B (zh) | 一种自主导航配网带电作业机器人及其工作方法 | |
| CN114937258B (zh) | 割草机器人的控制方法、割草机器人以及计算机存储介质 | |
| CN111168669B (zh) | 机器人控制方法、机器人和可读存储介质 | |
| EP4115253A1 (en) | Method, system and device for analyzing pedestrian motion patterns | |
| CN116129403A (zh) | 信息确定方法、装置、设备、自移动割草装置及用户端 | |
| US20230069475A1 (en) | Autonomous machine navigation with object detection and 3d point cloud | |
| AU2021232767A1 (en) | Vehicle navigation | |
| Bhargava et al. | Design and Development of a Visual-SLAM based Automated Guided Vehicle | |
| CN117685946A (zh) | 机器人部署的方法、存储介质、机器人及机器人部署系统 | |
| CN117130381A (zh) | 一种机器人控制方法、装置、设备及介质 | |
| CN117873082A (zh) | 行走控制方法、装置及自移动设备 | |
| Kotani et al. | Empirical learning in mobile robot navigation | |
| CN117475094A (zh) | 环境地图创建方法、设备及可读存储介质 | |
| CN114152255A (zh) | 智能移动机器人定位、导航的控制方法 | |
| CN118746996A (zh) | 障碍物处理方法、清洁控制方法、自移动设备、介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240713 Address after: 200331, No. 7, Lane 111, Qilianshan Road, Putuo District, Shanghai Applicant after: Shanghai Feynman Robot Technology Co.,Ltd. Country or region after: China Address before: 200090 No. 588, Longchang Road, Yangpu District, Shanghai_ Room 2509-3, 25th floor, No. 1 Applicant before: BONGOS ROBOTICS SHANGHAI Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |