CN118605315A - 一种基于vslam算法和深度学习的居家机器人系统 - Google Patents

Abstract

本发明公开了一种基于VSLAM算法和深度学习的居家机器人系统，包含数控投屏模块、智能控制模块、智能除尘模块、智能仓储模块，其中：数控投屏模块，用于实现对环境实时定位和地图构建并且识别和理解环境中的物体；智能控制模块，用于接收指令和传感信息，并控制数控投屏模块、智能除尘模块和智能仓储模块完成各种作业任务；智能除尘模块，用于脱离机体独立化进行除尘任务；智能仓储模块，用于提供自动化和智能化的存储解决方案。本发明具有多种用户交互功能，能够根据用户的需求进行个性化设置，也可以通过与家庭里其他智能家具的连接，实现各种设备的自动化操作，本发明可显著提高家庭生活的便利性和质量。

Description

一种基于VSLAM算法和深度学习的居家机器人系统

技术领域

本发明涉及一种机器人系统，尤其涉及一种基于VSLAM算法和深度学习的居家机器人系统。

背景技术

随着人工智能、物联网、大数据等技术的发展，智能家居机器人能够服务于快节奏的生活，提高时间利用率，进而提高生活质量。一个充满个性化的家居机器人是智能家居系统的重要组成部分，其可以根据家庭成员的需求和喜好，提供个性化的服务，且对于有老人、孩子或者残障人士的家庭，人性化的机器人可以提供更加贴心的照顾，能为家庭成员提供更加便捷、舒适的生活体验。

中国专利CN111489393A公开了一种VSLAM方法、控制器和可移动设备。该VSLAM方法在计算视觉相对位姿时，根据匹配成功的图像和关键帧之间的相互匹配的特征点的二维坐标计算得到。本发明可以提高计算视觉相对位姿的成功率，进而在定位和建图时提高准确度和运算速度。虽然该方法公开了如何采用VSLAM方法定位和建图，但并没有公开如何将该技术应用于居家机器人系统，更没有公开如何利用定位和建图结果提升机器人的除尘和仓储功能的智能化。

中国专利CN107358950A公开了一种服务机器人语音交互系统，包括：控制器、语音采集模块、语音识别模块、机器人发声模块控制器、显示屏、麦克风和刷卡器，显示屏、麦克风刷卡器和语音采集模块分别设置在外壳的外表面上；控制器、语音识别模块和机器人发声模块控制器分别设置在外壳的内部；刷卡器用于读取客户的身份证信息，并将获取的身份证信息传送至控制器进行分析和保存；控制器根据客户的身份证信息并通过控制机器人发声模块控制器来调节机器人的发声语速和声音大小；语音采集模块和语音识别模块相配合来识别用户的语音指令。该服务机器人语音交互系统克服现有技术中的语音交互系统功能简单，交互语音的音量大小和语速固定不变，从而导致用户体验差的问题。虽然该系统公开了采用语音采集模块和语音识别模块相配合来识别用户的语音指令，但并没有公开如何利用语音交互技术控制仓储动作。

发明内容

发明目的：本发明的目的是提供一种居家机器人系统，解决现有机器人系统在家庭环境中应用时存在的自动化和智能化程度较低的问题。

技术方案：本发明所述的一种居家机器人系统，包含数控投屏模块、智能控制模块、智能除尘模块、智能仓储模块，其中：

数控投屏模块，用于实现对环境实时定位和地图构建并且识别和理解环境中的物体；

智能控制模块，用于接收指令和传感信息，并控制数控投屏模块、智能除尘模块和智能仓储模块完成各种作业任务；

智能除尘模块，用于脱离机体独立化进行除尘任务；

智能仓储模块，用于提供自动化和智能化的存储解决方案。

优选地，所述对环境实时定位和地图构建方法为：基于VSLAM算法，通过对摄像头捕获的连续图像帧进行处理，提取出环境中的特征点，然后利用这些特征点之间的相互关系，构建出一个包含了环境中的物体位置信息和机器人自身运动轨迹的三维环境地图；

所述识别和理解环境中的物体包括：采用计算机视觉技术，使得数控投屏模块能够识别和理解环境中的物体；所述计算机视觉技术包含图像识别技术和动作识别技术，所述图像识别技术用于识别出用户的面孔进而获知指令发布者的身份信息；所述动作识别技术用于理解用户的手势进而获知指令含义。

优选地，所述脱离机体独立化进行除尘任务包括：从主机器人脱落后仍能与用户或主机器人保持通信，接受指令或上报状态，实现实时的环境识别和精准的自我定位，能够在家庭环境中绘制出高度精确的地图，并根据其自身位置制定出高效的清扫路径。

优选地，所述数控投屏模块包括无线投屏协议和投屏装置，所述无线投屏协议用于在设备间建立稳定的通信通道，并确保数据的同步传输，所述投屏装置包括光学系统和输片装置，确保画面的清晰度和连续性，增加用户交互功能，保证设备的维护便利性和软件更新能力。

优选地，所述智能控制模块包括可编程的感知器、控制器和执行器，其中：

感知器，用于收集环境信息和用户输入，通过机器学习技术识别和分类图像中的对象，再将收集到的信息转化为机器人能够理解的数字信号，并将数字信号传输至控制器；

控制器，用于根据感知器输出信息和预设目标生成控制指令，并将控制指令传输至执行器；

执行器，用于执行控制指令。

优选地，所述将收集到的信息转化为机器人能够理解的数字信号包括：数据的数字化和编码，图像被转化为像素矩阵，声音被转化为声波信号，将声波信号转化为文本，并理解用户的口头命令；

所述根据感知器输出信息和预设目标生成控制指令包括：根据感知器的数据和预定的目标，计算出机器人或其机械臂的精确移动轨迹；

所述控制指令考虑了机器人的当前状态、环境条件以及预设的任务目标。

优选地，所述智能控制模块还采用了基于规则的方法，其中规则引擎根据预设的规则和知识库中的知识来生成控制指令；所述感知器提供实时环境数据，以辅助规则引擎做出决策。

优选地，所述智能除尘模块包括测距模块、识别模块和检测模块，其中：

测距模块，用于使用激光或红外传感器来测量装置与周围物体的距离。它能够精确地捕捉到环境中的障碍物，为装置提供空间定位能力，并确保在清扫过程中避免碰撞；

识别模块，负责捕捉环境中的觉信息，如物体形状、颜色和大小等特征。通过图像处理和模式识别技术，它能够识别不同的物体和表面材料，从而优化清扫和避开敏感物品；

检测模块中结合多种传感器如声波、光学或化学传感器来检测空气中的颗粒物质量，评估清洁度，并确定哪些区域需要重点清扫。

优选地，所述智能仓储模块基于语音交互技术，允许用户直接与机器人进行沟通，所述语音交互技术用于准确地解析用户的指令并将其转化为具体的存储或取物动作。

优选地，所述语音交互技术包括将用户的语音转换为机器可理解指令的声学模型和用于预测给定上下文中接下来可能出现的单词或短语的语言模型，通过解码器，将声学模型的输出结果与语言模型的预测结果相结合，以生成最终的文本识别结果，所述文本识别结果被送入包含一个状态机或决策树的任务规划和执行模块，所述任务规划和执行模块用于将文本识别结果作为指令决定机器人的存储或取物动作。

有益效果：与现有技术相比，本发明具有如下显著优点：

1、本发明基于VSLAM算法和深度学习有效提升了除尘模块的独立化和自动化，同时基于语音交互技术提升了仓储功能的智能化。

2、本发明还具有多种用户交互功能，能够根据用户的需求进行个性化设置，也可以通过与家庭里其他智能家具的连接，实现各种设备的自动化操作，本发明可显著提高家庭生活的便利性和质量。

3、智能控制模块实现了家居机器人的功能自动化。控制界面设计友好，支持通过移动应用、语音命令等多种方式与用户互动，用户可以通过触屏界面选择机器人的其他装置进行工作、指示机器人执行任务等。该某块使得用户与机器人之间的沟通更加方便和快捷，同时也增加了用户对机器人操作的灵活性和自主性。

附图说明

图1为本发明的工作流程图；

图2为本发明的正面装置图；

图3为本发明的侧面装置。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1-3所示，一种居家机器人系统，包含：

①数控投屏模块：功能指示，进行娱乐活动等多种展示。

②智能控制模块：结合数控投屏装置，实现该家居机器人的功能自动化，对除尘装置和仓储装置进行控制。

③智能除尘模块：可独立化使用完成清洁工作，清洁效率高，可自动充电。

④智能仓储模块：自动化管理，充分利用内部空间，具备安全锁机制。

在附图标记为①的部分，示例提供了一个用于展示给用户的投屏模块。这个投屏模块主要与标号②的设备协同工作以实现显示功能，并支持用户进行选择和交互活动。该模块还支持通过蓝牙连接其他设备，如手机和平板电脑，以便用户可以进行娱乐活动。这可能涉及到流媒体传输协议和蓝牙通信技术的应用。

在图中标记为③的部分，提供了一个具有重滤网和独立化多功能设计的清洁除尘模块。此模块结合了环境信息感知系统进行功能设计，使得扫地机器人能够实时监测前方障碍物，并及时调整路径以避免撞击家具或其他物体。这不仅保护了机器人本身，也防止了对家居物品的意外破坏。模块采用了视觉同步定位与映射(VSLAM)技术和智能算法，以规划出高效的清扫路径，确保覆盖所有可达区域。此处，VSLAM技术是关键，它利用计算机视觉和传感器融合技术来实现精确的自我定位和环境映射。

在图中标记为②的部分，为了实现对其他智能模块(如①投屏模块和③清洁模块)的高效、精确控制，②模块扮演了关键角色。这个模块相当于机器人的大脑，根据预设的程序或实时的数据分析来决定机器人的行为。对于智能仓储，可能涉及路径规划、货物识别和搬运等任务；对于智能清洁，可能包括区域划分、清洁路线规划等；而智能投屏则可能涉及信号传输、屏幕分辨率调整等功能。智能控制模块通常会提供一种用户界面，这可以是图形界面、语音识别或者手势控制等等，提高了任务执行的效率与精度。用户受益于更轻松的设备管理。在这些过程中，可能会应用机器学习算法、图像处理技术、自然语言处理和模式识别等人工智能技术。

在图中标记为④的部分，示例提供了一种仓储模块，主要用于家用物品的自动化存储和管理。自动化存储可以释放家庭成员从事常规整理和取物活动的时间。该模块能够根据存储物品的最佳保存条件(如温度和湿度)自动调整环境设置，以保护物品免受损害。此外，模块具有物理安全防护按钮和防夹手模块，以防止用户受伤，为家中的老人和孩子提供额外的安全保障。这涉及到传感器监测、自动控制系统和安全机制的设计，以确保操作的安全性和物品的完好。

其中：

数控投屏模块利用VSLAM(Visual Simultaneous Localization and Mapping)算法，实现对环境的实时定位和地图构建。VSLAM算法通过对摄像头捕获的连续图像帧进行处理，提取出环境中的特征点，然后利用这些特征点之间的相互关系，构建出一个三维的环境地图。这个地图不仅包含了环境中的物体位置信息，还包含了机器人自身的运动轨迹。这样，机器人就能够在环境中自由移动，而不会撞到障碍物。

数控投屏模块还采用了计算机视觉技术，使得机器人能够识别和理解环境中的物体。例如，通过图像识别技术，机器人可以识别出用户的面孔，从而知道是谁在对它发出指令；通过动作识别技术，机器人可以理解用户的手势，从而知道用户想要它做什么。

此外，如果移动设备(如智能手机或电脑)需要与大屏幕设备(如智能电视)建立连接，通常通过Wi-Fi网络实现，确保两者连接同一网络。本发明的移动设备通过使用DLNA、AirPlay等无线投屏协议，实现了与大屏幕设备之间的通信。这些协议的主要任务是在设备间建立稳定的通信通道，并确保数据的同步传输。在视频投屏模式下，移动设备会将正在播放的视频的地址发送给大屏幕设备。大屏幕设备接收到这个地址后，就可以开始播放这个视频。这样，我们就可以在两个设备之间实现无缝的视频播放体验。在此过程中，移动设备可以控制大屏幕设备的播放进度、音量等。我们的数控投屏装置还通过集成先进的交互性应用，如乐播投屏，提供了一种用户友好的界面以及额外功能，比如跨网络投屏，从而简化了连接和共享过程。用户可以轻松地通过扫描显示在屏幕上的二维码迅速建立与其他设备的投屏连接，实现无缝的互动体验。这种设计不仅提高了设备间的互联互通性，还增强了整体的用户交互便利性。为了保证投放的画质，本发明的投屏装置需要具备一定质量的光学系统和输片装置，确保画面的清晰度和连续性，增加用户交互功能，允许观众参与到电影放映过程中，增加互动性。设计时还需考虑到设备的维护便利性和软件更新能力，以适应不断变化的技术和内容要求。

智能控制模块，用于接收指令和传感信息，并控制数控投屏模块、智能除尘模块和智能仓储模块完成各种作业任务；

智能控制模块主要包括感知器、控制器和执行器三个组成部分，通常具有可编程的特点，可以根据需要对机器人的行为进行预设和调整。这是一种可编程和多功能的装置，使机器人能够执行不同的任务，并且动作可以通过电脑进行改变和编程，以完成各种复杂的任务。

感知器，用于收集环境信息和用户输入，通过机器学习技术如卷积神经网络(CNN)识别和分类图像中的对象，再将收集到的信息转化为机器人能够理解的数字信号，这通常涉及到数据的数字化和编码，图像被转化为像素矩阵，声音被转化为声波信号，将声波信号转化为文本，并理解用户的口头命令。这些数字信号随后被传输至控制器；

控制器，用于根据感知器输出信息和预设目标计算出机器人或其机械臂的精确移动轨迹并生成控制指令，并将控制指令传输至执行器；

执行器，用于执行控制指令。

通过卷积神经网络(CNN)可以用于从视觉输入中提取特征，比如用于识别和分类障碍物的图像。此外RL允许机器人通过与环境的交互来学习策略，从而在没有明确标签的情况下优化其行为。深度Q网络(DQN)和它的变体，如双Q学习，已被成功应用于导航和避障任务，通过学习从状态到动作的映射，来直接输出避障路径或者行驶策略，再结合深度学习的SLAM技术可以让机器人在构建环境地图的同时实现自身定位，并利用此信息来规避障碍。

基于上述算法的处理结果，控制器会生成一系列的控制指令。这些控制指令考虑了机器人的当前状态、环境条件以及预设的任务目标。最后执行器(如机械臂，投屏装置)接收控制指令并将其转化为实际动作，如移动、旋转或对其他装置发出指令。

此外智能控制某块系统还采用了基于规则的方法，其中规则引擎根据预设的规则和知识库中的知识来生成控制指令。感知模块提供实时环境数据，以辅助规则引擎做出决策。

这一过程中，智能控制模块能够自主地调整其输出以达到预定目标，并且具有学习能力和适应性，能够根据环境变化调整控制策略。智能控制系统通过集成规则引擎、知识库和感知模块，有效控制非线性与不确定系统。规则引擎解析用户指令，生成控制信号；知识库提供决策所需规则与事实；感知模块采集环境信息供系统使用。构建此系统需专业知识以确保规则和知识库的准确性，实现对用户指令的准确理解和系统的稳定控制。

智能除尘模块可脱离机体独立化进行除尘任务，包括从主机器人脱落后仍能与用户或主机器人保持通信，接受指令或上报状态，实现实时的环境识别和精准的自我定位，能够在家庭环境中绘制出高度精确的地图，并根据其自身位置制定出高效的清扫路径。

智能除尘模块拥有负责采集环境信息的感知系统，这包括测距、识别和检测等模块，以及传感器和边缘算法等部件。

其中，在测距模块中该模块使用激光或红外传感器来测量装置与周围物体的距离。它能够精确地捕捉到环境中的障碍物，为装置提供空间定位能力，并确保在清扫过程中避免碰撞。

识别模块中利用高分辨率摄像头，这个模块负责捕捉环境中的觉信息，如物体形状、颜色和大小等特征。通过图像处理和模式识别技术，它能够识别不同的物体和表面材料，从而优化清扫和避开敏感物品。

检测模块中结合多种传感器如声波、光学或化学传感器来检测空气中的颗粒物质量，评估清洁度，并确定哪些区域需要重点清扫。

通过搭载的摄像头捕捉丰富的视觉信息，并结合VSLAM算法，在无需物理连接到主机器人的情况下，该装置能够实现实时的环境识别和精准的自我定位。

基于VSLAM算法，智能除尘装置能够在复杂的家庭环境中绘制出高度精确的地图，并根据其自身位置制定出高效的清扫路径，确保了卓越的自主导航能力。且装置在电量低时能够自动返回充电座进行充电，确保随时都能进行清扫工作。该装置清洁功能齐全，多功能完成清洁工作，如吸尘、拖地、杀菌等。滤网设计是为了提高过滤效率，避免清扫过程中对空气造成二次污染，该装置的滤网支持水洗，这样可以延长滤网的使用寿命，减少更换频率，同时也更加环保。为了保障智能除尘装置即便在脱落后仍能保持与用户或主机器人的通讯联系，本装置采用了Wi-Fi或其他无线通讯协议。这使得用户可以远程监控清洁进度，调整清扫任务，或者检查装置的状态。

智能仓储模块，用于提供自动化和智能化的存储解决方案，以增强家庭环境的便利性和效率。利用人工智能技术使智能仓储模块实现自动化管理，例如自动开关等，提高使用的便捷性。

所述智能仓储模块基于语音交互技术，允许用户直接与机器人进行沟通，所述语音交互技术用于准确地解析用户的指令并将其转化为具体的存储或取物动作。用户可以通过简单的语音命令告诉机器人存放或取出特定物品，无需手动操作，这样不仅简化了用户的操作流程，也提升了整体的用户体验。

语音交互技术包括声学模型和语言模型，其中：

声学模型需要准确地解析用户的指令并将其转化为具体的存储或取物动作。系统会利用自然语言处理(NLP)技术，如语音识别(ASR)和语义理解，将用户的语音转换为机器可理解的指令。

语言模型用于预测给定上下文中接下来可能出现的单词或短语。这通常使用n-gram模型或循环神经网络语言模型(RNNLM)，家庭机器人可以使用特定的家庭或日常用语数据集来训练语言模型，以提高对家庭环境中常见短语和词汇的识别准确性。

通过解码器，将声学模型的输出结果与语言模型的预测结果相结合，以解析生成最终的文本识别结果，这通常使用加权有限状态转换器(WFST)或基于深度学习的端到端解码器来实现。解析出的文本识别结果被送入包含一个状态机或决策树的任务规划和执行模块，所述任务规划和执行模块用于将文本识别结果作为指令决定机器人的存储或取物动作。这涉及到路径规划算法，如A*或RRT(Rapidly-Exploring Random Tree)，确保机器人能够有效地导航至目标位置。在执行任务的过程中，计算机视觉或其他传感器收集的数据将实时反馈给机器人的感知系统。VSLAM算法在这里发挥作用，帮助机器人理解其周围环境并避免障碍物。为了确保用户能够实时监控机器人的状态，该装置还会提供反馈机制。这可以是实时的信息更新，用户可以在必要时进行调整或发送新的指令。在空间方面该装置设计时考虑到抽屉内部的空间利用，所以可以调节隔板，使存储单元变的更灵活，以适应不同大小的物品。另外，考虑到家中有小孩或宠物的情况下，该装置具备安全锁定机制，防止意外打开造成伤害。

智能仓储模块通过集成可移动托盘、模块化存储单元以及自动排序系统，结合卷积神经网络(CNN)和计算机视觉技术，实现了对家庭物品的便捷存取。同时利用深度学习进行环境数据识别和分析，同时借助图像处理和模式识别技术提升了监测的准确性与速度。该系统确保机器人在执行监测任务时避免碰撞，保障家庭成员安全，旨在为家庭生活提供智能化和自动化的环境监控解决方案，包括但不限于温度、湿度、空气质量等关键指标的连续追踪，以及异常情况的即时报警。

Claims (10)

1.一种居家机器人系统，其特征在于，包含数控投屏模块、智能控制模块、智能除尘模块、智能仓储模块，其中：

数控投屏模块，用于实现对环境实时定位和地图构建并且识别和理解环境中的物体；

智能控制模块，用于接收指令和传感信息，并控制数控投屏模块、智能除尘模块和智能仓储模块完成各种作业任务；

智能除尘模块，用于脱离机体独立化进行除尘任务；

智能仓储模块，用于提供自动化和智能化的存储解决方案。

2.根据权利要求1所述居家机器人系统，其特征在于，所述对环境实时定位和地图构建方法为：基于VSLAM算法，通过对摄像头捕获的连续图像帧进行处理，提取出环境中的特征点，然后利用这些特征点之间的相互关系，构建出一个包含了环境中的物体位置信息和机器人自身运动轨迹的三维环境地图；

所述识别和理解环境中的物体包括：采用计算机视觉技术，使得数控投屏模块能够识别和理解环境中的物体；所述计算机视觉技术包含图像识别技术和动作识别技术，所述图像识别技术用于识别出用户的面孔进而获知指令发布者的身份信息；所述动作识别技术用于理解用户的手势进而获知指令含义。

3.根据权利要求1所述居家机器人系统，其特征在于，所述脱离机体独立化进行除尘任务包括：从主机器人脱落后仍能与用户或主机器人保持通信，接受指令或上报状态，实现实时的环境识别和精准的自我定位，能够在家庭环境中绘制出高度精确的地图，并根据其自身位置制定出高效的清扫路径。

4.根据权利要求1所述居家机器人系统，其特征在于，所述数控投屏模块包括无线投屏协议和投屏装置，所述无线投屏协议用于在设备间建立稳定的通信通道，并确保数据的同步传输，所述投屏装置包括光学系统和输片装置，确保画面的清晰度和连续性，增加用户交互功能，保证设备的维护便利性和软件更新能力。

5.根据权利要求1所述居家机器人系统，其特征在于，所述智能控制模块包括可编程的感知器、控制器和执行器，其中：

感知器，用于收集环境信息和用户输入，通过机器学习技术识别和分类图像中的对象，再将收集到的信息转化为机器人能够理解的数字信号，并将数字信号传输至控制器；

控制器，用于根据感知器输出信息和预设目标生成控制指令，并将控制指令传输至执行器；

执行器，用于执行控制指令。

6.根据权利要求5所述居家机器人系统，其特征在于，所述将收集到的信息转化为机器人能够理解的数字信号包括：数据的数字化和编码，图像被转化为像素矩阵，声音被转化为声波信号，将声波信号转化为文本，并理解用户的口头命令；

所述根据感知器输出信息和预设目标生成控制指令包括：根据感知器的数据和预定的目标，计算出机器人或其机械臂的精确移动轨迹；

所述控制指令考虑了机器人的当前状态、环境条件以及预设的任务目标。

7.根据权利要求5所述居家机器人系统，其特征在于，所述智能控制模块还采用了基于规则的方法，其中规则引擎根据预设的规则和知识库中的知识来生成控制指令；所述感知器提供实时环境数据，以辅助规则引擎做出决策。

8.根据权利要求1所述居家机器人系统，其特征在于，所述智能除尘模块包括测距模块、识别模块和检测模块，其中：

测距模块，用于使用激光或红外传感器来测量装置与周围物体的距离。它能够精确地捕捉到环境中的障碍物，为装置提供空间定位能力，并确保在清扫过程中避免碰撞；

识别模块，负责捕捉环境中的觉信息，如物体形状、颜色和大小等特征。通过图像处理和模式识别技术，它能够识别不同的物体和表面材料，从而优化清扫和避开敏感物品；

检测模块中结合多种传感器如声波、光学或化学传感器来检测空气中的颗粒物质量，评估清洁度，并确定哪些区域需要重点清扫。

9.根据权利要求1所述居家机器人系统，其特征在于，所述智能仓储模块基于语音交互技术，允许用户直接与机器人进行沟通，所述语音交互技术用于准确地解析用户的指令并将其转化为具体的存储或取物动作。

10.根据权利要求9所述居家机器人系统，其特征在于，所述语音交互技术包括将用户的语音转换为机器可理解指令的声学模型和用于预测给定上下文中接下来可能出现的单词或短语的语言模型，通过解码器，将声学模型的输出结果与语言模型的预测结果相结合，以生成最终的文本识别结果，所述文本识别结果被送入包含一个状态机或决策树的任务规划和执行模块，所述任务规划和执行模块用于将文本识别结果作为指令决定机器人的存储或取物动作。