CN113341752B - 一种智能门锁与清洁机器人联动的方法、智能家居系统 - Google Patents
一种智能门锁与清洁机器人联动的方法、智能家居系统 Download PDFInfo
- Publication number
- CN113341752B CN113341752B CN202110712023.5A CN202110712023A CN113341752B CN 113341752 B CN113341752 B CN 113341752B CN 202110712023 A CN202110712023 A CN 202110712023A CN 113341752 B CN113341752 B CN 113341752B
- Authority
- CN
- China
- Prior art keywords
- entrance
- cleaning robot
- door lock
- door frame
- door
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种智能门锁与清洁机器人联动的方法，该方法包括，在安装有图像采集装置的清洁机器人侧，清洁机器人接收来自智能门锁的第一通知，其中，所述第一通知在智能门锁检测到入户开门指令时发送，响应于该第一通知，根据所加载地图中预先标记的入户门位置信息，移动至入户门所在的入户区域，并进行至少如下之一的处理：入户区域清洁，利用清洁机器人所采集的当前图像进行入户认证，利用清洁机器人所采集的当前图像进行入户目标检测和/或入户门的门扇当前状态检测。本申请为家居系统增加了入户功能服务，并使得入户功能的自动地、及时地实施，扩展和丰富了清洁机器人的服务功能。
Description
技术领域
本发明涉及智能家居领域，特别地，涉及一种智能门锁与清洁机器人联动的方法。
背景技术
随着智能家居的发展，设备之间的联动能够极大地提高设备的智能性，带来了更多的便利。
现有的基于智能门锁的多方联动方案，通过智能门锁作为第一检测装置，实现设备之间的联动，例如，将智能门锁的状态作为触发事件，控制智能家居设备的开启和关闭、工作模式转换等。这些联动方式比较简单，功能单一，智能性方面较低。
发明内容
本发明提供了一种智能门锁与清洁机器人联动的方法，以提高智能门锁和清洁机器人的智能性。
本发明提供的一种智能门锁与清洁机器人联动的方法，该方法包括，在安装有图像采集装置的清洁机器人侧，
清洁机器人接收来自智能门锁的第一通知，其中，所述第一通知在智能门锁检测到入户开门指令时发送，
响应于该第一通知，根据所加载地图中预先标记的入户门位置信息，移动至入户门所在的入户区域，并进行至少如下之一的处理：
入户区域清洁，
利用清洁机器人所采集的当前图像进行入户认证，
利用清洁机器人所采集的当前图像进行入户目标检测和/或入户门的门扇当前状态检测。
较佳地，所述响应于该第一通知，进一步包括，响应于第一通知，触发进入入户功能模式，
所述入户目标检测和/或门扇当前状态检测包括，检测是否有目标进入，和/或，入户门的门扇当前状态是否与智能门锁当前状态一致；
所述入户门位置信息按照如下方式获取：
构建地图的过程中，或者加载已构建地图后的清洁过程中，实时采集当前图像，
基于所采集的当前图像，进行门框检测和识别，
当识别出门框时，根据该门框的图像，确定该门框的位置信息，
利用射线投影算法，识别该门框是否为入户门框，当该门框为入户门框时，将该门框的位置信息作为入户门的位置信息，并标记于地图中。
较佳地，所述利用射线投影算法，识别出门框是否为入户门框之后，进一步包括：
基于所采集的当前图像，进行智能门锁检测和识别，
当识别出智能门锁时，将该智能门锁图像与预先存储的目标门锁图像进行匹配，如果匹配成功，则判定所述门框为入户门框；
和/或
对呈现在门框范围内的图像进行检测和识别，如果识别出家居用品，则判定该门框为非入户门框。
较佳地，所述根据所识别的门框的图像，确定门框的位置信息，包括，
提取图像中门框中两立柱的竖线，并获取所述竖线的像素位置信息，
基于所述像素位置信息，按照相机投影关系，确定对应的全局位置信息，得到门框的位置信息，
所述利用射线投影算法，识别该门框是否为入户门框，包括：
根据所述门框的位置信息，计算门框相对于图像采集装置的第一射线角度和第二射线角度，
以图像采集装置为射线端点，以所述第一射线角度和第二射线角度分别确定第一射线和第二射线，从图像采集装置当前位置开始进行射线投影搜索，其中，第一射线与移动机器人本体的前进方向之间的夹角为第一射线角度，第二射线与移动机器人本体的前进方向之间的夹角为第二射线角度，
判断第一射线上的第一地图点和第二射线上的第二地图点之间的距离是否与预设的门框宽度相同，
如果是，则将所述两个地图点进行连线，判断该连线所分割区域的属性，如果所分割区域分别为未知区域和空闲区域，则判定该门框为入户门框。
较佳地，所述基于所述像素位置，按照相机投影关系，确定对应的全局位置信息，得到门框的位置信息，包括：
根据第一竖线在像素平面中的第一直线方程所确定的第一像素坐标、以及相机内参，得到第一竖线在相机归一化平面中的第一x坐标，
根据第二竖线在像素平面中的第二直线方程所确定的第二像素坐标、以及相机内参，得到第二竖线在相机归一化平面中的第二x坐标，
根据两立柱底端所在像素平面中的第三直线方程所确定的第三像素坐标，得到立柱底端在相机归一化平面中的y坐标；
所述根据所述全局位置信息，计算门框相对于图像采集装置的第一射线角度和第二射线角度，包括，
计算所述第一x坐标值的反正切值，得到第一射线角度，
计算所述第二x坐标值的反正切值，得到第二射线角度，
所述从图像采集装置当前位置开始进行射线投影搜索，包括：
根据清洁机器人的当前全局位姿、以及图像采集装置在清洁移动机器人本地坐标系中的位置，确定图像采集装置的当前全局位姿，以该全局位姿中的位置为原点，以第一角度和第二角度进行射线投影搜索，
其中，
第一角度为图像采集装置的当前全局位姿中姿态与所述第一射线角度之差，
第二角度为图像采集装置的当前全局位姿中姿态与所述第二射线角度之差。
较佳地，所述利用清洁机器人所采集的当前图像进行入户认证，包括：
清洁机器人根据入户门位置信息达到入户门区域后，采集当前图像，对所采集的当前图像进行入户目标信息检测和识别，将所识别的入户目标信息与预存的目标信息进行匹配，如果匹配成功，则判定入户目标认证成功，根据入户目标的身份信息，选择预存的、且对应该身份信息的音频信息输出，否则，判定入户目标认证不成功，输出报警信息，
其中，所述音频信息与目标生物特征信息具有对应关系。
较佳地，所述利用清洁机器人所采集的当前图像进行入户目标检测和/或入户门的门扇当前状态检测，包括：
清洁机器人根据入户门位置信息达到入户门区域后，采集当前图像，对所采集的当前图像进行入户目标信息检测，当检测到目标时判定有入户目标进入，和/或对所采集的当前图像进行门扇检测和识别，判断门扇被开启后智能门锁是否仍处于闭锁状态，
其中，智能门锁当前状态通过移动机器人与智能门锁的交互获得。
本发明还通过一种智能门锁与清洁机器人联动的方法，该方法包括，在智能门锁侧，在检测到入户开门指令时，向移动机器人发送第一通知，使得移动机器人执行任一所述智能门锁与清洁机器人联动的方法的步骤。
本发明又提供一种清洁机器人，在本体上安装有图像采集装置，所述移动机器人包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序实现所述智能门锁与清洁机器人联动的方法的步骤。
本发明再提供一种智能门锁，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序实现所述智能门锁与清洁机器人联动的方法的步骤。
本发明另提供一种智能家居系统，包括所述的清洁机器人、以及所述的智能门锁。
较佳地，所述系统还包括云平台，所述清洁机器人、智能门锁通过网关接入云平台或者局域网，和/或者通过蓝牙建立连接。
本申请提供的智能门锁与清洁机器人联动的方法，在智能门锁检测到入户开门指令时，触发清洁机器人在入户功能模式下，根据所加载地图中预先标记的入户门位置信息，移动至入户门所在的入户区域，在入户区域进行入户任务的处理。本申请通过智能门锁和清洁机器人的联动，为家居系统增加了入户功能服务，并使得入户功能的自动地、及时地实施，扩展和丰富了清洁机器人的服务功能，提高了家居系统的智能性。进一步地，通过对入户门的检测和识别，实现了入户门在地图中的位置的自动定位，以便于家居系统服务功能的开发。
附图说明
图1为本申请智能门锁与清洁机器人联动的方法的一种流程示意图。
图2为清洁机器人、智能门锁组网的一种示意图。
图3为在地图中标记入户门框位置信息的一种流程示意图。
图4为门框的相机投影关系的一种示意图。
图5为图4的相机投影关系的俯视示意图。
图6为室内门与入户门框在地图上的所呈现的一种示意图。
图7为智能门锁与清洁机器人联动的一种流程示意图。
图8为清洁机器人的一种示意图。
图9为智能门锁、清洁机器人的一种示意图。
图10为智能门锁或清洁机器人的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请提供的智能门锁与清洁机器人联动的方法，在清洁机器人侧，利用安装于清洁机器人本体上的图像采集装置所采集的图像，检测和识别出门框，利用射线投影算法，从识别的门框中识别出入户门框和非入户门框，利用安装于入户门框上的智能门锁所检测到的入户开门指令，触发清洁机器人：通过定位所确定的入户门框在地图中的位置信息，移动到入户门框区域进行清洁、和/或入户认证、和/或人机交互。
参见图1所示，图1为本申请智能门锁与清洁机器人联动的方法的一种流程示意图。该方法包括，在安装有图像采集装置的清洁机器人侧，
步骤101，清洁机器人接收到来自智能门锁的第一通知时，响应于该第一通知，所述第一通知在智能门锁检测到入户开门指令时发送，
步骤102，根据所加载地图中预先标记的入户门位置信息，移动至入户门所在的入户区域，并进行至少如下之一的处理：
入户区域清洁，
利用清洁机器人所采集的当前图像进行入户认证，
利用清洁机器人所采集的当前图像进行入户目标检测和/或入户门的门扇当前状态检测。
本申请通过智能门锁与清洁机器人的信息交互，在家居环境中的入户区域提供了自动化的入户服务功能，提高了智能门锁和清洁机器人的智能性，提高了用户体验。
为便于理解本申请，以下进行详细说明。
参见图2所示，图2为清洁机器人、智能门锁组网的一种示意图。具有联网功能的清洁机器人和智能门锁分别通过网关接入云平台和/或局域网，其中，智能门锁、清洁机器人可以分别通过搜索Mac地址等方式以发现接入网络中的终端侧设备，或者，通过智能终端上的应用程序(APP)配置智能门锁和清洁机器人进行连接，以建立通信链路；还可以通过蓝牙进行连接；以便智能门锁将各种事件通知清洁机器人。
清洁机器人中安装有图像采集装置，例如，摄像头，其相机光轴方向与移动机器人前进方向相同或者在空间上存在一定的夹角，所述摄像头既可作为地图构建的主要器件，例如SLAM方式构建地图，又可用于外界环境的图像采集以进行门框检测。作为另一实施方式，移动机器人安装有激光雷达和摄像头，其中，激光雷达作为建图的器件，摄像头用于外界环境的图像采集。
参见图3所示，图3为在地图中标记入户门框位置信息的一种流程示意图。清洁机人在以SLAM方式构建地图的过程中，或者加载已构建地图后的清洁过程中，
步骤301，摄像头实时采集外界环境的当前图像信息，基于所采集的当前图像信息进行门框检测和识别，以判定当前图像中是否存在门框。当存在门框时，则从图像中提取出门框，获取所在的像素位置。
较佳地，提取门框中两立柱的竖线，并获取其所在的像素位置信息。
参见图4所示，图4为门框的相机投影关系的一种示意图。其中，x、y、z为相机坐标系。在像素平面上，两竖线所在的直线方程分别为：
u＝u1，以及u＝u2
步骤302，基于所述竖线的像素位置信息，根据相机投影关系，确定门框在世界坐标系中的位置信息，即全局位置信息。
按照相机投影关系，像素平面中的像素点的像素位置与世界坐标系下的位置存在如下关系：
其中，
为相机归一化平面的位置信息。fx、fy、cx、cy为相机内参，u、v为像素点的像素坐标。
令u分别为u1和u2，得到门框两竖线的x坐标分别为：
其中，u1为第一竖线在像素平面中的第一直线方程所确定的第一像素坐标，u2为第二竖线在像素平面中的第二直线方程所确定的第二像素坐标，x1为第一竖线在相机归一化平面中的第一x坐标，x2为第二竖线在相机归一化平面中的第二x坐标，
进一步地，根据两立柱底端在像素平面中的第三直线方程所确定的第三像素坐标，得到立柱底端在相机归一化平面中的y坐标；用数学式表达为：
其中，v为第三像素坐标；
下述步骤303～306用于利用射线投影算法，识别该门框是否为入户门框：
步骤303，根据门框的位置信息，即，所述两竖线的x坐标，计算门框相对于相机的射线角度，也就是门框立柱底端所在的射线方向。
参见图5所示，图5为图4的相机投影关系的俯视示意图。图中，清洁人机器人本体的坐标系为水平方向为x轴，与水平方向垂直的竖直向上的方向为y轴，摄像头安装于移动机器人坐标系的y方向上，清洁机器人的当前全局位姿为(X，Y，θ)，点画线为θ，门框相对于相机的射线为图中的虚线，也就是门框的x坐标与相机光心连线所确定的射线。
鉴于相机归一化平面中z方向坐标归一为1，则门框相对于相机的射线角度的角度分别为
以及
即：
第一x坐标值的反正切值为第一射线角度，第二x坐标值的反正切值为第二射线角度。
步骤304，根据清洁机器人的当前全局位姿、以及摄像头在清洁移动机器人本地坐标系中的位置，确定摄像头当前的全局位姿信息，以确定摄像头在地图中的位置。
若摄像头与雷达之间的距离为L、且位于清洁机器人本体坐标系的y轴的正方向上，清洁机器人的当前全局位姿为(X，Y，θ)，则，摄像头在地图中的位姿为(X'，Y'，θ')，其中，
X'＝X+Lsinθ
Y'＝Y+Lcosθ
θ'＝θ
步骤305，从移动机器人本体而言，移动机器人以摄像头为射线端点，以所述第一射线角度和第二射线角度分别确定第一射线和第二射线，从摄像头当前位置开始进行射线投影搜索，其中，第一射线与移动机器人本体的前进方向之间的夹角为第一射线角度，第二射线与移动机器人本体的前进方向之间的夹角为第二射线角度，
从地图而言，以摄像头在地图中的位置为原点，按照第一角度和第二角度进行射线投影搜索；
其中，第一角度为摄像头的当前全局位姿中姿态与所述第一射线角度之差，第二角度为摄像头的当前全局位姿中姿态与所述第二射线角度之差。用数学式分别表示为：
以及
步骤306，利用射线投影所搜索到的地图点，判定当前门框是否为入户门框。当当前门框为入户门框时，根据步骤302所得到的位置信息，在地图上标记当前门框。
参见图6所示，图6为室内门与入户门框在地图上的所呈现的一种示意图。图中，圆圈为清洁机器人，其端点的两条射线表示其所进行的射线投影搜索，黑色离散点或黑色线条为地图点，灰色区域为未知区域，空白区域为空闲区域。对于家居环境内部的门框而言，其特征为连接家居环境的不同功能区，例如卧室和客厅；而对于入户门框而言，其特征为隔绝家居环境与外部环境。因此，在SLAM地图中，实际家居环境内部的门框，其两侧为白色；而对于入户门框而言，其一侧为未知区域，另一侧为空闲区域。因此，可以根据该特性对入户门框进行识别。
具体为：
判断两射线上是否存在两个地图点之间的距离与门框的预设宽度相同，即，判断第一射线上的第一地图点和第二射线上的第二地图点之间的距离是否与预设的门框宽度相同，
如果是，则根据搜索到的两个地图点进行连线，判断该连线两侧的区域属性，如果两侧都存在空闲区域，则退出；如果一侧为未知区域，一侧为空闲区域，则判定该门框是入户门框。
否则，退出。
步骤307，为了提高入户门框识别的可靠性，较佳地，根据所采集的当前图像，进行目标门锁识别，以确定当前门框为入户门框。
例如，清洁机器人获取门扇图像，根据所采集的图像进行智能门锁检测和识别，当识别出智能门锁时，匹配当前门锁图像与目标门锁图像的吻合程度，以确定在该门上是否安装有目标门锁，如果有安装，则可以判定当前门框为入户门框，该门框的位置信息也可作为联动目标门锁的位置信息，并在地图中进行标记。
其中，目标门锁图像可以预先存储于清洁机器人能中，也可以通过清洁机器人与智能门锁的交互，获取智能门锁的型号信息，通过云平台获取目标门锁图像。
和/或
利用所采集的当前图像对门框所分割的两区域中的环境进行识别，如果检测到房间内有床、马桶等家居用品，则该门框不会是入户门框，即入户门不会是卧室门以及卫生间门。
通过上述步骤，能够将入户门框、和/或智能门锁的位置信息标记于地图中并保存，从而可以实现智能门锁在地图中的自动定位，提高了系统的智能性。
参见图7所示，图7为智能门锁与清洁机器人联动的一种流程示意图。该联动方法包括，
步骤701，智能门锁检测到入户开门指令时，向清洁机器人发送第一通知消息，该消息携带有智能门锁的地址信息和/或入户开门信息，
其中，
所述入户开门指令为智能门锁对输入的信息进行认证后所输出的开门指令，
第一通知消息通过智能门锁与清洁机器人的连接进行发送。
步骤702，清洁机器人接收第一通知消息，响应于该第一通知，可以进入入户功能模式，
在该步骤中，清洁机器人接收第一通知消息后，解析该消息中携带的信息，获取智能门锁的地址信息和/或入户开门信息。
步骤703，清洁机器人根据已加载地图中所标记的入户门的位置信息，规划当前位置到入户区域的行进路径，并按照规划路径行进至入户区域。
在本步骤中，当清洁机器人执行当前清洁任务时，记录当前的位置信息，并暂停当前清洁任务，执行入户区域的清洁任务；当入户区域的清洁任务结束时，执行暂停的清洁任务。
较佳地，清洁机器人根据智能门锁的地址信息确定地图中入户门的位置信息，其中，智能门锁的地址信息与地图中入户门的位置信息的对应关系预先存储。
步骤704，清洁机器人到达入户门所在位置之后，
根据地图确定入户区域，为入户区域规划清洁路径，并按照清洁路径进行清洁；
和/或
基于摄像头采集的入户区域当前图像，对所采集的当前图像以生物特征信息的方式进行入户目标信息检测和识别，例如，人脸检测和识别；将所识别的生物特征信息与预存的目标生物特征信息进行匹配，如果匹配成功，则判定入户目标认证成功，根据入户目标的身份信息，选择预存的、且对应于该身份信息的音频信息输出，否则，判定入户目标认证不成功，输出报警信息，例如，通过网关向用户发送提醒指令，并将所采集的当前图像发送给用户；
其中，预设的音频信息可以由用户自行存储，不同的目标生物特征信息可以对应不同的音频内容，例如，人脸底库数据1对应为自行录入的语音内容，人脸底库数据2对应为下载的音乐内容等；
和/或
基于摄像头采集入户区域的当前图像，对所采集的当前图像以生物特征信息的方式进行入户目标信息检测，当检测到目标时判定有入户目标进入，例如，检测是否有人员进入，和/或，
对所采集的当前图像进行门扇检测和识别，判断门扇被开启后智能门锁是否仍处于闭锁状态，以便检测门扇被打开过后智能门锁有没有锁好，通过入户目标信息检测和门扇信息检测可以判断是不是发生目标入户、并可生成目标入户的事件。
和/或，
对所采集的当前图像进行门扇检测和识别，根据所识别的门扇判断其当前处于开启状态还是闭合状态，从而判断所识别的当前状态是否与智能门锁当前状态一致，检测该门扇的状态是否与智能门锁的当前状态相同，以来进一步确认智能门锁是否安装在预设的位置，即，确认智能门锁的位置信息的正确性；其中，智能门锁当前状态通过移动机器人与智能门锁的交互获得。
例如，判断当前图像中门扇的开启状态是否与智能门锁当前开启状态一致，或者，判断当前图像中门扇的关闭状态是否与智能门锁当前关闭状态一致，如果是，则说明智能门锁的位置信息的正确性，或者说明智能门锁无故障，否则，说明智能门锁的位置信息不正确，或者说明智能门锁无故障；当智能门锁的位置不正确时，则可以重新导航至其他预设的位置，进一步根据门锁的状态进行确认，当智能门锁故障时，向用户输出提示信息。
本申请智能门锁与清洁机器人联动的方法，实现了人员入户时对入户区域的自动地、及时地清洁，有利于避免将户外灰尘、病毒等带入户内，在传染病泛滥的疫情发生期间有利于防疫控制；和/或，对入户人员进行安全识别有利于提高家居环境的安全性，增加了人机交互的趣味性，提高了用户体验；和/或，对智能门锁的状态信息进行检测，进一步提高了家居安全性。
参见图8所示，图8为清洁机器人的一种示意图。清洁机器人包括：
图像采集装置，优选的，为可见光摄像机，用于在控制模块的控制信号1的控制下，实时采集当前图像，比如采集入户门的图像；
通信模块，用于和外部设备进行信息通信，比如接收来自于智能门锁的第一通知；
行动模块，用于驱使清洁机器人移动；
清洁模块，用于进行清扫；
地图信息获取模块，优选的，包括有激光雷达，用于在控制模块的控制信号2的控制下，采集清洁机器人所在空间的环境信息，并根据环境信息建立地图、以及定位清洁机器人在地图中的位置；
存储模块，用于保存图像采集装置所采集的当前图像、以及地图信息模块所采集和建立的地图信息；
控制模块，用于预先根据图像采集装置所采集的入户门图像、和存储的地图信息，计算并标记出入户门在地图中的位置，将入户门位置信息保存至存储模块；
还用于在接收到来自智能门锁的第一通知时，根据所加载地图中预先标记的入户门位置信息，控制行动模块驱使清洁机器人移动至入户门所在的入户区域，并进行至少如下之一的处理：
控制清洁模块进行入户区域清洁，
利用清洁机器人所采集的当前图像进行入户认证，
利用清洁机器人所采集的当前图像进行入户目标检测和/或入户门的门扇当前状态检测。
具体地，
控制模块预先基于所采集的当前图像，进行门框检测和识别，当识别出门框时，根据该门框的图像，确定该门框的位置信息，利用射线投影算法，识别该门框是否为入户门框，当该门框为入户门框时，将该门框的位置信息作为入户门的位置信息，并标记于地图中。
其中，控制模块基于所采集的当前图像，进行门框检测和识别，基于像素位置信息，按照相机投影关系，确定对应的全局位置信息，得到门框的位置信息，根据门框的位置信息，计算门框相对于图像采集装置的第一射线角度和第二射线角度，以图像采集装置为射线端点，以第一射线角度和第二射线角度分别确定第一射线和第二射线，从图像采集装置当前位置开始进行射线投影搜索，所述第一射线与移动机器人本体的前进方向之间的夹角为第一射线角度，所述第二射线与移动机器人本体的前进方向之间的夹角为第二射线角度，
判断第一射线上的第一地图点和第二射线上的第二地图点之间的距离是否与预设的门框宽度相同，如果是，则将所述两个地图点进行连线，判断该连线所分割区域的属性，如果所分割区域分别为未知区域和空闲区域，则判定该门框为入户门框，通知存储模块存储该门框的位置信息。
进一步地，控制模块还可用于在识别出入户门框之后，基于所采集的当前图像，进行智能门锁检测和识别，当识别出智能门锁时，将该智能门锁图像与预先存储的目标门锁图像进行匹配，如果匹配成功，则判定所述门框为入户门框；和/或对呈现在门框范围内的图像进行检测和识别，如果识别出家居用品，则判定该门框为非入户门框。这样，可以进一步提高了入户门框检测的可靠性。
参见图9所示，图9为智能门锁、清洁机器人的一种示意图。所述清洁机器人包括，
图像采集装置，优选的为可见光摄像机，用于实时采集当前图像，
通信模块，用于与智能门锁进行通信，例如，接收来自智能门锁的第一通知，
触发模块，响应于该第一通知，触发进入入户功能模式，
入户功能模块，用于在所述入户功能模式下，根据所加载地图中预先标记的入户门位置信息，移动至入户门所在的入户区域，并进行至少如下之一的处理：
入户区域清洁，
利用清洁机器人所采集的当前图像进行入户认证，
利用清洁机器人所采集的当前图像进行入户目标检测和/或入户门的门扇当前状态检测。
所述清洁机器人还包括，
入户门位置信息获取模块，用于构建地图的过程中，或者加载已构建地图后的清洁过程中，获取图像采集模块实时采集的当前图像，
基于所采集的当前图像，进行门框检测和识别，
当识别出门框时，根据该门框的图像，确定该门框的位置信息，
利用射线投影算法，识别该门框是否为入户门框，当该门框为入户门框时，将该门框的位置信息作为入户门的位置信息，并标记于地图中。
所述入户门位置信息获取模块包括，
第一检测子模块，用于基于所采集的当前图像，进行门框检测和识别，
位置确定子模块，用于基于所述像素位置信息，按照相机投影关系，确定对应的全局位置信息，得到门框的位置信息，
第二检测子模块，用于根据所述门框的位置信息，计算门框相对于图像采集装置的第一射线角度和第二射线角度，
以图像采集装置为射线端点，以所述第一射线角度和第二射线角度分别确定第一射线和第二射线，从图像采集装置当前位置开始进行射线投影搜索，其中，第一射线与移动机器人本体的前进方向之间的夹角为第一射线角度，第二射线与移动机器人本体的前进方向之间的夹角为第二射线角度，
判断第一射线上的第一地图点和第二射线上的第二地图点之间的距离是否与预设的门框宽度相同，
如果是，则将所述两个地图点进行连线，判断该连线所分割区域的属性，如果所分割区域分别为未知区域和空闲区域，则判定该门框为入户门框，通知位置确定子模块存储该门框的位置信息。
所述入户门位置信息获取模块还包括，
第三检测子模块，基于所采集的当前图像，进行智能门锁检测和识别，当识别出智能门锁时，将该智能门锁图像与预先存储的目标门锁图像进行匹配，如果匹配成功，则判定所述门框为入户门框；和/或对呈现在门框范围内的图像进行检测和识别，如果识别出家居用品，则判定该门框为非入户门框。
所述智能门锁包括，
通信模块，用于与移动机器人进行通信，例如，向移动机器人发送第一通知，
指令检测模块，用于检测到入户开门指令时，通过通信模块向移动机器人发送第一通知。
参见图10所示，图10为智能门锁或清洁机器人的一种示意图。智能门锁或清洁机器人包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序实现任一所述智能门锁与清洁机器人联动的方法的步骤。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述智能门锁与清洁机器人联动的方法的步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (12)
1.一种智能门锁与清洁机器人联动的方法，其特征在于，该方法包括，在安装有图像采集装置的清洁机器人侧，
清洁机器人接收来自智能门锁的第一通知，其中，所述第一通知在智能门锁检测到入户开门指令时发送，
响应于该第一通知，根据所加载地图中预先标记的入户门位置信息，移动至入户门所在的入户区域，并进行至少如下之一的处理：
入户区域清洁，
利用清洁机器人所采集的当前图像进行入户认证，
利用清洁机器人所采集的当前图像进行入户目标检测和/或入户门的门扇当前状态检测；
其中，
所述入户门位置信息按照如下方式获取：
清洁机器人构建地图的过程中，或者加载已构建地图后的清洁过程中，实时采集当前图像，
基于所采集的图像，提取图像中门框中两立柱的竖线，并获取所述竖线的像素位置信息，
基于所述像素位置信息，按照相机投影关系，确定对应的全局位置信息，得到门框的位置信息，
根据所述门框的位置信息，计算门框相对于图像采集装置的第一射线角度和第二射线角度，
以图像采集装置为射线端点，以所述第一射线角度和第二射线角度分别确定第一射线和第二射线，从图像采集装置当前位置开始进行射线投影搜索，其中，第一射线与移动机器人本体的前进方向之间的夹角为第一射线角度，第二射线与移动机器人本体的前进方向之间的夹角为第二射线角度，
在第一射线上的第一地图点和第二射线上的第二地图点之间的距离与预设的门框宽度相同的情况下，则将所述两个地图点进行连线，判断该连线所分割区域的属性，如果所分割区域分别为未知区域和空闲区域，则判定该门框为入户门框，
将该门框的位置信息作为入户门的位置信息，并标记于地图中。
2.如权利要求1所述的方法，其特征在于，所述响应于该第一通知，进一步包括，
响应于第一通知，触发进入入户功能模式，
所述入户目标检测和/或门扇当前状态检测包括，检测是否有目标进入，和/或，入户门的门扇当前状态是否与智能门锁当前状态一致。
3.如权利要求2所述的方法，其特征在于，所述判定该门框为入户门框之后，进一步包括：
基于所采集的当前图像，进行智能门锁检测和识别，
当识别出智能门锁时，将该智能门锁图像与预先存储的目标门锁图像进行匹配，如果匹配成功，则确定所述门框为入户门框；
和/或
对呈现在门框范围内的图像进行检测和识别，如果识别出家居用品，则判定该门框为非入户门框。
4.如权利要求1所述的方法，其特征在于，所述基于所述像素位置，按照相机投影关系，确定对应的全局位置信息，得到门框的位置信息，包括：
根据第一竖线在像素平面中的第一直线方程所确定的第一像素坐标、以及相机内参，得到第一竖线在相机归一化平面中的第一x坐标，
根据第二竖线在像素平面中的第二直线方程所确定的第二像素坐标、以及相机内参，得到第二竖线在相机归一化平面中的第二x坐标，
根据两立柱底端所在像素平面中的第三直线方程所确定的第三像素坐标，得到立柱底端在相机归一化平面中的y坐标。
5.如权利要求4所述的方法，其特征在于，所述根据所述全局位置信息，计算门框相对于图像采集装置的第一射线角度和第二射线角度，包括，
计算所述第一x坐标值的反正切值，得到第一射线角度，
计算所述第二x坐标值的反正切值，得到第二射线角度，
所述从图像采集装置当前位置开始进行射线投影搜索，包括：
根据清洁机器人的当前全局位姿、以及图像采集装置在清洁移动机器人本地坐标系中的位置，确定图像采集装置的当前全局位姿，以该全局位姿中的位置为原点，以第一角度和第二角度进行射线投影搜索，
其中，
第一角度为图像采集装置的当前全局位姿中姿态与所述第一射线角度之差，
第二角度为图像采集装置的当前全局位姿中姿态与所述第二射线角度之差。
6.如权利要求1至5任一所述的方法，其特征在于，所述利用清洁机器人所采集的当前图像进行入户认证，包括：
清洁机器人根据入户门位置信息达到入户门区域后，采集当前图像，对所采集的当前图像进行入户目标信息检测和识别，将所识别的入户目标信息与预存的目标信息进行匹配，如果匹配成功，则判定入户目标认证成功，根据入户目标的身份信息，选择预存的、且对应该身份信息的音频信息输出，否则，判定入户目标认证不成功，输出报警信息，
其中，所述音频信息与预存的目标信息具有对应关系。
7.如权利要求1至5任一所述的方法，其特征在于，所述利用清洁机器人所采集的当前图像进行入户目标检测和/或入户门的门扇当前状态检测，包括：
清洁机器人根据入户门位置信息达到入户门区域后，采集当前图像，对所采集的当前图像进行入户目标信息检测，当检测到目标时判定有入户目标进入，和/或
对所采集的当前图像进行门扇检测和识别，判断门扇被开启后智能门锁是否仍处于闭锁状态，
其中，智能门锁当前状态通过移动机器人与智能门锁的交互获得。
8.一种智能门锁与清洁机器人联动的方法，其特征在于，该方法包括，在智能门锁侧，
在检测到入户开门指令时，向移动机器人发送第一通知，使得移动机器人执行如权利要求1至7任一所述智能门锁与清洁机器人联动的方法的步骤。
9.一种清洁机器人，其本体上安装有图像采集装置，其特征在于，所述清洁机器人包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序实现如权利要求1至7任一所述智能门锁与清洁机器人联动的方法的步骤。
10.一种智能门锁，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序实现如权利要求8所述智能门锁与清洁机器人联动的方法的步骤。
11.一种智能家居系统，其特征在于，包括如权利要求9所述的清洁机器人、以及如权利要求10所述的智能门锁。
12.如权利要求11所述的系统，其特征在于，所述系统还包括云平台，所述清洁机器人、智能门锁通过网关接入云平台或者局域网，和/或者通过蓝牙建立连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110712023.5A CN113341752B (zh) | 2021-06-25 | 2021-06-25 | 一种智能门锁与清洁机器人联动的方法、智能家居系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110712023.5A CN113341752B (zh) | 2021-06-25 | 2021-06-25 | 一种智能门锁与清洁机器人联动的方法、智能家居系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113341752A CN113341752A (zh) | 2021-09-03 |
| CN113341752B true CN113341752B (zh) | 2023-04-14 |
Family
ID=77478783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110712023.5A Active CN113341752B (zh) | 2021-06-25 | 2021-06-25 | 一种智能门锁与清洁机器人联动的方法、智能家居系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113341752B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114115225A (zh) * | 2021-10-13 | 2022-03-01 | 深圳优地科技有限公司 | 机器人的路径规划方法、机器人及存储介质 |
| DE102023201628B3 (de) * | 2023-02-22 | 2024-05-16 | BSH Hausgeräte GmbH | Bestimmung eines Zustands eines Fensters oder einer Tür in einem Haushalt |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109813285A (zh) * | 2019-01-31 | 2019-05-28 | 莱克电气股份有限公司 | 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人 |
| CN110709786A (zh) * | 2017-04-13 | 2020-01-17 | 江森自控科技公司 | 具有空间简档的建筑物管理系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302136B (zh) * | 2015-09-23 | 2018-02-23 | 上海物景智能科技有限公司 | 一种基于清洁机器人的区域分割方法 |
| CN108354526B (zh) * | 2018-02-11 | 2020-09-01 | 深圳市无限动力发展有限公司 | 扫地机器人的安防方法及装置 |
| CN108890657B (zh) * | 2018-07-11 | 2022-01-28 | 清华大学合肥公共安全研究院 | 一种配电房智能巡检机器人 |
| CN110230435A (zh) * | 2019-06-27 | 2019-09-13 | 胡渐佳 | 智能门锁提醒系统和方法 |
| CN111414786A (zh) * | 2019-03-22 | 2020-07-14 | 科沃斯机器人股份有限公司 | 一种用于与工作机器人信息交互的方法及装置 |
| CN110597081B (zh) * | 2019-09-30 | 2022-10-25 | 青岛海尔科技有限公司 | 基于智能家居操作系统的控制指令的发送方法及装置 |
| CN111123278B (zh) * | 2019-12-30 | 2022-07-12 | 科沃斯机器人股份有限公司 | 分区方法、设备及存储介质 |
| CN111104933B (zh) * | 2020-03-20 | 2020-07-17 | 深圳飞科机器人有限公司 | 地图处理方法、移动机器人及计算机可读存储介质 |
| CN111397582B (zh) * | 2020-04-03 | 2021-12-10 | 小狗电器互联网科技（北京）股份有限公司 | 一种目标物的定位方法、装置、可读介质及电子设备 |
| CN111539398B (zh) * | 2020-07-13 | 2021-10-01 | 追觅创新科技(苏州)有限公司 | 自移动设备的控制方法、装置及存储介质 |
| CN111897334B (zh) * | 2020-08-02 | 2022-06-14 | 珠海一微半导体股份有限公司 | 一种基于边界的机器人区域划分方法、芯片及机器人 |
| CN111950440B (zh) * | 2020-08-10 | 2024-09-06 | 杭州萤石软件有限公司 | 一种识别与定位门的方法、装置及存储介质 |
| CN112150672B (zh) * | 2020-09-07 | 2022-02-11 | 南京莱斯网信技术研究院有限公司 | 一种自动判定门锁异常状态的智能门锁系统 |
-
2021
- 2021-06-25 CN CN202110712023.5A patent/CN113341752B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110709786A (zh) * | 2017-04-13 | 2020-01-17 | 江森自控科技公司 | 具有空间简档的建筑物管理系统 |
| CN109813285A (zh) * | 2019-01-31 | 2019-05-28 | 莱克电气股份有限公司 | 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113341752A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657666B2 (en) | Verified access to a monitored property | |
| CN113341752B (zh) | 一种智能门锁与清洁机器人联动的方法、智能家居系统 | |
| CN112991585B (zh) | 一种出入人员管理方法及计算机可读存储介质 | |
| CN109285259B (zh) | 一种用于智能门禁的控制系统及其控制方法 | |
| CN112041898B (zh) | 智能门系统 | |
| CN111757069B (zh) | 一种基于智能门铃的监控防盗方法及装置 | |
| US10083376B2 (en) | Human presence detection in a home surveillance system | |
| CN111862524B (zh) | 一种基于智能家居系统的监控报警方法及装置 | |
| CN112462780A (zh) | 扫地控制方法、装置、扫地机器人及计算机可读存储介质 | |
| US11544924B1 (en) | Investigation system for finding lost objects | |
| US20230119879A1 (en) | Point-to-point visual communications in a security monitoring system | |
| US11200435B1 (en) | Property video surveillance from a vehicle | |
| WO2024193610A1 (zh) | 环境模型的生成方法、展示方法、装置、设备及存储介质 | |
| US20210319245A1 (en) | Assisted creation of video rules via scene analysis | |
| CN114489070A (zh) | 家居巡检方法、非易失性可读存储介质和计算机设备 | |
| JP2020129215A (ja) | 危険度判別プログラム及びシステム | |
| JP2014106597A (ja) | 自律移動体、物体情報取得装置、および物体情報取得方法 | |
| US20240273950A1 (en) | Anti-spoofing visual authentication | |
| US10452963B2 (en) | Arming and/or altering a home alarm system by specified positioning of everyday objects within view of a security camera | |
| CN115862196A (zh) | 一种基于智能锁的身份核验方法、装置及智能锁 | |
| CN114187650A (zh) | 动作识别方法、装置、电子设备及存储介质 | |
| JP2020129358A (ja) | 危険度判別プログラム及びシステム | |
| JPH11161790A (ja) | 人間識別装置 | |
| JP2020027372A (ja) | 管理装置、管理システム、管理方法およびプログラム | |
| CA3191879A1 (en) | Monitoring package pickups using video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |