CN109996045A

CN109996045A - 用于家庭监视的方法和装置

Info

Publication number: CN109996045A
Application number: CN201910316984.7A
Authority: CN
Inventors: 金京哉; 权志泫; 李根哲; 金东奭; 金贤植
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-12-14
Filing date: 2013-12-12
Publication date: 2019-07-09
Also published as: US11064158B2; US20190166333A1; KR102215569B1; WO2014092464A1; US10819958B2; US20140218517A1; CN111405240A; EP2933953A4; EP2933953B1; KR102155535B1; KR20200002727A; KR20140077817A; KR20200107906A; KR102058918B1; EP2933953A1; CN104838621A; US20200162700A1

Abstract

公开了一种用于家庭监视的方法和装置。根据本发明的家庭网关执行下述步骤：从移动终端接收家庭监视请求消息的步骤；响应于请求消息向移动终端提供用于包括在至少一个预先登记的家庭设备和/或监视位置中的相机模块的监视信息的步骤；从移动终端接收选择信息的步骤，其中，该选择信息指示基于相机信息选择的第一相机模块；响应于选择信息的接收来向移动终端传送从第一相机模块拍摄和收集的图像数据的步骤；从移动终端接收用于第一相机模块的控制命令的步骤；以及向具有第一相机模块的第一家庭设备传送控制命令的步骤。

Description

用于家庭监视的方法和装置

本申请是申请日为2013年12月12日、申请号为201380064543.3、发明名称为“用于家庭监视的方法和装置”的PCT发明专利申请的分案申请。

技术领域

本公开涉及家庭网络系统，并且具体地，涉及使用电气设施和相机的家庭监视方法和装置。

背景技术

家庭网络系统是指通过有线或无线网络来连接安装在房屋中的家庭设备以便于控制家庭设备的系统。高级家庭网络系统通过家庭网关(HGW或H-GW)来集成家庭设备，并且将家庭设备连接到例如因特网协议(IP)网络(即，因特网)的外部公共数据网络，以便于提供更多各种各样的基于因特网的服务。家庭网络系统可以基于来自用户的请求来控制家庭设备，并且可以提供用户所期望的服务。

近来，家庭设备的种类越来越多样化，并且相应地，用户的请求变得多样化，并且因此，需要在考虑到来自用户的各种请求的情况下提供最好的服务。

发明内容

技术问题

因此，本公开的一方面是提供一种用于提供家庭网络系统的服务的方法和装置。

本公开的另一方面是提供一种通过家庭网络系统的家庭监视方法和设备。

本公开的另一方面是提供一种用于在家庭网络系统中通过电气设施和IP相机来监视房屋中的情况的方法和装置。

本公开的另一方面是提供一种用于操作机器人清洁器以向至少一个电子设备发送警告消息的方法。

技术解决方案

根据本公开的另一方面，提供了一种通过包括在家庭网络系统中的家庭网关的家庭监视方法，该方法包括：从移动终端接收用于请求家庭监视的请求消息；响应于请求消息向移动终端提供与被包括在预先登记的至少一个家庭设备中的相机模块和/或要监视的位置相关联的监视信息；从移动终端接收选择信息，该选择信息指示基于监视信息选择的第一相机模块；响应于选择信息的接收来向移动终端传送由第一相机模块捕获和收集的图像数据；从移动终端接收关于第一相机模块的控制命令；以及向包括第一相机模块的第一家庭设备传送控制命令。

根据本公开的另一方面，提供了一种通过在家庭网络系统中所包括的家庭网关中登记的移动终端进行的家庭监视方法，该方法包括：向家庭网关传送用于请求家庭监视的请求消息；响应于请求消息的传送，从家庭网关接收与被包括在预先登记的至少一个家庭设备中的相机模块和/或要监视的位置相关联的监视信息；向家庭网关传送选择信息，该选择信息指示基于监视信息选择的第一相机模块；响应于选择信息的传送来从家庭网关接收由第一相机模块捕获和收集的图像数据；以及向家庭网关传送由用户相对于第一相机模块输入的控制命令。

根据本公开的另一方面，提供了一种支持在家庭网络系统中的家庭监视的家庭网关装置，该装置包括：网络接口模块，该网络接口模块通过无线网络和有线网络从移动终端接收用于请求家庭监视的请求消息，响应于请求消息向移动终端提供与被包括在预先登记的至少一个家庭设备中的相机模块和/或要监视的位置相关联的监视信息，从移动终端接收指示基于监视信息选择的第一相机模块的选择信息，响应于选择信息的接收来向移动终端传送从第一相机模块捕获和收集的图像数据，并且从移动终端接收相对于第一相机模块的控制命令；以及至少一个通信模块，该至少一个通信模块被配置为使得能够与在家庭网络系统中登记的至少一个家庭设备中所包括的相机模块进行通信，并且向配备有第一相机模块的第一家庭设备传送控制命令。

根据本公开的另一方面，提供了一种通过被包括在家庭网络系统中的家庭网关执行家庭监视的移动终端装置，该移动终端装置包括：移动通信模块，该移动通信模块通过无线网络和有线网络向家庭网关传送用于请求家庭监视的请求消息，响应于请求消息的传送从家庭网关接收与被包括在预先登记的至少一个家庭设备中的相机模块和/或要监视的位置相关联的监视信息，向家庭网关传送指示基于监视信息选择的第一相机模块的选择信息，响应于选择信息的传送来从家庭网关接收由第一相机模块捕获和收集的图像数据，并且向家庭网关传送由用户相对于第一相机模块输入的控制命令；以及显示模块，该显示模块显示图像数据。

根据本公开的另一方面，提供了一种用于操作机器人清洁器以向至少一个电子设备发送警告消息的方法，该方法包括：获得关于机器人清洁器的对接位置和要监视位置之间的巡逻路径的第一信息；获得用于调整机器人清洁器的至少一个相机在要监视位置的方向的第二信息；基于正在执行的安全模式，沿着巡逻路径从机器人清洁器的对接位置移动到要监视的位置；通过机器人清洁器的至少一个相机获得要监视位置的至少一个图像；通过机器人清洁器的至少一个传感器获得第三信息，其中，所述至少一个传感器包括机器人清洁器的至少一个相机；基于所获得的第三信息确定是否满足预定条件；基于确定满足预定条件，将警告消息发送到至少一个电子设备；和将与所述至少一个图像对应的图像发送到所述至少一个电子设备。

附图说明

图1图示了根据本公开的实施例的家庭网络系统的简化结构。

图2图示了根据本公开的实施例的能够与移动终端连接的家庭网络系统的简化配置。

图3是图示根据本公开的实施例的家庭网关的示意性配置的框图。

图4是图示根据本公开的实施例的移动终端的示意性配置的框图。

图5图示了根据本公开的实施例的支持家庭监视的家庭网络系统的示意性配置。

图6图示了根据本公开的实施例的配备有相机的移动家庭设备的配置。

图7是图示根据本公开的实施例的家庭设备的登记过程的消息流程图。

图8是图示根据本公开的实施例的移动终端的登记过程的消息流程图。

图9图示了根据本公开的实施例的家庭网络系统中执行的家庭监视过程。

图10图示了根据本公开的另一实施例的家庭网络系统中执行的家庭监视过程。

图11是图示根据本公开的实施例的家庭监视过程的消息流程图。

图12是图示根据本公开的另一实施例的家庭监视过程的消息流程图。

图13是图示根据本公开的另一实施例的家庭监视过程的消息流程图。

图14图示了根据本公开的实施例的用于执行用于家庭监视的移动终端中的远程控制应用的用户接口(UI)。

图15图示了根据本公开的实施例的用于远程控制应用的家庭监视的屏幕的配置。

图16图示了根据本发明的另一实施例的用于远程控制应用的家庭监视的屏幕的配置。

图17图示了根据本公开的实施例的图像数据的显示。

图18图示了根据本公开的另一实施例的图像数据的显示。

图19a和图19b是图示根据本公开的实施例的移动相机的控制的屏幕。

图20图示了根据本公开的实施例的移动终端中的与家庭网络系统相关联的异常情况的警报。

图21图示了根据本公开的另一实施例的用于远程控制应用的家庭监视的屏幕的配置。

图22图示了根据本公开的另一实施例的移动终端中的与家庭网络系统相关联的异常情况的显示。

图23图示了根据本公开的实施例的移动家庭设备的移动向量的计算。

具体实施方式

在下文中，将具体参考附图来描述本公开的各种实施例。此外，在本公开的以下描述中，当可能使得本公开的主题不清楚时，将省略包含在其中的已知功能和配置的具体描述。然后，随后描述的术语是考虑到本公开的功能的情况下被定义的，但是其可以根据用户或操作者的意图或惯例而变化。因此，需要基于本说明书的整体内容来确定该定义。

图1图示了根据本公开的实施例的家庭网络系统的简化结构。

参考图1，家庭网络系统被配置为包括具有控制和通信功能的家庭设备11和家庭网关(HGW)120。家庭设备110位于房屋内(或外)，并且包括智能设施112、安全设备114、照明设备116、能量设备118等。例如，智能设施112对应于电视(TV)、空调、冰箱、洗衣机、机器人清洁器、加湿器等。安全设备114对应于门锁、安全相机、闭路电视(CCTV)和感测接触、声音、移动等的安全传感器，照明设备116对应于光发光二极管(LED)、灯等，并且能量设备118可以对应于加热器、功率计、电源插座、电气插口、多插孔等。此外，家庭设备110可以包括个人计算机(PC)、IP相机、因特网电话、有线/无线电话、家庭中使用的移动电话、可以电控制的窗帘或百叶窗等。

家庭设备110可以能够根据有线或无线通信方案来与家庭网关110进行通信，并且可以被配置为从家庭网关120接收控制命令，基于控制命令进行操作，并且向家庭网关120传送所请求的信息和/或数据。

家庭网关120可以被实现为独立的装置或配备有家庭网关功能的装置。例如，家庭网关120可以被实现为电视机、蜂窝电话、平板计算机、机顶盒、机器人清洁器或个人计算机。家庭网关120可以配备有相应的通信模块，用于基于有线或无线通信方案来执行与家庭设备110的通信，以便于登记和存储与家庭设备110相关联的信息，管理和控制家庭设备110的操作、可支持的功能和状态，并且从家庭设备110收集和存储所需要的信息。具体地，家庭网关120可以与诸如因特网的数据网络(即，IP网络130)连接，并且允许由通信终端通过因特网130的连接，并且将从通信终端接收到的控制信号传输到相应的家庭设备。而且，家庭网关120可以使用无线通信方案来与通信终端进行通信，无线通信方案诸如WiFi(无线保真)、紫蜂、蓝牙、NFC(近场通信)和z波。

如上述配置的家庭网络系统可以提供诸如通过因特网130的因特网电视(IPTV)、视频点播(VoD)等的家庭娱乐服务、诸如数据共享、IP语音(VoIP)、视频电话等的家庭数据通信服务、以及诸如电器设施的远程控制、远程仪表读取、犯罪防止、灾害防止等的家庭自动化服务。即，家庭网络系统可以通过单个网络来连接房屋内部和外部使用的所有类型的家庭设备以供控制。

同时，用户可以使用诸如移动终端的通信终端来从房屋外部与包括在家庭网络系统中的家庭网关进行连接，或者可以通过家庭网关与每个家庭设备远程连接。移动终端可以是，例如，包括通信功能的个人数字助理(PDA)、智能电话、特征电话、平板个人计算机(PC)、笔记本等，并且可以直接地或通过运营商的网络和因特网来访问家庭网络系统。

参考图2，在家庭网络系统中的家庭设备110通过有线或无线通信方案来与家庭网关120进行连接。家庭网关120可以与诸如因特网的有线网络230连接。登记的移动终端250可以与包括无线接入网络和运营商核心网络的无线网络240连接，并且可以通过有线网络230来访问家庭网关220。无线网络240可以是2G(代)或3G蜂窝通信系统、3GPP(第三代合作伙伴计划)、4G通信系统、LTE(长期演进)、WiMAX(全球微波接入互操作性)等。而且，移动终端250可以使用诸如WiFi、紫蜂、蓝牙、NFC和z波的无线通信方案来与家庭网关220进行直接通信。

图3是图示根据本公开的实施例的家庭网关的示意性配置的框图。家庭网关可以被配置为包括所图示的组成元件中的至少一个。

参考图3，家庭网关300可以使用至少一个通信模块312至314来与家庭设备(未示出)连接。通信模块312至314包括诸如WiFi的无线LAN模块312、紫蜂模块314、蓝牙模块316、NFC模块318和有线通信模块320中的至少一个。而且，家庭网关300包括控制器310、网络接口模块322、用户接口(UI)324、和存储单元326。

控制单元310包括CPU(中央处理单元)、存储用于控制家庭网关300的控制程序的只读存储器(ROM)、以及用作用于在家庭网关300中执行的工作的存储区域的随机存取存储器(RAM)。控制器310可以通过执行存储在ROM或RAM中的程序或者可以存储在存储单元326中的应用程序来通过通信模块312至320与家庭设备进行通信，并且可以生成并且向家庭设备传送控制命令，或者可以存储从存储单元326中的家庭设备收集的信息。

用户接口324包括诸如显示器、扬声器和通知灯的输出模块、以及诸如触摸屏、小键盘和麦克风的输入模块，并且可以在用户直接控制家庭网关300、在家庭网络300中登记/从家庭网关300中删除家庭设备，或者通过家庭网关300控制家庭设备时进行使用。

网络接口322可以是例如因特网通信模块，并且可以将家庭网关300连接到外部网络。

存储单元326被配置为在控制器310的控制下存储家庭网关300的操作所需要的程序代码、数据或信息，并且可以在需要时存储从外部设备或家庭设备传输的大容量数据。而且，存储单元326还可以存储用于控制家庭网络系统所需要的附加信息中的至少一个，例如，包括被包含在房屋中的部分(诸如房屋、厨房、客厅、浴室等)的布置的布置图(或地图)、与被包括在家庭网络系统中的家庭设备相关联的信息、与要确保和监视的至少一个目标位置相关联的信息、以及用于控制移动家庭设备的移动的移动命令。

图4是图示根据本公开的实施例的移动终端的示意性配置的框图。移动终端可以被配置为包括所图示的组成元件中的至少一个。

参考图4，移动终端400被配置为包括控制器410、蜂窝移动通信模块420、子通信模块422、多媒体模块428、相机模块436、GPS(全球定位系统)模块438、输入/输出模块444、传感器模块442、存储单元458、电源440、和至少一个显示模块460。子通信模块130包括无线LAN模块424和短距离通信模块426中的至少一个，并且多媒体模块428包括广播通信模块430、音频回放模块432、和视频回放模块434中的至少一个。相机模块436包括至少一个相机，并且输入/输出模块444包括按钮组446、麦克风448、扬声器450、振动电机452、连接器454和小键盘456中的至少一个。

控制器410包括CPU、存储用于控制移动终端400的控制程序的ROM和用作用于存储从移动终端400的外部输入的信号或数据或者用于存储在移动终端400中执行的工作的存储区域的RAM，并且可以控制移动终端400的其他组成元件。

蜂窝移动通信模块420根据控制410的控制，使用基于蜂窝通信协议的无线接入技术来通过至少一个或多个天线(未示出)将移动终端400连接到外部装置(具体地，蜂窝系统的基站)。蜂窝移动通信模块420向/从能够执行通信的另一装置传送/接收无线信号，该无线信号包括语音呼叫、视频呼叫、短消息收发服务(SMS)消息或多媒体消息收发服务(MMS)消息。

无线LAN模块424可以在无线AP(接入点)(未示出)被安装的位置根据控制器410的控制来与因特网连接。短距离通信模块426可以根据控制器410的控制来执行在移动终端400和外部装置之间的无线短距离通信。短距离通信方案可以包括蓝牙、紫蜂、IrDA(红外线数据协会)等。

显示器460显示与可以由控制器410执行的各种应用(例如，呼叫、数据传输、广播、相机等)相关联的信息，并且可以被配置为触摸屏，所述触摸屏提供被配置为调整到触摸屏的用户接口。控制器410可以使得能够选择在触摸屏460上显示的软键，或者可以响应于在触摸屏上感测到的用户手势来执行与软键相对应的应用或功能。用户手势包括通过手指或仪器的触摸、通过身体部分的移动识别等。

位于外部的用户可以期望如上述配置的家庭网络系统执行相对于房屋中的的环境监视功能。在该情况下，用户可以使用移动终端或计算装置来与家庭网关连接，并且可以通过家庭网关控制登记的家庭设备中的至少一个来监视房屋中的环境。

参考图5，家庭网络系统500包括家庭网关510、配备有相机模块(或静态相机)的至少一个固定家庭设备512a和512b(统称为512)、以及配备有相机模块(或移动相机)的至少一个移动家庭设备514。固定家庭设备512可以是安装在诸如墙壁或天花板的预定位置中的闭路电视(CCTV)、诸如空调或冰箱的配备有相机模块的电气设施等，并且可以通过有线接口与家庭网关510连接，或者可以通过无线接口与家庭网关510连接。

移动家庭设备514可以是包括移动功能的机器人清洁器、移动玩具等，并且可以通过无线接口与家庭网关510连接，并且基于家庭网关510的控制来进行移动。家庭设备512和514中的至少一个包括通过相机或传感器感测移动的功能，并且可以向家庭网关510报告移动感测结果。而且，家庭设备512和514中的至少一个可以配备有诸如LED的灯，以捕获暗室中的图像。

此外，安装在需要监视的位置中的一个或多个感测模块516可以通过有线或无线接口与家庭网关510连接。感测模块516可以是感测通过前门的侵入的门传感器、感测破窗而入的磁传感器、超声传感器、感测从煤气灶等的气体泄露的气体传感器、感测火灾的热传感器、感测侵入者或宠物的移动的移动传感器、感测异常声音的麦克风等，并且可以包括信号传送模块，该信号传送模块监视各种异常情况的发生，并且在感测到相应的异常情况时，有线或无线地传送包括相应标识信息的异常信号。例如，感测模块516可以被安装在需要监视的固定位置处，或者可以被包括在移动家庭设备中。异常信号可以由家庭网关510收集，或者可以被直接传输到配备有相机的家庭设备512和514。

家庭网关510登记与家庭设备512和514相关联的信息并且管理状态。当提供固定家庭设备512时，家庭网关510可以登记和管理家庭设备512被安装的位置，例如，主房间中的第一CCTV、以及客厅中的第二和第三CCTV。当提供移动家庭设备514时，家庭网关510登记和管理家庭设备514的对接(docking)位置(例如，机器人清洁器的充电器)，并且此外，使用被包括在家庭设备514中的RF(射频)标签、传感器、相机等来感测和跟踪家庭设备514的当前位置。

而且，家庭网关510可以向家庭设备514传送用于控制移动的移动命令，并且可以一起存储移动命令的历史和时间信息。例如，家庭网关510存储指令家庭设备514从对接位置移动到要监视的至少一个位置，并且再次返回到对接位置的移动命令。要监视的至少一个位置可以是，例如，没有安装固定感测模块的位置、容易受到安全攻击的位置、或者儿童或宠物存在的位置，并且可以由用户来设置。又如，当家庭网络系统以安全模式进行操作时，家庭网关510可以设置家庭设备514以巡逻在对接位置和要监视的位置(或多个位置)之间的路径。

家庭网关510可以收集通过包括在家庭设备512和514中的相机捕获的图像数据。收集图像数据可以实时地连续执行，或者基于预定时间条件而开始。在预定时间段期间或在被用户删除之前，图像数据可以被存储在家庭网关510或外部存储装置中。

用户可以在办公室中使用个人计算机522通过因特网520与家庭网关510连接，并且可以检查由家庭网关510收集的图像数据。而且，用户可以使用移动环境中的移动终端532通过无线网络530和因特网520来与家庭网关510连接，并且可以确定由家庭网关510收集的图像数据。

当包括在固定家庭设备512中的相机的方向是可调整的时，用户通过个人计算机522或移动终端532向家庭网关510传送控制命令，并且家庭网关510向相应的家庭设备512传输控制命令。控制命令可以包括用于调整固定相机的方向的上/下/左/右侧调整命令和放大/缩小(放大/缩小)命令中的至少一个。然后，家庭设备512响应于控制命令来控制相机透镜，并且将通过受控的相机透镜捕获的图像数据传输到家庭网关510。

而且，用户通过个人计算机522或移动终端532向家庭网关510传送用于控制移动相机514(或者配备有相机模块的移动家庭设备514)的移动的控制命令，并且家庭网关510向相应的家庭设备514传输控制命令。控制命令包括用于移动家庭设备514的左/右旋转指令、向前/向后移动指令、和/或放大/缩小命令。然后，该家庭设备514响应于控制命令来控制或者移动相机透镜，并且将通过受控的相机透镜捕获的图像数据传输到家庭网关510。

图6图示了根据本公开的实施例的配备有相机的移动家庭设备的配置。在此，图示了被实现为机器人清洁器的家庭设备的配置。机器人清洁器可以被配置为包括所图示的组成元件中的至少一个。

参考图6，机器人清洁器600被配置为包括控制器610、相机模块612、用户接口614、传感器模块616、通信模块618、存储单元620、清洁电机622、移动电机624、方向电机626、和电源628。

控制器610包括CPU、存储用于控制机器人清洁器600的清洁功能和移动的控制程序的ROM、以及用作用于存储从机器人清洁器600的外部输入的信号或数据或者用于存储在机器人清洁器600中执行的工作的存储区域的RAM，控制器610可以基于所存储的控制程序或从外部接收到的控制命令来控制机器人清洁器600的功能，并且其可以控制通信模块618向指定目的地传送由相机模块612收集的图像数据。

相机模块612被固定安装在机器人清洁器600外侧的预定位置处，并且提供通过捕获周围图像所生成的图像数据。相机模块612可以被配置为机械地调整拍摄透镜的方向，并且可以响应于来自控制器610的控制命令，通过以预定角度调整拍摄透镜的上/下/左/右侧的方向，或者可以执行放大/缩小。

用户接口614被配置为包括用于设置机器人清洁器600的电源的开/关、机器人的独特功能(例如，清洁功能等)的键输入单元，以及指示机器人清洁器600的状态、功能、通信状态等的显示单元。传感器模块616被配置为包括热传感器、移动传感器等，并且向控制器610报告当在可检测的范围内感测到移动时所感测到移动。通信模块618被配置为包括移动通信模块和/或无线LAN通信模块，并且可以向/从家庭网关和/或外部装置传送和接收无线信号。具体地，通信模块618通过无线LAN或紫蜂从家庭网关接收控制命令，并且可以通过无线LAN或移动通信方案来向家庭网关传送由相机模块612收集的图像数据。

存储单元620可以在控制器610的控制下在预定时间段期间或者根据预定能力来存储由相机模块612捕获的图像数据，并且可以临时存储用于机器人清洁器600进行的图像监视所处理的数据。而且，存储单元620可以进一步包括机器人清洁器600的移动所需要的其他信息(例如，包括房屋中的房间、厨房、客厅和浴室的布局的布局平面图)、与例如充电系统的与对接位置相关联的信息、与要监视的至少一个目标位置相关联的信息、和用于在对接位置和目标位置之间的移动的移动命令中的至少一个。

清洁电机622基于控制器610的控制来进行操作，并且执行机器人清洁器600的清洁功能。移动电机624基于控制器610的控制来进行操作，从而使得机器人清洁器600能够向前或向后移动。方向电机626基于控制器610的控制来进行操作，从而使得机器人清洁器600能够改变移动的方向。电源628向用于驱动机器人清洁器600所需的各个操作电路供应存储在可充电电池中的电压，并且用从外部供应的电力来对可充电电池进行充电。

在如图5所示的家庭网络系统中，家庭网关登记与在房屋内部/外部安装的家庭设备相关联的信息，并且控制和管理所登记的家庭设备。例如，当安装新的家庭设备时，家庭网关收集和存储与家庭设备相关联的信息中的至少一个，例如，家庭设备的标识符、位置信息、能力信息和状态信息。与家庭设备相关联的信息可以通过在家庭网关和家庭设备之间的服务发现过程来从家庭设备直接获得，可以基于从家庭设备提供的标识信息来在因特网上由家庭网关从服务器接收，或者可以由用户或系统管理员直接输入到家庭网关。例如，当用户购买和安装新的家庭设备，并且向家庭网关输入例如序列号、型号、快速响应(QR)码的通过指令提供的标识信息时，家庭网关可以基于该标识信息来在因特网上与制造商的服务器连接，以获得与家庭设备相关联的信息。

参考图7，在步骤702中安装家庭设备并且供电。替代地，用户确定将先前安装的家庭设备登记在家庭网关中。在步骤704中，家庭网关执行对于家庭设备的搜索过程。例如，当假定家庭设备通过WiFi与家庭网关连接时，家庭网关周期性地或者响应于来自用户的请求执行在家庭网关周围对新设备的搜索过程。当家庭网关通过搜索过程检测到家庭设备时，家庭网关可以从家庭设备接收与家庭设备相关联的信息。与家庭设备相关联的信息包括家庭设备的标识符、能力信息和状态信息中的至少一个。例如，当家庭设备是安全相机时，能力信息包括安全相机的角度是否是可调整、安全相机是否支持放大/缩小等。状态信息包括安装安全相机的位置。

作为可选实施例，在步骤706中，家庭网关通过其自己的用户接口、通过外部接口连接的控制台、或在因特网上的计算机而直接从用户接收与要登记的家庭设备相关联的登记请求，并且从用户接收与家庭设备相关联的信息的输入。作为另一实施例，家庭网关可以从家庭设备或用户获得与家庭设备和/或状态信息相关联的标识信息，并且可以基于标识信息，通过在因特网上与制造商的服务器连接来获得与家庭设备相关联的能力信息。

在步骤708中，家庭网关存储与家庭设备相关联的信息，并且将家庭设备作为登记的家庭设备进行管理。作为可选实施例，家庭网关可以通过因特网或WiFi从用户或者从远程控制终端直接接收与家庭设备相关联的附加信息的输入。附加信息可以包括例如家庭设备的名称或昵称以及安装家庭设备的位置中的至少一个。

作为另一可选实施例，家庭网关可以通过因特网或WiFi从用户或者从远程控制终端直接接收与家庭设备的模式和/或权限相关联的附加信息的输入。附加信息包括，例如，相对于家庭设备的访问权的级别。访问权的级别包括例如权限的优先级，仅允许通过家庭网关的访问、允许由登记的远程控制终端的访问、允许通过在家庭网关中登记的远程控制终端的访问等。

在步骤710中，家庭网关在需要时设置与家庭设备的连接。连接的设置可以基于在家庭网关和家庭设备之间的通信方案中确定的过程来执行，通信方案即WiFi、紫蜂、蓝牙、NFC或有线通信方案。如上所述，当在步骤712中设置在家庭网关和家庭设备之间的连接时，家庭设备可以在需要时通过设置的连接向家庭网关传送数据。作为实施例，当家庭设备是安全相机或配备有安全相机功能的电器设施时，家庭设备实时地向家庭网关传送所捕获的图像数据。而且，在需要时，在步骤714中，家庭网关向家庭设备传送控制命令。例如，家庭网关传送用于包括在家庭设备中的安全相机的角度调整命令和/或放大/缩小命令，并且家庭设备响应于命令来调整相机透镜的角度或执行放大/缩小，并且连续传送在调整的条件下所捕获的图像数据。又如，当家庭设备是空调时，控制命令可以包括期望的温度、期望的风强度、操作时间、安排的时间等。根据所应用的通信方案，家庭设备可以向家庭网关提供控制命令的执行的结果作为响应。

在如图5所示配置的家庭网络系统中，用户将用于远程控制的个人计算机(PC)或移动终端(移动站(MS))登记在家庭网关中，并且家庭网关限制性地允许通过登记的PC或移动终端进行远程控制。例如，用户可以手动地或者通过使用移动通信网络或WiFi来将要用于远程控制的移动终端登记在家庭网关中，并且家庭网关接收和存储与移动终端相关联的信息(例如，移动终端的标识符、用于远程控制的权限)和与用户模式相关联的信息。与移动终端相关联的信息可以通过在家庭网关和移动终端之间的连接直接从移动终端获得，可以基于从移动终端提供的标识信息来由家庭网关从无线通信系统的服务器接收，或者可以从用户或系统管理员而被直接输入到家庭网关。

参考图8，在步骤802中，移动终端安装支持家庭网络系统的控制的远程控制应用(以下称为应用)。作为可选实施例，远程控制应用的安装可以被限制到仅通过预定认证过程的用户的移动终端。例如，家庭网关提供认证码，并且家庭网关、家庭网关的制造商的服务器或者用于提供远程控制应用的服务器允许仅将远程控制应用下载到输入认证码的用户的移动终端。作为另一可选实施例，远程控制应用可以基于移动终端的权限级别来限制性地提供功能。例如，远程控制应用可以基于家庭网关所允许的权限等级来选择性地提供下述功能中的至少一个：通过网关查询信息、从家庭网关接收警报、部分地控制家庭设备、以及完全控制家庭设备。

在步骤804中，移动终端执行远程控制应用，并且通过远程控制应用向家庭网关传送登记请求消息。远程控制应用可以通过因特网被传输到家庭网关，或者可以通过WiFi被直接传输到家庭网关。登记请求消息包括移动终端的标识符(例如，MSID(MS标识符)或IMSI(国际移动订户标识))、登录ID和密码、权限信息和模式信息。权限信息指示相对于家庭网络系统的访问权级别，例如，允许通过网关查询信息、允许从家庭网关接收警报、部分地允许控制家庭设备、以及完全允许控制家庭设备。

作为可选实施例，在步骤806中，家庭网关通过其自己的用户接口、通过外部接口连接的控制台、或在因特网上的计算机而从用户接收与要登记的家庭设备相关联的登记请求，并且从用户接收与移动终端相关联的信息的输入，例如，权限信息和/或模式信息。

作为可选实施例，在步骤808中，家庭网关基于与从移动终端或用户获得的与移动终端相关联的标识信息来与移动通信网络的订户服务器连接，以便于认证移动终端。当没有输入移动终端的权限信息时，家庭网关可以基于认证的结果来生成与移动终端相关联的权限信息。

在步骤810中，家庭网关存储与移动终端相关联的信息，并且将该移动终端作为登记的移动终端进行管理。在步骤812，家庭网关向移动终端传送指示与移动终端相关联的信息的登记成功的登记批准消息。

在步骤814中，家庭网关在需要时可以向移动终端传送远程控制所需要的数据。作为实施例，家庭网关实时地、周期性地或者以事件触发的方式向移动终端传送由安装在房屋内部/外部的至少一个安全相机捕获的图像数据。作为另一实施例，家庭网关实时地、周期性地或者以事件触发的方式向移动终端传送与房屋中/周围的灯、功耗和门的开/关状态相关联的状态信息。在步骤816中，移动终端在需要时向家庭网关传送用于家庭网关或至少一个家庭设备的控制命令。例如，移动终端请求家庭网关实时地传送由安装在预定位置的安全相机捕获的图像数据。作为另一实施例，移动终端通过家庭网关向安全相机传送角度调整命令和/或放大/缩小命令。

图9图示了根据本公开的实施例的在家庭网络系统中执行的家庭监视过程。

参考图9，家庭网络系统900包括家庭网关910、配备有相机的至少一个固定家庭设备912a和912b(统称为912)、以及配备有相机的至少一个移动家庭设备914。固定家庭设备912可以是安装在诸如墙壁或天花板的预定位置中的CCTV、诸如空调或冰箱的配备有相机模块的电气设施等，并且可以通过有线接口与家庭网关910连接，或者可以通过无线接口与家庭网关910连接。移动家庭设备914可以是包括移动功能的机器人清洁器、移动玩具等，并且可以通过无线接口与家庭网关910连接。

家庭网关910可以基于来自用户的请求或预定设置来以安全模式操作家庭网络系统900。当安全模式开始时，配备有相机的家庭设备912和914开始捕获图像数据，并且存储图像数据或者向家庭网关910报告图像数据。作为实施例，当安全模式开始时，家庭网关910响应于来自用户的请求而指令移动家庭设备914移动到预先设置的预定位置，例如，厨房中的窗户、后门等，并且执行捕获图像数据和感测功能。具体地，移动家庭设备914可以用于加强对没有安装固定感测模块并且易于受到安全攻击的位置的监视。

当位于家庭网络系统900外的用户期望检查内部/周围的环境时，用户可以通过移动终端922执行支持家庭坚持的远程控制应用，并且选择家庭监视功能。然后，在步骤930中，移动终端922直接地或通过网络920与家庭网关910连接，并且向家庭网关910传送用于请求家庭监视的请求消息。在步骤932中，家庭网关910响应于请求消息来从配备有相机的至少一个家庭设备912和914收集图像数据。在步骤934中，家庭网关910向移动终端922传送从至少一个家庭设备912和914收集的图像数据。移动终端922显示图像数据，使得用户检查该图像数据。

作为实施例，家庭网关910从系统中的配备有相机的所有家庭设备912和914收集图像数据，并且向移动终端922提供图像数据。作为另一实施例，家庭网关910从预先登记的至少一个家庭设备912和914收集用于家庭监视的图像数据，并且向移动终端922提供图像数据。

可以基于在移动终端922中执行的远程控制应用的设置来以原始分辨率或以压缩的小分辨率的形式传输图像数据。当家庭设备912和914实时地向家庭网关910传送图像数据，并且家庭网关910存储图像数据时，家庭网关910在不请求图像数据的传输的情况下向移动终端922传送实时收集的图像数据。作为另一实施例，当家庭网关910从移动终端922接收用于请求家庭监视的请求消息时，家庭网关910请求至少一个家庭设备912和914来传送图像数据，并且响应于该请求从家庭设备912和914接收图像数据。

在步骤936中，移动终端922向家庭网关910传送用于选择另一相机的图像或者用于调整预定相机的位置、角度、缩放的控制命令。在步骤938中，家庭网关910向配备有选择的相机的家庭设备(例如，家庭设备914)传输控制命令。在步骤940中,家庭设备914向家庭网关910传输响应于控制命令移动或控制相机透镜之后所捕获的图像数据，并且在步骤942中，家庭网关910向移动终端922传输图像数据。移动终端922显示图像数据，使得用户检查图像数据。

参考图10，家庭网络系统1000包括家庭网关1010、配备有相机的至少一个固定家庭设备1012、以及配备有相机的至少一个移动家庭设备1014。固定家庭设备1012可以是安装在诸如墙壁或天花板的预定位置中的CCTV、诸如空调或冰箱的配备有相机模块的电气设施等，并且可以通过有线接口与家庭网关1010连接，或者可以通过无线接口与家庭网关1010连接。

移动家庭设备1014可以是包括移动功能的机器人清洁器、移动玩具等，并且可以通过无线接口与家庭网关1010连接。家庭设备1012和1014中的至少一个包括通过相机或传感器感测移动的功能，并且可以向家庭网关1010报告移动感测结果。而且，家庭设备1012和1014中的至少一个可以配备有诸如LED的灯，以捕获暗室中的图像。

一个或多个感测模块1016可以被安装在确定要被监视的位置中，或者可以被包括在移动家庭设备1014中，并且可以通过有线或无线接口与家庭网关1010连接。感测模块1016可以是感测通过前门的侵入的门传感器、感测破窗而入的磁传感器、超声传感器、感测从煤气灶等的气体泄露的气体传感器、感测火灾的热传感器、以及感测侵入者或宠物的移动的移动传感器，并且可以包括信号传送模块，该信号传送模块在家庭网络系统以安全模式进行操作的同时感测到相应的异常情况时，有线或无线地传送包括相应标识信息的异常信号。异常信号可以由家庭网关1010收集，或者可以被直接传输到配备有相机的家庭设备1012和1014。

家庭网关1010可以基于来自用户的请求或预定设置来以安全模式操作家庭网络系统1000。当安全模式开始时，配备有相机的家庭设备1012和1014开始捕获图像数据，并且存储图像数据或者向家庭网关1010报告图像数据。家庭网关1010可以存储移动命令以及时间信息，其中，移动命令指令移动家庭设备1014到达需要附加监视的至少一个目标位置，例如没有安装感测模块的位置、具有高侵入概率的位置、儿童或宠物存在的地方等。移动家庭设备1014可以被配置为在安全模式操作时通过巡逻在对接位置和至少一个目标位置之间的路径来执行捕获图像数据和感测操作。移动家庭设备1014可以通过本身存储移动命令。

在安全模式中，感测模块1016开始感测操作。

在步骤1030中，感测模块1016感测异常情况，并且向家庭网关1010传送包括其标识信息的异常信号。作为可选实施例，当家庭网关1010能够通过有线或无线连接识别感测模块1016的标识或位置时，可以省略标识信息的传输。

在步骤1032中，家庭网关1010响应于异常信号的接收来向至少一个登记的移动终端1022传送于异常情况相关联的警报消息，并且移动终端1022可以响应于从家庭网关101接收警报消息而显示或输出警告消息。作为可选实施例，家庭网关1010基于预先登记的场景来确定是否向移动终端1022通知由感测模块1016感测到的异常情况。作为实施例，当用户外出时，用户可以在家庭网关1010中登记在其中儿童或宠物位于主房间中的场景。然后，家庭网关1010将主房间感测到的热或移动确定为正常情况，并且确定不向移动终端1022传送警报消息。作为另一实施例，当在厨房中食物被烹饪或者按计划被烹饪时，用户可以在家庭网关1010中登记在其中厨房中产生热的场景。然后，家庭网关1010将从厨房感测到的热或移动确定为正常情况，并且确定不向移动终端1022传送警报消息。当除了登记的场景之外的情况发生时，家庭网关1010确定向移动终端1022通知异常情况。作为另一实施例，当对应于登记的异常场景的情况发生时，诸如感测到前门或窗户打开、感测到移动等时，家庭网关1010确定向移动终端1022通知异常情况。

在步骤1034中，移动终端1022响应于从家庭网关101接收警报消息来自动地或者基于用户的输入(触摸或语音)执行支持家庭监视的远程控制应用，以通过网络1020来与家庭网关1010连接，并且向家庭网关1010传送用于请求家庭监视的请求消息。

家庭网关1010在步骤1036中，响应于请求消息来从配备有相机的至少一个家庭设备1012和1014收集图像数据，并且在步骤1038中，向移动终端1022传送所收集的图像数据。移动终端1022显示图像数据，使得用户检查该图像数据。

作为实施例，家庭网关1010从预先登记的并且位于感测模块1016感测到异常情况存在的相同空间(例如，房间)中的至少一个家庭设备1012和1014收集图像数据，并且向移动终端1022提供所收集的图像数据。作为另一实施例，家庭网关1010从配备有相机的所有家庭设备1012和1014收集图像数据，并且向移动终端1022提供图像数据。作为另一实施例，家庭网关1010从预先登记的至少一个家庭设备1012和1014收集用于家庭监视的图像数据，并且向移动终端1022提供图像数据。

可以基于在移动终端1022中执行的远程控制应用的设置来以原始分辨率或以压缩的小分辨率的形式传输图像数据。当家庭设备1012和1014实时地向家庭网关1010传送图像数据，并且家庭网关1010存储图像数据时，家庭网关1010在不请求图像数据的传输的情况下向移动终端1022传送实时收集的图像数据。作为另一实施例，当家庭网关1010从移动终端1022接收用于请求家庭监视的请求消息时，家庭网关1010请求至少一个家庭设备1012和1014来传送图像数据，并且响应于该请求从家庭设备1012和1014接收图像数据。

在步骤1040中，移动终端1022向家庭网关1010传送用于选择另一相机的图像或者用于调整预定相机的位置、角度、缩放的控制命令。在步骤1042中，家庭网关1010向配备有选择的相机的家庭设备(例如，家庭设备1014)传输控制命令。家庭设备1014向家庭网关1010传输在步骤1040中响应于控制命令移动或控制相机透镜之后所捕获的图像数据，并且在步骤1046中，家庭网关1010向移动终端1022传输图像数据。移动终端1022显示图像数据，使得用户检查图像数据。

当从感测模块1016接收到异常信号时，家庭网关1010可以向移动终端1022传送警报消息，并且可以在步骤1048中向紧急救援中心1024传送警报消息。该警报消息包括与异常情况和异常情况发生的位置(家庭地址等)相关联的信息，并且可以通过诸如因特网的网络1020被传送到急救援中心1024。紧急救援中心1024的联系人(电话号码、目的地IP地址等)可以由用户或制造商预先在家庭网关101中设置。应急救援中心1024可以是，例如，警察局、治安亭、消防局、119中心、消防站或对应于综合建筑或集合房屋的公寓、建筑等的安全办公室或私人保安服务公司。

参考图11，在步骤1102中，移动终端响应于来自用户的请求(触摸输入或语音命令)或者根据预先设置的执行条件来执行包括家庭监视功能的远程控制应用。当执行远程控制应用时，远程控制应用与家庭网关连接以执行登录过程，或确定预先执行的登录过程，以允许与家庭网关的连接。在步骤1104中，不论来自移动终端的用于家庭监视的请求如何，家庭网关实时地或周期性的从包括相机模块并且安装在家庭网络系统中的至少一个家庭设备收集图像数据并进行存储。

在步骤1106中，移动终端通过远程控制应用来向家庭网关传送家庭监视请求消息。家庭监视请求消息包括用于与家庭网关连接的登录ID和密码、移动终端的标识符、和预先获得的认证信息中的至少一个。作为可选实施例，当输入对用户期望监视的部分(房间1/房间2/厨房/客厅等)的请求时，家庭监视请求消息可以进一步包括与用户期望监视的部分相关联的信息。

在步骤1108中，家庭网关响应于家庭监视请求消息来确定移动终端的权限，并且当移动终端具有能够接收用于家庭监视的图像数据的权限等级时，向移动终端传输与房屋中要见识的位置和/或包括相机模块的至少一个家庭设备相关联的监视信息。该监视信息可以包括可以被监视或正在被监视的位置(例如，房间/客厅/厨房等)以及与每个安装的相机模块相关联的相机信息。相机信息包括位置、类型(例如，移动/固定类型等)和状态(例如，激活/禁用状态、正在充电的状态、可移动状态、由家庭网关测量的无线信号强度等)中的至少一个。该监视信息可以进一步包括由每个相机模块收集的图像数据的缩略图静止图像或缩略图视频。

在步骤1110中，移动终端通过远程控制应用来识别监视信息，并且选择期望被检查的地方或相机。在步骤1112中，移动终端向家庭网关传送包括指示所选择的地方或相机的指示信息的家庭监视请求消息。

当没有从家庭设备报告与通过指示信息请求的地方或相机模块相关联的图像数据时，在步骤1114中，家庭网关响应于家庭监视请求消息来请求与指示信息相对应的家庭设备传送图像数据。当确定了具有相机模块的家庭设备没有存在于指示信息所请求的位置中时，家庭网关传送包括如下命令的图像请求，该命令指令例如机器人清洁器或移动玩具的具有相机模块和可移动装置的家庭设备移动到所请求的地方并且收集图像。在步骤1116中，家庭网关从相应的家庭设备接收图像数据。当家庭网关实时地从家庭设备收集图像数据时，可以省略步骤1114。

在步骤1118中，家庭网关向移动终端传送与移动终端所请求的地方或相机相关联的图像数据，并且移动终端显示图像数据以使得用户能够检查图像数据。作为实施例，图像数据可以与相应的地方的名称、与相应的相机模块相关联的相机信息、或配备有相机模块的家庭设备的标识信息一起被传送到移动终端。移动终端可以将图像数据与地方的名称、相机信息和/或标识信息一起来显示。

作为可选实施例中，当移动终端通过步骤1106的家庭监视请求消息传送与期望监视的部分(房间1/房间2/厨房/客厅等)相关联的信息时，可以省略步骤1108至1112，并且家庭网关可以继续进行步骤1118，以向移动终端传送由在相应部分中安装的相机捕获的图像数据。

在显示图像数据的同时，移动终端可以从用户接收用于控制预定相机的命令的输入。控制命令包括调整相机的角度、放大/缩小和移动配备有相机的家庭设备中的至少一个，并且可以进一步包括指示期望被控制的相机的指示信息。作为可选实施例，控制命令可以进一步包括用于控制配备有相机的预定家庭设备的操作的命令。作为实施例，当家庭设备是可移动的机器人清洁器时，移动终端从用户接收用于通过语音或操纵屏幕执行清洁的命令的输入，并且生成对应于所输入的命令的控制命令。

在步骤1120中，移动终端向家庭网关传送由用户相对于预定家庭设备输入的控制命令，并且在步骤1124中，家庭网关向相应的家庭设备传送控制命令。在步骤1126中，家庭设备响应于控制命令来调整相机在上/下/左/右侧的角度，执行放大/缩小，执行左/右旋转或执行向前/向后移动。作为实施例，当家庭设备是机器人清洁器，并且控制命令指令生成警报声时，机器人清洁器响应于来自家庭网关的控制命令而输出警报声。虽然未示出，但是作为可选实施例，家庭设备向家庭网关报告与控制命令相关联的执行结果(执行的进展、完成的执行、和不可能的执行)，并且家庭网关向移动终端传输执行结果。

家庭设备执行与控制命令相关联的操作，并且在步骤1128中连续地向家庭网关传送图像数据，并且在步骤1130中，家庭网关向移动终端传输图像数据，使得移动终端显示该图像数据。该图像数据可以同与相应相机模块相关联的相机信息或同相应家庭设备相关联的标识信息一起被传送到移动终端。

参考图12，在步骤1202中，安装在家庭网络系统中的感测模块中的至少一个感测相应的异常情况，并且通过有线或无线接口向家庭网关报告包括本身的标识信息的警报。在步骤1204中，家庭网关响应于警报报告来确定是否向至少一个登记的移动终端通知异常情况。作为示例，当警报的生成不属于预先登记的正常场景时，家庭网关可以确定向移动终端通知异常。当确定了警报属于正常场景时，家庭网关不向移动终端通知异常情况，并且与时间信息一起存储与警报相关联的感测到的状态(移动、热、温度等)和感测到的位置(窗户、房间、厨房、前门等)。作为另一示例，当警报的生成属于预先登记的异常场景时，家庭网关可以确定向移动终端通知异常。

在步骤1206中，家庭网关可以向至少一个登记的移动终端通知指示与警报相关联的异常情况的警报消息。作为实施例，家庭网关可以仅向具有访问权设置为允许接收来自登记的移动终端当中的警报的至少一个移动终端通知警报。异常情况的警报消息可以包括与关联于警报的感测到的状态相关联的信息(移动、热、温度等)和感测到的位置(窗户、房间、厨房、前门等)。

当家庭网关不从包括相机模块并且安装在房屋中的至少一个家庭设备实时地收集图像数据并进行存储时，在步骤1210中，家庭网关请求家庭网络系统中的至少一个家庭设备来响应于警报的报告开始捕获和传送图像数据。作为实施例，家庭网关可以基于与预先登记的家庭设备相关联的位置信息来从位于生成警报的同一地方和/或附近地方的家庭设备请求图像数据。作为另一实施例，家庭网关请求系统中配备有相机模块的所有家庭设备来收集和报告图像数据。

当在步骤1202中感测到异常情况的感测模块被安装在包括相机模块的移动家庭设备中时，家庭网关指令相应的移动家庭设备来中断巡逻，并且在相应的位置处连续收集图像数据。当在感测到异常的地方/空间不存在包括相机模块的家庭设备时，在步骤1216中，家庭网关可以指令例如机器人清洁器或移动玩具的包括相机模块的移动家庭设备移动到感测到异常的地方，并且收集和报告图像。为此，家庭网关可以预先存储用于将移动家庭设备从对接位置移动到预定位置的移动命令。作为另一实施例，移动命令可以被存储在移动家庭设备中，并且当移动家庭设备以安全模式进行操作时，移动家庭设备可以基于先前设置的规则来执行移动命令。

在步骤1212中，家庭网关开始从相应的家庭设备接收图像数据，并且存储所接收到的图像数据。

作为另一实施例，家庭网关可以响应于步骤1202的警报的接收而请求包括相机的所有家庭设备以捕获和报告图像数据。家庭网关分析所报告的图像数据，并且组合图像数据的分析的结果和感测模块的状态，以确定异常情况是否发生。例如，家庭网关确定人是否存在于房屋中，并且可以基于感测模块的状态来确定人是否通过正常路径进入。当确定为异常情况时，家庭网关可以基于所确定的过程来操作。例如，家庭网关向至少一个登记的移动终端传送文本/视频，和/或向警察局或安保公司传送警报消息。

作为另一实施例，当感测模块感测到异常情况时，家庭设备可以立即捕获图像数据，并且开始向家庭网关报告图像数据。为此，家庭设备可以被配置为使能与感测模块的通信，或者包括感测模块。

在步骤1208中，移动终端响应于警报消息的接收执行预定警报操作。作为实施例，移动终端在屏幕上显示文本消息，例如，“在前门感测到移动”，并且可以执行附加警报操作，诸如使LED闪烁、生成警报声、生成振动等。作为另一实施例，移动终端可以响应于警报消息的接收来自动地执行用于家庭监视的远程控制应用。作为另一实施例，移动终端响应于警报消息的接收来在屏幕上显示用于执行远程控制应用的快捷方式图标，并且响应于对快捷方式的用户输入来执行远程控制应用。当执行远程控制应用时，远程控制应用与家庭网关连接以执行登录过程，或者确定预先执行用于允许与家庭网关的连接的登录过程。

在步骤1214中，移动终端通过远程控制应用来向家庭网关传送家庭监视请求消息。家庭监视请求消息包括下述中的至少一个：用于与家庭网关连接的登录ID和密码、移动终端的标识符、和预先获得的认证信息。在步骤1216中，在认证移动终端的连接之后，当家庭网关没有从位于在异常被感测到的家庭设备收集图像数据时，家庭网关请求相应的家庭设备，以响应于家庭监视请求消息来传送图像数据，并且在步骤1218中，从家庭设备接收图像数据。当家庭网关实时地从家庭设备收集图像数据时，可以省略步骤1216。

在步骤1220中，家庭网关向移动终端传送由相应的家庭设备所收集的图像数据，并且移动终端显示图像数据，以使得用户能够检查图像数据。根据实施例，可以同与相应的相机模块相关联的相机信息或配备有相机模块的家庭设备的标识信息一起将图像数据传送到移动终端。移动终端可以与相机信息和/或标识信息一起显示图像数据。作为另一实施例，当在步骤1204中感测到异常情况时，家庭网关立即继续进行步骤1220，以开始向移动终端的图像数据的传输。

在显示图像数据的同时，移动终端可以从用户接收用于控制相机的命令的输入。该控制命令指令调整相机的角度、放大/缩小和移动配备有相机的家庭设备中的至少一个，并且可以进一步包括指示期望被控制的相机的指示信息。

在步骤1222中，移动终端向家庭网关传送由用户输入的控制命令，并且家庭网关在步骤1224中向家庭设备传送控制命令。在步骤1226中，家庭设备响应于控制命令来向上/下/左/右侧调整相机的角度，或者执行放大/缩小，执行左/右旋转，或者执行向前/向后移动。家庭设备执行与控制命令相关联的操作，并且在步骤1228中连续地向家庭网关传送图像数据，并且家庭网关在步骤1230中向移动终端传输图像数据，使得移动终端显示图像数据。图像数据可以同与相应的相机模块相关联的相机信息或与相应的家庭设备相关联的标识信息一起被传送到移动终端。

参考图13，在步骤1306中，移动终端响应于来自用的请求或者根据预先设置的执行条件来执行包括家庭监视功能的远程控制应用。在步骤1302和1304中，不论来自移动终端的对于家庭监视的请求如何，家庭网关都实时地或周期性地从包括相机模块并且被安装在家庭网络系统中的至少一个家庭设备收集图像数据并进行存储。这里，图示了配备有移动相机的家庭设备#1和配备有固定相机的家庭设备#2。

在步骤1308中，移动终端通过远程控制应用来向家庭网关传送家庭监视请求消息。在步骤1310中，家庭网关响应于家庭监视请求消息来确定移动终端的权限，并且当移动终端具有能够接收用于家庭监视的图像数据的权限等级时，向移动终端传输与包括相机模块并且位于房屋中的至少一个家庭设备相关联的相机信息。

在步骤1312中，移动终端通过远程控制应用识别相机信息，并且选择配备有期望检查其图像的相机的家庭设备#2。在步骤1314中，移动终端向家庭网关传送包括指示所选择的相机(或家庭设备#2)的指示信息的家庭监视请求消息。

在步骤1316中，当家庭网关没有从家庭设备#2收集图像数据时，家庭网关响应于家庭监视请求消息来请求家庭设备#2传送图像数据，并且在步骤1318中从家庭设备#2接收图像数据。当家庭网关从家庭设备#2实时地收集图像数据时，可以省略步骤1316。

在步骤1320中，家庭网关向移动终端传送由家庭设备#2收集的图像数据，并且移动终端显示图像数据，以使得用户能够检查图像数据。根据实施例，图像数据可以同与相应相机模块相关联的相机信息或家庭设备#2的标识信息一起被传送到移动终端。移动终端可以将图像数据与相机信息和/或标识信息一起显示。

在显示图像数据的同时，移动终端在步骤1322中从用户接收用于将图像数据改变为另一相机的图像数据的请求。作为实施例，用户向移动终端输入用于从配备有固定相机的家庭设备#2改变为配备有移动相机的家庭设备#1的命令。即，当用户确定了该用户难以从由家庭设备#2的固定相机捕获的图像中完全检查期望的部分时，用户确定改变相机以通过使用家庭设备#1的移动相机来捕获期望的部分。在步骤1324中，移动终端向家庭网关传送包括指示要使用的另一相机(或家庭设备#1)的指示信息的家庭监视请求消息。

在步骤1326中，当家庭网关没有从家庭设备#1收集图像数据时，家庭网关响应于家庭监视请求消息来请求家庭设备#1传送图像数据，并且在步骤328中，从家庭设备#2接收图像数据。当家庭网关实时地从家庭设备#1收集图像数据时，可以省略步骤1326。

在步骤1330中，家庭网关向移动终端传送由家庭设备#1收集的图像数据，并且移动终端显示该图像数据以使得用户能够检查图像数据。根据实施例，图像数据可以同与相应相机模块相关联的相机信息或家庭设备#1的标识信息一起与被传送到移动终端。移动终端可以与相机信息和/或标识信息一起显示图像数据。

在步骤1332中，移动终端向家庭网关传送在移动终端显示图像数据的同时由用户输入的用于控制相机的控制命令，并且家庭网关在步骤1334中向家庭设备#1传送控制命令。在步骤1336中，家庭设备#1响应于控制命令来向上/下/左/右侧调整相机的角度，执行所放大/缩小，执行左/右旋转，或者执行向前/向后移动。家庭设备#1执行与控制命令相关联的操作，并且在步骤1338中连续地向家庭网关传送图像数据，并且家庭网关在步骤1340中向移动终端传输图像数据，使得移动终端显示图像数据。图像数据可以同与相应相机模块相关联的相机信息或与家庭设备#1相关联的标识信息一起被传送到移动终端。

图14图示了根据本公开的实施例的用于执行远程控制应用的移动终端中的用户接口(UI)。如图中所示，移动终端提供用于执行安装的远程控制应用的应用/插件图标1402，并且在感测到在图标1402上的例如触摸的用户手势1404时执行远程控制应用。

作为另一实施例，移动终端提供用于输入语音命令的图标，并且当在图标上感测到用户手势，或者输入例如“查看我的客厅”、“让我看看我的客厅”等的语音命令时，执行远程控制程序，从而执行相应的家庭监视功能。

如图所示，当用户请求家庭监视功能的执行，并且能够查询由相机捕获的图像数据的移动终端的权限等级由家庭网关批准时，远程控制应用以格子或列表的形式来显示由安装在家庭网络系统中的相机模块捕获的图像数据的缩略图图像1502。每个缩略图图像1502可以是由相应的相机模块实时捕获的缩略图视频、基于缩略图视频提取的缩略图静止图像、或从相机模块周期性收集的缩略图静止图像。

可以与包括对应于相应相机模块的相机信息的标题区域一起显示每个缩略图图像1502。相机信息包括相应相机模块的位置(例如，房间/客厅/厨房等)、类型(例如，移动类型/固定类型等)和状态(例如，激活/禁用状态/正在充电的状态/可移动状态等)中的至少一个。例如，第一缩略图图像可以与“房间1”或“房间1，固定类型”的标题一起被显示，并且第二缩略图图像可以连与“IP相机1(客厅)”或“IP相机1(客厅)，移动类型”的标题一起被显示。

作为可选实施例，每个缩略图图像1502可以与指示从相应的相机模块被安装的部分(房间、厨房、客厅、前门等)感测到的异常情况的符号一起被显示。即，当从家庭网关接收到指示在预定位置感测到异常情况的警报消息时，移动终端可以通过使符号闪烁来与相应部分的相应缩略图图像的标题一起显示指示异常情况(感测到门打开、移动、热等)的符号。作为另一实施例，可以与闪烁的轮廓一起显示与异常情况相关联的缩略图图像。

作为可选实施例，可以从家庭网关向移动终端提供仅由安装在家庭网络系统中的多个相机中的几个所捕获的图像数据。然后，移动终端可以禁用没有被批准的相机的缩略图图像(例如，画阴影)。图16图示了根据本公开的另一实施例的远程控制应用的家庭监视的屏幕的配置。尽管这里图示了在智能电话中执行的远程控制应用的用户接口，但是根据本公开的实施例的家庭监视的用户接口还可以通过诸如电话、平板PC、TV等的各种类型的电气设备来显示。

参考图16，当用户请求家庭监视功能的执行时，远程控制应用显示安装家庭网络系统的房屋的布局平面图1602。布局平面图1602显示整个房屋的能区分的部分，例如房间、客厅、厨房、阳台，前门等，并且包括符号1604和1604a，其中，符号1604和1604a指示在每个部分中安装相机模块的位置中的相机模块或配备有相机模块的家庭设备。

每个符号1604和1604a可以是类似于相应相机模块或家庭设备的实际形状的小的图像，或者可以是指示相应相机模块的类型(固定或移动类型)的小的图像。每个符号1604和1604a可以以彩色图像或黑-白图像来表示，以指示相应的相机模块是否被激活(或相机模块是否可查询)。当异常情况由在预定部分中的感测模块或相邻感测模块感测到，并且与异常情况相关联的报告从家庭网关被接收到移动终端时，移动终端可以通过在相应位置中闪烁或者明亮地显示符号1604或1604a来显示异常情况。

远程控制应用可以与布置平面图1602一起显示用于控制家庭网络系统的附加功能键1608。功能键1608可以提供如下的功能，例如，控制灯、监视功耗、监视图像、控制安全性等。而且，远程控制应用可以进一步显示状态/控制区域1606。状态/控制区域1606可以根据移动终端的权限等级来选择性地提供用于控制/管理家庭网络系统的状态的显示、控制键的显示等。

当用户在屏幕配置中选择用于家庭监视的期望相机时，远程控制应用可以放大并且显示由所选择的相机捕获的图像。例如，当在图15的屏幕的缩略图图像1502中的一个上感测到用户手势时，或者当在图16的屏幕中的相机符号1604和1604a中的一个上感测到用户手势时，远程控制应用确定放大并且显示相应相机的图像。作为实施例，当在禁用的相机的缩略图图像上感测到用户手势时，移动终端可以不执行任何操作，或者可以显示指示无法进行关于图像的查询的消息。

作为可选实施例，当在不存在相机的部分(例如，图16中的部分1604b)中感测到用户手势时，移动终端可以向家庭网关传送请求相应部分的图像的消息。然后，家庭网关指令配备有移动相机模块的家庭设备移动到相应部分并且记录图像。家庭网关跟踪家庭设备的位置，并且向移动终端传送与该位置相关联的信息，并且移动终端沿着家庭设备的移动来移动相应的符号1604，并且显示该符号1604。

作为可选实施例，当在对应于配备有移动相机模块的家庭设备的符号1604上感测到触摸和拖动时，移动终端向家庭网关传输与触摸和拖动相关联的移动命令。家庭网关向家庭设备传输移动命令，使得家庭设备根据触摸和拖动来移动。

作为可选实施例中，当在激活语音功能的状态下输入例如“查看我的客厅”、“让我看看我的客厅”等的语音命令时，移动终端可以执行远程控制应用，并且可以在屏幕上以放大的尺寸显示与语音命令相对应的部分的图像。

图17图示了根据本公开的实施例的图像数据的显示。如附图中所示，当在远程控制应用中输入对预定区域的触摸或语音命令时，以放大的尺寸在移动终端的屏幕上与包括与视频1702相关联的相机信息的标题区域1704一起显示由所选择的相机捕获的视频1702。相机信息包括相应相机模块的位置(例如，房间/客厅/厨房等)、类型(例如，移动类型/固定类型等)和状态(例如，激活/禁用状态/正在充电的状态/可移动状态等)中的至少一个。

与所选择的视频1702一起，可以进一步显示指示其他相机模块的列表的列表区域1706。列表区域1706包括包含对应于每个相机模块的相机信息的标题，并且另外包括相应图像数据的缩略图图像。

图18图示了根据本公开另一实施例的图像数据的显示。如图所示，与包括与视频1802相关联的相机信息的标题区域1804一起以放大的尺寸显示由可控制相机捕获的视频1802。相机信息包括相应相机模块的位置(例如，房间/客厅/厨房等)、类型(例如，移动类型/固定类型等)和状态(例如，激活/禁用状态/正在充电的状态/可移动状态等)中的至少一个。

当对应于视频1802的相机模块是移动相机，并且能够控制移动相机的移动终端的权限等级由家庭网关批准时，可以与视频1802一起显示通过其接收用于相机模块的移动命令的输入的移动控制区域1806。移动控制区域1806包括向前/向后移动键和左/右旋转键中的至少一个。此外，与视频1802一起，可以进一步显示用于相应相机模块的变焦控制区1808和角度控制区域1810中的至少一个。变焦控制区1808包括相机模块放大/输出键，并且角度控制区域1810包括用于调整相机模块的角度的上/下/左/右侧键。

当家庭网关没有批准能够控制相机的移动终端的权限等级时，可以禁用控制区域1806、1808和1810中的至少一个(例如，画阴影)。作为实施例，当移动终端不具有用于使移动相机移动的权限时，移动控制区域1806被显示为被禁用，并且移动终端可以不响应在移动控制区域1806上的输入。

作为可选实施例，当在控制区域1806、1808和1810中的至少一个中感测到用户手势时，该移动终端向家庭网关传送相应的控制命令，并且等待与来自家庭网关的控制命令相关联的执行结果(执行被完成或无法执行)。在该示例中，在控制命令的传输之后的预定等待时间期间，可以禁用相应的控制区域或所有控制区域1806、1808和1810。当在家庭网关接收执行结果时，移动终端激活相应的控制区域，使得用户可以输入下一个控制命令。

图19a和图19b是图示根据本公开的实施例的移动相机的控制的屏幕。如图所示，视频区域1902显示通过移动相机的视频，标题区域1904显示与移动相机相关联的相机信息，并且移动控制区域1806包括向前/向后键和左/右旋转键中的至少一个。

如图19a所示，当在包括在移动控制区域1806中的键中的一个(例如，右旋转键)上感测到用户手势1912时，对应于用户手势1912的控制命令通过家庭网关从移动终端被传输到移动相机(或配备有相机模块的移动家庭设备)。

参考图19b，移动相机(或配备有相机模块的移动家庭设备)响应于与用户手势1912相对应的控制命令来捕获旋转到右侧的图像，并且通过家庭网关在移动终端的视频区域1902上显示与捕获的图像相对应的图像数据。

类似地，当在包括在变焦控制其余1908中的键中的一个(例如，放大键)上感测到用户手势1914时，可以在移动终端的视频区域1902中显示被放大的图像数据。

图20图示了根据本公开的实施例的用于在移动终端中的与家庭网络系统相关联的异常情况的警报。

如图所示，当从家庭网关接收到与异常情况相关联的警报消息时，移动终端在屏幕上显示与警报消息相关联的警告消息2002。警告消息2002可以提供与异常情况发生的部分相关联的位置信息，例如，“在房间1中感测到可疑移动”。此外，可以与警告消息2002一起显示用于执行远程控制应用的快捷方式键2004。

当在快捷方式图标2004上感测到用户手势时，移动终端执行远程控制应用，并且远程控制应用提供用于家庭监视的屏幕配置，例如，图5或图16的屏幕。在用于家庭监视的屏幕配置中，与异常情况相关联的缩略图图像或相机符号可以被显示为闪烁或者具有显著颜色，以指示异常情况发生。当远程控制应用通过快捷方式图标2004来执行时，远程控制应用可以自动地执行指定的功能，例如，显示与异常情况发生的部分相关联的图像数据等。

图21图示了根据本公开的另一实施例的远程控制应用的用于家庭监视的屏幕的配置。

如图所示，远程控制应用以网格或列表的形式显示由安装在家庭网络系统中的相机模块捕获的图像数据的监视项2102。每个监视项2102包括文本形式或小的图像2104形式的相应相机模块的名称、相应相机模块的位置(例如，房间/客厅/厨房等)、类型(例如，移动类型/固定类型等)和状态(例如，激活/禁用状态/正在充电的状态/可移动状态等)中的至少一个。

作为可选实施例，可以与符号(闪烁等)一起显示每个监视项2106，其中，该符号指示从安装相应相机模块的部分(房间、厨房、客厅等)感测到异常情况。作为另一可选实施例，无法获得对于被查询或者异常地操作的批准的相机的监视项2108可以被显示为禁用(例如，画阴影)。

如图所示，远程控制应用在安装了家庭网络系统的房屋的布局平面图2202中显示整个房屋的可区分的部分，诸如房间、客厅、厨房、阳台等，并且将发生异常情况的部分2204显示为可区分的，使得用户对其进行识别。作为示例，当房间1的窗户的感测传感器感测到窗户的损坏，并且向家庭网关报告损坏时，家庭网关向移动终端传送与房间1的窗户相关联的警报信息。移动终端的远程控制应用闪烁地或者以显著的颜色在布局平面图2202中显示对应于房间1的部分2204，并且响应于警报消息，附加地显示警告消息，诸如“在房间1中感测到可疑移动”。

当在对应于房间1的部分2204中感测到用户手势时，远程控制应用从家庭网关接收与安装在房间1中的相机中的一个相关联的图像数据，并且如图17和图18中所示在屏幕上显示图像数据。

如上所述配置的家庭网络系统可以使用诸如机器人清洁器或移动玩具的移动家庭设备来加强对房屋中容易受到安全攻击的区域的监视。移动家庭设备可以被配置为包括相机模块，并且执行感测功能，诸如移动感测和/或声音感测。

在安全模式中，移动家庭设备和房屋中的固定感测模块开始监视的执行。当通过移动家庭设备或固定感测模块感测到移动或声音时，家庭网关开始通过包括在房屋中的相机(移动和固定类型)来收集图像数据，并且可以分析由相机收集的图像数据和由感测模块感测到的感测数据。例如，家庭网关可以基于图像数据来确定房屋中是否存在人，并且可以基于感测模块和家庭设备的状态是否改变等来确定异常情况是否发生等。当分析的结果确定异常情况发生时，家庭网关基于预定过程来进行操作。即，家庭网关向登记的用户的移动终端传送文本/图像，并且向警察或安保公司报告异常。

当执行安全模式时，家庭网关指令移动家庭设备移动到至少一个预先设置的目标位置，以便于执行图像监视和感测。为此，家庭网关预先接收与没有安装感测模块的地方或具有高侵入概率的位置相关联的信息的输入，并且在执行安全模式时，执行相对于由用户设置的位置的巡逻监视。当感测到异常情况时，移动家庭设备开始记录相应位置处的图像数据。当另一感测模块感测到异常情况时，移动家庭设备开始记录图像数据，并且移动到异常情况发生的地方。

移动家庭设备从家庭网关接收与诸如儿童或宠物所位于的地方的目标位置相关联的信息，移动到相应的目标位置，执行监视，并且向家庭网关报告图像数据(视频或静止图像)。家庭网关可以将所报告的图像数据传输到登记的用户的移动终端。

家庭网关以基于相应部分的入口或中心的向量的形式来存储要监视的目标对象，例如，电气设施的位置信息。移动家庭设备可以存储与房屋中的部分相关联的地图数据，或者可以从家庭网关接收该地图数据，并且可以基于向量移动到目标对象。

家庭网关可以使用从每个部分的入口到墙壁的距离以及移动家庭设备的图像来提取用于移动到期望的目标对象的移动向量。作为另一实施例，移动家庭设备直接计算移动向量，并且向家庭网关报告该移动向量。

参考图23，附图标记2310图示了例如房间的房屋中的一个部分的平面图，并且附图标记2320图示了由移动家庭设备的相机在部分2310的入口2302处捕获的图像。要监视的目标对象2304，例如，气阀可以位于面向入口2302的墙壁上，并且从入口2302到墙壁的实际距离为b。

如附图标记2320所示，在由移动家庭设备捕获的图像中，从入口2302到目标对象2304的水平距离被测量为a'，并且从地板到目标对象2304的高度被测量为c'。测量值指示在所捕获的图像中的长度，并且因此，可以使用每单位距离的屏幕倍率m来被转换成实际距离。每单位距离的屏幕倍率m是基于移动家庭设备的相机倍率确定的值。

移动家庭设备或家庭网关可以基于b、a'和c'来计算从入口2302到目标对象2304的移动向量，如等式1中所示。

等式(1)

作为另一实施例，可以如等式2所示计算移动向量。

等式(2)

这里，f()是用于计算屏幕上的距离与实际记录的比率的函数，并且可以基于相机的类型来确定。

如上所述计算的移动向量指示与部分2310中的目标对象2304相关联的3D位置信息。

当移动家庭设备以安全模式进行操作，或者从用户或家庭网关接收指令时，移动家庭设备基于移动向量移动到目标对象2304，并且通过调整相机模块的角度和缩放倍率来捕获目标对象2304。所捕获的图像被传送到家庭网关和/或移动终端，使得用户具体观察目标对象2304。

当用户期望检查房屋中的环境时，如上所述操作的本公开通过移动终端提供图像数据，以促进用户的便利，并且针对固定相机没有监视的地方来控制移动相机，使得用户容易看到期望地方的图像。而且，当在房屋中发生异常移动时，房屋外的用户可以容易地通过移动终端识别异常，并且通过图像数据检查房屋中的情况，并且因此，可以防止在房屋中可能发生的危险情况。

虽然已经在本公开的具体实施方式中描述了具体示例性实施例，但是可以在不背离本公开的范围的情况下进行各种修改。因此，本公开的范围不应当该被限定为受限于这些实施例，而是应当由所附权利要求及其等同物来限定。

Claims

1.一种用于操作机器人清洁器以向至少一个电子设备发送警告消息的方法，该方法包括：

获得关于机器人清洁器的对接位置和要监视位置之间的巡逻路径的第一信息；

获得用于调整机器人清洁器的至少一个相机在要监视位置的方向的第二信息；

基于正在执行的安全模式，沿着巡逻路径从机器人清洁器的对接位置移动到要监视的位置；

通过机器人清洁器的至少一个相机获得要监视位置的至少一个图像；

通过机器人清洁器的至少一个传感器获得第三信息，其中，所述至少一个传感器包括机器人清洁器的至少一个相机；

基于所获得的第三信息确定是否满足预定条件；

基于确定满足预定条件，将警告消息发送到至少一个电子设备；和

将与所述至少一个图像对应的图像发送到所述至少一个电子设备。

2.如权利要求1所述的方法，其中，在要监视位置处获得所述至少一个图像包括：

点亮机器人清洁器的灯以获得要监视位置处的图像。