CN105282490A - 一种新型空巢老人的智能家庭交互系统及方法 - Google Patents

Abstract

本发明涉及一种新型空巢老人的智能家庭交互系统及方法，包括IP摄像头、监控盒子、穿戴腕表、智能移动终端、USB摄像头以及电视。本发明结合计算机视觉技术和传感器物联网信息，实现对家庭陌生人入侵验证检测和家庭老年人身体突发状况的实时检测；能够实现将实时图像和突发状况下的求救信息推送到智能移动终端；实现家用电视与智能移动终端的实时视频语音通信，并能通过智能移动终端远程指导家庭老人生活，实现对老年人的远程智能看护并建立老年人与子女间感情沟通的渠道。

Description

一种新型空巢老人的智能家庭交互系统及方法

技术领域

本发明涉及一种智能系统及方法，具体地说是一种新型空巢老人的智能家庭交互系统及方法。

背景技术

近年来，由于中国人口老龄化的加快和跨地域社会流动的加剧，空巢老人越来越多，空巢期也越来越长。中国已进入人口老龄化快速发展阶段。2011年底，全国60岁以上老年人口1.85亿，2013年超过2亿，2050年达到峰值4.83亿。届时，中国每三个人中就有一个老年人，占全球老年人口的1/4。

中国空巢老人面临的养老困局，既包括物质层面，也包括精神层面，而且问题日趋突出。空巢老人面对的三大生活难题，一是经济生活保障；二是日常生活照料；三是独居老人精神慰藉。

目前，社会上的智能家居安防系统可以分为两类。

第一类是基于传感器等物联网技术实现智能家居安防，它由门磁、窗磁、红外窗帘、红外广角探测器、玻璃破碎探测器、煤气泄漏探测器、火灾烟雾报警器等组成，当主人不在家时，它可以实现入侵检测或家中环境意外发生的实时报警。

它存在以下缺点：

1.红外探测虚警率高，只要有人侵入，无论家人还是陌生人，都发生报警，会给移动终端的子女带来不必要的烦恼。

2.整套系统安装设置麻烦，由报警装置、传感器、网关控制系统、中央控制系统等组成并进行复杂的相关网络设置。

3.没有考虑独居空巢老人的情感需求和老人发生意外的自动检测报警。

第二类是利用IP摄像头视频进行智能家居安防，在家庭房间安装摄像头，对家庭的陌生入侵、家中独居老人的日常行为进行识别以检测摔倒等突发性意外状况、与子女的单向实时视频语音对话。

视频安防的缺点：

1.安装摄像头数量多且网络设置复杂，对家人生活隐私造成侵犯。

2.采用视频模式对老人摔倒等意外状况自动检测的误检率高。

3.单向的视频交流，对父母子女双方交流产生距离感。

发明内容

针对现有技术的不足，本发明提供一种新型空巢老人的智能家庭交互系统，该看护系统对陌生造访独居空巢老人家庭的外来人员进行验证检测并报警、自动检测空巢老人是否发生摔倒等意外事件、能实现老人与其子女的实时双向视频语音交流，而且通过智能移动终端远程为老人的家庭日常操作提供指导。

本发明为实现上述目的所采用的技术方案是：

一种新型空巢老人的智能家庭交互系统，包括IP摄像头、USB摄像头、监控盒子、穿戴腕表、智能移动终端以及电视；

所述IP摄像头设置于防盗门的门镜位置，通过无线网络与监控盒子无线连接，将采集的图像信息传到监控盒子；

所述USB摄像头放置于电视顶部，通过有线方式连接到监控盒子，将拍摄到的老人图像信息发送到电视；

所述穿戴腕表带于老人手腕处，通过蓝牙与监控盒子无线连接，将实时采集的老人身体健康数据发送到监控盒子；

所述智能移动终端佩带在子女身上，与监控盒子通过Internet连接，与监控盒子进行双向通信；

所述电视连接监控盒子，将监控盒子接收到的图像信号显示出来。

所述穿戴腕表为搭载开发板nRF51822-AKII的腕表。

所述监控盒子基于友善之臂Tiny4412开发板开发，结合液晶触摸屏，搭载开源android系统。

一种新型空巢老人的智能家庭交互方法，IP摄像头采集到访人脸图像信息后，发送到监控盒子进行人脸识别验证；

通过穿戴腕表采集到老人的心跳、脉搏和加速度数据，通过蓝牙传输到监控盒子，监控盒子对采集的数据进行统计分析；检测到异常数据时，通过无线网络将报警信息传到智能移动终端；

通过穿戴腕表和IP摄像头实时监测老人的日常生活行为。

所述通过穿戴腕表和IP摄像头实时监测老人的日常生活行为包括以下过程：

利用穿戴腕表和IP摄像头对老人的日常生活行为活动信息进行采集，记录行为的起始时刻和持续时间，对采集的数据进行训练提取行为特征，建立行为模型分类器；

实时采集老人日常生活行为动作，对行为进行识别并检测行为的起始时刻和持续时间，并与模型中的该行为模型进行匹配，依照匹配度对实时更新行为模型；

若老人的日常生活行为和行为模型匹配度不大于阈值范围，则继续监测老人日常生活行为；

若老人的日常生活行为和行为模型大于阈值范围，则推送信息到子女的智能移动终端。

所述人脸识别验证包括以下过程：

采集家庭成员脸部图像信息，建立家庭人员关系识别库；

若有人按门铃，IP摄像头则将造访人员的图像进行抓拍并通过监控盒子映射到电视；

若造访者为家庭成员，则监控盒子对来访的家庭成员进行语音身份识别；

若造访者为陌生人，则语音提醒有陌生人造访，同时将抓拍陌生人图像信息发送到智能移动终端。

本发明具有以下有益效果及优点：

1.利用人脸识别技术对造访家庭的人进行人脸比对验证，若不是家庭人员，则将造访人员的图像通过监控盒子映射到客厅的电视机上并语音提醒老人门外有陌生人造访，方便家中老人对其的辨识，以防随意开门对老人造成伤害；同时将抓拍图像通过无线网络发送到老人子女的智能移动终端上；若是家庭成员，监控盒子对来访的家庭成员进行语音身份识别提醒。

2.穿戴腕表采集到的心跳、脉搏、加速度等数据，利用蓝牙传到监控盒子，监控盒子对采集的数据进行统计分析，当老人发生摔倒等突发性事件时，监控盒子检测到突变异常数据，利用无线网络将报警求救信息传输到老人子女的智能移动终端。

3.利用穿戴腕表传送的监测数据、时间信息以及GIS定位信息，统计老人一天的时间点所从事的活动以及持续的时间，从而对老人的日常生活行为建模；当某天老人的活动与统计模型中的活动不一致或发生缺失时或老人从事某项活动的时间逐渐发生变化时，则将这种变化信息推送到子女的智能移动终端，提醒家中老人的身体正在发生某种隐形变化。

4.利用监控盒子上开发的app可以进行老人与其子女的实时双向视频语音对话，当老人在家生活中遇到问题时，子女可以通过智能移动终端远程指导家人进行操作，排解老人生活的困难。

5.利用监控盒子可以构建独居老人自己的生活圈，可以足不出户与朋友亲戚一起视频聊天，排解生活中的寂寞烦恼。

6.利用监控盒子可以为老人日常生活提供便利服务，如对老人喜欢的电视节目进行点播提醒、便捷调频收音机、超市打折信息推送等。

附图说明

图1是本发明的硬件结构图；

图2是IP摄像头响应流程图；

图3是IP摄像头发送图像数据包格式；

图4是智能移动终端与监控盒子双向视频语音流程图；

图5是监控盒子App对穿戴腕表数据的统计分析图；

图6是监控盒子App对抓拍人脸的身份识别流程图；

图7是监控盒子App日常行为建模分析图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

结合计算机视觉和传感器物联网技术，由IP摄像头(视觉)、穿戴腕表(传感器)、监控盒子、家用电视和移动智能移动终端通过无线网络、蓝牙通信技术串联构成整个智能家庭交互系统。

[1]利用人脸验证匹配技术对造访家庭的人员进行人脸识别验证。若有人摁门铃，则将造访人员的图像进行抓拍并无线通过监控盒子映射到客厅的电视机，若是陌生人则语音提醒老人门外有陌生人造访，方便老人对其辨识，以防随意开门对老人造成伤害；同时将抓拍图像发送到老人子女的智能移动终端上；而对于具有健忘症的老人，监控盒子可以对来访的家庭成员进行语音身份识别提醒。

[2]穿戴腕表采集到老人的心跳、脉搏、加速度数据，利用蓝牙传输到监控盒子，监控盒子对采集的数据进行统计分析，当老人发生摔倒等突发性事件时，监控盒子检测到异常数据，利用无线网络将报警求救信息传送到老人子女的智能移动终端。

[3]利用监控盒子上开发的app可以进行老人与其子女的实时双向视频语音交流，当老人在家中遇到生活问题时，子女可以通过智能移动终端远程指导老人进行操作，排解老人生活的困难。

[4]利用监控盒子可以构建独居老人自己的生活圈，可以足不出户与朋友亲戚一起视频聊天，排解生活中的寂寞烦恼。

[5]利用监控盒子可以为老人日常生活提供便利服务，如对老人喜欢的电视节目进行点播提醒、便捷调频收音机、超市打折信息推送等。

[6]对老年人的日常生活行为习惯进行建模，统计分析老人的隐形日常生活行为变化。分类器检测分析行为如起床、吃饭、吃药、运动休息等，记录行为发生的时间及持续时间。当老人某天的活动与统计模型中的行为不一致缺失时或者老人从事某项活动的持续时间逐渐变长时，给子女移动终端推送警告消息提醒家中老人的身体有所不适或正在发生某种隐形变化以引起子女的关注。

本发明结合计算机视觉和传感器物联网技术，由IP摄像头(视觉)、穿戴腕表(传感器)、监控盒子通过无线网络、蓝牙通信技术串联构成整个智能家庭看护系统。

实施例1如图1所示为本发明的硬件结构图，IP摄像头安装在家庭防盗门的猫眼位置，通过无线方式连接家中的WIFI网络；USB摄像头安装在客厅电视之上；老人在家中穿戴着腕表；监控盒子摆放在家用电视下面，通过高清HDMI线连接电视，通过数据线连接监控盒子；监控盒子与智能移动终端通过INTERNET相互访问。

其中智能移动终端包括：智能手机，平板电脑等移动终端设备。

穿戴腕表为搭载开发板nRF51822-AKII的腕表。

监控盒子，基于友善之臂Tiny4412开发板开发，结合液晶触摸屏，搭载开源android系统，集成IPTV、网络访问等功能。

当除家人的陌生人造访时，门口的摄像头会将陌生人的图像映射到客厅的电视并且推送到出门在外的子女的智能手机上，以提高家人警惕并防患于未然；日常生活中，当老人在家突然摔倒或者突发疾病不能自理时，穿戴腕表会将数据传送到监控盒子统计处理后实时将老人的状况消息推送到儿女的智能移动终端上，以及时救治避免遗憾；当老人闲暇在家时，可以通过监控盒子观看有限电视、上网、听广播等；当老人家中上网遇到困难时，远方的儿女可以通过终端远程指导父母亲进行操作并对老人喜爱看的电视进行点播且双方能进行实时双向视频语音对话。

如图2所示为IP摄像头响应流程图。当有人在独居老人家庭门外按响门铃进行访问时，门铃发送抓拍报文命令给IP摄像头，IP摄像头进行人脸抓拍，IP摄像头以SocketTCP的方式与监控盒子、智能移动终端建立连接。

如图3所示是IP摄像头发送图像数据包格式。IP摄像头对图像数据进行H.264压缩后向监控盒子、智能移动终端发送图像数据，分配预留的图像数据空间大小为512Kb，监控盒子和智能移动终端App用FFmpeg解码库进行编解码并显示。

如图4所示是智能移动终端与监控盒子双向视频语音流程图。智能移动终端与监控盒子的双向视频语音交流，监控盒子App默认以浏览器的形式读取客厅USB摄像头的数据，智能移动终端必须预安装相关App软件。

穿戴腕表用以监测老人的健康数据，这些健康数据包括心跳、脉搏、加速度变化。穿戴腕表以数据报文的形式将数据传送给监控盒子，数据报文的格式如图3所示，腕表每隔15秒采集一次数据并进行传送。

如图5是监控盒子App对穿戴腕表数据的统计分析图。监控盒子App后台处理程序包含数据分类器如心跳检测器、脉搏检测器、加速度分类器。采用训练集人工训练出心跳异常检测器、脉搏异常检测器、加速度变化检测器，对传送的健康数据进行统计分析，只有当三个检测器有两个或以上检测到异常数据时，则给移动终端发生求救报警信息。

如图6所示是监控盒子App对抓拍人脸的身份识别流程图。使用监控盒子的家人身份识别功能时，使用前需要采集家庭成员人脸图像，App自动提取家庭成员人脸面部特征存储为目标集。首先对抓拍的人脸进行图像预处理：对采集的图像进行颜色变换，将其从彩色空间变换到灰度图像，然后对灰度图像进行高斯滤波，以便去除高斯噪声，最后对完成高斯滤波的图像进行白平衡处理使图像阴暗部分变得较为清晰；将经过预处理后的图像做背景差分处理得到前景人脸图像，然后对前景图像进行形态学处理，以便去除前景图像中较小的噪声斑点并使较大区域连通为整体，由此获得较为完整准确的人脸图像；利用人脸检测匹配器对抓拍的人脸对抓拍人脸与目标集的人脸进行匹配，对其身份进行识别。如果匹配结果为家人，则进行身份提醒；如果匹配结果不为家人，则进行语音报警。

如图7所示是日常行为建模检测流程图。利用穿戴腕表、IP摄像头对老人的日常生活行为进行采集记录，记录各种行为发生的时间点和持续时间，以10天的日常行为数据作为训练集进行统计建模。根据采样样本对行为进行分类提取GIS信息(地理位置信息)、监测数据和时间信息的平均特征值，构建日常行为分类器，这些分类器包括做饭分类器、休息分类器、吃药分类器、运动分类器等，记录检测行为的起始时刻和持续时间，并与模型中的行为时间匹配，可能出现某种行为的时间逐渐加长或缩短或没有发生模型中的某种行为，对出现的异常时间和异常事件进行推送，提醒子女老人的身体正在发生的某种隐形变化。

Claims (6)

1.一种新型空巢老人的智能家庭交互系统，其特征在于：包括IP摄像头、USB摄像头、监控盒子、穿戴腕表、智能移动终端以及电视；

所述IP摄像头设置于防盗门的门镜位置，通过无线网络与监控盒子无线连接，将采集的图像信息传到监控盒子；

所述USB摄像头放置于电视顶部，通过有线方式连接到监控盒子，将拍摄到的老人图像信息发送到电视；

所述穿戴腕表带于老人手腕处，通过蓝牙与监控盒子无线连接，将实时采集的老人身体健康数据发送到监控盒子；

所述智能移动终端佩带在子女身上，与监控盒子通过Internet连接，与监控盒子进行双向通信；

所述电视连接监控盒子，将监控盒子接收到的图像信号显示出来。

2.根据权利要求1所述的新型空巢老人的智能家庭交互系统，其特征在于：所述穿戴腕表为搭载开发板nRF51822-AKII的腕表。

3.根据权利要求1所述的新型空巢老人的智能家庭交互系统，其特征在于：所述监控盒子基于友善之臂Tiny4412开发板开发，结合液晶触摸屏，搭载开源android系统。

4.一种新型空巢老人的智能家庭交互方法，其特征在于，IP摄像头采集到访人脸图像信息后，发送到监控盒子进行人脸识别验证；

通过穿戴腕表采集到老人的心跳、脉搏和加速度数据，通过蓝牙传输到监控盒子，监控盒子对采集的数据进行统计分析；检测到异常数据时，通过无线网络将报警信息传到智能移动终端；

通过穿戴腕表和IP摄像头实时监测老人的日常生活行为。

5.根据权利要求4所述的新型空巢老人的智能家庭交互方法，其特征在于：所述通过穿戴腕表和IP摄像头实时监测老人的日常生活行为包括以下过程：

利用穿戴腕表和IP摄像头对老人的日常生活行为活动信息进行采集，记录行为的起始时刻和持续时间，对采集的数据进行训练提取行为特征，建立行为模型分类器；

实时采集老人日常生活行为动作，对行为进行识别并检测行为的起始时刻和持续时间，并与模型中的该行为模型进行匹配，依照匹配度对实时更新行为模型；

若老人的日常生活行为和行为模型匹配度不大于阈值范围，则继续监测老人日常生活行为；

若老人的日常生活行为和行为模型大于阈值范围，则推送信息到子女的智能移动终端。

6.根据权利要求4所述的新型空巢老人的智能家庭交互方法，其特征在于：所述人脸识别验证包括以下过程：

采集家庭成员脸部图像信息，建立家庭人员关系识别库；

若有人按门铃，IP摄像头则将造访人员的图像进行抓拍并通过监控盒子映射到电视；

若造访者为家庭成员，则监控盒子对来访的家庭成员进行语音身份识别；

若造访者为陌生人，则语音提醒有陌生人造访，同时将抓拍陌生人图像信息发送到智能移动终端。