CN113744499B - 一种疲劳预警方法、眼镜、系统和计算机可读存储介质 - Google Patents
一种疲劳预警方法、眼镜、系统和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113744499B CN113744499B CN202110926773.2A CN202110926773A CN113744499B CN 113744499 B CN113744499 B CN 113744499B CN 202110926773 A CN202110926773 A CN 202110926773A CN 113744499 B CN113744499 B CN 113744499B
- Authority
- CN
- China
- Prior art keywords
- fatigue
- video data
- early warning
- glasses
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/06—Hearing aids
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Optics & Photonics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种疲劳预警方法、眼镜、系统和计算机可读存储介质,该疲劳预警眼镜包括支撑组件、第一摄像组件、第二摄像组件以及预警组件,第一摄像组件设置于支撑组件上,用于采集道路视频数据并发送至处理设备;第二摄像组件设置于支撑组件上,用于采集检测目标的眼睛视频数据并发送至处理设备;预警组件设置于支撑组件上,预警组件用于基于处理设备的处理结果进行疲劳预警。通过上述方式,本申请能够提升疲劳检测的准确率,提升安全性。
Description
技术领域
本申请涉及眼镜技术领域,具体涉及一种疲劳预警方法、眼镜、系统和计算机可读存储介质。
背景技术
随着汽车数量的增多,交通事故不断发生,在这些交通事故中,有很多交通事故的发生原因是驾驶员疲劳驾驶,因此疲劳驾驶的提醒成为研究的重点;由于人的疲劳状态可以从眼睛的状态表现出来,因此可以实时地收集人眼信息来监测人的疲劳状态,在检测到驾驶员比较疲劳时提醒驾驶员,但该方法易受到自然因素的干扰,准确率不高。
发明内容
本申请提供一种疲劳预警方法、眼镜、系统和计算机可读存储介质,能够提升疲劳检测的准确率,提升安全性。
为解决上述技术问题,本申请采用的技术方案是:提供一种疲劳预警眼镜,该疲劳预警眼镜包括:支撑组件、第一摄像组件、第二摄像组件以及预警组件,第一摄像组件设置于支撑组件上,用于采集道路视频数据并发送至处理设备;第二摄像组件设置于支撑组件上,用于采集检测目标的眼睛视频数据并发送至处理设备;预警组件设置于支撑组件上,预警组件用于基于处理设备的处理结果进行疲劳预警。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种疲劳预警方法,该方法应用于上述技术方案中的处理设备,该方法包括:获取道路视频数据与检测目标的眼睛视频数据;对道路视频数据与眼睛视频数据进行处理,得到检测目标的疲劳程度;在疲劳程度满足预警条件时,生成处理结果并发送至疲劳预警眼镜中的预警组件,以使得预警组件进行疲劳预警。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种疲劳预警眼镜,该疲劳预警眼镜包括互相连接的存储器和处理设备,其中,存储器用于存储计算机程序,计算机程序在被处理设备执行时,用于实现上述技术方案中的疲劳预警方法。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种疲劳预警系统,该疲劳预警系统包括互相连接的疲劳预警眼镜与处理设备,疲劳预警眼镜用于采集道路视频数据与检测目标的眼睛视频数据,处理设备用于接收道路视频数据与眼睛视频数据,其中,处理设备用于实现上述技术方案中的疲劳预警方法。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,计算机程序在被处理设备执行时,用于实现上述技术方案中的疲劳预警方法。
通过上述方案,本申请的有益效果是:本申请所提供的疲劳预警眼镜包括支撑组件、第一摄像组件、第二摄像组件以及预警组件,利用第一摄像组件采集道路视频数据,利用第二摄像组件采集检测目标的眼睛视频数据;利用处理设备对道路视频数据与眼睛视频数据进行处理得到处理结果,处理设备将该处理结果发送至预警组件,以使得预警组件基于处理结果进行疲劳预警,以提醒佩戴疲劳预警眼镜的人员,使其保持清醒。由于将第一摄像组件采集的道路视频数据作为判断驾驶者的疲劳程度的依据之一,实现了对疲劳程度更准率的估计,防止在佩戴疲劳预警眼镜的人员疲劳时却判定其处于清醒状态,降低因疲劳导致发生交通事故的发几率,有助于提升检测目标的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的疲劳预警眼镜一实施例的结构示意图;
图2为图1中疲劳预警眼镜的爆炸结构示意图;
图3为图1中疲劳预警眼镜中连接件和第一摄像组件的结构示意图;
图4为图1中疲劳预警眼镜中眼镜组件的结构示意图;
图5是本申请提供的疲劳预警方法一实施例的流程示意图;
图6是本申请提供的疲劳预警眼镜另一实施例的结构示意图;
图7是本申请提供的疲劳预警系统一实施例的结构示意图;
图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中的疲劳状态监测装置包括在驾驶座位前安装摄像头和警示装置,通过摄像头实时拍摄驾驶者整个头部的图像,再根据驾驶员的眼动情况(即眼睛的开闭情况)判断驾驶者的疲劳状态,该方案中摄像头易受到自然因素的干扰,对特定状态的检测效果并不理想;在人眼状态的识别中,可以通过对人眼区域进行人眼拟合或者对人眼区域采用积分投影的方法来识别人眼的张开程度,形状拟合的方法受头部姿态的干扰,而积分投影的方法对人眼的检测区域非常严格,在实际的应用环境中容易受到自然光的干扰。
鉴于相关技术中疲劳状态监测装置存在安装繁琐,便携性差,使用过程中易受到头部姿态、自然光的干扰,影响疲劳判断准确性的问题。本申请提供了一种防止疲劳驾驶的眼镜及防止疲劳驾驶的实现方法,下面对本申请所采用的方案进行详细阐述。
请参阅图1至图4,图1是本申请提供的疲劳预警眼镜一实施例的结构示意图,图2为图1中疲劳预警眼镜的爆炸结构示意图,图3为图1中疲劳预警眼镜中连接件和第一摄像组件的结构示意图,图4为图1中疲劳预警眼镜中眼镜组件的结构示意图,该疲劳预警眼镜包括支撑组件(图中未标识)、第一摄像组件10以及第二摄像组件20。
支撑组件包括固定组件30与眼镜组件40,固定组件30与眼镜组件40连接,固定组件30用于对眼镜组件40进行固定。
在一具体的实施例中,如图1所示,固定组件30包括第一固定件31、第二固定件32以及连接件33,第一固定件31与第二固定件32连接,第二固定件32与眼镜组件40连接,第一摄像组件10设置在第二固定件32上。具体地,第一固定件31可以为弹性箍环;第二固定件32的数量为两个,第二固定件32可以为耳挂,弹性箍环的左右两侧末端各固定连接有一个耳挂,两个耳挂中的一个耳挂上安装有连接件33,耳挂与连接件33可活动连接。
进一步地,如图3所示,连接件33包括槽架331、活动块332、第一连接杆(图中未标识)以及连接管333,槽架331设置于第二固定件32上,槽架331的形状可以为弧形,即弧形的槽架331固定连接在耳挂上。活动块332的一端与槽架331滑动连接,活动块332的另一端与第一连接杆的一端连接,第一连接杆的另一端与连接管333转动连接,即槽架331内部滑动连接有活动块332,活动块332上固定连接有第一连接杆,第一连接杆的末端转动连接有连接管333,连接管333的内部设置有内螺纹。
结合图3与图4,眼镜组件40包括镜架41、镜片42以及螺纹杆43,镜架41与镜片42可拆卸连接,即镜架41上固定安装有可拆卸式镜片42;镜架41靠近连接管333的一端固定设置有螺纹杆43,螺纹杆43与连接管333螺旋连接。
第一摄像组件10设置于支撑组件上,第一摄像组件10用于采集道路视频数据并发送至处理设备,该道路视频数据为位于配戴疲劳预警眼镜的人员前方的道路进行拍摄得到的视频数据。
在一具体的实施例中,如图3所示,第一摄像组件10包括连接块11、第二连接杆(图中未标识)以及第一摄像头12,连接块11固定设置于连接件33的底端,连接块11的内部设置有活动槽(图中未标识),该活动槽可以为球形活动槽;第二连接杆的一端设置于活动槽的内部,第二连接杆的另一端与第一摄像头12连接,即球形活动槽内活动连接有第二连接杆,第二连接杆的末端固定连接有第一摄像头12;第一摄像头12与驾驶者的视线平行,可以用于监测驾驶者的视线是否持续注视前方。
第二摄像组件20设置于支撑组件上,第二摄像组件20用于采集检测目标的眼睛视频数据并发送至处理设备;具体地,第二摄像组件20为第二摄像头,检测目标为佩戴疲劳预警眼镜的人员,比如:驾驶员;眼睛视频数据为采用第二摄像头对检测目标的眼睛进行拍摄生成的视频数据,即第二摄像头用来监测驾驶员的眼睛的开闭情况。可以理解地,为了不对驾驶员的视野范围进行遮挡,第二摄像头在竖直方向上的位置低于驾驶员的眼睛在竖直方向上的位置。
在一具体的实施例中,如图1所示,固定组件30还包括延长杆34,延长杆34与第一固定件31连接,且延长杆34远离第一固定件31的一端设置有第二摄像组件20,即延长杆34的一端与第二摄像组件20连接,延长杆34的另一端与第一固定件31的末端连接;进一步地,疲劳预警眼镜还包括收音麦克风50,延长杆34远离弹性箍环的一端固定连接有收音麦克风50,收音麦克风50靠内侧转动安装有第二摄像组件20,收音麦克风50能够收集周围环境中的声音信号,并传输给处理设备,以进行分析处理,来判断检测目标是否需要帮助,比如:在发生交通事故时,驾驶员可通过收音麦克风50来描述当前状况,以便处理设备判定是否需要报警或其他救援。
处理设备(图中未示出)与第一摄像组件10以及第二摄像组件20进行通信连接,处理设备用于接收第一摄像组件10发送的道路视频数据以及第二摄像组件20发送的眼睛视频数据,对道路视频数据与眼睛视频数据进行处理,得到处理结果。
进一步地,疲劳预警眼镜还包括处理设备,且该处理设备固定于支撑组件上,即处理设备属于疲劳预警眼镜的一个组成部件;或者处理设备为独立于疲劳预警眼镜的外部设备,疲劳预警眼镜还包括通信组件(图中未示出),该通信组件与处理设备进行通信连接,以将道路视频数据以及眼睛视频数据传输至外部设备,该外部设备与第一摄像组件10以及第二摄像组件20进行无线通信,外部设备可以为计算机或移动终端等具备信息处理能力的设备。
在一具体的实施例中,如图4所示,疲劳预警眼镜还包括预警组件44,预警组件44固定设置于支撑组件上;具体地,镜架41的内侧壁上固定设置有预警组件44,且预警组件44设置在驾驶者的太阳穴附近。
处理结果包括检测目标的疲劳程度,道路视频数据与眼睛视频数据被处理设备处理,得到疲劳程度,在疲劳程度满足预警条件时,预警组件44进行疲劳预警;具体地,处理结果还包括触发信号,预警条件包括疲劳程度是否大于预设疲劳阈值,处理设备将疲劳程度与预设疲劳阈值进行比较,在疲劳程度大于预设疲劳阈值时,确定满足预警条件,处理设备生成触发信号,并将触发信号发送至预警组件44,以使得预警组件44进行疲劳预警。
进一步地,预警组件44在接收到触发信号后,震动和/或产生电流以提醒检测目标;可以理解地,预警组件44产生的电流为对人体安全的微电流,预警的方式包括但不限制于:震动、发出声响或生成电流。
本实施例提供了一种防止疲劳驾驶的眼镜,在耳挂一侧设计有实时监控的第一摄像头,将该第一摄像头采集的道路视频数据作为判断驾驶者的疲劳程度的依据之一,同时也可当做行车记录仪使用;除此之外,还通过延长杆安装有监测眼动情况的第二摄像头,第二摄像头安装在驾驶者的视线下方,不会影响驾驶者的正常视线,通过将第二摄像头调节至朝向驾驶者眼部的角度,可以直接记录驾驶者的眼动情况,为后续计算疲劳程度提供了便利;而且,在眼镜的本体上还安装有预警组件,预警组件的位置靠近驾驶者的太阳穴,既可以发出震动提醒,也可以产生微电流刺激驾驶者的皮肤来提醒,能够对驾驶者起到更好的提示警醒作用,降低因疲劳驾驶导致发生交通事故的几率,提升驾驶的安全性。
请参阅图5,图5是本申请提供的疲劳预警方法一实施例的流程示意图,该方法应用于上述实施例中的处理设备,该方法包括:
步骤51:获取道路视频数据与检测目标的眼睛视频数据。
为了实现对驾驶员进行提醒的目的,驾驶员正确佩戴防止疲劳驾驶的眼镜,并可手动调节第一摄像头和第二摄像头的姿态,保证第一摄像头可监测到路面行驶画面,同时保证第二摄像头可准确记录到佩戴者的眼动情况。进一步地,在调节第一摄像头和第二摄像头的姿态时,将第一摄像头调节至与驾驶者的视线平行,第一摄像头采集的为行驶过程中路面的实时视频;将第二摄像头调节至可直接记录驾驶者眼部变化的角度,且不会影响驾驶者的视线。
在一具体的实施例中,疲劳预警眼镜上可设置一启动按钮,驾驶员可通过按压该启动按钮,使得第一摄像头与第二摄像头进行拍摄,分别生成道路视频数据与眼睛视频数据;处理设备可接收第一摄像头发送的道路视频数据以及第二摄像头发送的眼睛视频数据;或者处理设备主动从道路视频数据与眼睛视频数据的存储设备中读取。
在其他实施例中,还可对第一摄像头和第二摄像头采集到视频画面进行预处理(比如:滤波、增强或尺寸调整),保证采集到的视频数据的有效性。
步骤52:对道路视频数据与眼睛视频数据进行处理,得到检测目标的疲劳程度。
采用以下步骤来获取疲劳程度:
(1)采用第一机器学习模型对道路视频数据进行处理,得到第一疲劳值。
第一机器学习模型可以为卷积神经网络,对于第一摄像头拍摄到的道路视频数据的预处理结果,通过卷积神经网络对其进行特征提取处理,提取道路视频数据中道路行驶画面的特征数据,以判断驾驶过程中驾驶者是否保持注视前方行驶;例如,可通过该卷积神经网络分析是否存在交通违规行为或道路画面的占比是否较大。
(2)采用第二机器学习模型对眼睛视频数据进行处理,得到特征信息;基于特征信息,计算第二疲劳值。
第二机器学习模型可以为卷积神经网络,对于第二摄像头拍摄到的眼睛视频数据的预处理结果,可先进行粗定位,得到眼动特征数据,即找到眼睛视频数据中眼睛所在的位置;再通过卷积神经网络对眼动特征数据进行处理,计算人眼的眼睑开度,生成特征信息,即特征信息包括眼睛视频数据中每帧图像对应的眼睑开度,该眼睑开度为上脸眼与下脸眼之间的距离。
进一步地,第二疲劳值为闭眼率,特征信息包括检测目标的眼睑开度,对眼睑开度大于预设眼睑开度阈值的时长进行统计,得到闭眼时间;将闭眼时间与预设分析时间相除,得到闭眼率。例如,设置一统计帧数,统计帧数的初始值为0,以某个时刻为统计开始时间,判断每帧图像对应的眼睑开度是否大于预设眼睑开度阈值,若该眼睑开度大于预设眼睑开度阈值,则将统计帧数加一,在到达统计结束时间(即经过预设分析时间的时间间隔)后,将统计帧数换算成时间值,即可得到闭眼时间。
在一具体的实施例中,可选取驾驶员在清醒状态下前10次完整的眨眼周期,分别提取每个眨眼周期中眼睑开度的最大值和最小值;然后计算眼睑开度最大值的平均值和眼睑开度最小值的平均值,预设眼睑开度阈值的定义如下所示:
假设预设分析时间记作T,在预设分析时间内眼睑开度小于预设眼睑开度阈值的总时间为t,则闭眼率的计算公式为:
其中,PERCLOS为闭眼率。
人平均每分钟眨眼10~20次,正常的眨眼时间为0.2~0.3s,正常情况下闭眼率落在[3.3%,10%]之间,当某个一分钟内人眨眼的总时间达到0.5~3s,即可视为人处于疲劳状态。
(3)基于第一疲劳值与第二疲劳值,确定疲劳程度。
结合第一疲劳值与第二疲劳值,对驾驶者的疲劳状态进行判定;具体地,第一疲劳值为预设分析时间内道路视频数据中道路画面的占比,可判断占比是否大于预设占比阈值;若该占比小于/等于预设占比阈值,则疲劳程度为第二疲劳值;若该占比大于预设占比阈值,则对第一疲劳值与第二疲劳值进行加权求和,得到疲劳程度。本实施例通过第一摄像头所记录数据中道路画面所占比例以及第二摄像头所记录数据中眼睛的闭眼率,来判定驾驶员的疲劳程度,提升了疲劳检测的准确度。
步骤53:在疲劳程度满足预警条件时,生成处理结果并发送至疲劳预警眼镜中的预警组件,以使得预警组件进行疲劳预警。
判断疲劳程度是否大于预设疲劳阈值,若疲劳程度大于预设疲劳阈值,则表明疲劳程度满足预警条件,即驾驶者处于疲劳状态,此时预警组件发出震动和/或释放微电流刺激驾驶者皮肤,以起到提示警醒作用。
在其他实施例中,还可采用其他方式来判断当前是否满足预警条件,例如,疲劳程度包括第一疲劳值与第二疲劳值,判断第一疲劳值是否小于预设占比阈值或第二疲劳值是否大于预设闭眼率,预设闭眼率为根据经验设置的值;若第一疲劳值小于预设占比阈值或第二疲劳值大于预设闭眼率,则确定满足预警条件,判定驾驶员疲劳驾驶、危险驾驶;比如:当驾驶者的闭眼率大于15%时,便判定其处于疲劳驾驶状态。进一步地,可以设置不同的预警等级,比如:当第一疲劳值小于预设占比阈值或第二疲劳值大于预设疲劳阈值时,用第一预警等级进行提醒;当第一疲劳值小于预设占比阈值且第二疲劳值大于预设疲劳阈值时,用第二预警等级进行提醒,第二预警等级的提醒强度大于第一预警等级的提醒强度,该提醒强度可以为震动强度、电流大小或声音大小。
本实施例提出了与防止疲劳驾驶的眼镜相匹配的防止疲劳驾驶的方法,该方法结合第一摄像头和第二摄像头所采集数据的处理结果,二者相辅相成,作为驾驶者疲劳程度的判定标准;将第一摄像头摄录画面中道路画面所占比例作为判定依据,若道路画面的占比小于预设占比阈值,则可判定为疲劳驾驶、危险驾驶;此外,将利用第二摄像头记录的数据计算出的闭眼率作为主要判定指标,在行驶过程中,若驾驶者的闭眼率大于预设闭眼率,就可判定其处于疲劳驾驶状态。而且在使用过程中,当利用第一摄像头和第二摄像头中的任一数据判定驾驶员处于疲劳驾驶状态时,均通过预警组件进行提醒,若二者的判定结果均为疲劳驾驶状态,则提供更为强烈的提示和警醒,通过设置不同等级的提醒方式,达到对驾驶员进行提醒的目的,以提升驾驶的安全性。
请参阅图6,图6是本申请提供的疲劳预警眼镜另一实施例的结构示意图,疲劳预警眼镜60包括互相连接的存储器61和处理设备62,其中,存储器61用于存储计算机程序,计算机程序在被处理设备62执行时,用于实现上述实施例中的疲劳预警方法。
请参阅图7,图7是本申请提供的疲劳预警系统一实施例的结构示意图,疲劳预警系统70包括互相连接的疲劳预警眼镜71与处理设备72,疲劳预警眼镜71用于采集道路视频数据与检测目标的眼睛视频数据,处理设备72用于接收道路视频数据与眼睛视频数据,处理设备72用于实现上述实施例中的疲劳预警方法。
请参阅图8,图8是本申请提供的计算机可读存储介质一实施例的结构示意图,计算机可读存储介质80用于存储计算机程序81,计算机程序81在被处理设备执行时,用于实现上述实施例中的疲劳预警方法。
计算机可读存储介质80可以是服务端、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上,本申请提供了一种防止疲劳驾驶的眼镜及其实现方法,通过第一摄像头和第二摄像头的配合使用,可以对驾驶者的状态起到更好的监控效果;同时设计有预警组件,可以对驾驶者起到更好的警示提醒作用;而且本申请提出的防止疲劳驾驶的实现方法与本申请所采用的眼镜相结合,将道路画面所占比例以及驾驶者的闭眼率相结合,以作为疲劳程度的判定依据,更好的保证疲劳程度判定的准确性,且眼镜安装比较简单,解决了相关技术中设备安装繁琐、便携性差以及使用过程中易受到头部姿态或自然光干扰等问题。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (15)
1.一种疲劳预警眼镜,其特征在于,包括支撑组件、第一摄像组件、第二摄像组件以及预警组件,所述第一摄像组件设置于所述支撑组件上,用于采集道路视频数据并发送至处理设备;第二摄像组件设置于所述支撑组件上,用于采集检测目标的眼睛视频数据并发送至所述处理设备;所述预警组件设置于所述支撑组件上,所述预警组件用于基于所述处理设备的处理结果进行疲劳预警;
所述处理设备具体用于:获取道路视频数据与检测目标的眼睛视频数据;对所述道路视频数据与所述眼睛视频数据进行处理,得到所述检测目标的疲劳程度;在所述疲劳程度满足预警条件时,生成处理结果并发送至疲劳预警眼镜中的预警组件,以使得所述预警组件进行疲劳预警;
其中,所述对所述道路视频数据与所述眼睛视频数据进行处理,得到所述检测目标的疲劳程度的步骤,包括:
采用第一机器学习模型对所述道路视频数据进行处理,得到第一疲劳值;
采用第二机器学习模型对所述眼睛视频数据进行处理,得到特征信息;基于所述特征信息,计算第二疲劳值;
基于所述第一疲劳值与所述第二疲劳值,确定所述疲劳程度;
所述第一疲劳值为所述道路视频数据中道路画面的占比,所述基于所述第一疲劳值与所述第二疲劳值,确定所述疲劳程度的步骤,包括:
判断所述占比是否大于预设占比阈值;
若否,则所述疲劳程度为所述第二疲劳值;
若是,则对所述第一疲劳值与所述第二疲劳值进行加权求和,得到所述疲劳程度。
2.根据权利要求1所述的疲劳预警眼镜,其特征在于,
所述支撑组件包括固定组件与眼镜组件,所述固定组件与所述眼镜组件连接,用于对所述眼镜组件进行固定。
3.根据权利要求2所述的疲劳预警眼镜,其特征在于,
所述固定组件包括第一固定件、第二固定件以及连接件,所述第一固定件与所述第二固定件连接,所述第二固定件与所述眼镜组件连接,所述第一摄像组件设置在所述第二固定件上。
4.根据权利要求3所述的疲劳预警眼镜,其特征在于,
所述固定组件还包括延长杆,所述延长杆与所述第一固定件连接,且所述延长杆远离所述第一固定件的一端设置有所述第二摄像组件。
5.根据权利要求3所述的疲劳预警眼镜,其特征在于,
所述连接件包括槽架、活动块、第一连接杆以及连接管,所述槽架设置于所述第二固定件上,所述活动块的一端与所述槽架滑动连接,所述活动块的另一端与所述第一连接杆的一端连接,所述第一连接杆的另一端与所述连接管转动连接。
6.根据权利要求5所述疲劳预警眼镜,其特征在于,
所述眼镜组件包括镜架、镜片以及螺纹杆,所述镜架与所述镜片可拆卸连接;所述镜架靠近所述连接管的一端设置有所述螺纹杆,所述螺纹杆与所述连接管螺旋连接。
7.根据权利要求3所述疲劳预警眼镜,其特征在于,
所述第一摄像组件包括连接块、第二连接杆以及第一摄像头,所述连接块固定设置于所述连接件的底端,所述连接块的内部设置有活动槽,所述第二连接杆的一端设置于所述活动槽的内部,所述第二连接杆的另一端与所述第一摄像头连接;所述第二摄像组件为第二摄像头。
8.根据权利要求1所述的疲劳预警眼镜,其特征在于,
所述处理结果包括触发信号与检测目标的疲劳程度,所述道路视频数据与所述眼睛视频数据被所述处理设备处理,得到所述疲劳程度;在所述疲劳程度大于预设疲劳阈值时,所述处理设备生成所述触发信号;所述预警组件在接收到所述触发信号后,震动和/或产生电流。
9.根据权利要求1所述的疲劳预警眼镜,其特征在于,
所述疲劳预警眼镜包括所述处理设备,所述处理设备固定于所述支撑组件上;或者
所述疲劳预警眼镜包括通信组件,所述通信组件与所述处理设备进行通信连接,以将所述道路视频数据与所述眼睛视频数据传输至所述处理设备。
10.一种疲劳预警方法,其特征在于,应用于权利要求1-9中任一项所述的处理设备,所述方法包括:
获取道路视频数据与检测目标的眼睛视频数据;
对所述道路视频数据与所述眼睛视频数据进行处理,得到所述检测目标的疲劳程度;
在所述疲劳程度满足预警条件时,生成处理结果并发送至疲劳预警眼镜中的预警组件,以使得所述预警组件进行疲劳预警;
其中,所述对所述道路视频数据与所述眼睛视频数据进行处理,得到所述检测目标的疲劳程度的步骤,包括:
采用第一机器学习模型对所述道路视频数据进行处理,得到第一疲劳值;
采用第二机器学习模型对所述眼睛视频数据进行处理,得到特征信息;基于所述特征信息,计算第二疲劳值;
基于所述第一疲劳值与所述第二疲劳值,确定所述疲劳程度;
所述第一疲劳值为所述道路视频数据中道路画面的占比,所述基于所述第一疲劳值与所述第二疲劳值,确定所述疲劳程度的步骤,包括:
判断所述占比是否大于预设占比阈值;
若否,则所述疲劳程度为所述第二疲劳值;
若是,则对所述第一疲劳值与所述第二疲劳值进行加权求和,得到所述疲劳程度。
11.根据权利要求10所述的疲劳预警方法,其特征在于,所述第二疲劳值为闭眼率,所述特征信息包括所述检测目标的眼睑开度,所述基于所述特征信息,计算第二疲劳值的步骤,包括:
对所述眼睑开度大于预设眼睑开度阈值的时长进行统计,得到闭眼时间;
将所述闭眼时间与预设分析时间相除,得到所述闭眼率。
12.根据权利要求10所述的疲劳预警方法,其特征在于,所述疲劳程度包括所述第一疲劳值与所述第二疲劳值,所述方法还包括:
判断所述第一疲劳值是否小于预设占比阈值或所述第二疲劳值是否大于预设闭眼率;
若是,则确定满足所述预警条件。
13.一种疲劳预警眼镜,其特征在于,包括互相连接的存储器和处理设备,其中,所述存储器用于存储计算机程序,所述计算机程序在被所述处理设备执行时,用于实现权利要求10-12中任一项所述的疲劳预警方法。
14.一种疲劳预警系统,其特征在于,包括互相连接的疲劳预警眼镜与处理设备,所述疲劳预警眼镜用于采集道路视频数据与检测目标的眼睛视频数据,所述处理设备用于接收所述道路视频数据与所述眼睛视频数据,其中,所述处理设备用于实现权利要求10-12中任一项所述的疲劳预警方法。
15.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序在被处理设备执行时,用于实现权利要求10-12中任一项所述的疲劳预警方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110926773.2A CN113744499B (zh) | 2021-08-12 | 2021-08-12 | 一种疲劳预警方法、眼镜、系统和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110926773.2A CN113744499B (zh) | 2021-08-12 | 2021-08-12 | 一种疲劳预警方法、眼镜、系统和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744499A CN113744499A (zh) | 2021-12-03 |
CN113744499B true CN113744499B (zh) | 2023-05-30 |
Family
ID=78730885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110926773.2A Active CN113744499B (zh) | 2021-08-12 | 2021-08-12 | 一种疲劳预警方法、眼镜、系统和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744499B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114488571A (zh) * | 2022-03-05 | 2022-05-13 | 深圳市深科创投科技有限公司 | 一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法 |
CN115171028B (zh) * | 2022-09-06 | 2022-11-18 | 深圳市天趣星空科技有限公司 | 基于图像处理的智能眼镜调节控制方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104112334B (zh) * | 2013-04-16 | 2017-12-22 | 百度在线网络技术(北京)有限公司 | 疲劳驾驶预警方法及系统 |
CN203405630U (zh) * | 2013-07-10 | 2014-01-22 | 北京汽车股份有限公司 | 车载多媒体眼镜、车载多媒体系统及车辆 |
US20150045986A1 (en) * | 2013-08-09 | 2015-02-12 | Pulsar Informatics, Inc. | Systems and Methods for Determining Driver Fatigue Level from Lane Variability and Geographic Location |
CN105151049B (zh) * | 2015-08-27 | 2018-02-02 | 嘉兴艾特远信息技术有限公司 | 基于驾驶员脸部特征和车道偏离检测的预警系统 |
CN107742399B (zh) * | 2017-11-16 | 2022-02-22 | 百度在线网络技术(北京)有限公司 | 用于发出告警信号的方法及装置 |
CN109271959A (zh) * | 2018-09-30 | 2019-01-25 | 京东方科技集团股份有限公司 | 一种车辆偏移预警方法及装置 |
-
2021
- 2021-08-12 CN CN202110926773.2A patent/CN113744499B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113744499A (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110276273B (zh) | 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法 | |
WO2020078465A1 (zh) | 驾驶状态分析方法和装置、驾驶员监控系统、车辆 | |
KR101386823B1 (ko) | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 | |
US9460601B2 (en) | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance | |
CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
JP5109922B2 (ja) | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム | |
CN102930693B (zh) | 安全驾驶预警方法 | |
CN113744499B (zh) | 一种疲劳预警方法、眼镜、系统和计算机可读存储介质 | |
JP5177011B2 (ja) | 開眼度特定装置 | |
CN112434611B (zh) | 基于眼部运动细微特征的早期疲劳检测方法及系统 | |
JP4899059B2 (ja) | 眠気検知装置 | |
US20090027212A1 (en) | Drowsy state determination device and method | |
CN111616718B (zh) | 基于姿态特征的驾驶员疲劳状态检测方法和系统 | |
CN105719431A (zh) | 一种疲劳驾驶检测系统 | |
CN104013414A (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
CN104573622B (zh) | 人脸检测装置、方法 | |
CN112016429A (zh) | 基于火车驾驶室场景下疲劳驾驶检测方法 | |
WO2017067399A1 (zh) | 一种基于图像识别的预警方法及装置 | |
Mašanović et al. | Driver monitoring using the in-vehicle camera | |
CN109308467A (zh) | 基于机器学习的交通事故预警装置及预警方法 | |
CN205210978U (zh) | 行车记录仪 | |
Agarkar et al. | Driver Drowsiness Detection and Warning using Facial Features and Hand Gestures | |
Juboori et al. | Fatigue detection system for the drivers using video analysis of facial expressions | |
Niwa et al. | A wearable device for traffic safety-a study on estimating drowsiness with eyewear, JINS MEME | |
CN202875355U (zh) | 驾驶员精神状态实时监测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |