发明内容
本发明所要解决的问题在于提供一种图像采集装置及应用该装置的人脸识别系统和方法,其消除了环境光对图像稳定性的影响,获得高度可靠的、精确的图像特征信息,进而提高图像识别的效果。
为实现本发明目的而提供的一种图像采集装置,包括照明单元,拍摄单元;
所述照明单元包括窄带光源,所述窄带光源用合适波长的主动窄带高功率光,发散后照射被采集对象;
所述拍摄单元包括窄带滤光片和图像传感器,所述窄带滤光片,限制被采集对象反射到图像传感器的环境光的能量,使图像传感器能够采集到由窄带光源照明下的图像特征的图像数据信息。
所述照明单元还包括光源电源,用于驱动窄带光源,保证窄带光源产生主动窄带光。
所述照明单元还包括透镜或反射镜单元,所述窄带光源放在所述透镜或反射镜单元的后方,调整照明的范围。
所述窄带光源为阵列窄带脉冲激光器。
所述拍摄单元还包括成像镜头组,用于把采集对象的图像成像在图像传感器上。
所述的图像采集装置,还包括控制单元,用于控制照明单元和拍摄单元同步工作,采集图像数据,并将采集到的图像数据进行预处理。
所述控制单元向外输出两个控制信号,一个控制拍摄单元的图像传感器曝光,另一个控制照明单元中的光源电源。
所述控制单元还包括图像数据预处理子单元,用于利用差分方法和图像格式映射转换,对多次采集到的图像进行预处理,得到较为清晰的图像信息。
所述图像数据预处理子单元利用差分方法和图像格式映射转换,对多次采集到的图像进行预处理,是指:
采用先差分后映射的方法,先将多次拍摄的多张图像分别做差分运算,然后进行映射处理,得到排除环境光干扰的图像数据。
为实现本发明目的还提供一种人脸识别系统,包括特征提取单元,人脸录入建档单元,特征比对单元,图像采集装置;
图像采集装置包括照明单元和拍摄单元;
所述照明单元包括窄带光源,所述窄带光源用合适波长的主动窄带高功率光,发散后照射人脸;
所述拍摄单元包括窄带滤光片和图像传感器,所述窄带滤光片,限制人脸反射到图像传感器的环境光的能量,使图像传感器能够采集到由窄带光源照明下的图像数据信息。
所述照明单元还包括光源电源,用于驱动窄带光源,保证窄带光源产生主动窄带光。
所述照明单元还包括透镜或反射镜单元,所述窄带激光器放在所述透镜或反射镜单元的后方,调整照明的范围。
所述窄带光源为阵列窄带脉冲激光器。
所述拍摄单元还包括成像镜头组,用于把采集对象的图像成像在图像传感器上。
所述图像采集装置,还包括控制单元,用于控制照明单元和拍摄单元同步工作,采集图像数据,并将采集到的图像数据进行预处理。
所述控制单元向外输出两个控制信号,一个控制拍摄单元的图像传感器曝光,另一个控制照明单元中的光源电源。
所述控制单元还包括图像数据预处理子单元,用于利用差分方法和图像格式映射转换,对多次采集到的图像进行能预处理,得到特征较为清晰的图像信息。
所述图像数据预处理子单元利用差分方法和图像格式映射转换,对多次采集到的人脸图像进行预处理,是指:
采用先差分后映射的方法,先将多次拍摄的多张图像分别做差分运算,得到排除环境光干扰的图像数据,然后进行映射处理。
为实现本发明目的还进一步提供一种人脸识别方法,包括下列步骤:
步骤A,将图像采集装置接入计算机,计算机端通过特征提取单元或者人脸录入建档单元向图像采集装置发出初始化指令,对图像采集装置进行初始化;
步骤B,图像采集装置根据初始化指令进行硬件初始化,向计算机端返回初始化完成的响应指令,该响应指令包括图像采集装置的硬件信息,然后处在待机模式,等待进一步的控制指令;
步骤C,在计算机端的特征提取单元或者人脸录入建档单元收到硬件信息后,发出采集人脸图像数据的控制指令到图像采集装置的控制单元,然后进入等待状态,等待图像数据返回;
步骤D,当控制单元收到计算机发出的采集人脸图像数据的控制指令后,控制照明单元和拍摄单元同步工作,图像采集装置的窄带光源用合适波长的主动窄带高功率光,发散后照射人脸;图像采集装置的窄带滤光片限制人脸反射到图像传感器的环境光的能量,然后,图像传感器采集人脸图像数据,并将采集到的图像数据处理后传送给特征提取单元或者人脸录入建档单元;
步骤E,将预处理后的图像信息传输到计算机的特征提取单元或者人脸录入建档单元中,进行人脸识别。
所述步骤D,控制照明单元和拍摄单元同步工作,图像传感器采集人脸图像数据,并将采集到的图像数据处理,具体包括下列步骤:
步骤D1,控制单元向拍摄单元的图像传感器和照明单元的光源电源各发出一个脉冲,控制光源电源点亮阵列窄带脉冲激光器发光;拍摄单元的图像传感器曝光;
步骤D2,在达到预定时间后,控制单元只向拍摄单元的图像传感器发出一个脉冲,控制拍摄单元的图像传感器曝光;
步骤D3,拍摄单元的图像传感器拍摄到的2张图像数据经控制单元利用差分方法和图像格式映射转换对多次采集到的人脸图像进行能预处理,得到特征较为清晰的符合处理格式要求的图像信息。
所述步骤D3,利用差分方法和图像格式映射转换对多次采集到的人脸图像进行能预处理,得到特征较为清晰的符合处理格式要求的图像信息,是指:
采用先差分后映射的方法,先将多次拍摄的多张图像分别做差分运算,然后进行映射处理,得到排除环境光干扰的的图像数据。
所述计算机端的特征提取单元或者人脸录入建档单元发出采集人脸图像数据的控制指令,可以控制图像采集装置中的图像传感器的工作参数。
本发明的有益效果是:本发明的图像采集装置及应用该装置的人脸识别系统和方法,利用主动窄带脉冲激光光源对人脸进行照明,克服环境光,特别是室外、强阳光对人脸图像的稳定性的影响,然后利用窄带滤光片过滤环境光,消除环境对成像效果的影响,得到较为清晰的图像。本发明能有效地消除环境光,特别是强环境光对图像的影响,并且使用脉冲保证强光对采集对象的安全性,使得在任何自然光照包括夏日阳光直射条件下,能够采集和提取采集对象特征信息,进而提高采集对象,特别是人脸的识别效果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明的图像采集装置及应用该装置的人脸识别系统和方法进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明的图像采集装置21,通过利用窄带滤光片,尽可能地限制被采集对象,特别是人脸反射到图像传感器的环境光的能量,然后用合适波长的主动窄带高功率激光,发散后以脉冲方式照射采集对象,起到抑制环境光,特别是强阳光的作用,获取效果较佳的采集对象的图像信息。
下面以人脸作为采集对象,对本发明的图像采集装置21进行说明。
如图1所示,本发明的图像采集装置21包括照明单元11,拍摄单元12和控制单元13;
照明单元11通过产生主动的窄带激光光源,照射到一定范围内,被该范围内的人脸反射后为拍摄单元12提供较好的人脸图像信息,而不受环境光的影响;
较佳地,该照明单元11照射到一定范围的一区域为距离100厘米(cm)处的一个50厘米×90厘米的区域。
所述照明单元11包括阵列窄带脉冲激光器112和光源电源113;
光源电源113接受控制指令,点亮激光器,保证激光器产生主动阵列窄带脉冲激光。
选用激光作为主动光源,是因为主动光源的带宽越窄,就能选用更窄的滤光片,就能起到更好的阳光抑制效果。
阵列窄带脉冲激光器112是本发明图像采集装置21的照明单元11的关键部分,它直接影响到最后图像的成像的效果,因此在本发明实施例中,采用高精度阵列窄带脉冲脉冲激光器。
一般地,如果想在阳光下获得较好的图像质量,主动光源的强度就需要达到太阳光强度的1.5~2.5倍左右。通过使用阵列窄带脉冲激光照明就可以给拍摄单元12提供足够的,超过阳光强度的能量,同时,使射入人眼的光的能量在安全范围内。
选择带宽为1~5nm的阵列准连续激光器,能起到更好的阳光抑制效果,保证激光的相干特性对图像不产生影响,而且不让激光在人脸的一些细节部位产生干涉现象。
使用短脉冲输出保证激光不对人眼有伤害,保护人体的安全。
选择中心波长为780~830,最佳为808nm(纳米)的阵列准连续脉冲激光器,提高拍摄单元12的光电转换效率。
根据对阳光光强实验结果的分析,在夏天中午阳光最强烈的时候,透过808nm为中心,10nm带宽的窄带滤光片122的太阳光能量,相当于一个15W左右808nm的激光透过此滤片。因此,选择60W的阵列准连续激光器,使得激光经过透镜发散,有一些能量损失后,依然能够获得较成像效果。
由于用普通的相干光激光器输出照明会出现很多散斑,而且这些散斑是随机的,因此为了消除散斑对图像产生的影响,不用对相干光进行空间调制而极大的增加系统成本。所以本发明实施例选择使用阵列激光器,变相得对空间光进行调制,达到了比较好的效果。
作为一种可选择的实施例,本发明所述的阵列窄带脉冲激光器112为海特光电有限责任公司的LDAQ1-0808-060W型阵列准连续激光器。
较佳地,所述光源电源113的输出电压2V,输出电流10~75A,电流波纹峰峰值<0.1%,最长脉冲宽度限制为110us,电流输出重复频率为1~20Hz,响应速度<10us。
为了保证阵列窄带脉冲激光器112的安全性与耐用性,较佳地,光源电源113应当达到一定稳定性和转换速度,即该光源电源113的驱动能力由所选择的阵列半导体激光器的功率参数确定;输出电压2V,输出电流10~75A;电流波纹达到普通激光器电源性能,较佳地,电流波纹峰峰值<0.1%;脉冲宽度由控制指令的脉冲宽度确定,较佳地,为了防止误操作,保护激光器,其最长脉冲宽度限制为110us;
考虑到阵列窄带脉冲激光器112可完成每秒多幅的人脸图像的处理,即每秒激光器亮多次,以及其重复频率越高,光源电源113输出的平均功率就越大,对器件的响应速度要求也就越苛刻,相应的成本也就越高的问题,所以,较佳地,光源电源113的电流输出重复频率为1~20Hz,在保证电流无过冲的情况下,响应速度<10us。
较佳地,所述图像采集装置21的照明单元11还包括一个平凹透镜111,所述阵列窄带脉冲激光器112放在该平凹透镜111的焦点上,进一步调整扩大照明的范围。
更佳地,所述平凹透镜111为口径为20mm,焦距为3mm的平凹透镜111,如图2和图3可知,这样就可以在距设备800mm的地方获得一个长轴为900mm,短轴为440mm的椭圆照明区域,在距设备1000mm的地方获得一个长轴为(高)1100mm,短轴(宽)为550mm的椭圆照明区域。
图像采集装置21的拍摄单元12包括窄带滤光片122,成像镜头组121和图像传感器。
拍摄单元12也同样可以在一定范围内调整拍摄方向。通过调整照明单元11和拍摄单元12就可以获得较好的图像质量。
本发明的拍摄单元12,通过窄带滤光片122有效地限制阳光入射到图像传感器的能量,然后由成像镜头组121把采集对象的图像成像在图像传感器上。
所述滤光片的带宽应当与激光器的带宽匹配,保证能够抑制环境光,又能够获得足够的激光能量入射到图像传感器,获得较佳的成像效果。
较佳地,为确保激光的大部分能量可以透过滤光片而不受环境温度的影响,滤光片的带宽为12nm~16.5nm。
例如,波长温度系数是0.3nm/℃的激光器,即温度上升10℃,激光的中心波长变长3nm。
如果选用带宽为12nm的窄带滤光片122,考虑到激光的带宽为3nm,则
所述图像传感器是图像采集装置21的重要组成部分,用于将人脸反射后的光信号转换成电信号,以便进行人脸识别处理。
较佳地,图像传感器的曝光时间为50微秒~50毫秒之间,最佳为50微秒;模拟增益为1~4.5倍,最佳为1倍;数字增益为0.25~2倍,最佳为1倍;动态范围为线性80~100dB之间的图像传感器。
较佳地,该图像传感器为美光公司生产的MT9V022177ATM型黑白CMOS传感器,其具有良好的红外光响应能力,在波长850nm处响应在35%,适合做红外摄像头采集人脸图像,而且其全局曝光,可以实现极短时间的曝光(微秒级),帧速快,光照的时间必须非常短,能够保证人眼安全,更进一步地,其集成了10位模数转换器,直接输出数字信号,便于后期处理。
所述的图像采集装置21的控制单元13,用于响应控制指令,控制照明单元11和拍摄单元12同步工作,采集图像数据,并将采集到的图像数据进行预处理,得到更能反映采集对象图像特征在图像信息数据。
该控制单元13向外输出2个控制指令,1个控制拍摄单元12的图像传感器曝光,另1个控制照明单元11中的光源电源113。
在本发明实施例中,作为一种可实施的方式,控制单元13可以是Cypress公司的CY68013型通用USB接口芯片。
所述控制单元13,进一步地,还可以包括图像数据预处理子单元131,用于利用差分方法和图像格式映射转换对多次采集到的人脸图像进行能预处理,得到特征较为清晰的符合处理格式要求的图像信息。
本发明的图像采集装置21,通过拍摄单元12的窄带滤光片122,限制采集对象反射到的环境光的能量,然后窄带激光器用合适波长的主动窄带高功率激光,发散后照射采集对象,获取到被采集对象的图像信息。
如图4所示,本发明的人脸识别系统,包括图像采集装置21,特征提取单元23,人脸录入建档单元24,特征比对单元25。
其中,所述图像采集装置21,用于通过利用窄带滤光片122,尽可能地限制被采集对象,特别是人脸反射到传感器的环境光的能量,然后用合适波长的主动窄带高功率激光,发散后以脉冲方式照射采集对象,抑制环境光,特别是强阳光的作用,采集的图像或图像视频序列,然后,将这些图像或视频序列送至特征提取单元23或者人脸录入建档单元24进行处理。
如上所述,图像采集装置包括照明单元,拍摄单元和控制单元;
所述照明单元包括窄带激光器,所述窄带激光器用合适波长的主动窄带高功率激光,发散后照射人脸;
所述拍摄单元包括窄带滤光片和图像传感器,所述窄带滤光片,限制人脸反射到图像传感器的环境光的能量,使图像传感器能够采集到更能反映人脸的图像特征的图像数据信息。
本发明的人脸识别系统中的图像采集装置,已经在前面详细描述,因此在这里不再重复描述。
所述特征提取单元23,其设置在计算机22中,从图像采集装置21采集输入的图像中检测定位人脸部分,并在对人脸姿态进行校正之后提取人脸的特征信息,即提取人脸特征码;
所述人脸录入建档单元24,其同样设置在计算机22中,用于根据图像采集装置21采集输入的图像建立人脸特征数据库。
所述特征比对单元25,其同样设置在计算机22中,用于将待识别人的人脸特征信息(人脸特征码)与人脸特征数据库中所存入的特征信息(人脸特征码)进行比对,并在这些信息中找出最佳的匹配对象。
下面结合本发明实施例的图像采集装置21及应用该装置的人脸识别系统,进一步详细描述本发明的人脸识别系统工作过程,如图5所示,其包括如下步骤:
步骤S100,将图像采集装置21接入计算机22,计算机22端通过特征提取单元23或者人脸录入建档单元24向图像采集装置21发出初始化指令,该初始化指令中包括曝光时长、传感器模拟/数字增益、传感器工作模式等参数信息,对图像采集装置21进行初始化;
步骤S200,图像采集装置21根据初始化指令进行硬件初始化,向计算机22端返回初始化完成的响应指令,该响应指令包括图像采集装置21的硬件信息,然后处在待机模式,等待进一步的控制指令;
步骤S300,在计算机22端的特征提取单元23或者人脸录入建档单元24收到硬件信息后,发出采集人脸图像数据的控制指令到图像采集装置21的控制单元13,然后进入等待状态,等待图像数据返回;
步骤S400,当控制单元13收到计算机22发出的采集人脸图像数据的控制指令后,控制照明单元11和拍摄单元12同步工作,图像采集装置窄带激光器用合适波长的主动窄带高功率激光,发散后照射人脸;图像采集装置的窄带滤光片限制人脸反射到图像传感器的环境光的能量,然后,图像传感器采集人脸图像数据,并将采集到的图像数据处理后传送给特征提取单元23或者人脸录入建档单元24;
步骤S500,将预处理后的图像信息传输到计算机22的特征提取单元23或者人脸录入建档单元24中,进行人脸识别。
控制单元13将处理后的人脸图像数据传输到计算机22的特征提取单元23或者人脸录入建档单元24中,进行人脸识别的过程,正如背景技术所述,是现有的技术,因此在本发明中不再一一详细描述。
下面更进一步详细描述本发明的人脸识别系统工作过程中步骤S400中,控制照明单元11和拍摄单元12同步工作,图像传感器采集人脸图像数据,并将采集到的图像数据处理的具体过程。
为了消除强烈阳光对图像的影响,本发明实施例中,连续获得多张间隔时间很短、但光照条件不同的图像,较佳地,如图6所示,获得两张不同的图像。拍摄第一张图像时开启主动光源,而拍摄第二张时不开启主动光源,然后,采用图像差分方法,将两张图像相减后即可获得一张完全由主动光源照射下的图像特征更为清晰的人脸图像。
如图7所示,其包括如下步骤:
步骤S410,控制单元13向拍摄单元12的图像传感器和照明单元11的光源电源113各发出一个脉宽为50微秒的脉冲,控制光源电源113点亮阵列窄带脉冲激光器112发光50微秒,同时,拍摄单元12的图像传感器曝光50微秒,即二者同时工作;
步骤S420,在100毫秒后,控制单元13只向拍摄单元12的图像传感器发出一个脉宽为50微秒的脉冲,控制拍摄单元12的图像传感器曝光50微秒,而不点亮阵列窄带脉冲激光器112;
步骤S430,拍摄单元12的图像传感器拍摄到的2张图像数据经控制单元13利用差分方法和图像格式映射转换对多次采集到的人脸图像进行能预处理,得到特征较为清晰的符合处理格式要求的图像信息。
拍摄得到第一幅图像为激光和强阳光照射下的人脸图像,第二幅为强阳光照射下的人脸图像,将2幅图像差分(相减)后,即可得到激光照射下的人脸图像。
使用这种差分来消除强烈阳光产生的偏光对人脸图像的影响,需要保证连续获得的两张图像中的人脸没有位置、表情等的变化,因此,控制单元13控制拍摄单元12图像传感器在很短的时间内(较佳地,时间越短越好)连续曝光2次。
一般地,图像传感器输出的图像数据,还需要进行预处理,得到符合处理格式要求的图像信息。
本发明实施例中的图像数据预处理子单元131,采用先差分后映射的方法,先将两次拍摄的两张图像分别做差分运算,然后将该人脸图像数据进行映射处理,得到排除干扰的图像数据。由于图像数据未做任何操作,差分后反映的是真实的情况,即主动光源高过环境光强度的那部分光照射产生的图像,也就是全黑环境下主动光源下成的像,其避免了失真,不会损失图像信息。
在图像映射处理过程中,可以采用多种映射方法,得到排除干扰的,符合数据处理要求的图像数据。例如,取高位数据,丢弃低位数据的方法;或者取低位数据,丢弃高位数据的方法,或者进行分段映射的方法等。在本发明实施例中,采用一种取高位数据,丢弃低位数据的方法,或者分段映射方法进行预处理,都可以得到排除干扰的图像数据。在光源较弱的情况下,可以获得灰度值较高的图像。可以有效提高目标物与背景的对比度。
更进一步地,计算机22端的特征提取单元23或者人脸录入建档单元24发出采集人脸图像数据的控制指令,可以控制图像采集装置21中的图像传感器的工作参数,作为一种可实施的方式,当控制单元13可以是Cypress公司的CY68013型通用USB接口芯片时,该图像采集控制指令可以规范成“控制字+数据”的格式。
当向CY68013的处理器发出的控制字为“A”时,CY68013的处理器不会理睬指令的后续数据,直接向拍摄单元12的图像传感器发出曝光信号,而拍摄单元12的图像传感器会根据当前设定的参数(曝光时间、增益等)立刻进行曝光程序,同时输出数据,数据经CY68013的高速先进先出(FIFO)缓存后,自动打包送入计算机22,此时,CY68013芯片的处理器不干预数据传输。
当向CY68013的处理器发出的控制字为“B”时,CY68013的处理器会继续读取后续数据,然后通过IIC接口更改拍摄单元12的图像传感器的参数(如曝光时间等),参数值的大小即为控制字“B”后的数值。这一过程可以与图像数据传输过程同时进行而不冲突。类似地,通过图像采集控制指令就可以动态修改图像传感器的其他参数。
通过以上结合附图对本发明具体实施例的描述,本发明的其它方面及特征对本领域的技术人员而言是显而易见的。
本发明的图像采集装置21及应用该装置的人脸识别系统和方法,利用主动窄带脉冲激光光源对人脸进行照明,克服环境光,特别是室外、强阳光对人脸图像的稳定性的影响,能有效地消除环境光,特别是强环境光对人脸图像的影响,并且使用脉冲保证强光对人眼的安全性,使得在任何自然光照包括夏日阳光直射条件下,能够采集和提取人脸特征信息,进而提高人脸识别的效果。
以上对本发明的具体实施例进行了描述和说明,这些实施例应被认为其只是示例性的,并不用于对本发明进行限制,本发明应根据所附的权利要求进行解释。