CN117157762A - 光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组 - Google Patents
光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组 Download PDFInfo
- Publication number
- CN117157762A CN117157762A CN202180062803.8A CN202180062803A CN117157762A CN 117157762 A CN117157762 A CN 117157762A CN 202180062803 A CN202180062803 A CN 202180062803A CN 117157762 A CN117157762 A CN 117157762A
- Authority
- CN
- China
- Prior art keywords
- modulation
- light
- layer
- unit
- imaging chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000000701 chemical imaging Methods 0.000 title claims description 274
- 238000001228 spectrum Methods 0.000 claims abstract description 227
- 238000003384 imaging method Methods 0.000 claims abstract description 179
- 238000012545 processing Methods 0.000 claims description 73
- 230000003595 spectral effect Effects 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 51
- 238000001914 filtration Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 31
- 239000000463 material Substances 0.000 claims description 29
- 239000000523 sample Substances 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 239000012496 blank sample Substances 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 230000003042 antagnostic effect Effects 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000003014 reinforcing effect Effects 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 abstract description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 49
- 239000010703 silicon Substances 0.000 description 49
- 229910052710 silicon Inorganic materials 0.000 description 49
- 239000013078 crystal Substances 0.000 description 40
- 238000010586 diagram Methods 0.000 description 37
- 238000012546 transfer Methods 0.000 description 30
- 230000003287 optical effect Effects 0.000 description 28
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 23
- 230000000694 effects Effects 0.000 description 22
- 239000011265 semifinished product Substances 0.000 description 15
- 238000003491 array Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 12
- 229910052751 metal Inorganic materials 0.000 description 11
- 239000002184 metal Substances 0.000 description 11
- 238000002360 preparation method Methods 0.000 description 11
- 235000012239 silicon dioxide Nutrition 0.000 description 10
- 239000000377 silicon dioxide Substances 0.000 description 10
- 229910021332 silicide Inorganic materials 0.000 description 8
- FVBUAEGBCNSCDD-UHFFFAOYSA-N silicide(4-) Chemical compound [Si-4] FVBUAEGBCNSCDD-UHFFFAOYSA-N 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000005530 etching Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000000126 substance Substances 0.000 description 7
- 229910052581 Si3N4 Inorganic materials 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000004451 qualitative analysis Methods 0.000 description 6
- 238000004445 quantitative analysis Methods 0.000 description 6
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000002086 nanomaterial Substances 0.000 description 5
- 238000005498 polishing Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 150000003377 silicon compounds Chemical class 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 4
- 238000000411 transmission spectrum Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 229910000577 Silicon-germanium Inorganic materials 0.000 description 3
- LEVVHYCKPQWKOP-UHFFFAOYSA-N [Si].[Ge] Chemical compound [Si].[Ge] LEVVHYCKPQWKOP-UHFFFAOYSA-N 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 229910052732 germanium Inorganic materials 0.000 description 3
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 3
- 150000002291 germanium compounds Chemical class 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 150000002739 metals Chemical class 0.000 description 3
- 238000000465 moulding Methods 0.000 description 3
- 229920002120 photoresistant polymer Polymers 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- HBMJWWWQQXIZIP-UHFFFAOYSA-N silicon carbide Chemical compound [Si+]#[C-] HBMJWWWQQXIZIP-UHFFFAOYSA-N 0.000 description 3
- 229910010271 silicon carbide Inorganic materials 0.000 description 3
- 229910052814 silicon oxide Inorganic materials 0.000 description 3
- 239000003351 stiffener Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005137 deposition process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- -1 for example Chemical compound 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 229910052755 nonmetal Inorganic materials 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 239000004038 photonic crystal Substances 0.000 description 2
- 238000007517 polishing process Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000005019 vapor deposition process Methods 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000005229 chemical vapour deposition Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004528 spin coating Methods 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Input (AREA)
Abstract
本发明提供一种光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组。光谱成像芯片可以在不影响所成图像的空间分辨率及成像质量的同时，获得被摄对象的光谱信息，便于掌握待成像对象更全面的信息。指纹活体识别装置及指纹模组，通过光谱成像芯片可以实现指纹活体识别，有利于提高器件性能的稳定性，同时减小光谱器件的体积、重量和成本，极大提高了指纹识别系统的防伪能力。
Description
本发明涉及成像技术领域，尤其涉及一种光谱成像芯片、光谱成像设备及其信息处理方法，以及应用该光谱成像芯片和信息处理方法的指纹活体识别装置和指纹模组。
目前，成像芯片及成像设备被广泛应用。以相机为例，其中包含有图像传感器(例如，CMOS图像传感器或者CCD传感器)，用以获取被摄对象的图像信息，例如，被摄对象的RGB色彩信息。
但是，无论以CMOS图像传感器或者CCD传感器作为成像芯片，其仅能获取被摄对象的图像信息，而无法获取被摄对象的光谱信息。也就是，现有技术中的成像芯片及成像设备无法获取物体的光谱信息，导致所得到的图像无法广泛应用于需要物体的光谱信息作为数据支撑的智能AI识别、物质组分定性定量分析等场景中。
另外，在现代信息社会，日常生活中有大量需要用户进行指纹身份验证的场景，极大提升了人们生活的便利性。
而现有技术往往通过指纹图像信息来验证用户是否为本人，但此类技术可以通过贴纸、3D打印的模型等进行破解，无法保证其安全性。
发明内容
本申请的一优势在于提供一种光谱成像芯片及其制备方法和信息处理方法，其中，所述光谱成像芯片通过特殊的芯片结构能够获得被摄对象的图像信息和/或光谱信息。
为实现上述优势，本申请提供一种光谱芯片，其包括：
图像传感层，包括多个传感单元；以及
位于所述图像传感器的感光路径上的光调制层，所述光调制层包括至少一调制单元和与所述至少一调制单元相间隔的至少一非调制单元，其中，每个所 述调制单元沿着所述感光路径对应于至少一所述传感单元，每个所述非调制单元沿着所述感光路径对应于至少一所述传感单元；
其中，所述光调制层的调制单元被配置为对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
在根据本申请的光谱成像芯片中，所述至少一调制单元和所述至少一非调制单元位于同一平面。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于0且小于等于25％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于5且小于等于15％。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于25％且小于等于45％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于25％且小于等于35％。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于45％且小于等于60％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于50％且小于等于55％。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于60％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于80％且小于等于95％。
在根据本申请的光谱成像芯片中，所述光调制层的非调制单元位于所述光调制层的边缘区域。
在根据本申请的光谱成像芯片中，所述光调制层的非调制单元关于所述光 调制层的中心对称的布置。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元位于所述光调制层的中间区域。
在根据本申请的光谱成像芯片中，所述光调制层的非调制单元位于所述光调制层的边缘区域。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括形成于所述光调制层的非调制单元处的滤光层。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括形成于所述光调制层的非调制单元处的滤光层。
在根据本申请的光谱成像芯片中，所述光调制层的稀疏度大于0且小于等于0.5。
在根据本申请的光谱成像芯片中，所述光调制层的稀疏度大于0且小于等于0.15。
在根据本申请的光谱成像芯片中，所述光调制层的稀疏度大于等于0.5且小于1。
在根据本申请的光谱成像芯片中，所述光调制层的稀疏度大于等于0.85且小于1。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括：电连接于所述图像传感层的信号处理电路层。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括：形成于所述滤光层和/或所述光调制层的调制单元的微透镜层。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括：一体成型于所述图像传感层的可透光介质层，其中，所述可透光介质层的上表面为平整表面。
在根据本申请的光谱成像芯片中，所述光调制层一体地结合于所述可透光介质层。
在根据本申请的光谱成像芯片中，所述光调制层与所述可透光机制层的折射率之差大于等于0.5。
在根据本申请的光谱成像芯片中，所述光调制层通过结合层一体结合于所述可透光介质层，所述可透光介质层与所述结合层相键合。
在根据本申请的光谱成像芯片中，所述可透光介质层与所述结合层具有相同的制成材料。
在根据本申请的光谱成像芯片中，每个所述调制单元包括沿着所述感光路径分设置的多个调制子单元。
在根据本申请的光谱成像芯片中，每个所述调制子单元具有孔状结构或柱状结构。
在根据本申请的光谱成像芯片中，每个所述调制单元中具有孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，每个所述调制单元中具有孔状结构的不同调制子单元的结构参数不完全相同。
根据本申请的另一方面，还提供了一种适于光谱成像芯片的信息处理方法，其包括：
获取来自光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息以及所述调制层中每个非调制单元对应的像素点的光强信息；以及
基于每个所述调制单元对应的像素点的频谱信息，确定被摄对象的光谱信息，以及基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
在根据本申请的适于光谱成像芯片的信息处理方法中，所述光调制层的调制单元被配置为对进入其所对应的所述像素点的成像光线进行调制，其所对应的所述像素点适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
在根据本申请的适于光谱成像芯片的信息处理方法中，所述光调制层的调制单元位于所述光调制层的中间区域。
在根据本申请的适于光谱成像芯片的信息处理方法中，所述光调制层的非调制单元位于所述光调制层的边缘区域。
在根据本申请的适于光谱成像芯片的信息处理方法中，基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息，包括：基于每个所述调制单元周围的至少一个所述非调制单元对应的像素点的光强信息，确定每个所述调制单元对应的像素点的拟合光强信息；以及，基于每个所述调制单元对应的像素点的拟合光强信息和每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
在根据本申请的适于光谱成像芯片的信息处理方法中，基于每个所述调制单元周围的至少一个所述非调制单元对应的像素点的光强信息，确定每个所述调制单元对应的像素点的拟合光强信息，包括：基于平滑滤波方法，对任一所 述调制单元周围的至少一个非调制单元对应的像素点的光强信息进行滤波处理，得到任一所述调制单元对应的像素点的拟合光强信息。
在根据本申请的适于光谱成像芯片的信息处理方法中，基于每个所述调制单元对应的像素点的拟合光强信息和每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息，包括：将基于所有所述非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述被摄对象的图像信息；其中，所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到。
在根据本申请的适于光谱成像芯片的信息处理方法中，所述拟合模型的训练过程，包括：基于空缺样本图像以及所述空缺样本图像对应的完整样本图像标签对所述对抗神经网络中的生成器进行训练，并基于所述对抗神经网络中的鉴别器对训练后的生成器进行竞争鉴别；以及，将训练得到的生成器作为所述拟合模型。
本申请的另一优势在于提供一种光谱成像设备，其包括：光谱成像芯片和信号处理电路模块，所述光谱成像芯片与所述信号处理电路模块为独立的两个部分或者所述信号处理电路模块集成在所述光谱成像芯片内；
所述光谱成像芯片包括：沿厚度方向顺次层叠设置的光调制层和图像传感层；所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个传感单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元；所述信号处理电路模块与所述传感单元电连接。
根据本发明的光谱成像设备，所述光调制层中的每个调制单元均包括多个调制子单元，每个调制子单元为孔状结构或柱状结构。
根据本发明的光谱成像设备，每个调制单元中为所述孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，
每个调制单元中为所述孔状结构的不同调制子单元的结构参数不完全相同。
根据本发明的光谱成像设备，每个调制单元中为所述柱状结构的不同调制子单元的结构形状以及柱高度相同，且所有调制子单元在每个调制单元中的排列具有C4对称性。
根据本发明的光谱成像设备，所述柱状结构的调制子单元为一体成型，或由多层调制柱层叠而成。
本发明再一优势在于提供一种指纹活体识别装置，用以确定待检测对象是否是用户本人的活体指纹。
为实现上述优势，本申请提供一种指纹活体识别装置，包括：显示屏幕、光源模块、光谱成像芯片、信号处理电路模块以及识别模块，所述显示屏幕上设置有指纹检测区域；所述光源模块用于照射所述指纹检测区域内的待检测对象，经所述待检测对象反射后得到的目标光束入射至所述光谱成像芯片上；所述光谱成像芯片与所述信号处理电路模块为独立的两个部分或者所述信号处理电路模块集成在所述光谱成像芯片内；所述光谱成像芯片用于确定所述目标光束照射后所述光谱成像芯片的光调制层中每个调制单元对应的像素点的频谱信息以及所述光调制层中每个非调制单元对应的像素点的光强信息；所述信号处理电路模块用于基于所述频谱信息确定所述待检测对象的光谱信息，并基于所述光强信息确定所述待检测对象的图像信息；所述识别模块用于基于所述待检测对象的光谱信息以及图像信息，识别所述待检测对象是否为目标用户的活体指纹。
根据本发明一个实施例的指纹活体识别装置，所述光谱成像芯片包括：沿厚度方向顺次层叠设置的光调制层和图像传感层；所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个感应单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元；所述信号处理电路模块与所述传感单元电连接。
根据本发明一个实施例的指纹活体识别装置，所述信号处理电路模块具体用于：基于所述目标光束照射后每个调制单元周围的多个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息；
基于每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定所述待检测对象的图像信息。
根据本发明一个实施例的指纹活体识别装置，所述信号处理电路模块具体用于：基于平滑滤波方法，对任一调制单元周围的至少一个非调制单元对应的像素点的光强信息进行滤波处理，得到所述任一调制单元对应的像素点的拟合光强信息。
根据本发明一个实施例的指纹活体识别装置，所述信号处理电路模块还具体用于：
将所述目标光束照射后所有非调制单元对应的像素点所述光谱成像芯片得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待检测对象的 图像信息；
所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像训练得到。
根据本发明一个实施例的指纹活体识别装置，所述光调制层中的每个调制单元均包括多个调制子单元，每个调制子单元为孔状结构或柱状结构。
根据本发明一个实施例的指纹活体识别装置，每个调制单元中为所述孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，
每个调制单元中为所述孔状结构的不同调制子单元的结构参数不完全相同。
根据本发明一个实施例的指纹活体识别装置，每个调制单元中为所述柱状结构的不同调制子单元的结构形状以及柱高度相同，且所有调制子单元在每个调制单元中的排列具有C4对称性。
根据本发明一个实施例的指纹活体识别装置，所述柱状结构的调制子单元为一体成型，或由多层调制柱层叠而成。
根据本发明一个实施例的指纹活体识别装置，还包括：透镜组；所述光源模块设置于所述显示屏幕与所述光谱成像芯片之间，所述透镜组设置于所述光源模块与所述光谱成像芯片之间；或者，所述光源模块设置于所述显示屏幕的非指纹检测区域的下方，所述透镜组与所述光谱成像芯片顺次设置于所述指纹检测区域的下方；
所述透镜组用于将所述目标光束准直入射至所述光谱成像芯片上，以使所述目标光束在所述光谱成像芯片上成像。
本发明还进一步提供一种指纹模组，包括：光谱成像芯片以及电路板，所述光谱成像芯片电连接于所述电路板；
其中，所述光谱成像芯片沿厚度方向顺次层叠设置的光调制层、图像传感层和信号处理电路模块；其中，所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个传感单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元。
根据本发明一个实施例的指纹模组，还包括：补强板，所述补强板被贴附于所述电路板。
根据本发明一个实施例的指纹模组，还包括：封装部，所述封装部成型于所述电路板上表面。
根据本发明一个实施例的指纹模组，还包括：遮光部，所述遮光部被设置 于所述封装部上表面。
通过对随后的描述和附图的理解，本申请进一步的目的和优势将得以充分体现。
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了本申请提供的信息处理方法的流程示意图；
图2图示了本申请提供的光谱成像设备的结构示意图；
图3图示了本申请提供的光谱成像芯片的具体结构示意图；
图4图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图5图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图6图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图7图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图8是本发明提供的光谱成像芯片中光调制层的结构示意图；
图9是本发明提供的光谱成像芯片中光调制层的结构示意图；
图10图示了本申请提供的光谱成像芯片中调制柱的结构形状示意图；
图11图示了本申请提供的光谱成像芯片中调制柱的纵截面形状示意图；
图12图示了本申请提供的光谱成像芯片的结构示意图；
图13图示了本申请提供的光谱成像芯片的结构示意图；
图14图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图15图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图16图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图17图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图18图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图19图示了本申请提供的光谱成像芯片中CIS晶圆的结构示意图；
图20图示了本申请提供的光谱成像芯片中CIS晶圆的结构示意图；
图21a图示了本申请提供的光谱成像芯片的结构示意图；
图21b图示了本申请提供的光谱成像芯片的结构示意图；
图22图示了本申请提供的光谱成像芯片的结构示意图；
图23图示了本申请提供的光谱成像芯片的结构示意图；
图24图示了本申请提供的光谱成像芯片的结构示意图；
图25图示了本申请提供的光谱成像芯片的结构示意图；
图26图示了本申请提供的光谱成像芯片的结构示意图；
图27图示了本申请提供的光谱成像芯片的结构示意图；
图28图示了根据本申请实施例的所述光谱成像芯片的光调制层的稀疏度的示意图；
图29图示了根据本申请实施例的所述光谱成像芯片的制备过程的示意图；
图30图示了根据本申请实施例的所述光谱成像芯片的制备过程的一个变形实施的示意图；
图31a是本发明提供的指纹活体识别装置的结构示意图；
图31b是本发明提供的指纹活体识别装置的俯视图；
图32是本发明提供的指纹活体识别装置的结构示意图；
图33是本发明提供的指纹活体识别装置的结构示意图；
图34是本发明提供的光学指纹识别组件的结构示意图；
图35是本发明提供的指纹模组的结构示意图；
图36是本发明提供的指纹模组的结构示意图。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如前所述，现有技术中的CMOS或者CCD成像芯片及成像设备无法获取物体的光谱信息，导致所得到的图像无法广泛应用于需要物体的光谱信息作为数据支撑的智能AI识别、物质组分定性定量分析等场景中。
本领域普通技术人员应知晓，光与物质发生相互作用，如吸收、散射、荧光、拉曼等，会产生特定光谱，并且，每种物质的光谱都是独一无二的。在现行的方案中，被摄对象的光谱信息需要专门的设备(例如，光谱仪)去采集。因此，当需要同时获得被摄对象的光谱信息和图像信息时，往往需要多个摄像模组和/或设备进行配合工作，并通过算法将获得的图像信息和光谱信息进行整 合。
应可以理解，由于需要多个摄像模组和/或设备，会导致成本增加。更为重要的是，这种方案会占据相对较大的空间，导致这种方案的可移动性差，可集成性差，也就是，其很难被集成地应用到终端设备中。
基于此，本申请发明人通过对传统感光芯片和光谱信息测量技术的研究，提出了一种光谱成像芯片，其通过特殊的芯片结构能够获得被摄对象的图像信息和/或光谱信息。与传统的CMOS成像芯片或者CCD成像芯片相对，所述光谱成像芯片既能够获得被摄对象的光谱芯片，也能够获得被摄对象的图像信息，从而能够有效地将这两种信息进行整合。
进一步地，与传统的成像芯片相比，根据本申请的所述光谱成像芯片可以在不影响或者很小程度地影响被摄对象的图像信息的分辨率的前提下，获得被摄对象的光谱信息。通过适当的调整，根据本申请的所述光谱成像芯片可以在不影响或者很小程度地影响被摄对象的光谱信息的前提下，获得被摄对象的至少部分图像信息。
应可以理解，由于被摄对象的光谱信息可以唯一标识被摄对象，因此，可以基于被摄对象的光谱信息对被摄目标进行定性或者定量的分析，例如，可以将本申请的所述光谱成像芯片应用于如水果新鲜度分析、大气污染程度分析、AI场景识别等应用领域中。也就是，相较于传统的CMOS成像芯片或者CCD成像芯片，根据本申请的所述光谱成像芯片的应用场景更广。
基于此，本申请提供了一种光谱成像芯片，其包括：图像传感层，包括多个传感单元；以及，位于所述图像传感器的感光路径上的光调制层，所述光调制层包括至少一调制单元和与所述至少一调制单元相间隔的至少一非调制单元，其中，每个所述调制单元沿着所述感光路径对应于至少一所述传感单元，每个所述非调制单元沿着所述感光路径对应于至少一所述传感单元；其中，所述光调制层的调制单元被配置为对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。所述传感单元可以为成像芯片的一个物理像素或多个物理像素。进一步，以一个调制单元对应一个物理像素为例，所述调制单元可以按一定周期在所述成像芯片表面排布，例如相邻所述调制单元之间具有两个非调制单元，也可以理解为相邻所述调制单元之间有两个物理像素对应非调制单元。
基于此，本申请还提供了一种适于光谱成像芯片的信息处理方法，其包括：获取来自光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息以及所述调制层中每个非调制单元对应的像素点的光强信息；以及，基于每个所述调制单元对应的像素点的频谱信息，确定被摄对象的光谱信息，以及基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
所述调制部分主要包括调制单元以对入射光进行调制，所述调制部分可以理解具有宽带透射谱，对入射光进行调制，被传感单元接收，即所述调制单元具有对应的透射谱曲线对入射光进行调制；而所述非调制部分则在不同实施例中主要是对入射光进行滤光、转折、汇聚、折射、衍射、扩散和/或准直等调整功能，其可以实施为具有滤波器、凹透镜、凸透镜、光学衍射等具有特定调整功能的结构。例如，所述非调制单元为滤光单元实现滤光功能，所述滤光单元可以是R、G、B、W、Y等滤光单元，例如，所述滤光单元可构成RGGB、RYYB、RGBW拜耳滤波器，也可以是单个滤光单元或多个滤光单元组合构成不规则的拜耳滤波器；所述非调制单元也可以为不施加任何结构，入射光可以直接全波段被传感单元接收(不考虑滤光片)。
基于此，本申请进一步提供了一种光谱成像设备，其包括：光谱成像芯片和信号处理电路模块，光谱成像芯片与信号处理电路模块为独立的两个部分或者信号处理电路模块集成在光谱成像芯片内；光谱成像芯片包括：沿厚度方向顺次层叠设置的光调制层和图像传感层；光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个传感单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元；信号处理电路模块与所述传感单元电连接。
基于此，本申请还提供了一种指纹活体识别装置，其包括：显示屏幕、光源模块、光谱成像芯片、信号处理电路模块以及识别模块，所述显示屏幕上设置有指纹检测区域；所述光源模块用于照射所述指纹检测区域内的待检测对象，经所述待检测对象反射后得到的目标光束入射至所述光谱成像芯片上；所述光谱成像芯片与所述信号处理电路模块为独立的两个部分或者所述信号处理电路模块集成在所述光谱成像芯片内；所述光谱成像芯片用于确定所述目标光束照射后所述光谱成像芯片的光调制层中每个调制单元对应的像素点的频谱信息以及所述光调制层中每个非调制单元对应的像素点的光强信息；所述信号处理电路模块用于基于所述频谱信息确定所述待检测对象的光谱信息，并基于所述光强信息确定所述待检测对象的图像信息；所述识别模块用于基于所述待检测对 象的光谱信息以及图像信息，识别所述待检测对象是否为目标用户的活体指纹。
基于此，本申请进一步提供了一种指纹模组，其特征在于，包括：光谱成像芯片以及电路板，所述光谱成像芯片电连接于所述电路板；其中，所述光谱成像芯片沿厚度方向顺次层叠设置的光调制层、图像传感层和信号处理电路模块；其中，所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个传感单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请功能的各种非限制性实施例。
示例性光谱成像芯片和适于所述光谱成像芯片的信息处理方法
由于相机在各行各业中有极为广泛的应用，但现有的相机中，图像传感器只能获得被摄对象的图像信息，例如，被摄对象的RGB色彩信息，却无法获得被摄对象的光谱信息(或者说，丢失了大部分的光谱信息)。因此，本申请提供了一种适用于光谱成像芯片信息处理方法，并在相机中利用应用于该信息处理方法的光谱成像芯片，以使得相机在成像时可以同时获得物体的光谱信息，可以在智能AI识别，物质组分定性定量分析等方面提供帮助。
图1为本申请实施例中提供的一种信息处理方法，所述信息处理方法适用于光谱成像芯片。如图1所示，适用于光谱成像芯片的所述信息处理方法，包括：
S1，获取来自待成像对象的目标光束照射后光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息以及所述调制层中每个非调制单元对应的像素点的光强信息；
S2，基于所述目标光束照射后每个调制单元对应的像素点的频谱信息，确定所述待成像对象的光谱信息，并基于所述目标光束照射后每个非调制单元对应的像素点的光强信息，确定所述待成像对象的图像信息。
具体地，本申请实施例中提供的信息处理方法，可以应用于光谱成像芯片，其执行主体可以是光谱成像芯片中包含的信号处理电路层，通过该信号处理电路层实现对待成像对象进行成像，并获取待成像对象的图像信息以及光谱信息。其中，待成像对象可以是人物及相关人物识别特征、场景等。
值得一提的是，上述方法并不是绝对的，在个别应用场景中，上述方法可以理解为所述光谱成像芯片只需要获取待成像对象的图像信息或光谱信息，此 时步骤S1可以理解为只用获取频谱信息或光强信息；而对应S2则只需跟据S1获取的信息，确定对应待成像对象的图像信息。例如，使用该成像设备去获取光谱图像，则只需在步骤S1获取光谱信息，步骤S2输出光谱图像。
该方法的应用场景可以如图2所示，图2为光谱成像设备的结构示意图，其提供了一种光谱成像设备，包括：光谱成像芯片和信号处理电路模块，所述光谱成像芯片与所述信号处理电路模块为独立的两个部分或者所述信号处理电路模块集成在所述光谱成像芯片内。当信号处理电路模块集成在光谱成像芯片内作为信号处理电路层时，该光谱成像芯片就是光谱成像设备。光源模块300发出的光照射到待成像对象200上，光谱成像芯片100接收待成像对象200反射的目标光束，光谱成像芯片100经过对目标光束的处理后得到待成像对象的图像信息以及光谱信息。光源模块300可以为可见光到近红外的宽谱光源。
首先，执行步骤S1。光谱成像芯片的具体结构可以如图3所示，该光谱成像芯片100可以包括：光调制层110、图像传感层120和信号处理电路层130a，光调制层110、图像传感层120和信号处理电路层130a沿厚度方向顺次层叠设置。光调制层110沿表面分布有至少一个调制单元1101和至少一个非调制单元1102，也就是，所述光调制层110包括沿着其所设定的表面分布的至少一个调制单元1101和至少一个非调制单元1102。图像传感层120沿表面分布有多个传感单元1201，且每个调制单元1101以及每个非调制单元1102沿厚度方向分别对应至少一个传感单元1201，每个调制单元1101以及每个非调制单元1102分别与对应的传感单元120构成光谱成像芯片100的一个像素点。信号处理电路层130a与传感单元1201电连接，信号处理电路层130a用于执行信息处理方法，以确定待成像对象的图像信息以及光谱信息。
相应地，在步骤S1中，每个调制单元对应的像素点的频谱信息，以及，每个非调制单元对应的像素点的光强信息，表示，所述调制单元所属的像素点的频谱信息和每个非调制单元所属的像素点的光强信息。也就是，这里的对应并非表示所述非调制单元或所述调制单元与所述像素点之间的位置关系，而是指所述调制单元/所述非调制单元与所述像素点之间的从属关系。
光调制层110的厚度为60nm～1200nm，光调制层110可以是直接在图像传感层120上制备得到。具体可以是在图像传感层120上直接生长一层或多层材料再通过刻蚀制备出调制单元，或者，在图像传感层120上直接刻蚀制备出调制单元，进而得到光调制层110。图像传感层120具体可以是CIS晶圆，图像传感层120中的每个传感单元1201均对应为CIS晶圆中的一个像素单元，用于对 经过光调制层110的光束进行探测。举例但不限定，可以是从晶圆级别直接在CIS晶圆上单片集成微纳结构光调制层110，利用CMOS工艺一次流片可完成光谱成像芯片的制备。
每个调制单元1101可以是微纳结构单元，用于对目标光束进行调制，每个非调制单元1102不具有调制能力，无法对目标光束进行调制，而是直接使目标光束透过。光调制层110上的每个调制单元1101可以直接制备在CIS晶圆的感光区域表面上，而CIS晶圆上未制备调制单元的区域还是传统的RGB或黑白像素，CIS晶圆上未制备调制单元的区域对应于光调制层上的非调制单元。由于光谱成像芯片的光调制层包括调制单元以及非调制单元，则既可以获取每个调制单元对应的像素点的频谱信息，即经过每个调制单元调制后得到并被对应的传感单元检测到的频谱信息，还可以获取每个非调制单元对应的像素点的光强信息，即经过每个非调制单元直接得到对应的传感单元检测到的光强信息。频谱信息是指每个调制单元对应的像素点处不同波长的光对应的光强信息。不同的调制单元对不同波长光调制作用可能相同也可能不同，可以根据需要进行设定，本方面实施例中对此不作具体限定。
然后，执行步骤S2。根据目标光束照射后每个调制单元对应的像素点的频谱信息，可以确定出待成像对象的光谱信息。具体地，可以通过将每个调制单元得到的频谱信息编码到CIS晶圆的对应传感单元上，然后采用单元阵列响应处理方法重构得到。光谱重构算法具体可以包括但不限于最小二乘法、非负最小二乘法、模拟退火法、Tikhonov正则化方法、截断奇异值分解方法、稀疏优化方法等。
由于每个调制单元对应的像素点的频谱信息有可能无法用于确定待成像对象的完整图像信息，因此需要根据目标光束照射后每个非调制单元对应的像素点的光强信息，确定出待成像对象的图像信息。具体的方式可以忽略每个调制单元对应的像素点的光强信息，仅仅采用所有非调制单元对应的像素点的光强信息确定出待成像对象的图像信息；还可以先通过每个非调制单元对应的像素点的光强信息确定出每个调制单元对应的像素点的光强信息，然后结合所有非调制单元对应的像素点的光强信息共同确定出待成像对象的图像信息。本申请实施例中对此不作具体限定。
本申请实施例中提供的信息处理方法，可以应用于光谱成像芯片，通过获取来自待成像对象的目标光束照射后光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息，确定出待成像对象的光谱信息，根据目标光束照射后 调制层中每个非调制单元对应的像素点的光强信息，确定出待成像对象的图像信息。与传统的图像传感器相比，可以不影响所成图像的空间分辨率及成像质量的同时，获得光谱信息，便于掌握待成像对象更全面的信息。而且，由于待成像对象的光谱信息可以用于唯一标识待成像对象，因此可以通过待成像对象的光谱信息实现对待成像对象进行定性或定量分析，可以使光谱成像芯片应用于如水果新鲜度、大气污染程度、AI场景识别、活体识别等领域，增加了光谱成像芯片的应用场景，为光谱成像芯片的广泛应用提供理论基础。另外，本申请实施例中将光调制层与图像传感层单片集成，无分立元件，有利于提高器件的稳定性，降低器件的大小和成本。
在上述实施例的基础上，在本申请实施例中提供的信息处理方法中，步骤S1，所述基于所述目标光束照射后每个非调制单元对应的像素点的光强信息，确定所述待成像对象的图像信息的过程，包括：首先，基于所述目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息；然后，基于每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定所述待成像对象的图像信息。
具体地，本申请实施例中在确定待成像对象的图像信息时，首先可以根据目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定出每个调制单元对应的像素点的拟合光强信息。每个调制单元周围是指与该调制单元距离最近的左方、左上方、上方、右上方、右方、右下方、下方以及左下方等8个位置。每个调制单元周围的非调制单元的数量与光调制层的结构有关，光调制层一般为矩形结构，顶点位置处的每个单元周围均分别有3个单元，除顶点位置外的其他边缘位置处的每个单元周围均分别有5个单元，除顶点位置以及其他边缘位置处的每个单元周围均分别有8个单元。如果光调制层的结构如图4所示，则每个调制单元周围最多有5个非调制单元，最少有3个非调制单元；如果光调制层的结构如图5所示，则每个调制单元周围最多有6个非调制单元，最少有0个非调制单元；如果光调制层的结构如图6所示，则每个调制单元周围最多有4个非调制单元，最少有0个非调制单元；如果光调制层的结构如图7所示，则每个调制单元周围均有8个非调制单元。本申请以矩形结构为例，只是为了便于理解，具体光调制层结构可以根据需求设计。
以图7示出的光调制层的结构为例，可以对每个调制单元周围的至少一个 非调制单元对应的像素点的光强信息进行拟合，进而确定出每个调制单元对应的像素点的拟合光强信息。拟合方式可以是算术平均、加权平均或者选取其中光强信息的中位数等方式，本申请实施例中对此不作具体限定。
然后，根据每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，即可确定出待成像对象的图像信息。该图像信息为完整的图像信息，其中包含有每个像素点的光强信息。
本申请实施例中，通过目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息，可以使得根据每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定的待成像对象的图像信息为完整的图像信息，保证了图像的完整性，从而不影响整体成像。
在上述实施例的基础上，本申请实施例中提供的信息处理方法，所述基于所述目标光束照射后每个调制单元周围的多个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息，具体包括：
基于平滑滤波方法，对任一调制单元周围的多个非调制单元对应的像素点的光强信息进行滤波处理，得到所述任一调制单元对应的像素点的拟合光强信息。
具体地，本申请实施例中在确定每个调制单元对应的像素点的拟合光强信息时，具体可以通过平滑滤波方法实现。其中，平滑滤波方法可以包括中值滤波、平滑滤波、高斯滤波器等。
对于中值滤波，如果取滤波窗口的大小为3*3个像素点，则任一调制单元A对应的像素点的光强信息为：
f(x,y)＝median[f(x-1,y-1),f(x,y-1),f(x+1,y-1),
f(x-1,y),f(x+1,y),f(x-1,y+1),f(x,y+1),f(x+1,y+1)]
其中，median表示取中值操作，f(x,y)为调制单元A对应的像素点的光强信息，(x,y)为调制单元A对应的像素点的坐标值；f(x-1,y-1)为调制单元A左下方的非调制单元对应的像素点的光强信息，如果调制单元A左下方不是非调制单元，则该值为0；f(x,y-1)为调制单元A下方的非调制单元对应的像素点的光强信息，如果调制单元A下方不是非调制单元，则该值为0；f(x+1,y-1)为调制单元A右下方的非调制单元对应的像素点，如果调制单元A右下方不是非调制单元，则该值为0；f(x-1,y)为调制单元A左方的非调制单元对应的像素点，如果调制单元A左方不是非调制单元，则该值为0； f(x+1,y)为调制单元A右方的非调制单元对应的像素点，如果调制单元A右方不是非调制单元，则该值为0；f(x-1,y+1)为调制单元A左上方的非调制单元对应的像素点，如果调制单元A左上方不是非调制单元，则该值为0；f(x,y+1)为调制单元A上方的非调制单元对应的像素点，如果调制单元A上方不是非调制单元，则该值为0；f(x+1,y+1)为调制单元A右上方的非调制单元对应的像素点，如果调制单元A右上方不是非调制单元，则该值为0。
对于均值滤波，如果取滤波窗口的大小为3*3个像素点，则任一调制单元A对应的像素点的光强信息为：
f(x,y)＝[f(x-1,y-1)+f(x,y-1)+f(x+1,y-1)+f(x-1,y)
+f(x+1,y)+f(x-1,y+1)
+f(x,y+1)+f(x+1,y+1)]/8
对于高斯滤波，如果去滤波窗口的大小为3*3个像素点，则任一调制单元A对应的像素点的光强信息为：
f(x,y)＝0.111*[f(x-1,y-1)+f(x+1,y-1)+f(x-1,y+1)+f(x
+1,y+1)]+0.139*[f(x,y-1)+f(x-1,y)+f(x+1,y)
+f(x,y+1)]
其中，0.11、0.139分别为对应的像素点的光强信息的权重。
在上述实施例的基础上，在本申请实施例中提供的信息处理方法中，步骤：所述基于所述目标光束照射后每个非调制单元对应的像素点的光强信息，确定所述待成像对象的图像信息，包括：将所述目标光束照射后基于所有非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待成像对象的图像信息；其中，所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到。
具体地，本申请实施例中在确定待成像对象的图像信息时，具体可以通过对抗神经网络等机器学习方法实现。本申请实施例中通过对抗神经网络构建拟合模型，并通过存在空白像素的空缺样本图像以及空缺样本图像对应的不存在空白像素的完整样本图像标签对拟合模型进行训练。最后将目标光束照射后基于所有非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待成像对象的图像信息。其中，完整样本图像标签是指空缺样本图像对应的实际完整样本图像。
本申请实施例中，引入基于对抗神经网络构建的拟合模型，可以更快速更 准确地确定出待成像对象的图像信息。
在上述实施例的基础上，本申请实施例中提供的信息处理方法，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到，具体包括：
基于空缺样本图像以及所述空缺样本图像对应的完整样本图像标签对所述对抗神经网络中的生成器进行训练，并基于所述对抗神经网络中的鉴别器对训练后的生成器进行竞争鉴别；
将训练得到的生成器作为所述拟合模型。
具体地，对抗神经网络包括生成器和鉴别器，生成器以空缺样本图像作为输入，生成空缺样本图像对应的完整样本图像作为输出。鉴别器以多幅完整样本图像作为输入，这些完整样本图像包括完整样本图像标签和生成器生成的完整样本图像。在训练时，生成器和鉴别器相互竞争。生成器的目标是尽量输出经过鉴别器判别得分高的完整样本图像，鉴别器的目标是尽量使完整样本图像标签得分高，同时使生成器输出的完整样本图像的得分尽量低。经过训练后，得到生成器，并将训练得到的生成器作为拟合模型。
如图3所示，在上述实施例的基础上，本申请实施例中提供了一种光谱成像芯片，包括：沿厚度方向顺次层叠设置的光调制层110、图像传感层120和信号处理电路层130a；其中，
光调制层110沿表面分布有至少一个调制单元1101和至少一个非调制单元1102。图像传感层120沿表面分布有多个传感单元1201，且每个调制单元1101以及每个非调制单元1102沿厚度方向分别对应至少一个传感单元1201，每个调制单元1101以及每个非调制单元1102分别与对应的传感单元1201构成光谱成像芯片100的一个像素点。信号处理电路层130a与传感单元1201电连接，信号处理电路层130a用于上述各实施例中提供的信息处理方法，以确定待成像对象的图像信息以及光谱信息。光调制层110的厚度为60nm～1200nm，光调制层110可以是直接在图像传感层120上制备得到。具体可以是在图像传感层120上直接生长一层或多层材料再通过刻蚀制备出调制单元，或者在图像传感层120上直接刻蚀制备出调制单元，进而得到光调制层110。图像传感层120具体可以是CIS晶圆，图像传感层120中的每个传感单元均对应为CIS晶圆中的一个像素，用于对经过光调制层的光束进行探测。从晶圆级别直接在CIS晶圆上单片集成微纳结构光调制层，利用CMOS工艺一次流片可完成光谱成像芯片的制备。
本申请实施例中提供的光谱成像芯片，可以同时确定出待成像对象的图像 信息以及光谱信息，使得光谱成像芯片可以应用于如水果新鲜度、大气污染程度、AI场景识别等领域，增加了光谱成像芯片的应用场景，为光谱成像芯片的广泛应用提供理论基础。另外，本申请实施例中将光调制层与图像传感层单片集成，无分立元件，有利于提高器件的稳定性，降低器件的大小和成本。
作为优选方案，光调制层可以是厚度为200nm-500nm的氮化硅。光调制层上可以分布有1000～250000个单元，每个单元的尺寸为100μm
2～40000μm
2。其中，调制单元占总单元数的10％，其余90％为非调制单元。
作为优选方案，光调制层可以为厚度100-400nm的硅。光调制层上可以分布有1000～250000个单元，每个单元的尺寸为100μm
2～40000μm
2。其中，调制单元占总单元数的15％，其余85％为非调制单元。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，所述光调制层中的调制单元具体可以为微纳结构单元，通过刻蚀得到。光调制层的结构如图4-图7所示。图4中，光调制层的边缘位置分布有多个不同的调制单元，每个调制单元均可以对应一个或多个传感单元，调制单元可以占满或不占满边缘位置，可以连续或不连续分布，可位于任意边缘位置，光调制层的其余位置为非调制单元，即不刻有调制单元，为空白单元，目标光束可以直接透射到光调制层下方的CIS晶圆RGB或黑白像素上。光调制层的每个单元(包括调制单元与非调制单元)下方有对应的传感单元。光调制层中每个调制单元对不同波长的光有不同的调制作用，各个调制单元之间对输入光谱的调制方式可以相同也可以不同，不同的调制方式可包括但不限于散射、吸收、透射、反射、干涉、激元、谐振增强等作用，调制作用的最终效果是不同波长的光通过调制单元后的透射谱不同。光通过调制单元调制作用后，由调制单元下方对应的传感单元探测到光强信息。每个单元与其下方的传感单元构成一个像素点。通过算法可以得到一个像素点上各个波长的强度分布。
图5中，光调制层的边缘位置和中间位置分布有多个不同的调制单元，每个调制单元可以对应一个或多个传感单元，调制单元可以位于任意边缘位置或中间位置，可以连续或不连续分布，位置可以任意选择。每个调制单元可以是由多个相同的调制子单元构成的阵列，也可以是由多个不同的调制子单元构成的阵列。
图6中，光调制层上每四个调制单元为一组调制单元，每四个非调制单元为一组非调制单元，每组调制单元与每组非调制单元间隔分布。
图7中，光调制层上每个调制单元周围的8个位置均为非调制单元，不存 在其他调制单元。
图8和图9所示，光调制层110沿光调制层110的表面分布有至少一组调制单元111，每组调制单元111包括沿每组调制单元111的表面分布的多个调制单元，每个调制单元均具有C4对称性。C4对称性表现为调制单元沿对称轴旋转90°、180°或270°后调制单元中的结构与原来的结构重合，可选的调制单元的结构包括圆、十字、正多边形、正方形等。光调制层上每组调制单元周围的8个位置均为非调制单元，不存在其他调制单元。
在一些实施例中，如图8、图9所示，每组调制单元111中的至少一部分调制单元具有沿厚度方向设置的多个调制孔，多个调制孔沿每个调制单元的表面分布形成调制孔阵列，调制孔阵列表示设有调制孔的调制单元上的多个调制孔呈行列排布，比如图8中第一调制单元112、第二调制单元113、第三调制单元114和第四调制单元115示出的调制孔阵列均排布为4行*4列。当然，图8中仅为示意性，并不表示本发明实施例中的调制孔阵列局限于4行*4列。
如图8和图9所示，每组调制单元111中的多个调制单元具有调制孔，且每个调制单元中的多个调制单元的调制孔的形状不同。其中每个调制单元对不同波长的光有不同的调制作用，各个调制单元之间对输入光谱的调制方式不同，不同的调制方式可包括但不限于散射、吸收、透射、反射、干涉、激元、谐振增强等作用，调制作用的最终效果是不同波长的光通过调制单元的调制孔阵列后的透射谱不同。光通过调制孔阵列调制作用后，由调制孔阵列下方的感应单元探测到光强。每个调制单元与其下方的感应单元构成一个像素点。通过算法可以得到一个像素点上各个波长的强度分布。通过不同调制单元的相同调制孔阵列像素可获得某一调制方式下的图像，多个像素点构成一幅包含多个频谱信息的图像。
任意两组调制单元111中位于相同位置的调制子单元的调制孔阵列相同。比如图8所示的实施例中，每组调制单元111均包括第一调制单元112、第二调制单元113、第三调制单元114和第四调制单元115，第一调制单元112、第二调制单元113、第三调制单元114和第四调制单元115中的调制孔阵列均不相同。各组调制单元111中的第一调制单元112的调制孔阵列均相同，各组调制单元111中的第二调制单元113的调制孔阵列均相同，各组调制单元111中的第三调制单元114的调制孔阵列均相同，各组调制单元111中的第四调制单元115的调制孔阵列均相同。
其中，每组调制单元111中的至少一部分调制单元具有沿厚度方向设置的 多个调制孔，表示至少有如下两种实施方式。
其一，如图8所示，光调制层110上设有一组或多组重复的调制单元111，比如图8所示的实施例中，示出了6组重复的调制单元111，每组调制单元111内划分出多个调制单元，在图8所示的实施例中，每组调制单元111包括第一调制单元112、第二调制单元113、第三调制单元114和第四调制单元115，第一调制单元112、第二调制单元113、第三调制单元114和第四调制单元115内均设有调制孔阵列，调制单元具有C4对称性，对应地调制孔阵列也具有C4对称性，C4对称性表现为调制单元沿对称轴旋转90°、180°或270°后调制单元中的结构与原来的结构重合。
其二，如图9所示，光调制层110上设有一组或多组重复的调制单元111，比如图9所示的实施例中，示出了6组重复的调制单元111，每组调制单元111内划分出多个调制单元，在图9所示的实施例中，每组调制单元111包括第一调制单元112、第二调制单元113、第三调制单元114和第四调制单元115，第一调制单元112、第二调制单元113和第三调制单元114内均设有调制孔阵列，但是第四调制单元115为整个单元刻透，入射光直通，可用于该单元直通光强的标定。其余各调制孔阵列分别对应特定某一个波长的光，有窄带滤波作用。不同组调制单元111中相同位置的调制孔阵列相同，每一调制孔阵列下方有对应的感应单元。光通过调制孔阵列窄带滤波后，有调制孔阵列下方的感应单元探测到光强，分别与直通的入射光进行差分，可得到每一个波长的光经过窄带滤波后的光强。每组调制单元111与调制单元111下方的感应单元构成一个像素点，通过不同组调制单元111的相同调制孔阵列的像素可获得某一波长下的图像，多个像素点构成一幅包含多个频谱信息的图像。
对于以上两种方案，可通过改变调制子单元或调制孔阵列的形状来改变这种调制作用，调制孔阵列的几何形状可包括但不限于圆、十字、正多边形、矩形以及它们的任意组合。还可通过改变调制孔阵列的参数来改变这种调制作用，结构参数的改变可包括但不限于调制孔阵列周期、半径、边长、占空比、厚度等参数以及它们的任意组合。以上两种方案可以选其一或者组合选用，光调制层110上的调制孔阵列可以为贯穿平板的孔，也可为具有一定深度的盲孔。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，所述光调制层中的每个调制单元均包括沿所述厚度方向设置的多个调制子单元，每个调制子单元为孔状结构或柱状结构。
具体地，本申请实施例中，光调制层中的每个调制单元均包括沿厚度方向 设置的多个调制子单元。调制子单元可以为孔状结构，也可以为柱状结构。为孔状结构的调制子单元可以称为调制孔，为柱状结构的调制子单元可以称为调制柱。需要说明的是，同一调制单元中只能包含有调制孔或调制柱，不能同时包含有调制孔和调制柱，因此包含有调制孔的调制单元可以称为孔调制单元，包含有调制柱的调制单元可以称为柱调制单元。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，每个调制单元中为所述孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，
每个调制单元中为所述孔状结构的不同调制子单元的结构参数不完全相同。
具体地，本申请实施例中每个调制单元中不同的调制孔的孔截面形状可以相同、也可以完全不同或部分相同部分不同。也就是说，同一调制单元内的所有调制孔具有相同或不同的孔截面形状。每个调制单元中调制孔的结构参数也可以相同、也可以完全不同或部分相同部分不同。每个调制单元中不同的调制孔的孔截面形状是否相同不影响结构参数是否相同。孔截面形状包括圆形、椭圆形、十字形、正多边形、星形或矩形。结构参数可包括但不限于每个调制单元中调制孔的周期、半径、边长、占空比、厚度、长轴长度、短轴长度、旋转角度、或角数等参数。各个调制孔可以按照预设周期顺序逐行或逐列排布，或按照结构参数大小的渐变顺序呈阵列式排布。
由于调制单元中调制孔的孔截面形状不同和/或结构参数不同，均会对其调制作用产生影响，因此可以通过改变调制单元中调制孔的形状来改变其调制作用。结构参数的改变可以是改变上述任意组合的结构参数。
每个柱调制单元中调制孔的周期可以在50nm-800nm之间取值，占空比可以在5％-95％之间取值。调制孔的周期也可以在80nm-600nm之间取值，占空比也可以在10％-90％之间取值。
不同调制单元对光谱的调制作用不同，光谱调制作用可包括但不限于散射、吸收、透射、反射、干涉、表面等离子激元、谐振等作用。改变柱调制单元内的调制孔的结构参数(包括但不限于周期、半径、边长、占空比和厚度等参数中的一种或各参数的任意组合)和排列方式，即可改变调制作用，通过增加调制柱的数量可以提高对不同光谱之间差异的灵敏度。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，每个调制单元中为所述柱状结构的不同调制子单元的结构形状以及柱高度相同，且所有调制子单元在每个调制单元中的排列具有C4对称性。
具体地，每个柱调制单元包含若干调制柱，同一柱调制单元内的所有调制 柱具有相同的结构形状，各个调制柱按照预设周期顺序逐行或逐列排布，具有C4对称性。同一柱调制单元内的所有调制柱高度均相同，不同柱调制单元的调制柱高度可以相同或不同。调制柱的结构参数可以包括高度、纵截面结构参数、横截面结构参数等。调制柱的结构形状可以如图10所示，包括但不限于圆柱体、立方体、圆台、圆锥、钟形等。调制柱的纵截面形状可以如图11所示，包括但不限于矩形、梯形、三角形、钟形等。调制柱的横截面形状包括矩形、圆形等。
调制柱的高度可以在100nm-400nm之间取值。对于圆柱形调制柱，调制柱的直径可以在10nm-300nm之间取值。对于立方体调制柱，调制柱的截面可以是正方形或矩形，边长可以在10nm-400nm之间取值。对于圆台形调制柱，调制柱的两个圆截面的直径可以在10nm-400nm之间取值。对于圆锥形调制柱，调制柱的底面圆的直径可以在10nm-400nm之间取值。对于钟形调制柱，调制柱的底面圆的直径可以在10nm-400nm之间取值。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，所述柱状结构的调制子单元为一体成型，和/或层叠而成。
具体地，如图12所示，光谱成像芯片包括：光调制层110、图像传感层120和信号处理电路层130a，光调制层110的调制单元包含有调制柱，该调制柱为一体成型。如图13所示，调制柱还可以由多层子调制柱堆叠而成，每层子调制柱的结构形状可以相同或不同，每层的子调制柱可为立方体、圆柱体等，每层子调制柱的材料可以相同或不同，可为金属或介质中的任意一种。图13中，调制柱由多层长方体层叠而成。
同一柱调制单元中可以只包含有一体成型得到的调制柱，也可以只包含有层叠而成的调制柱，还可以同时包含有一体成型以及层叠而成的不同调制柱。
在上述实施例的基础上，调制单元包括但不限于一维光子晶体、二维光子晶体、表面等离子激元、超材料、超表面等。具体材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、III-V族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
在上述实施例的基础上，在纵向上，光调制层可以包括沿厚度方向设置的至少一层子调制层，每层子调制层的材料可以相同，也可以不同，以增加光调制层对目标光束在频谱上的调制能力，使得对目标光束采样能力更强，有利于提高光谱恢复精度。光调制层纵向上可有以下四种情况。
1)如图14所示，偏振无关的光调制层为单一材料层，包括第一子调制层117，光调制层的厚度为60nm～1200nm。
2)如图15和图16所示，偏振无关的光调制层110可以包括多层子调制层，各子调制层的材料不同。各子调制层的厚度为60nm～1200nm。各子调制层的材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、III-V族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。比如图15所示的实施例中，光调制层包括第一子调制层117和第二子调制层118；比如图16所示的实施例中，光调制层包括第一子调制层117、第二子调制层118和第三子调制层119。
3)如图17所示，偏振无关的光调制层110可以包括多层子调制层，各子调制层的材料不同。各子调制层的厚度为60nm～1200nm。其中一层或多层子调制层可以不被调制孔116贯穿。各子调制层的材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、III-V族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
4)如图18所示，偏振无关的光调制层110是在背照式CIS晶圆的光探测层122上直接刻蚀结构进行制备的，刻蚀深度为60nm～1200nm。光调制层110的调制孔阵列可以是上述两种方案中的一种或任意组合。
在上述实施例的基础上，在纵向结构上，光调制层可以不被调制柱或调制孔贯穿，调制柱可以具有一定厚度，具体可以为60nm～1200nm，整个光调制层的厚度可以为120nm～2000nm。调制孔的厚度可以为160nm～1000nm，整个光调制层的厚度为220nm～1500nm。
在上述实施例的基础上，在纵向结构上，光调制层可由硅层和金层这两层不同材料构成，硅层的厚度可以为60nm～1200nm，金层的厚度可以为60nm～1200nm。
综上所述，本申请实施例中提供的光谱成像芯片有以下效果：1)该光谱成像芯片可以实现图像信息和光谱信息的采集，在提供完整图像信息的同时，还提供了视野内不同点的光谱信息。2)可以通过CMOS工艺一次流片完成光谱芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。3)将光调制层与图像传感层单片集成，无分立元件，有利于提高器件的稳定性，极大促进图像传感器的小型化和轻量化。4)在晶圆级别实现单片集成，可以最大程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，实现更高的分辨率并降低封装成本。
在上述实施例的基础上，本申请实施例中的图像传感层具体为CIS晶圆，CIS晶圆既可以是前照式也可以是背照式。如图19所示，为前照式CIS晶圆， 前照式CIS晶圆包括沿图像传感层的厚度方向连接的光探测层122和金属线层121；光探测层122在金属线层121下方，CIS晶圆未集成微透镜和滤光片，光调制层直接集成到金属线层121上。金属线层121用于对晶圆接收到的光谱信号进行初步的信号处理，以将光信号数据先行转化为电信号，可以加快信号处理电路层的处理效率，使信号转化和信号运算处理更稳定和更精确。
如图20所示，为背照式CIS晶圆，背照式CIS晶圆包括沿图像传感层的厚度方向连接的光探测层122和金属线层121；光探测层122在金属线层121上方，CIS晶圆未集成微透镜和滤光片，光调制层直接集成到光探测层122上。由于目标光束经过光调制层后，直接照射到光探测层122，这样可以有效消除金属线层对目标光束的不利影响，提高光谱成像芯片的量子效率。
在上述实施例的基础上，如图21a图21b所示，光谱成像芯片还包括：透光介质层160，透光介质层160位于光调制层110与图像传感层120之间。图21a中光调制层110的调制单元中包含有调制孔116，图21b中光调制层110的调制单元中包含有调制柱1103。透光介质层160厚度为50nm～1μm，材料可为二氧化硅。若为直接沉积生长的工艺方案，可在图像传感层120上通过化学气相沉积、溅射、旋涂等方式覆盖该透光介质层160，然后在其上方进行光调制层的沉积、刻蚀即可。若为转移的工艺方案，则可在二氧化硅上先进行光调制层的加工，然后将这两部分整体转移到图像传感层120上。
值得一提的是，在一些应用场景中，使用所述光谱成像芯片及其对应的摄像模组或设备的目的是：为了获得被摄对象的具有相对较高成像质量的图像，例如，通过所述光谱成像芯片获得更接近被摄对象的实际色彩情况和实际纹理情况的图像。相应地，在这些应用场景中，所述信息处理方法的重点在于获取被摄对象的图像信息，再利用所获得的光谱信息对所获得的图像进行调整。
在这些应用场景中，优选地，所述光谱成像芯片所获得的所述被摄对象的图像信息是相对完整的且精确的，从而基于所述被摄对象的图像信息所生成的图像也是相对完整的且精确的，而相对地，所述光谱成像芯片所获得的所述被摄对象的光谱信息可以理解为用于辅助图像调整的辅助信息。
相应地，在这些应用场景中，优选地，所述光谱成像芯片的所述调制单元1101整体面积占所述光谱成像芯片的有效区域面积的范围为0～25％之间，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光频信息和光强信息的区域。也就是，优选地，在这些应用场景中，所述光谱成像芯片中所述调制单元1101的总面积占所述光谱成像芯片的有效区域面积的比例不超过 25％，这样，相对占据较小面积比例的所述调制单元1101能够获取用于图像调整的关于被摄对象的光谱信息，而相对占据较大面积比例的所述非调制单元1102可以确保获取足够多的光强信息从而还原出较高质量的图像，进而，再通过所获得的光谱信息对所述图像进行调整，以使得最终获得图像具有相对更高的成像质量，使得所述图像的成像效果更为真实。
值得一提的是，在这些应用场景中，所述调制单元1101的整体所占据的面积比例可根据实际情况作出设定与调整，例如，可选择5％、10％、15％，20％等。本申请发明人通过测试发现，当所述面积比例为5％～15％时，所获得的最终图像的成像质量趋近甚至在算法的匹配下超过现有的基于CMOS和CCD成像芯片所采集的图像的成像质量。
此外，在另外一些应用场景中，期待所述光谱成像芯片获得相对较多的光谱信息，从而能够利用相对较多的光谱信息获得被摄对象的更为准确的特征或信息描述，同时，也期待所述光谱成像芯片所获得的图像信息不受过多的影响。
例如，当配置有所述光谱成像芯片的终端设备被应用于生物特征检测时(例如，虹膜识别、指纹识别等)，现有的生物特征识别方案，一般需要对待识别的虹膜或指纹进行成像以获得被摄虹膜和指纹的纹理信息，再将所获得的纹理信息与预设标准进行匹配，以实现识别功能。然而，在实际应用中，一些不法分子通过在假体上复制生物特征来进行破解，因此，在这些应用场景中，期待活体检测功能。而基于被摄对象的光谱信息便能够实现活体检测的功能。
相应地，在这些应用场景中，优选地，所述光谱成像芯片的所述调制单元1101整体面积占所述光谱成像芯片的有效区域面积的范围为20～45％之间，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光谱信息和光强信息的区域。也就是，优选地，在这些应用场景中，所述光谱成像芯片中所述调制单元1101的总面积占所述光谱成像芯片的有效区域面积的比例为20％～45％，这样，具有相对较大面积比例的所述非调制单元1102也能够确保获取足够多的光强信息从而还原出较高质量的图像，具有该面积比例的所述调制单元1101能够获取用于图像调整的被摄对象的光谱信息，进而，基于所述光谱信息去判断被摄对象是否活体。
值得一提的是，在这些应用场景中，所述调制单元1101的整体所占据的面积比例可根据实际情况作出设定与调整，例如，可选择25％、30％、35％等。本申请发明人通过测试发现，当所述面积比例为25％～35％时，所述光谱成像芯片既能够获得高质量的生物特征图像，并且，其所获得的光谱信息也足以准确的 判断被摄对象是否为活体。
此外，在另外一些应用场景中，期待获得被摄对象的图像信息和光谱信息的需求是相近的，例如，在一些应用场景中，首先需通过图像去识别或感知场景，再利用光谱信息对该场景进行光谱分析。
相应地，在这些应用场景中，优选地，所述光谱成像芯片的所述调制单元1101整体面积占所述光谱成像芯片的有效区域面积的范围为45～65％之间，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光谱信息和光强信息的区域。也就是，优选地，在这些应用场景中，所述光谱成像芯片中所述调制单元1101的总面积占所述光谱成像芯片的有效区域面积的比例为45％～65％，这样，比例大体与所述调制单元1101相当的所述非调制单元1102也能够确保获取足够多的光强信息从而还原出较高质量的图像，所述调制单元1101能够获取用于图像调整的被摄对象的光谱信息。
值得一提的是，在这些应用场景中，所述调制单元1101的整体所占据的面积比例可根据实际情况作出设定与调整，例如，可选择55％、60％等。本申请发明人通过测试发现，当所述面积比例为50％～55％时，所述光谱成像芯片既能够获得高质量的生物特征图像，并且，其所获得的光谱信息也足以判断被摄对象是否为活体。也就是，更优选地，在这些应用实例中，所述面积比例为50％～55％。
此外，在另外一些应用场景中，对于所述光谱成像芯片的核心诉求为通过对被摄对象进行精确地光谱分析，以获得所需要的信息，进行基于所获得的信息进行定量或者定性分析。例如，通过所述光谱成像芯片对牛奶中蛋白质进行检验，对水果中的成分、酸度等进行检测、对水质进行监控等。在这些应用场景中，需要精确度更高的光谱信息而对被摄对象的图像信息的需求相对较低或者说基本上不需要。也就是，在这些应用场景中，被摄目标的图像信息仅作为辅助信息(例如，对一些突发状况进行监督)甚至是作为无用信息。
相应地，在这些应用场景中，优选地，所述光谱成像芯片的所述调制单元1101整体面积占所述光谱成像芯片的有效区域面积的范围大于60％，更优选地，在80％～95％之间，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光谱信息和光强信息的区域。
值得一提的是，在这些应用场景中，所述调制单元1101的整体所占据的面积比例可根据实际情况作出设定与调整，例如，可选择85％、90％等。当然，在这些应用场景的具体示例中，该面积比例可大于95％，对此，并不为本申请所局限。
此外，在一些应用场景中，根据本申请的所述光谱成像芯片适于与光学元件相结合，以形成光学模组，其中，所述光学元件位于所述光谱成像芯片的感光路径上，用于对进入所述光谱成像芯片的光线进行调制。在具体示例中，所述光学元件，包括但不限于透镜(或者透镜组)、衍射元件、扩散元件(例如，毛玻璃等)。
本领域普通技术人员应知晓，对于以传统的CMOS成像芯片或者CCD成像芯片作为感光芯片的摄像模组而言，当光学镜头的视场角过大时(例如，超过75°时)，会导致所成的图像在其四个转角区域和/或边缘区域产生畸变，影响图像的成像效果。而在本申请实施例中，通过所述光谱成像芯片所获得的光谱信息并不应用于成像，也就是，图像畸变并不影响光谱信息的获取和分析。
优选地，在这些应用场景中，将所述光谱成像芯片的所述调制单元1101布置于所述光谱成像芯片的转角区域和/或边缘区域(也就是，将所述调制单元1101布置于所述光调制层110的转角区域和/或边缘区域)，而选择将所述光调制层110的所述非调制单元1102布置于所述光谱成像芯片的中间区域。这样，即不影响成像，又能够获得被摄对象的光谱信息。
值得注意的是，在这些应用场景中，所述光谱成像芯片的转角区域和边缘区域包括所述光谱成像芯片的有效区域的边缘和转角，以及，邻近于转角和边缘的部分区域。例如，在一个具体的示例中，可将离所述光谱成像芯片的中心轴的距离小于等于该方向的有效区域的距离总长的70％的区域定位为中心区域，而将有效区域的其他区域定义为边缘区域和转角区域。
此外，在一些应用场景中，期待所述光谱成像芯片能够获得被摄对象的精确更高的光谱信息。应可以理解，对于所述光谱成像芯片而言，不管是否配置光学元件，其中间区域所采集的信息的精确度是更高的。
因此，在这些应用场景中，优选地，将所述光谱成像芯片的所述调制单元1101布置于所述光谱成像芯片的有效区域的中间区域，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光谱信息和光强信息的区域。也就是，通过位置的调整来优化所述光谱成像芯片所采集的被摄对象的光谱信息的质量。在这些应用场景中，所述非调制单元1102可以环绕地布设于所述调制单元1101的周围。
值得一提的是，在根据本申请实施例的所述光谱成像芯片中，所述调制单元1101的疏密程度也会影响其成像质量和光谱分析。因此，本申请发明人还尝试找到适合的疏密程度来提高所述光谱成像芯片的性能。
具体地，在本申请的一个具体示例中，采用如下程度来定义稀疏度：首先，对所述光谱成像芯片的边长进行归一化处理，且以所述调制单元1101的几何中心表示对应的调制单元1101；接着，对所述调制单元1101对应的点进行从1到n进行编码，并以d
ij表示第i个调制单元1101的几何中心到第j个调制单元1101的几何中心之间的距离(如图28所示)，相应地，在该具体示例中，稀疏度A可以如下公式计算获得：
这里，值得一提的是，在上述定义过程中，如果相邻两个所述调制单元1101具有相同的结构，则可将这两个调制单元1101视为一个调制单元1101并以两个调制单元1101的几何中心标识该整合的调制单元1101，以利于计算。
在本申请实施例中，所述稀疏度的取值为大于0且小于等于1。优选地，所述稀疏度小于等于0.5。这里，当所述稀疏度的取值小于等于0.5时，所述光谱成像芯片的所述调制单元1101的布置密度相对较为稀疏，因此，所述调制单元1101对所述光谱成像芯片的成像影响较小，即，利于图像还原。尤其是，当所述稀疏度的取值为小于等于0.15时，所述光谱成像芯片可以被定义为稀疏式光谱成像芯片，其中，所述稀疏式光谱成像芯片的所述调制单元1101的布置密度相对较为稀疏，而对应的所述非调制单元1102的布置密度相对较高，通过这样的配置模式，所述光谱成像芯片可获得更多的且更为丰富的光强信息，以利于提高图像的成像质量。并且，还可以将所述稀疏式光谱成像芯片所采集的被摄对象的光谱信息与所述图像相整合，以提高所述图像的真实性。
在本申请的一些示例中，所述稀疏度也可以被设定为0.15至0.35之间。可以理解的是，如果所述光谱成像芯片的稀疏度过低，会导致光谱信息可能不完整或者准确度偏低，因此，可适当地提高所述稀疏度的值来提高光谱信息的密度，以提高光谱信息测量的精度。
在本申请的另外一些示例中，所述稀疏度的取值范围被设定为0.5至1之间(不包括0.5)。应可以理解，当所述光谱成像芯片的稀疏度取值较高时，所述光谱成像芯片的所述调制单元1101的布置密度较大，因此，所述光谱成像芯片可被更多地应用于光谱采集与分析的应用领域中。而相应地，所述光谱成像芯片所获得的图像可作为辅助信息来提高光谱信息的准确度。在这些示例中，优选地，所述光谱成像芯片的稀疏度的取值大于等于0.85，以确保有充足的光谱 信息可使用。当然，在本申请的一些示例中，所述稀疏度的取值范围被设定为0.65至0.85，此时，所述光谱成像芯片能够采集到相对较为充分的光谱信息，同时，也能够得到一张较为合适用于辅助分析的图像，以辅助和/或配合完整光谱分析。
在一些实施例中，如图22-图27所示，光谱成像芯片100还包括：透镜140和滤光片150中的至少一种，透镜140和滤光片150中的至少一种连接在光调制层110的背离或靠近图像传感层120的一侧。
如图22所示，该光谱成像芯片100集成了透镜140，且透镜140位于光调制层110的靠近图像传感层120的一侧，即透镜140位于光调制层110与图像传感层120之间。
如图23所示，该光谱成像芯片100集成了透镜140，且透镜140位于光调制层110的背离图像传感层120的一侧。
如图24所示，该光谱成像芯片100集成了滤光片150，且滤光片150位于光调制层110的靠近图像传感层120的一侧，即滤光片150位于光调制层110与图像传感层120之间。
如图25所示，该光谱成像芯片100集成了滤光片150，且滤光片150位于光调制层110的背离图像传感层120的一侧。
如图26所示，该光谱成像芯片100集成了透镜140和滤光片150，且透镜140和滤光片150位于光调制层110的背离图像传感层120的一侧，滤光片150位于透镜140与光调制层110之间。
如图27所示，该光谱成像芯片100集成了透镜140和滤光片150，且透镜140和滤光片150位于光调制层110的靠近图像传感层120的一侧，即透镜140和滤光片150位于光调制层110与图像传感层120之间，且滤光片150位于透镜140与图像传感层120之间。
如图1所示，基于本申请各实施例提出了一种光谱识别设备，该设备包括光源模块300和光谱成像芯片100。光源模块300用于向待成像对象200发射光谱，以使光谱经过待成像对象200反射后，作为目标光束射入光谱成像芯片100上。光谱成像芯片100与光源模块300同时设置在待成像物体200的同一侧。光源模块300产生的可见-近红外光的光谱能照射到待成像对象200内，并在反射作用下全部光谱形成射入光谱成像芯片100中的目标光束。该结构设置能够扩大检测空间，提高物体成像和识别的使用便利性。
可理解的是，本申请所述的光谱成像芯片100和光谱识别设备可对任一待 成像对象200进行成像识别，只需根据成像需要，对光谱成像芯片100的各个调制单元111的体积以及入射光的对应波长等参数进行调整即可。
示例性光谱成像芯片的制备方法
图29图示了根据本申请实施例的所述光谱成像芯片的制备方法的再一个具体示例的示意图。这里，本申请所涉及的所述光谱成像芯片被应用于计算光谱仪，其中，计算光谱仪与传统光谱仪之间最显著的区别在于滤光的不同。在传统的光谱仪中，用于进行波长选择的滤光片为带通滤光片。光谱分辨率越高，就必须使用通带越窄和越多的滤光片，这增加了整个系统的体积和复杂度。同时，当光谱响应曲线变窄时，光通量下降，导致信噪比降低。
而对于计算光谱仪，每个滤光片均采用宽谱滤光片，这使得计算光谱仪系统探测到的数据看起来与原始光谱完全不同。然而，通过应用计算重建算法，原始光谱可以通过计算恢复。由于宽带滤光片比窄带滤光片有更多的光通过，因此，计算光谱仪可以从较暗的场景中检测光谱。此外，根据压缩感知理论，可以适当地设计滤光片的光谱曲线来高概率地恢复稀疏光谱，且滤光片的数量远小于期望的光谱通道数(从较低维向量恢复较高维向量)，这无疑是非常有利于小型化的。另一方面，通过使用更多数量的滤光片，可以使用正则化算法(由更高维向量获得降噪后的较低维向量)来降低噪声，这增加了信噪比并使得整个系统有更高的鲁棒性。
相对来讲，传统的光谱仪在设计的时候需要根据需要的波长去设计滤波器(其效果等同于光谱芯片的光调制结构)，使得特定波长的光可以透过(一般其设计为增强特定波长的入射光投射，而非特定波长波段的入射光无法投射，通过改变纳米盘等结构周期和直径可以控制共振条件，改变可增强投射的入射光中心波长，从而实现滤光特性)。也就是，传统的光谱仪在设计过程中需要重点控制光调制结构的尺寸和位置精度，同时需要想办法提高其特定波长的透过率。而对于计算光谱仪，需要的是可以接收较大范围的波段(例如，350nm至900nm)的光，因此，需要在设计的时候更加专注于折射率。
特别地，在本申请实施例中，所述光谱成像芯片以所述制备方法进行制备，以使得所述光谱成像芯片在其表面形成具有规则的晶向结构的光调制层，所述光调制层具有相对较大的折射率，以使得相对较大范围的波段的光能够被采集并利用。并且，在本申请实施例中，所述光调制层沿着其表面设有至少一调制单元和至少一非调制单元，其中，所述调制单元被配置为采集光频信息以获得 被摄对象的光谱信息，所述非调制单元被配置为采集光强信息以获得被摄对象的图像信息。
如图29所示，根据本申请实施例的所述光谱成像芯片的制备过程，首先包括提供一光谱芯片半成品400，其中，所述光谱芯片半成品400包括图像传感层410和连接于所述图像传感层410的信号处理电路层420。
在该具体示例中，所述光谱芯片半成品400可以由厂家提供，也可以通过对现有的感光芯片进行加工获得。本领域普通技术人员应知晓，现有的感光芯片，例如，CCD感光芯片，CMOS感光芯片，其包括为微透镜层、彩色滤光层(这里，如果是黑白芯片的话，则不包括彩色滤光层)、图像传感层410和信号处理电路层420。相应地，可通过去除现有的感光芯片的微透镜层和彩色滤光层(如果是黑白芯片，则仅需去除微透镜层)，以得到所述光谱芯片半成品400。
如图29所示，在该具体示例中，所述光谱成像芯片的制备过程，进一步包括对所述光谱芯片半成品400的表面进行预处理，以在所述光谱芯片半成品400的表面形成用于结合具有目标转移层510的转移件500的平整结合面。
具体地，在该具体示例中，对所述光谱芯片半成品400的表面进行预处理的过程，包括：在所述光谱芯片半成品400的表面形成一可透光介质层430，其中，所述可透光介质层430由可透光材料制成，且具有相对较高的光透过率，以使得其不会影响光线进入所述光谱芯片半成品400。
值得一提的是，在具体实施中，虽然所述可透光介质层430需要相对较高的折射率，但所述可透光介质层430的折射率也不宜过高，其原因在于：需要确保所述可透光介质层430与位于其上的半导体结构层之间的折射率的差值。
在该具体示例中，所述可透光介质层430的制成材料优选为硅化物，例如，二氧化硅、氮化硅等。本领域普通技术人员应知晓，二氧化硅的折射率为1.45左右，氮化硅的折射率在1.9至2.3之间。
在具体实施中，所述可透光介质层430可通过诸如非金属气相沉积工艺形成于所述光谱芯片半成品400的表面，当然，在该具体实施的其他实施方式中，所述可透光介质层430还可以通过其他工艺形成，对于形成工艺，本申请不作限制。特别地，在该具体示例中，所述可透光介质层430的厚度尺寸并不为本申请所局限，其具体取值可根据应用场景的具体需求做出调整，一般情况下，其厚度尺寸小于等于300nm，在一些特殊场景下其甚至小于100nm。
如图29所示，优选地，所述可透光介质层430的上表面为平整表面，或者说，所述可透光介质层430的上表面中用于结合所述转移件500的部分具有相 对较高的平整度，以利于将所述转移件500迁移到所述光谱芯片半成品400上。
值得一提的是，在该具体示例的一些情况中，所述光谱芯片半成品400的表面可能是非平整的，通过沉积工艺形成于所述光谱芯片半成品400的表面的所述可透光介质层430的上表面也可能是非平整的。因此，在该具体实施中，所述预处理过程，还包括：对所述光谱芯片半成品400的表现进行抛光打磨处理，和/或，对所述可透光介质层430的上表面进行抛光打磨处理。这里，抛光打磨工艺可以采取化学机械抛光工艺(chemical mechanical polish)，或者，其他能够使得表面平整度增加的工艺，对此，本申请不作限制。
值得一提的是，在该具体示例中，如果所述光谱芯片半成品400的表面平整度满足预设要求的话，也可以不在所述光谱芯片半成品400的表面设置所述可透光介质层430，即，不需要对所述光谱芯片半成品400进行预处理。
进一步地，如图29所示，所述光谱成像芯片的制备过程，进一步包括：提供一转移件500。特别地，在该具体示例中，所述转移件500选择为SOI器件(Silicon on insolation，绝缘体上的硅器件)，其自下而上依次包括：硅基底层511、硅化物层512和硅晶体层513，其中，所述硅晶体层513为所述待转移件500的目标转移层510，也就是，在该具体示例中，所述转移件500的目标转移层510位于所述转移件500的最上层。本领域普通技术人员应知晓，SOI器件为现有的元器件，采用现成元器件作为所述转移件500，这样一方面可以降低成本，另一方面，现有的器件其技术发展已经成熟，具有稳定的可预期的性能。当然，本申请实施例中的所述转移件500也可以为其他的类型的器件，例如，一硅棒、硅片或硅晶体和硅化物结合器件等。
并且，本领域普通技术人员应知晓，在所述SOI器件中，所述硅基底层511、所述硅化物层512和所述硅晶体层513中的原子的排布都是规则的，即，三者皆具有良好的晶向结构。优选地，在该具体示例中，所述硅晶体层513的表面为平整表面。
如图29所示，所述光谱成像芯片的制备过程，进一步包括：以转移件500的上表面键合于所述光谱芯片半成品400的所述可透光介质层430的上表面的方式，将所述转移件500耦接于所述光谱芯片半成品400。也就是，以所述SOI器件的所述硅晶体层513的表面键合于所述光谱芯片半成品400的所述可透光介质层430的上表面的方式，将所述SOI器件迁移至所述光谱芯片半成品400。
为了确保所述转移件500与所述光谱芯片半成品400之间的结合强度，优选地，在本申请实施例中，所述转移件500的上表面优选地与所述可透光介质 层430的上表面具有良好的键合反应，以使得两表面在键合时能够产生良好的键合反应，产生更大的键合力。例如，在该具体示例中，将所述转移件500的上表面配置为与所述可透光介质层430具有相同的制成材料，从而两者在键合时能够产生良好的键合反应，产生更大的键合力。
以所述可透光介质层430为二氧化硅为例，应可以理解，在该具体示例中，所述转移件500的上表面由所述硅晶体层513的表面形成。因此，在该具体实施中，在将所述转移件500的上表面键合于所述可透光介质层430的上表面之前，进一步包括：对所述转移件500的上表面进行处理，以使得所述转移件500的上表面由二氧化硅材料制成。
在具体实施中，可采取将氧离子注入所述硅晶体层513的表面，以在所述硅晶体层513的表面部分形成一层二氧化硅层，以使得所述转移件500的上表面由二氧化硅形成。应可以理解，所述硅晶体层513具有规则的晶向结构，因此，所述二氧化硅层也具有规则的晶向结构，以利于提高其与所述可透光介质层430的键合效果。
当然，在本申请的其他实施方案中，还可以在所述硅晶体层513的表面叠置结合层520，其中，所述结合层520由二氧化硅材料制成，例如，通过非金属气相沉积工艺在所述硅晶体层513的表面叠置地形成所述结合层520，以通过所述结合层520提高所述转移件500与所述光谱芯片半成品400之间的结合强度。
值得一提的是，在该具体示例中，对所述转移件500的上表面进行处理的过程，也可以在提供所述转移件500的步骤中完成，对此，并不为本申请所局限。
如图29所示，所述光谱成像芯片的制备过程，进一步包括：暴露所述转移件500的所述目标转移层510，也就是，暴露所述转移件500的所述硅晶体层513。在该具体示例中，可采用机械研磨、化学机械抛光、腐蚀工艺中一种或几种工艺的组合来去除所述硅基底层511和所述硅化物层512，以使得所述转移件500的所述硅晶体层513被暴露。
值得一提的是，机械研磨效率高但是精度差，而化学机械抛光和腐蚀工艺的效率低但是精度高，因此，在该具体示例中，优选地，先采用机械研磨抛光对所述硅基底层511和所述硅化物层512进行第一阶段的处理，接着，以化学机械抛光或者腐蚀工艺对所述硅基底层511和所述硅化物层512进行第二阶段的处理，以兼顾效率和精度。
特别地，在本申请实施例中，所述硅晶体层513的折射率在3.42左右，所述硅晶体层513与所述可透光介质层430之间的折射率之差大于等于0.5，优选地，大于等于0.7。
特别地，在该具体示例中，所述光谱芯片对所述硅晶体层513的厚度有一定的要求，所述硅晶体层513的厚度尺寸范围在5nm至1000nm，优选地为50nm至750nm，该厚度有利于厚度对所述硅基底层511的加工，以使得所述光谱芯片的成像效果得以优化和保证。更优选地，所述硅晶体层513的厚度尺寸为150nm至250nm之间。
相应地，在该具体示例中，为了满足厚度要求，在去除所述硅基底层511和所述硅化物层512的过程中，进一步包括去除所述硅晶体层513的一部分，以使得所述硅晶体层513的厚度尺寸满足预设要求。
如图29所示，所述光谱成像芯片的制备过程，进一步包括：在暴露的所述硅晶体层513上形成光调制层501，这样，在外界成像光线通过光调制层501进入所述光谱成像芯片的内部时，所述光调制层501能够对成像光线进行调制，以提取和利用成像光线中的光频信息和光强信息。
具体地，在本申请实施例中，在暴露的所述硅晶体层513层形成所述光调制层501的过程，包括：首先，在所述硅晶体层513上施加光刻胶，然后，以具有特定图案的掩模对所述光刻胶进行曝光；接着，通过蚀刻工艺基于所述掩模的特定图案去除所述硅晶体层513的预定部分和所述光刻胶，其中，没有被蚀刻的所述硅晶体层513形成光调制层501。
如图29所示，在本申请实施例中，所述光调制层501包括形成于其中间区域的调制单元5010和环绕地形成于所述调制单元5010周围的非调制单元5011。也就是，在本申请实施例中，所述光调制层501的所述调制单元5010位于所述光调制层501的中间区域，其非调制单元5011位于所述光调制单元5010的周围。应可以理解，在本申请其他示例中，所述光调制层501的调制单元5010和非调制单元5011还可以以其他样式进行布局，对此，并不为本申请所局限。
特别地，每个所述调制单元5010可以是微纳结构单元，用于对进入所述光谱成像芯片的光束进行调制，每个非调制单元5011不具有调制能力，无法对目标光束进行调制，而是直接使成像光线透过。并且，在本申请实施例中，每个所述调制单元5010分别对应所述图像传感层410的至少一个传感单元4101，其中，成像光线在经过所述调制单元5010的调制后抵达对应的所述传感单元 4101，所述传感单元4101用于获取成像光线中的光频信息。同时，每个所述非调制单元5011同样对应于所述图像传感器410的至少一个传感单元4101，其中，成像光线在透过所述非调制单元5011后抵达对应的所述传感单元4101，所述传感单元4101用于获取成像光线中的光强信息。值得一提的是，不同的调制单元5010对不同波长光调制作用可能相同也可能不同，可以根据需要进行设定，本方面实施例中对此不作具体限定。
特别地，在该具体示例中，所述光调制层501的折射率为1至5之间，且，所述光调制层501的折射率与所述可透光介质层430的折射率之差大于等于0.5，优选地，大于等于0.7，这样，相对较大范围波长的光能够在通过所述光调制层501后透过所述可透光介质层430并所述光谱芯片的所述图像传感层410。
值得一提的是，在该具体示例中，所述转移件500的所述硅晶体层513内的原子具有规则的晶向分布，并且，在通过如上所述的制备方法被迁移到所述光谱芯片半成品400的表面时，所述硅晶体层513的内部结构并没有发生改变。因此，根据该具体示例所揭露的制备方法所制得的所述光谱芯片，具有形成其表面的具有较优晶向排布的光调制层410。
如图29所示，在本申请实施例中，所述光谱成像芯片的制备方法，进一步包括：在所述光调制层501的非调制单元5011处形成滤光层600，以使得在成像光线通过所述非调制单元5011时，所述滤光层600能够对进入所述图像传感层410的传感单元4101进行滤色处理，以获取所述成像光线中特定波段的光强信息。这里，所述滤光层600可被实施为拜耳滤镜层。
特别地，在本申请一些特殊的示例中，所述滤光层600的厚度与所述光调制单元5010的厚度相近或者相等，以使得所述光调制层501和所述滤光层600形成相对较为平整的表面。
个别实施例中，所述光谱成像芯片并不需要形成滤光层600，此时，可选地对于非调制单元5011不进行处理，其被实施为硅晶体层513，光可以直接透过非调制单元5011。
如图29所示，在本申请实施例中，所述光谱成像芯片的制备方法，进一步包括：在所述光调制层501和/或所述滤光层的上表面上形成微透镜层700，其中，所述微透镜层700包括多个微透镜单元，用于对进入所述光调制层501和所述滤光层600的成像光线进行会聚。
值得一提的是，在本申请实施例中，所述光谱成像芯片的制备方法也可以不在所述光调制层501和/或所述滤光层的上表面上形成微透镜层700，也就是， 在本申请一些示例中，所述光谱成像芯片不包括所述微透镜层700，对此，并不为本申请所局限。
综上，基于该具体示例的所述光谱成像芯片及其制备方法被阐明，其以特定的制备方法将具有较优晶向排布的硅晶体层513迁移到光谱芯片半成品400的表面，以使得最终制得的所述光谱成像芯片的表面具有较优晶向排布的光调制层501。
图30图示了根据本申请实施例的所述光谱成像芯片的制备方法的一个变形实施的示意图。如图30所示，在该变形实施中，在将所述转移件500通过键合工艺迁移到所述光谱芯片半成品400之前，对所述转移件500的所述硅晶体层513进行预处理，以形成所述光调制层501，其中，所述光调制层501的厚度为200-1000nm，优选地为350-600nm。相应地，在后续暴露所述硅晶体层513时，所述光调制层501也同步地被暴露。
也就是，相较于图29所示意的制备方案，在该变形实施例中，先在所述转移件500上预制所述光调制层501，或者说，将形成所述光调制层501的工序往前调整。
示例性指纹活体识别装置和指纹模组
图31a为本发明实施例中提供的一种指纹活体识别装置的结构示意图，图31b为本发明实施例中提供的一种指纹活体识别装置的俯视图。如图31a和图31b所示，该指纹活体识别装置包括：显示屏幕800、光源模块300、光谱成像芯片100、信号处理电路模块以及识别模块810。图31a和图31b中并未单独示出信号处理电路模块，因为信号处理电路模块既可以集成在光谱成像芯片100内，也可以在指纹活体识别装置中作为一个独立于光谱成像芯片100的部分，例如可以是计算机等，本发明实施例中对此不作具体限定。显示屏幕800可以包括盖板玻璃、触控模组和显示模组。显示屏幕800上设置有指纹检测区域800a，可以将待检测对象200a放置于指纹检测区域800a内。待检测对象200a可以是用户本人的活体指纹，也可以是其他人的活体指纹，还可以是携带有指纹信息的贴纸、3D打印模型等，本发明实施例中对此不作具体限定。
光源模块300用于照射指纹检测区域内的待检测对象200a，光源模块300既可以是独立于显示屏幕的单独部分，例如LED光源，或者是某个波长的激光光源，如940nm的激光等。除此之外，光源模块还可以集成于显示屏幕800内，是显示屏幕800中自发光显示模组的一部分，本发明实施例中对此不作具体限 定。光源模块300的上表面可以设置有透镜，用于汇聚光源模块发出的光束。
经待检测对象200a反射后可以得到目标光束，该目标光束入射至光谱成像芯片100上。目标光束照射后，光谱成像芯片100的光调制层中每个调制单元对应的像素点均具有频谱信息，光调制层中每个非调制单元对应的像素点均具有光强信息。频谱信息是指每个调制单元对应的像素点处不同波长的光对应的光强信息。不同的调制单元对不同波长光调制作用可能相同也可能不同，可以根据需要进行设定，本发明实施例中对此不作具体限定。因此，光谱成像芯片100可以确定出频谱信息以及光强信息。然后由信号处理电路模块根据频谱信息和光强信息分别确定出待检测对象200a的光谱信息和图像信息。当信号处理电路模块集成在光谱成像芯片内时，可以认为是光谱成像芯片具有确定待检测对象200a的光谱信息和图像信息的功能。
在指纹活体识别装置中，光源模块到显示屏幕的垂直距离可以在0mm-30mm之间取值，相应地，光源模块到光谱成像芯片的垂直距离可以在0mm-30mm之间取值。光源模块到显示屏幕的垂直距离还可以在0.5mm-20mm之间取值，相应地，光源模块到光谱成像芯片的垂直距离可以在0.5mm-20mm之间取值。值得一说的，举例个别实施例中光谱成像芯片通过粘合剂被贴附于所述显示屏幕，即使光谱成像芯片与所述显示屏幕之间具有粘合剂，也可以理解为其距离为0mm，即由于组装、固定等造成的误差并不影响本发明出发点。
识别模块810与信号处理电路模块电连接，识别模块810可以获取信号处理电路模块确定出的待检测对象200a的光谱信息和图像信息，并根据待检测对象200a的光谱信息以及图像信息，识别待检测对象200a是否为目标用户的活体指纹。在识别模块810中可以事先存储有目标用户的指纹图像信息以及指纹光谱信息，首先可以将光谱成像芯片100确定的待检测对象200a的图像信息与识别模块810中事先存储的目标用户的指纹图像信息进行比对，如果二者相同或误差在预设范围内，则可以确定待检测对象是属于目标用户本人的对象。然后，再将光谱成像芯片100确定的待检测对象200a的光谱信息与识别模块810中事先存储的指纹光谱信息进行比对，如果二者相同或误差在预设范围内，则可以确定待检测对象是目标用户本人的活体指纹。
本发明实施例中提供的指纹活体识别装置，包括显示屏幕、光源模块、光谱成像芯片、信号处理电路模块以及识别模块，所述显示屏幕上设置有指纹检测区域，通过光源模块照射指纹检测区域内的待检测对象，经待检测对象反射后得到的目标光束入射至光谱成像芯片上，由光谱成像芯片确定出频谱信息以 及光强信息，并由信号处理电路模块确定出待检测对象的光谱信息以及图像信息，最后通过识别模块根据待检测对象的光谱信息以及图像信息，识别出待检测对象是否为目标用户的活体指纹。本发明实施例中提供的指纹活体识别装置，与现有的指纹识别装置相比，可以实现指纹活体识别，有利于提高器件性能的稳定性，同时减小光谱器件的体积、重量和成本，极大提高了指纹识别系统的防伪能力。而且，本发明实施例中采用的光谱成像芯片，与传统的图像传感器相比，可以在不影响所成图像的空间分辨率及成像质量的同时，获得光谱信息，便于掌握待检测对象更全面的信息。另外，由于待检测对象的光谱信息可以用于唯一标识待检测对象，因此可以通过待检测对象的光谱信息判断待检测对象是否是目标用户的活体指纹，可以提高检测的准确性，使通过指纹活体识别装置实现的指纹身份验证更加安全可靠。
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述光谱成像芯片包括：沿厚度方向顺次层叠设置的光调制层和图像传感层；所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个感应单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元；所述信号处理电路模块与所述传感单元电连接。具体地，于本发明实施例中的指纹活体识别装置中应用图3的光谱成像芯片的结构。如图3所示，该光谱成像芯片100可以包括：光调制层110、图像传感层120和信号处理电路模块130，即本发明实施例中信号处理电路模块130集成在光谱成像芯片100内。光调制层110、图像传感层120和信号处理电路模块130沿厚度方向顺次层叠设置。光调制层110沿表面分布有至少一个调制单元1101和至少一个非调制单元1102。图像传感层120沿表面分布有多个传感单元1201，且每个调制单元1101以及每个非调制单元1102沿厚度方向分别对应至少一个传感单元1201，至少一个调制单元1101以及其周围的多个非调制单元1102与对应的传感单元120构成光谱成像芯片100的一个像素点。信号处理电路模块130与图像传感层120上的传感单元1201电连接，信号处理电路模块130用于确定待检测对象的图像信息以及光谱信息。
具体与光谱成像芯片的实施例相同，在此不再重复说明。
每个调制单元1101可以是微纳结构单元，用于对目标光束进行调制，每个非调制单元1102不具有调制能力，无法对目标光束进行调制。每个非调制单元1102既可以是空白单元，也可以是不具有调制能力但可以直接使目标光束透过且与调制单元属于同种材料的实体单元。光调制层110上的每个调制单元1101 可以直接制备在CIS晶圆的感光区域表面上，而CIS晶圆上未制备调制单元的区域还是传统的RGB或黑白像素，CIS晶圆上未制备调制单元的区域对应于光调制层上的非调制单元。由于光谱成像芯片的光调制层包括调制单元以及非调制单元，则既可以获取每个调制单元对应的像素点的频谱信息，即经过每个调制单元调制后并被对应的传感单元检测到的频谱信息，还可以获取每个非调制单元对应的像素点的光强信息，即经过每个非调制单元后并被对应的传感单元检测到的光强信息。
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，所述信号处理电路模块具体用于：
基于所述目标光束照射后每个调制单元周围的多个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息；
基于每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定所述待检测对象的图像信息。
具体地，本发明实施例中信号处理电路模块在确定待检测对象的图像信息时，首先可以根据目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定出每个调制单元对应的像素点的拟合光强信息。每个调制单元周围是指与该调制单元的距离在预设范围内的位置，预设范围可以根据需要进行设置，本发明实施例中对此不作具体限定。例如，每个调制单元周围可以是与该调制单元距离最近的左方、左上方、上方、右上方、右方、右下方、下方以及左下方等8个位置，也可以是与该调制单元距离次近的位置等。每个调制单元周围的非调制单元的数量与光调制层的结构有关，光调制层一般为矩形结构，以每个调制单元周围是与该调制单元距离最近的位置为例进行说明，则顶点位置处的每个单元周围均分别有3个单元，除顶点位置外的其他边缘位置处的每个单元周围均分别有5个单元，除顶点位置以及其他边缘位置处的每个单元周围均分别有8个单元。如果光调制层的结构如图4所示，则每个调制单元周围最多有5个非调制单元，最少有3个非调制单元；如果光调制层的结构如图5所示，则每个调制单元周围最多有6个非调制单元，最少有0个非调制单元；如果光调制层的结构如图6所示，则每个调制单元周围最多有4个非调制单元，最少有0个非调制单元；如果光调制层的结构如图7所示，则每个调制单元周围均有8个非调制单元。
在上述实施例的基础上，本发明实施例中提供的指纹活体识别装置，还包括：透镜组；
所述光源模块设置于所述显示屏幕与所述光谱成像芯片之间，所述透镜组设置于所述光源模块与所述光谱成像芯片之间；或者，
所述光源模块设置于所述显示屏幕的非指纹检测区域的下方，所述透镜组与所述光谱成像芯片顺次设置于所述指纹检测区域的下方；
所述透镜组用于将所述目标光束准直入射至所述光谱成像芯片上，以使所述目标光束在所述光谱成像芯片上成像。
具体地，如图32所示，透镜组900设置于显示屏幕800与光谱成像芯片100之间，且透镜组900设置于光源模块300与光谱成像芯片100之间。
如图33所示，光源模块300设置于显示屏幕800的非指纹检测区域的下方，透镜组900与光谱成像芯片100顺次设置于显示屏幕800的指纹检测区域800a的下方。
透镜组中可以集成有滤光片，用于滤出感兴趣的特定波段范围的光，例如滤出400nm～598nm的光，并去除其他干扰光。透镜模组的垂直厚度可以为0.5mm-20mm。作为优选方案，透镜模组的垂直厚度可以为5mm-10mm。
通过透镜组可以顺利将目标光束引导入射至光谱成像芯片上，以保证目标光束在光谱成像芯片上成像。
进一步，如图34所示，本发明提供一种光学指纹识别组件，所述光学指纹识别组件包括显示屏幕800和指纹模组1000，其中所述指纹模组1000被设置于所述显示屏幕800下端，其中所述显示屏幕800可以被实施为LCD屏幕、OLED屏幕等；进一步，所述光学指纹识别组件还包括一光源模块300，所述光源模块300被设置于指纹活体识别装置，所述光源模块300与所述指纹模组1000相对应设置。在识别时，所述光源模块300发射光至待检测对象200a，经待检测对象200a反射后可以得到目标光束，该目标光束入射至指纹模组1000被接收。
在个别实施例中，所述指纹模组并不一定要与所述显示屏幕组合使用，即在该实施例应用中，终端产品不需要设置所述显示屏幕，所述指纹模组也可以实现指纹识别。
值得一提的是，个别实施例中，所述光源模块300被集成于所述显示屏幕800，例如所述显示屏幕800实施为OLED屏幕时，所述显示屏幕自身投射出的光束可以用来辅助识别所述待检测对象200a。
进一步，如图35所示，所述指纹模组1000包括光谱成像芯片100和电路板1001，所述光谱成像芯片100电连接于所述电路板1001，优选地，所述光谱成像芯片100贴附于所述电路板1001。所述电路板1001可被实施为硬板(Printed Circuit Board，PCB)、软板(Flexible Printed Circuit，FPC)、软硬结合板(F-PCB)、陶瓷基板等，其主要用于导通和/或支撑所述光谱成像芯片100。
进一步，举例所述光谱成像芯片100被贴附于电路板1001，所述光谱成像芯片100可以通过打引线与所述电路板1001导通，也可以直接背置pad点进行导通；个别实施例中，所述指纹模组进一步包括一补强板1002，所述补强板1002被贴附于所述电路板1001用以增强所述指纹模组1000的可靠性强度。个别实施例中，所述指纹模组1000进一步所述指纹模组1000还包括一封装部1003，所述封装部成型于所述电路板1001上表面，所述封装部1003可以被实施为模塑工艺一体成型于所述电路板，也可以被实施为胶状物施加于所述电路板1001。值得一提的是，所述封装部1003也可以一体包裹住用以导通的引线，所述封装部1003有利于提高所述指纹模组的可靠性，进一步所述封装部1003具备平整表面，使得所述指纹模组更好贴附于所述显示屏幕800。由于所述补强板1002存在，所述电路板可被实施为软板，从而降低指纹模组的厚度。个别实施例，进一步，所述指纹模组1000还可以包括一遮光部1004，所述遮光部1004被设置于所述封装部1003上表面，用以防止杂散光进入，影响成像。所述遮光部可以被实施为泡棉。
本发明另一实施例，如图36所示，所述指纹模组1000包括一光谱成像芯片100、电路板1001、支架1005和光源模块300，所述光谱成像芯片100和所述支架1005被固定于所述电路板1001，所述光源模块300被固定于所述支架1005。
进一步，本发明实施例中指纹模组还可包括一透镜组，用以光学对焦，所述透镜组被设置于所述光谱成像芯片100的感光路径上。所述透镜组件可以为竖直准直镜、薄膜透镜、微透镜阵列、广角镜头等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介 质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (52)
- 一种光谱成像芯片，其特征在于，包括：图像传感层，包括多个传感单元；以及位于所述图像传感器的感光路径上的光调制层，所述光调制层包括至少一调制单元和与所述至少一调制单元相间隔的至少一非调制单元，其中，每个所述调制单元沿着所述感光路径对应于至少一所述传感单元，每个所述非调制单元沿着所述感光路径对应于至少一所述传感单元；其中，所述光调制层的调制单元被配置为对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
- 根据权利要求1所述的光谱成像芯片，其中，所述至少一调制单元和所述至少一非调制单元位于同一平面。
- 根据权利要求2所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于0且小于等于25％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
- 根据权利要求3所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于5％且小于等于15％。
- 根据权利要求2所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于25％且小于等于45％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
- 根据权利要求5所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于25％且小于等于35％。
- 根据权利要求2所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于45％且小于等于60％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
- 根据权利要求7所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于50％且小于等于55％。
- 根据权利要求2所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于60％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
- 根据权利要求9所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于80％且小于等于95％。
- 根据权利要求2所述的光谱成像芯片，其中，所述光调制层的非调制单元位于所述光调制层的边缘区域或者所述光调制层的中间区域。
- 根据权利要求1所述的光谱成像芯片，进一步包括形成于所述光调制层的非调制单元处的滤光层。
- 根据权利要求2所述的光谱成像芯片，其中，所述光调制层的稀疏度大于0且小于等于0.5。
- 根据权利要求13所述的光谱成像芯片，其中，所述光调制层的稀疏度大于0且小于等于0.15。
- 根据权利要求2所述的光谱成像芯片，其中，所述光调制层的稀疏度大于等于0.5且小于1。
- 根据权利要求15所述的光谱成像芯片，其中，所述光调制层的稀疏度大于等于0.85且小于1。
- 根据权利要求1所述的光谱成像芯片，进一步包括：电连接于所述图像传感层的信号处理电路层。
- 根据权利要求12所述的光谱成像芯片，进一步包括：形成于所述滤光层和/或所述光调制层的调制单元的微透镜层。
- 根据权利要求1所述的光谱成像芯片，进一步包括：一体成型于所述图像传感层的可透光介质层，其中，所述可透光介质层的上表面为平整表面。
- 根据权利要求19所述的光谱成像芯片，其中，所述光调制层一体地结合于所述可透光介质层。
- 根据权利要求20所述的光谱成像芯片，其中，所述光调制层与所述可透光机制层的折射率之差大于等于0.5。
- 根据权利要求20所述的光谱成像芯片，其中，所述光调制层通过结合 层一体结合于所述可透光介质层，所述可透光介质层与所述结合层相键合。
- 根据权利要求22所述的光谱成像芯片，其中，所述可透光介质层与所述结合层具有相同的制成材料。
- 根据权利要求2所述的光谱成像芯片，其中，每个所述调制单元包括沿着所述感光路径分设置的多个调制子单元。
- 根据权利要求24所述的光谱成像芯片，其中，每个所述调制子单元具有孔状结构或柱状结构。
- 根据权利要求25所述的光谱成像芯片，其中，每个所述调制单元中具有孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，每个所述调制单元中具有孔状结构的不同调制子单元的结构参数不完全相同。
- 一种适于光谱成像芯片的信息处理方法，其特征在于，包括：获取来自光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息以及所述调制层中每个非调制单元对应的像素点的光强信息；以及基于每个所述调制单元对应的像素点的频谱信息，确定被摄对象的光谱信息，以及基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
- 根据权利要求27所述的适于光谱成像芯片的信息处理方法，其中，所述光调制层的调制单元被配置为对进入其所对应的所述像素点的成像光线进行调制，其所对应的所述像素点适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
- 根据权利要求28所述的适于光谱成像芯片的信息处理方法，其中，所述光调制层的调制单元位于所述光调制层的中间区域或者所述光调制层的边缘区域。
- 根据权利要求28所述的适于光谱成像芯片的信息处理方法，其中，基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息，包括：基于每个所述调制单元周围的至少一个所述非调制单元对应的像素点的光强信息，确定每个所述调制单元对应的像素点的拟合光强信息；基于每个所述调制单元对应的像素点的拟合光强信息和每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
- 根据权利要求30所述的适于光谱成像芯片的信息处理方法，其中，基 于每个所述调制单元周围的至少一个所述非调制单元对应的像素点的光强信息，确定每个所述调制单元对应的像素点的拟合光强信息，包括：基于平滑滤波方法，对任一所述调制单元周围的至少一个非调制单元对应的像素点的光强信息进行滤波处理，得到任一所述调制单元对应的像素点的拟合光强信息。
- 根据权利要求31所述的适于光谱成像芯片的信息处理方法，其中，基于每个所述调制单元对应的像素点的拟合光强信息和每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息，包括：将基于所有所述非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述被摄对象的图像信息；其中，所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到。
- 根据权利要求32所述的适于光谱成像芯片的信息处理方法，其中，所述拟合模型的训练过程，包括：基于空缺样本图像以及所述空缺样本图像对应的完整样本图像标签对所述对抗神经网络中的生成器进行训练，并基于所述对抗神经网络中的鉴别器对训练后的生成器进行竞争鉴别；以及将训练得到的生成器作为所述拟合模型。
- 一种光谱成像设备，其特征在于，包括：光谱成像芯片和信号处理电路模块，所述光谱成像芯片与所述信号处理电路模块为独立的两个部分或者所述信号处理电路模块集成在所述光谱成像芯片内；所述光谱成像芯片包括：沿厚度方向顺次层叠设置的光调制层和图像传感层；所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个传感单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元；所述信号处理电路模块与所述传感单元电连接。
- 根据权利要求34所述的光谱成像设备，其特征在于，所述光调制层中的每个调制单元均包括多个调制子单元，每个调制子单元为孔状结构或柱状结构。
- 根据权利要求35所述的光谱成像设备，其特征在于，每个调制单元中为所述孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，每个调制单元中为所述孔状结构的不同调制子单元的结构参数不完全相同。
- 根据权利要求35所述的光谱成像设备，其特征在于，每个调制单元中为所述柱状结构的不同调制子单元的结构形状以及柱高度相同，且所有调制子单元在每个调制单元中的排列具有C4对称性。
- 根据权利要求35所述的光谱成像设备，其特征在于，所述柱状结构的调制子单元为一体成型，或由多层调制柱层叠而成。
- 一种指纹活体识别装置，其特征在于，包括：显示屏幕、光源模块、光谱成像芯片、信号处理电路模块以及识别模块，所述显示屏幕上设置有指纹检测区域；所述光源模块用于照射所述指纹检测区域内的待检测对象，经所述待检测对象反射后得到的目标光束入射至所述光谱成像芯片上；所述光谱成像芯片与所述信号处理电路模块为独立的两个部分或者所述信号处理电路模块集成在所述光谱成像芯片内；所述光谱成像芯片用于确定所述目标光束照射后所述光谱成像芯片的光调制层中每个调制单元对应的像素点的频谱信息以及所述光调制层中每个非调制单元对应的像素点的光强信息；所述信号处理电路模块用于基于所述频谱信息确定所述待检测对象的光谱信息，并基于所述光强信息确定所述待检测对象的图像信息；所述识别模块用于基于所述待检测对象的光谱信息以及图像信息，识别所述待检测对象是否为目标用户的活体指纹。
- 根据权利要求39所述的指纹活体识别装置，其特征在于，所述光谱成像芯片包括：沿厚度方向顺次层叠设置的光调制层和图像传感层；所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个感应单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元；所述信号处理电路模块与所述传感单元电连接。
- 根据权利要求39所述的指纹活体识别装置，其特征在于，所述信号处理电路模块具体用于：基于所述目标光束照射后每个调制单元周围的多个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息；基于每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定所述待检测对象的图像信息。
- 根据权利要求41所述的指纹活体识别装置，其特征在于，所述信号处理电路模块具体用于：基于平滑滤波方法，对任一调制单元周围的至少一个非调制单元对应的像 素点的光强信息进行滤波处理，得到所述任一调制单元对应的像素点的拟合光强信息。
- 根据权利要求39所述的指纹活体识别装置，其特征在于，所述信号处理电路模块还具体用于：将所述目标光束照射后所有非调制单元对应的像素点所述光谱成像芯片得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待检测对象的图像信息；所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像训练得到。
- 根据权利要求40所述的指纹活体识别装置，其特征在于，所述光调制层中的每个调制单元均包括多个调制子单元，每个调制子单元为孔状结构或柱状结构。
- 根据权利要求44所述的指纹活体识别装置，其特征在于，每个调制单元中为所述孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，每个调制单元中为所述孔状结构的不同调制子单元的结构参数不完全相同。
- 根据权利要求44所述的指纹活体识别装置，其特征在于，每个调制单元中为所述柱状结构的不同调制子单元的结构形状以及柱高度相同，且所有调制子单元在每个调制单元中的排列具有C4对称性。
- 根据权利要求44所述的指纹活体识别装置，其特征在于，所述柱状结构的调制子单元为一体成型，或由多层调制柱层叠而成。
- 根据权利要求39-47中任一项所述的指纹活体识别装置，其特征在于，还包括：透镜组；所述光源模块设置于所述显示屏幕与所述光谱成像芯片之间，所述透镜组设置于所述光源模块与所述光谱成像芯片之间；或者，所述光源模块设置于所述显示屏幕的非指纹检测区域的下方，所述透镜组与所述光谱成像芯片顺次设置于所述指纹检测区域的下方；所述透镜组用于将所述目标光束准直入射至所述光谱成像芯片上，以使所述目标光束在所述光谱成像芯片上成像。
- 一种指纹模组，其特征在于，包括：光谱成像芯片以及电路板，所述光谱成像芯片电连接于所述电路板；其中，所述光谱成像芯片沿厚度方向顺次层叠设置的光调制层、图像传感 层和信号处理电路模块；其中，所述光调制层沿表面分布有至少一个调制单元和至少一个非调制单元；所述图像传感层沿表面分布有多个传感单元，且每个调制单元以及每个非调制单元沿所述厚度方向分别对应至少一个传感单元。
- 根据权利要求49所述的指纹模组，其特征在于，还包括：补强板，所述补强板被贴附于所述电路板。
- 根据权利要求49所述的指纹模组，其特征在于，还包括：封装部，所述封装部成型于所述电路板上表面。
- 根据权利要求51所述的指纹模组，其特征在于，还包括：遮光部，所述遮光部被设置于所述封装部上表面。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011295429X | 2020-11-18 | ||
| CN2020112990826 | 2020-11-18 | ||
| CN202011295429 | 2020-11-18 | ||
| CN202011299082.6A CN114519872B (zh) | 2020-11-18 | 2020-11-18 | 指纹活体识别装置以及指纹模组 |
| PCT/CN2021/124298 WO2022105506A1 (zh) | 2020-11-18 | 2021-10-18 | 光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117157762A true CN117157762A (zh) | 2023-12-01 |
Family
ID=88885282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180062803.8A Pending CN117157762A (zh) | 2020-11-18 | 2021-10-18 | 光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117157762A (zh) |
-
2021
- 2021-10-18 CN CN202180062803.8A patent/CN117157762A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI798940B (zh) | 光譜成像晶片及訊息處理方法 | |
| US20220114834A1 (en) | Face recognition monitoring system based on spectrum and multi-band fusion and recognition method using same | |
| CN111490060A (zh) | 光谱成像芯片及光谱识别设备 | |
| CN114518168A (zh) | 光谱成像芯片及其制备方法和信息处理方法 | |
| CN105357426B (zh) | 用于移动终端可见光和生物识别组合系统的光电成像方法及移动终端 | |
| CN108694379B (zh) | 用于拍摄身体部位的印记的装置 | |
| CN110381243B (zh) | 一种图像采集芯片、物体成像识别设备及物体成像识别方法 | |
| EP1654764A1 (en) | Image sensor and method for fabricating the same | |
| TW202205654A (zh) | 攝像裝置及電子機器 | |
| WO2021215201A1 (ja) | 電子機器 | |
| US10404908B2 (en) | Optical systems and methods supporting diverse optical and computational functions | |
| WO2023000864A1 (zh) | 一种人脸识别方法及系统 | |
| WO2018233598A1 (zh) | 一种晶圆级图像采集装置 | |
| WO2021082680A1 (zh) | 图像采集光学结构及鉴别真假生物特征的方法和电子设备 | |
| CN211828773U (zh) | 光谱成像芯片及光谱识别设备 | |
| JP7578795B2 (ja) | 異なる形状のユニットに基づくマイクロスペクトルチップ及びマイクロスペクトルチップにおけるマイクロナノ構造アレイの生成方法 | |
| CN210112118U (zh) | 一种图像采集芯片及物体成像识别设备 | |
| CN117157762A (zh) | 光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组 | |
| US20230353890A1 (en) | Multi-spectral light-field device | |
| WO2023193785A1 (zh) | 光谱模组和光谱芯片的工作方法 | |
| CN114519872B (zh) | 指纹活体识别装置以及指纹模组 | |
| Bian et al. | A low-cost integrated hyperspectral imaging sensor with full temporal and spatial resolution at VIS-NIR wide range | |
| CN114463790A (zh) | 光学指纹识别和防伪的方法及系统 | |
| Gruev et al. | Nano-wire dual layer polarization filter | |
| CN114913553A (zh) | 光人工神经网络指纹识别芯片、指纹识别装置及制备方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |