CN112268519B

CN112268519B - 基于dmd的光谱成像目标检测方法及系统

Info

Publication number: CN112268519B
Application number: CN202011031304.6A
Authority: CN
Inventors: 虞益挺; 董雪; 仝赓
Original assignee: Ningbo Research Institute of Northwestern Polytechnical University
Current assignee: Ningbo Qipu Core Microsystem Technology Co ltd
Priority date: 2020-09-27
Filing date: 2020-09-27
Publication date: 2022-04-19
Anticipated expiration: 2040-09-27
Also published as: CN112268519A

Abstract

本发明涉及一种基于DMD的光谱成像目标检测方法及系统，该方法通过控制DMD对未知场景所成的像进行m次低分辨率全局粗略扫描(m≥1)，确定出p个有用目标的像在DMD工作面上的大致区域(p≥1)，减小微镜扫描的带宽，再对有用区域执行n次高分辨精细扫描(n≥1)，以获取足够的有用信息，实现未知场景中所有局部有用目标的检测与识别。

Description

基于DMD的光谱成像目标检测方法及系统

技术领域

本发明属于光谱成像技术领域，尤其涉及基于DMD的光谱成像目标检测方法及系统。

背景技术

光谱成像技术具有“图谱合一”的优势，能同时采集目标的二维空间信息与一维光谱信息，从而获得一个完整的三维数据立方体，目前在遥感遥测、军事侦察、环境监测和生物医疗等众多领域具有广泛的应用。然而，在很多实际应用场合中，有用目标在整个视野场景中所占比例并不大，绝大多数区域都为无用的背景，这就造成无用数据在整个三维数据立方体中所占比例过高，不利于有用数据的快速压缩、传输、存储与处理，尤其对卫星上遥感器件数据压缩和传输等硬件设备以及软件算法提出了巨大考验。采用降低分辨率的方式虽然会减少数据量，但会严重影响目标的检测与识别精度，尤其不利于复杂背景下微弱目标的检测与识别。

传统光谱成像系统主要分为空间扫描式、光谱扫描式与快照式三大类。对于视野场景中局部感兴趣目标的检测与识别，这三类系统都需要采集整个场景的所有三维数据立方体，然后进行数据搜索与筛选，最后才能确定有用目标的空间和光谱信息。由于三维数据立方体信息量庞大，因此数据采集、存储与处理等过程耗时严重，极大地降低了目标的检测效率，特别是当有用目标的空间尺寸很小以及光谱特性难以分辨时，就不得不对整个场景重新进行高分辨率光谱成像，这将会导致整个检测过程耗时更长，处理的数据量更大。

随着微光机电系统(Micro-opto-electro-mechanical systems,MOEMS)技术的快速发展，其成熟的商业化产品——数字微镜器件(Digital Micromirorr Device,DMD)已经广泛应用于投影设备和光通信等多个领域，近些年在光谱成像领域也得到了很好的应用。DMD只有火柴盒般大小，其工作面由数十万至数百万个尺寸为微米级别的微镜构成，微镜的镜面反射率超过90％，每个微镜的偏转状态都可通过编程控制，它的引入有望为光谱成像系统在未知视野场景中快速得到有用目标信息提供新的解决方案。

在现有基于DMD的扫描式光谱成像方法中，DMD作为单、双向扫描器代替了传统的机械狭缝扫描机制，例如专利号为CN105527021A、CN110132412A等专利中描述的方法那样，但这类方法的原理与传统空间扫描式类似，必须对视野场景进行完整的空间扫描以获取其三维数据立方体，再通过数据处理与分析，从中筛选出部分有用目标的信息。在有用目标空间尺寸和光谱特性未知的情况下，很难选取合适的空间分辨率和光谱分辨率进行光谱成像。分辨率设置太低，存在检测不到有用目标的可能性；分辨率设置太高，造成无用数据量冗余情况更加严重，数据存储与处理等过程缓慢。因此，这类方法对局部目标的检测存在盲目性和不确定性；同时，有用目标与无用背景的分辨率始终相同，对局部有用目标的检测不具有特异性与针对性。因此，难以实现未知视野场景下局部有用目标的快速定位与精准检测。

发明内容

本发明所要解决的技术问题是提供基于DMD的光谱成像目标检测方法，该方法通过对视野场景进行全局粗略扫描以及对有用区域进行局部精细扫描，来分别获取视野场景的低分辨率三维数据立方体和有用目标的高分辨率三维数据立方体，该方法灵活，并具有针对性，可以去除冗余的数据量，实现未知场景中有用目标的快速定位和精准检测，克服现有基于DMD的扫描式光谱成像方法存在的检测盲目性、无用数据量大、扫描区域单一等缺陷，有利于提高局部目标检测与识别的效率。

本发明所采用的技术方案是，基于DMD的光谱成像目标检测方法，该方法包括下列步骤：

(1)、对未知场景进行成像，即未知场景通过成像子系统成像在DMD工作面上；

(2)、设DMD工作面上包括A_n列×B_n行微镜阵列，设置微镜扫描的列数为s₁(s₁＝8k₁，k₁为正整数)，通过计算机编程来控制每s₁列微镜按顺序偏转，总共偏转

次，这样就对未知场景所成的像执行第1次全局粗略扫描，并采集其三维数据立方体，根据三维数据立方体，利用色散光谱提取和拼接算法，构建出未知场景在不同波段下的光谱图；

(3)、观察光谱图，确定是否可以判断出有用目标的大致区域，如果可以，直接执行步骤(4)；否则，减小微镜扫描的列数s_m(s_m<s₁)，通过控制每s_m列微镜按顺序偏转，共偏转

次，完成对未知场景所成的像进行第m次全局粗略扫描，并采集其三维数据立方体，直至可以根据构建出的光谱图判断出有用目标的大致区域，再执行步骤(4)；

(4)、根据判断出的有用目标的大致区域，结合色散光谱提取和拼接算法原理，反向计算出它们的像对应在DMD工作面上所占的微镜区域，为避免遗漏有用目标边缘信息以及方便后续扫描，将每个有用目标像所占的微镜区域扩大成矩形区域，并确定这些区域所在的列数和行数；

(5)、设置每个有用区域的微镜扫描的列数为t_1p(t_1p＝k₂，k₂为正整数)，对DMD工作面上的有用区域分别进行第1次精细扫描，并分别采集各自的三维数据立方体，根据三维数据立方体，利用色散光谱提取和拼接算法，构建出有用目标在不同波段下的光谱图，分析三维数据立方体和光谱图，确定它们是否可以检测与识别出全部有用目标；

(6)、如果全部有用目标都可以被检测与识别出来，则扫描过程结束，完成全部有用目标的光谱成像；否则，再减小微镜扫描的列数为t_np(t_np<t_1p)，重新对未检测与识别出来的有用目标像所占的矩形微镜区域进行第n次精细扫描，并分别采集各自的三维数据立方体以及构建光谱图，直至有用目标全部可以被检测与识别出来。

本发明的有益效果是：1、可根据有用目标的位置、大小以及重要程度具有针对性地设置扫描区域与分辨率，克服目前基于机械狭缝或DMD的扫描式光谱成像方法中存在的扫描区域单一、分辨率设置适应性差和检测具有盲目性等问题；2、大幅度减少冗余数据量，便于数据的快速采集、压缩、传输和存储等。本发明首先执行粗略扫描以实现有用目标的定位，虽然粗略扫描需要采集未知场景的完整的三维数据立方体，但其分辨率低，因此数据总量不大；对有用目标实行的精细扫描虽然分辨率高，但是忽略了大部分无用的背景区域，采集的数据都是有用目标的空间与光谱信息；3、有利于实现局部有用目标在未知场景中的快速检测与识别。本发明可从未知场景的三维数据立方体中快速确定有用目标所在的扫描区域，再对这些有用区域进行精细地扫描与针对性地研究，不需要反复对未知场景进行全局扫描，目的性更强，处理与分析的数据量更少，有利于提高检测与识别的效率。

基于DMD的光谱成像目标检测系统，包括未知场景、成像子系统、DMD、设置在DMD上的DMD工作面、分光子系统以及探测器，未知场景与DMD工作面分别位于成像子系统的物面处与像面处，探测器位于分光子系统的像面处，成像子系统能够将未知场景放大或缩小的像会聚在DMD工作面上，DMD工作面上包括若干个处于工作状态的微镜，处于工作状态的微镜能够对未知场景的像进行扫描，并将扫描得到的像反射到分光子系统中进行准直、色散和聚焦来得到色散光谱，获得的色散光谱会聚在探测器上并被记录下来。

作为优先，DMD工作面为矩形，DMD工作面上包括A_n列×B_n行微镜阵列，每个微镜都具有偏转角度相同、方向相反的正和负两种偏转状态，DMD工作面上的微镜的工作状态均由计算机编程控制，微镜可任意选择其中一种状态作为工作状态，当微镜处于工作状态时，能够通过扫描将选中的场景所成的像反射进入到分光子系统中，而处于非工作状态的微镜将选中的场景所成的像反射到分光子系统外。

通过上述基于DMD的光谱成像目标检测系统，能够灵活，并具有针对性地实现一种基于DMD的光谱成像目标检测方法，这样就可以去除冗余的数据量，实现未知场景中有用目标的快速定位和精准检测，克服现有基于DMD的扫描式光谱成像方法存在的检测盲目性、无用数据量大、扫描区域单一等缺陷，有利于提高局部目标检测与识别的效率。

附图说明

图1为本发明基于DMD的光谱成像目标检测系统的组成示意图；

图2为DMD工作面上微镜工作区域设置示意图；

图3为本发明基于DMD的光谱成像目标检测方法流程图；

图4为本发明中对未知场景所成的像执行第1次全局粗略扫描示意图；

图5为本发明中第1次精细扫描前微镜扫描的列数设置示意图；

图6为本发明中对p个有用目标所成的像执行第1次精细扫描示意图；

图7为本发明中实施例1第1次精细扫描后全部有用目标检测与识别成功的示意图；

图8为本发明中实施例2第1次精细扫描后部分有用目标检测与识别成功的示意图；

图9为本发明中实施例2第2次精细扫描后全部有用目标检测与识别成功的示意图；

如图所示：1、未知场景；2、成像子系统；3、DMD；4、DMD工作面；5、分光子系统；6、探测器。

具体实施方式

以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。

本领域技术人员应理解的是，在本发明的公开中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

本发明涉及基于DMD的光谱成像目标检测方法，通过控制DMD3对未知场景1所成的像进行m次低分辨率全局粗略扫描(m≥1)，确定出p个有用目标的像在DMD工作面4上的大致区域(p≥1)，减小微镜扫描的带宽，再对有用区域执行n次高分辨精细扫描(n≥1)，以获取足够的有用信息，实现所有有用目标的检测与识别。参阅图3所示流程图，该方法包括下列步骤：

(1)、对未知场景1进行成像，即未知场景1通过成像子系统2成像在DMD工作面4上；

(2)、参阅图4，设DMD工作面4上包括A_n列×B_n行微镜阵列，设微镜扫描的列数为s₁(s₁＝8k₁，k₁为正整数)，通过计算机编程来控制每s₁列微镜按顺序进行偏转，那么总共偏转

次后，就可实现对未知场景1所成的像执行第1次全局粗略扫描，同时采集其三维数据立方体，根据三维数据立方体，利用色散光谱提取和拼接算法，构建出未知场景在不同波段下的光谱图；

(3)、观察光谱图，确定是否可以判断出P个有用目标的大致区域，如果可以，直接执行步骤(4)；否则，减小微镜扫描的列数，即设微镜扫描列数为s_m(s_m<s₁)，通过控制每s_m列微镜按顺序进行偏转，总共偏转

次，完成对未知场景所成的像进行第m次全局粗略扫描，并采集其三维数据立方体，直至可以根据构建出的光谱图判断出P个有用目标的大致区域，再执行步骤(4)；

(4)、根据判断出的有用目标的大致区域，结合色散光谱提取和拼接算法原理，反向计算出它们的像对应在DMD工作面4上所占的微镜区域，为避免遗漏有用目标边缘信息以及方便后续扫描，将每个有用目标像所占的微镜区域扩大成矩形区域，这些区域所在第A_xp列至A_yp列，第B_xp行至第B_yp行；

(5)、设置每个有用区域的微镜扫描的列数为t_1p(t_1p＝k₂，k₂为正整数)，参阅图5，t_1p的大小可根据有用目标轮廓的大小进行合理选择，对于较小的目标轮廓，可以选取较小的t_1p，反之亦然。参阅图6，对DMD工作面4上的P个有用区域分别进行第1次精细扫描，并分别采集各自的三维数据立方体，根据三维数据立方体，利用色散光谱提取和拼接算法，构建出p个有用目标在不同波段下的光谱图，分析三维数据立方体和光谱图，确定它们是否可以检测与识别出全部有用目标；

(6)、如果全部有用目标都可以被检测与识别出来，则扫描过程结束，完成全部有用目标的光谱成像；否则，再减小微镜扫描的列数为t_np(t_np<t_1p)，重新对未检测与识别出来的有用目标像所占的矩形微镜区域进行第n次精细扫描，并分别采集各自的三维数据立方体以及构建光谱图，直至P个有用目标全部可以被检测与识别出来。

基于DMD的光谱成像目标检测系统，参阅图1，包括未知场景1、成像子系统2、DMD3、设置在DMD3上的DMD工作面4、分光子系统5以及探测器6，未知场景1与DMD工作面4分别位于成像子系统2的物面处与像面处，探测器6位于分光子系统5的像面处，成像子系统2能够将未知场景1放大或缩小的像会聚在DMD工作面4上，DMD工作面4上处于工作状态的微镜能够对未知场景1的像进行扫描，并将扫描得到的像反射到分光子系统5中进行准直、色散和聚焦来得到色散光谱，获得的色散光谱会聚在探测器6上并被记录下来。

DMD工作面4为矩形，DMD工作面4上包括A_n列×B_n行微镜阵列，市场上常见的规格参数有1024x768、1920x1080等。每个微镜都具有偏转角度相同、方向相反的正和负两种偏转状态，DMD工作面上的微镜的工作状态均由计算机编程控制，微镜可任意选择其中一种状态作为工作状态，当微镜处于工作状态时，能够通过扫描将选中的场景所成的像反射进入到分光子系统5中，而处于处于非工作状态的微镜将选中的场景所成的像反射到分光子系统5外。参阅图2，通过编程可控制DMD工作面上第A₁列至A₂列、B₁至B₂行的微镜处于工作状态(A_n≥A₂>A₁≥1，B_n≥B₂>B₁≥1)，微镜扫描的带宽与微镜扫描的列数A₂-A₁+1的值成正比，微镜扫描的带宽越大，光谱成像的分辨率越低。

实施例1:

本实施例提出的一种采用上述基于DMD的光谱成像目标检测系统及实现方法，DMD工作面上的微镜阵列为1024x768，此时A_n＝1024，B_n＝768。通过控制DMD3对未知场景1所成的像进行1次低分辨率全局粗略扫描，确定出3个有用目标的像在DMD工作面4上的大致区域，减小微镜扫描的带宽，再对有用区域执行1次高分辨精细扫描，可以获取足够的有用信息，实现所有有用目标的检测与识别，此时m＝1，p＝3，n＝1。参阅图3所示流程图，该方法具体包括下列步骤：

步骤1：未知场景1通过成像子系统2成像在DMD工作面4上；

步骤2：参阅图4，设置微镜扫描的列数为16，此时s₁＝16，通过控制每16列微镜按顺序偏转64次，对未知场景1所成的像执行第1次全局粗略扫描，并采集其三维数据立方体。根据三维数据立方体，利用色散光谱提取和拼接算法，构建出未知场景1在不同波段下的光谱图。观察这些图像发现，其中中心波长为640nm、带宽为20nm的光谱图显示了3个有用目标的大致区域；

步骤3：根据3个有用目标在未知场景光谱图上的大致区域，结合色散光谱提取和拼接算法原理，反向计算出它们的像在DMD工作面4上所占的微镜区域，为避免遗漏有用目标边缘信息以及方便后续扫描，将每个有用目标像所占的微镜区域扩大成矩形区域，确定了第1个目标区域在第10列至190列，第11行至第241行，此时A_x1＝10，A_y1＝190，B_x1＝11，B_y1＝241；第2个目标区域在第11列至590列，第400行至第550行，此时A_x2＝11，A_y2＝590，B_x2＝400，B_y2＝550；第3个目标区域在第600列至1015列，第300行至第548行，此时A_x3＝600，A_y3＝1015，B_x3＝300，B_y3＝548；

步骤4：参阅图5，设置每个有用区域对应的微镜扫描的列数分别为t₁₁＝1、t₁₂＝4和t₁₃＝4。参阅图6，对DMD工作面4上3个有用区域分别进行第1次精细扫描，并分别采集各自的三维数据立方体。根据三维数据立方体，利用色散光谱提取和拼接算法，构建出3个有用目标在不同波段下的光谱图。分析三维数据立方体和光谱图，确定了它们可以检测与识别出全部有用目标，参阅图7；

步骤5：全部有用目标都可以被检测与识别出来，扫描过程结束，完成全部有用目标的光谱成像。

实施例2

本实施例提出的基于DMD的光谱成像目标检测系统组成如图1所示，主要包括未知场景1、成像子系统2、DMD3、DMD工作面4、分光子系统5和探测器6。未知场景1与DMD工作面4分别位于成像子系统2的物面与像面处，探测器6位于分光子系统5的像面处。成像子系统2将未知场景1放大的像会聚在DMD工作面4上，DMD工作面4上处于工作状态的微镜将选中的场景所成的像反射到分光子系统5中进行准直、色散和聚焦，得到的色散光谱会聚在探测器6上并被记录下来，DMD工作面4上的微镜的工作状态由计算机控制。

所述的DMD工作面4为矩形，其微镜阵列为1920×1080，此时A_n＝1920，B_n＝1080。每个微镜都具有偏转角度相同、方向相反的正、负两种偏转状态，选择正偏转状态作为“ON”工作状态，负责将选中的场景所成的像反射进入到分光子系统5中，处于另一种状态的微镜将选中的场景所成的像反射到分光子系统5外。参阅图2，通过编程可控制DMD工作面4上第A₁列至A₂列、B₁至B₂行的微镜处于工作状态(1920≥A₂>A₁≥1，1080≥B₂>B₁≥1)，微镜扫描的带宽与微镜扫描的列数A₂-A₁+1的值成正比，微镜扫描的带宽越大，光谱成像的分辨率越低。

本实施例提出的一种采用上述基于DMD的光谱成像目标检测系统及实现方法，通过控制DMD3对未知场景1所成的像进行2次低分辨率全局粗略扫描，确定出2个有用目标的像在DMD工作面4上的大致区域，减小微镜扫描的带宽，再对有用区域执行2次高分辨精细扫描，可以获取足够的有用信息，实现所有有用目标的检测与识别，此时m＝2，p＝2，n＝2。参阅图3所示流程图，该方法具体包括下列步骤：

步骤1：未知场景1通过成像子系统2成像在DMD工作面4上；

步骤2：参阅图4，设置微镜扫描的列数为64，此时s₁＝64，通过控制每64列微镜按顺序偏转30次，对未知场景1所成的像执行第1次全局粗略扫描，并采集其三维数据立方体。根据三维数据立方体，利用色散光谱提取和拼接算法，构建出未知场景1在不同波段下的光谱图。观察这些图像，无法判断出2个有用目标的大致区域；

步骤3：减小微镜扫描的列数s₂(s₂<s₁)，此时s₂＝32，通过控制每32列微镜按顺序偏转60次，重新对未知场景1所成的像进行第2次全局粗略扫描，并采集其三维数据立方体，利用色散光谱提取和拼接算法，构建出未知场景1在不同波段下的光谱图。观察这些图像，其中中心波长为500nm、带宽为20nm的光谱图显示了第1个有用目标的大致区域，中心波长为700nm、带宽为20nm的光谱图显示了第2个有用目标的大致区域；

步骤4：根据2个有用目标在未知场景光谱图上的大致区域，结合色散光谱提取和拼接算法原理，反向计算出它们的像在DMD工作面4上所占的微镜区域，为避免遗漏有用目标边缘信息以及方便后续扫描，将每个有用目标像所占的微镜区域扩大成矩形区域，确定了第1个目标区域在第50列至568列，第560行至第1070行，此时A_x1＝50，A_y1＝568，B_x1＝560，B_y1＝1070；第2个目标区域在第900列至1210列，第40行至第290行，此时A_x2＝900，A_y2＝1210，B_x2＝40，B_y2＝290；

步骤5：参阅图5，设置每个有用区域对应的微镜扫描的列数分别为t₁₁＝8和t₁₂＝2。参阅图6，对DMD工作面4上2个有用区域分别进行第1次精细扫描，并分别采集各自的三维数据立方体。根据三维数据立方体，利用色散光谱提取和拼接算法，构建出2个有用目标在不同波段下的光谱图。分析三维数据立方体和光谱图，确定了第2个有用目标可以被检测与识别出来，但第1个有用目标边缘仍然模糊，无法被检测与识别出来，参阅图8；

步骤6：减小微镜扫描的列数t₂₁(t₂₁<t₁₁)，此时t₂₁＝4，重新对第1个有用目标像所占的矩形微镜区域进行第2次精细扫描，并采集其三维数据立方体以及构建光谱图。分析三维数据立方体和光谱图，确定第1个有用目标可以被检测与识别出来，参阅图9；

步骤7：全部有用目标都可以被检测与识别出来，扫描过程结束，完成全部有用目标的光谱成像。

Claims

1.一种基于DMD的光谱成像目标检测方法，其特征在于：该方法包括下列步骤：

(2)、设DMD工作面上包括A_n列×B_n行微镜阵列，设置微镜扫描的列数为s₁，其中，s₁＝8k₁，k₁为正整数，通过计算机编程来控制每s₁列微镜按顺序偏转，总共偏转

(3)、观察光谱图，确定是否可以判断出有用目标的大致区域，如果可以，直接执行步骤(4)；否则，减小微镜扫描的列数为s_m，其中，s_m<s₁，通过控制每s_m列微镜按顺序偏转，共偏转

(5)、设置每个有用区域的微镜扫描的列数为t_1p，其中，t_1p＝k₂，k₂为正整数，对DMD工作面上的有用区域分别进行第1次精细扫描，并分别采集各自的三维数据立方体，根据三维数据立方体，利用色散光谱提取和拼接算法，构建出有用目标在不同波段下的光谱图，分析三维数据立方体和光谱图，确定它们是否可以检测与识别出全部有用目标；

(6)、如果全部有用目标都可以被检测与识别出来，则扫描过程结束，完成全部有用目标的光谱成像；否则，再减小微镜扫描的列数为t_np，其中，t_np<t_1p，重新对未检测与识别出来的有用目标像所占的矩形微镜区域进行第n次精细扫描，并分别采集各自的三维数据立方体以及构建光谱图，直至有用目标全部可以被检测与识别出来。

2.一种用于实现权利要求1所述的一种基于DMD的光谱成像目标检测方法的系统，其特征在于：包括未知场景、成像子系统、DMD、设置在DMD上的DMD工作面、分光子系统以及探测器，未知场景与DMD工作面分别位于成像子系统的物面处与像面处，探测器位于分光子系统的像面处，成像子系统能够将未知场景放大或缩小的像会聚在DMD工作面上，DMD工作面上包括若干个处于工作状态的微镜，处于工作状态的微镜能够对未知场景的像进行扫描，并将扫描得到的像反射到分光子系统中进行准直、色散和聚焦来得到色散光谱，获得的色散光谱会聚在探测器上并被记录下来。

3.根据权利要求2所述的一种用于实现权利要求1所述的一种基于DMD的光谱成像目标检测方法的系统，其特征在于：DMD工作面为矩形，DMD工作面上包括A_n列×B_n行微镜阵列，每个微镜都具有偏转角度相同、方向相反的正和负两种偏转状态，DMD工作面上的微镜的工作状态均由计算机编程控制，微镜可任意选择其中一种状态作为工作状态，当微镜处于工作状态时，能够通过扫描将选中的场景所成的像反射进入到分光子系统中，而处于非工作状态的微镜将选中的场景所成的像反射到分光子系统外。