CN101258512A - 用于场景分析的方法和图像分析单元 - Google Patents

Abstract

本发明涉及一种用于场景分析的方法，其中场景或场景中的对象和光学传感器进行相对运动，并且所获得的场景信息被分析。根据本发明规定，场景的视觉信息由光学传感器的各个像素检测；测定所确定的强度变化的像素坐标；测定所确定的强度变化的时间相关性；利用统计方法测定像素的强度变化的局部积累；利用有关数目和/或位置的统计方法、数据区清除方法来评价局部积累；所测定的值被视为所检测的场景区域的参数；将至少一个参数与预先给定的参数相比较，该预先给定的参数被视为对于对象来说是特有的；以及在满足预先给定的比较标准时，被分配给相应场景区域的并且被评价的局部积累被视为该对象的图像。

Description

用于场景分析的方法和图像分析单元

本发明涉及一种根据权利要求1的特征部分的方法以及一种根据专利权利要求7的前序部分的图像处理分析单元。

本发明研究对借助光学传感器所记录的信息的处理。本发明的主题是基于专用的光学半导体传感器的方法，该光学半导体传感器具有到处理单元的异步数字数据传输，在该处理单元中实施用于场景分析的特殊算法。该方法提供所选择的关于场景内容的信息，该信息可以被分析并且例如被用于机器或安装等的控制。

所使用的传感器以信号的形式异步地转发或发送预处理后的场景信息，也就是说，只有当场景发生改变或者传感器的各个像素检测到场景中的某些特征时，才进行转发或发送。该原理与图像显示相比显著降低所产生的数据量，并且由于它已经提取了场景的特征而同时提高数据的信息内容。

具有传统的数字图像处理的场景检测基于对由图像传感器提供的图像信息的分析。在此，图像通常顺序地逐像点地以预先给定的时钟(同步地)从图像传感器中每秒数次读出，并且被包含在数据中的关于场景的信息被分析。该原理即使在使用相应高效的处理器系统时也由于大的数据量以及昂贵的分析方法而因如下困难而受限：

1)数字传输信道的数据速率是有限的，并且对于某些高性能图像处理任务来说不足够高。

2)高效处理器对于许多(特别是移动)应用来说能耗太高。

3)高效处理器需要主动冷却。利用这种处理器工作的系统对于许多应用来说因此不能足够紧凑地被构建。

4)高效处理器对于许多应用领域来说过于昂贵。

根据本发明，这些缺点将通过在权利要求1的特征部分中所述的特征被消除。一种根据本发明的图像分析单元通过权利要求7的特征部分的特征来表征。利用根据本发明的方法，实现对信号的快速处理以及对所观察的场景中的重要信息的相应快速的识别。所使用的统计方法在感兴趣的场景参数或对象的识别方面进行精确的分析。

下面例如借助附图进一步阐明本发明。图1示意性地示出迄今常用的方法和根据本发明的方法之间的区别。图2示出根据本发明的图像分析单元的图示。图3a和3b以及图4和5借助于所记录的图像示意性地示出根据本发明的方法。

在图1中进一步阐述了现有技术和根据本发明的方法之间的区别。迄今，由图像传感器提供的信息或数据同步地被转发，并且在数字图像预处理和场景分析之后，结果通过设备的接口被传送(图1a)。

根据本发明，光学传感器的图像信号的处理以确定的方式进行，即，以在光学传感器的像素中借助模拟电子电路对由光电传感器所记录的亮度信息进行预处理的方式进行。完全一般地，应注意，在一个像素中，多个相邻的光电传感器的信号的处理可以被组合。像素的输出信号通过传感器的接口被异步地传输到数字数据分析单元，在该数字数据分析单元中进行场景分析，并且分析的结果被提供给设备的接口(图1b)。

借助于图2，示意性地阐述根据本发明的方法。在这里，场景通过(没有显示出的)光学记录装置被映射到光学传感器1的像平面上。视觉信息由传感器的像素检测，并且在像素的电子电路中连续地被处理。通过这种处理，场景内容中的某些特征被实时地识别出。图像内容中的要检测的特征尤其可以是静止的边缘、局部的强度变化、光流等等。

特征的检测在下文中被称为“事件”。在事件每次出现时，由像素在异步数据总线上实时地生成数字输出信号。该信号包含像素的地址以及在图像域中的坐标，其中在该图像域中特征被识别出。该数据在下文中被称为“地址事件”(AE)。此外，特征的其它特性、特别是出现的时间点可以在数据中被编码。传感器1将这些信息作为相关的数据通过异步数据信道发送给处理单元CPU。总线控制器2防止传输信道上的数据冲突。在有些情况下可能有利的是，在传感器和处理单元之间使用缓冲存储器3、例如先进先出存储器(FIFO)，以便平衡由于异步传输协议而造成的不规则的数据速率(图2)。

根据本发明的方法基于专门构造的传感器、数据传输和所设置的用于数据处理的统计数学方法的组合。所设置的传感器检测光强的变化，并且因此例如对场景中的移动边缘或者亮暗分界线做出反应。该传感器在每个像素中对光电传感器的光电流的变化进行跟踪。这些变化针对每个像素在积分器中被求和。当这些变化的总和超过阈值时，像素就立刻异步地通过数据总线发送该事件给处理单元。在每一个事件之后，积分器的值被删除。光电流的正和负变化被分开处理，并生成不同极性的事件(所谓的“开”和“关”事件)。

所使用的传感器不生成传统意义上的图像。然而在下文中为了更好的理解，使用二维的事件描述。为此，在一个时间间隔中对每个像素的事件进行计数。没有事件的像素被分配白色像点。具有“开”或“关”事件的像素用灰色或黑色像点来描述。

针对以下实施方案引入概念，以便避免与数字图像处理中的概念混淆：

AE帧被定义为被存储在缓冲存储器中的AE，这些AE是在所定义的时间间隔内被生成的。

AE图像是在图像中AE帧的描述，在该图像中，事件的极性和频率被分配颜色或灰度值。

图3显示(a)场景的视频图像和(b)由对光强的变化做出反应的传感器所产生的相同场景的AE图。在数据处理单元CPU中，来自于场景的特征借助统计数学方法被研究，并且关于场景内容的更高价值的抽象信息被得到。这样的信息可以例如是某一场景中的人员的数目或者某一街道上的车辆的速度和间距。

能够容易地识别出，数据量明显少于原始图像中的数据量。与在数字图像处理的情况下相比，事件的处理需要更小的计算效率和存储器，并且因此能够十分有效地进行。

通过将图像传感器例如安装在房间中心的天花板上，房间人员计数器可以被实现。各个事件被处理单元分配给图像域中的大致具有一个人的大小的相应正方形区域。通过简单的统计方法和校正机制可以容易地估计被移动对象覆盖的面积。这与传感器的视野内的人员的数目成比例。在这里，人员数目的计算花费是低的，以致该系统能够以简单而低成本的微处理器来实现。如果在传感器的图像域内没有人员或对象移动，则不产生任何事件并且微处理器可以切换到节电模式，这显著地最小化系统的能耗。这在图像处理系统中根据现有技术是不可能的，因为在任何时候传感器图像都必须被处理并且在该传感器图像中搜寻人员。

对于门人员计数器来说，图像传感器被安装在房间的门或者另一个入口或出口上。人员依透视画法不失真，并且当人员穿越观测区域时，AE被投影到轴(例如：垂直轴)上，并且因此被添加在直方图(图4)中。如果人员在传感器之下移动穿过门，则一个或多个在移动方向上延伸的最大值1在直方图中被检测到。借助统计加权，可以使最大值和移动方向的计算相对于干扰变得稳健。为每个AE帧，测定直方图的索引，该索引包含最大事件数目，并且该索引与最后一个AE帧的索引相比较。当索引发生偏移，则指示人员移动，并且相应的移动方向的概率被提高。该概率上升直到达到阈值。在这种情况下，人员被计数，并且两个概率被重置到所定义的值。以这种方式，使系统可以区分进入和外出的人员，并且在人员进入或离开房间时使计数器递增或递减。两个概率的重置被证实为有利于当在视野区内存在高活动性时使算法更稳健。随着选择负值，人工时间常数被引入，以便避免人员的双重计数。多个并行行走的人员可以通过沿着移动方向将投影区域划分为不同的“轨迹”来识别。

许多人行横道线通过提醒驾驶员注意行人的闪光信号灯来标识。这种警告信号灯昼夜不停地闪烁并且经常被驾驶员所忽略，因为它们大多不指示实际的危险。只有当行人横越街道或接近人行横道线时才触发报警信号的智能传感器可以有助于通过更注意警告信号灯来改善交通安全。为了自动激活人行横道线旁的警告信号灯，使用图像传感器和数字处理器，该图像传感器和数字处理器能够监控人行横道线及其邻近环境并且识别穿越街道的对象(人员、骑自行车的人...)。

所提出的由图像传感器和简单的数字处理单元构成的系统能够在数据流中分割和跟踪在人行横道线附近或在人行横道线上的人员和车辆的AE(图5)。由系统识别的对象的大小和速度允许划分为类别“行人”和“车辆”。图5显示在两个时间点由传感器所记录的场景、相应的AE图像和数学统计分析的结果，其中该数学统计分析识别各个对象并测定其移动方向。在某个观测时间间隔后，通过采用基于静态概念的学习方法，系统可以识别街道、人行道和人行横道线的位置和方位。因此，于是可以提醒注意朝人行横道线移动或在人行横道线上移动的行人。例如在人行道上与车道平行移动的行人由于他们已经被识别出的移动方向而不触发警告。

具有简单传感器(例如红外移动传感器)的系统只能够识别在人行横道线附近人员的存在，然而不能检测其移动方向，并且因此只能特别提醒注意直接在人行横道线上移动的行人。

Claims (8)

1.用于场景分析的方法，其中场景信息利用光学传感器来记录，其中场景或场景中的对象与所述光学传感器进行相对运动，并且所获得的场景信息被分析，其特征在于，

-场景的视觉信息由所述光学传感器的各个像素来检测，其中各个像素在确定所记录的光的绝对强度变化或相对强度变化(对比度)超过预先给定的阈值时发出输出信号，该输出信号被视为对于在所记录的场景点和所述光学传感器之间进行的相对运动来说和/或对于场景内容变化来说是相关的，

-测定或记录所确定的强度变化的位置或像素坐标，

-测定或记录所确定的强度变化的时间相关性、特别是时间点和顺序，

-利用统计方法、特别是求平均值、直方图、求重心、文件或命令形成方法、在时间上过滤等来测定像素的强度变化的局部积累，

-利用统计方法、例如加权、有关数目和/或位置的阈值预先给定、数据区清除方法等特别是在积累密度的时间变化和/或局部分布的变化方面来评价局部积累，

-所测定的值被视为所检测的场景区域的参数、例如大小、速度、移动方向、形状等，

-将至少一个、优选地多个参数与至少一个、优选地多个预先给定的参数相比较，该预先给定的参数被视为对于对象来说是特有的，并且

-在满足预先给定的比较标准时，被分配给相应场景区域的并且被评价的局部积累被视为该对象的图像。

2、根据权利要求1所述的方法，其特征在于，在线性相关的在所记录的场景上移动的强度变化方面研究所述局部积累，并且这种被评价为相关的或超过预先给定的量的强度变化被视为相对于所述光学传感器移动的对象的轨迹。

3、根据权利要求1或2所述的方法，其特征在于，局部积累的大小的变化被解释为对象接近传感器或远离传感器。

4、根据权利要求1至3之一所述的方法，其特征在于，积累的结构中的时间和/或空间变化被视为对于场景区域的确定特征来说是特有的。

5、根据权利要求1至4之一所述的方法，其特征在于，在每个像素中，特别是由于亮度变化而出现的光电流的变化被监控并被生成或积分，在超过阈值时，该像素立刻异步地向处理单元发出信号，并且特别是在每次信号发出之后重新开始求和或积分。

6、根据权利要求1至5之一所述的方法，其特征在于，光电流的正和负变化被分开确定或检测并且被处理或分析。

7、用于记录场景信息的图像分析单元，其中场景或场景中的对象和光学传感器彼此进行相对运动，并且具有用于所获得的场景信息的处理单元，其中所述光学传感器具有检测场景的视觉信息的像素，特别是用于执行根据权利要求1至6之一所述的方法，其特征在于，各个像素在确定所记录的光的绝对强度变化或相对强度变化(对比度)超过预先给定的阈值时发出输出信号，该输出信号对于在所记录的场景点和所述光学传感器之间进行的相对运动来说和/或对于场景内容变化来说是相关的，

-设置有用于测定所确定的强度变化的位置或像素坐标以及用于测定所确定的强度变化的时间相关性、特别是时间点和顺序的单元，

-设置有计算单元或给所述单元分配有计算单元，在该计算单元中利用统计方法、特别是求平均值、直方图、求重心、文件或命令形成方法、在时间上过滤等来测定像素的强度变化的局部积累，

-设置有评价单元，使用该评价单元利用统计方法、例如加权、有关数目和/或位置的阈值预先给定、数据区清除方法等特别是在积累密度的时间变化和/或局部分布的变化方面来评价所述局部积累，其中所测定的值描述所检测的场景区域的参数、例如大小、速度、移动方向、形状等，

-设置有比较单元或给所述评价单元分配有比较单元，该比较单元将至少一个、优选地多个参数与至少一个、优选地多个预先给定的参数相比较，该预先给定的参数被视为对于对象来说是特有的，并且

-在满足预先给定的比较标准时，被分配被相应场景区域的并且被评价的局部积累被视为该对象的图像。

8、具有程序代码装置的计算机程序产品，所述程序代码装置被存储在计算机可读的数据载体上，用于当该程序产品在计算机上被执行时执行根据权利要求1至6中任意一个权利要求所述的方法。

Images