具体实施方式
在本文中所描述的系统和方法的某些实施例提供用于涂层预测、施涂和检查的实时数字增强成像。在本文中所描述的系统和方法的其他实施例提供用于执法应用、安全应用等的实时数字增强成像。可以实时地应用如在本文中所描述的本发明的实施例,或者将其保存以供稍后审查和处理。
在本文中所描述的实时数字成像和处理(RTDIP)设备和方法的各种实施例提供图像处理技术的各种组合,以实现在本文中所描述的各种施涂功能、检查功能、预测功能以及其他安全功能和执法功能。各种类型的图像处理技术可以包括:颜色映射、对比度调处(增强、拉伸、线性的、非线性的)、直方图均衡化、亮度控制、使用空间卷积核的掩模、滤波(空间的、光谱的、时间的、边缘增强、锐化、平滑)、压缩、阈值化、卷积、关联、分割、多光谱带比值法、强度-色调-饱和度(IHS)变换、空间卷积滤波(例如,定向滤波)、图像相减、图像放大、分层、聚焦、散焦、镜像、以及空间对准。其他图像处理技术也是可能的。根据各种实施例,可以在软件、硬件或其组合中实施这种图像处理技术、并且可以针对特定操作模式而对所述图像处理技术进行调整、校准和预先设置。
施涂模式
图1展示了在将涂层施涂到基材的表面上的同时监测基材110的表面上的涂层100的厚度的方法的示例性实施例。如在图1中所示出的,用户120正使用喷枪130来将涂层100施涂到基材110的表面上。在其他实施例中,施涂涂层的其他方法是可能的(例如,使用浸没在包含涂层的容器中的漆刷)。在一些应用中,被施涂到基材上的涂层的结果厚度对于提供适当保护而言可能是至关重要的(或者至少是重要的)。
参照图1,喷枪130被可操作地连接至包含自检涂层(SIC)的涂料容器140。根据实施例,自检涂层包括提供厚度的视觉指示(例如,肉眼可见或不可见的)的涂层(例如,液体涂层)。作为示例,可以在施涂涂层时或者在施涂涂层之后提供对涂层性质的视觉指示。根据实施例,例如,涂层的颜色可能随着所施涂的厚度的变化而变化。以此方式,在用户施涂涂层时,用户能够执行某种水平的自检。也就是说,在将涂层施涂到基材上时,用户可以以可视方式观察涂层的颜色,以尝试判定厚度是否正确。
人类用户用肉眼来观察涂层的颜色(或者基材上的涂层的颜色的变化)的能力受限于随着涂层的厚度的改变而发生的实际颜色变化并且受限于用户的视觉敏锐度和辨别力。然而,在图1的实施例中,用户穿戴着实时数字成像和处理(RTDIP)设备150(例如,基于谷歌眼镜TM),以在用户实时地施涂涂层时帮助辨别所施涂的涂层的颜色(以及因此厚度)。
图2展示了实时数字成像和处理(RTDIP)设备150的示例性实施例的系统框图。根据实施例,RTDIP设备150包括彩色摄像机151、显示屏幕(例如,平视显示器(HUD))152、处理部件153、用户界面154、无线通信部件155、计算机存储器156、以及被存储在计算机存储器156中并且被配置成用于在处理部件153上执行的软件编码指令。软件编码指令被配置(即,被编程)成用于当在与彩色摄像机151、显示屏幕152、用户界面154、无线通信部件155以及计算机存储器156(“计算机存储器”可以指物理设备或者如网站或云存储等其他存储机制)协作运行的处理部件153上执行时提供在本文中所描述的各种功能(例如,增强的颜色辨别力和量化涂层厚度)。根据实施例,软件编码指令可以至少采用存储在计算机存储器156中的操作系统157和实时数字增强成像(RTDEI)软件应用158的形式。
由RTDEI软件应用158提供的功能可以被配置成是相当全面的。例如,RTDEI软件应用158可以执行各种图像增强操作,比如亮度调整和对比度调整、显示调整、颜色映射、通道叠加、噪声抑制、分割等。在一些实施例中,RTDEI软件应用158自动地执行图像增强操作,而无需用户输入。在一些实施例中,提供用户界面来接收用于图像增强的用户输入,并且RTDEI软件应用158响应于用户输入而执行图像增强操作。
根据替代性实施例,处理部件153可以是数字信号处理器(DSP)或者其他某种面向软件的逻辑电路。根据实施例,RTDIP设备能够记录数字成像数据(视频或者静止图像)以供随后回放(例如,记录所获取的成像数据和增强的成像数据以供比较)。用户界面154可以包括例如触屏显示器、键盘、鼠标、声音激活能力、以及其他一些技术。
根据某些实施例,软件编码指令被配置(即,被编程)成用于确定光谱响应与涂层厚度之间的相互关系。例如,从被施涂到基材表面上的自检材料中获得原始图像。RTDEI软件应用158执行一个或多个图像增强操作,以生成增强的图像。从增强的图像中确定关于光源的光谱响应。执行涂层厚度测量,并且将所测量的涂层厚度连同光谱响应存储在计算机存储器156中的数据结构中。以上所述的过程继续收集光谱响应和涂层厚度的许多数据点。软件编码指令被配置(即,被编程)成用于例如使用线性回归方法基于所收集的数据点来确定指示了光谱响应与涂层厚度之间的相互关系的公式。例如,在给定特定基材表面和特定光源的情况下,所述公式表明涂层厚度有关于光谱响应。根据实施例,之后,RTDEI软件应用158可以被配置成用于使用所述公式基于从增强的图像中获得的光谱响应来计算涂层厚度。
根据一些实施例,可以将所收集的光谱响应和涂层厚度的数据点存储到计算机存储器156中的数据库中,所述数据库将光谱响应映射到涂层厚度上。之后,RTDEI软件应用158执行数据库查询,以从对应于自检涂层材料的获得自增强的图像中的光谱响应的数据库中读出涂层厚度。
图3是图1的在将涂层施涂到表面或基材上的同时使用图2的实时数字成像和处理设备150来监测涂层的厚度的方法300的示例性实施例的流程图。在所述方法的步骤310中,将自检涂层(SIC)施涂到表面上。作为SIC的示例,可以如下使用可以从Sherwin Williams公司获得的Fast Clad环氧底漆。Fast Clad环氧底漆是高固体环氧氨涂料。将颜料从底漆中移除,并且将具有低不透明度性质的黄色颜料添加到底漆中。最初地被施涂到基材上时,具有低不透明度黄色颜料的底漆是相对透明的,但是随着涂层变得更薄,具有所述颜料的底漆变得更加不透明。
应当理解的是,可以根据即将进行的施涂而使用不同颜色的颜料。例如,可以在基材是黑色的情况下使用黄色颜料。这提供了良好的颜色对比度,而如果底层基材是黑色的,那么在涂层中的黑色颜料的效果并不好。另外地,可以采用包括使用喷枪或漆刷在内的许多不同的方式中的任何方式来将涂层施涂到表面上。
在步骤320中,生成被实时地施涂到基材上的SIC的一个或多个数字图像,以获取数字成像数据。例如,穿戴RTDIP设备150的用户可以使用彩色摄像机151来获取实时颜色数字视频成像数据。根据实施例,所获取的数字图像数据对应于被应用到表面上的SIC的一个或多个实时数字图像。数字图像可以是二维或者三维的,并且可以包括一个或多个颜色通道。例如,数字图像包括二维像素网格,其中,每一个像素与一组坐标和强度值(例如,在0与最大强度值之间的整数)相关联。更高的强度值指示更亮的像素,并且更低的像素值指示更暗的像素。
在步骤330中,实时地对数字成像数据进行数字处理,以增强在数字成像数据中颜色之间的差异。例如,在处理部件153上运行的RTDEI软件应用158可以通过执行各种类型的图像处理和滤波技术来对实时颜色数字视频成像数据进行数字处理,以生成经处理的实时颜色数字视频成像数据。可以使颜色差异对于人类用户而言是明显的。例如,可以采用不同的方式来解释颜色差异,比如,通过在其中色调被表示为柱面形颜色空间内的角度的颜色空间。在这种颜色空间中,对于人类用户而言将是明显的颜色差异可能是柱面坐标系内的45度的差异。换言之,由柱面颜色坐标颜色空间中的某个度数(例如,在某个实施例中的45度或更高)来分离的颜色可以提供令人满意的颜色差异。然而,应当理解的是,还可以使用小于45度来实现明显的颜色对比度。
根据一些实施例,RTDEI软件应用158执行与所获取的数字图像数据相关联的一个或多个数字图像的亮度调整和对比度调整。具体地,RTDEI软件应用158选择数字图像中的一些像素并且根据预定算法来改变所选择的像素的强度值。作为示例,RTDEI软件应用158将数字图像的许多像素的强度值映射到显示值(例如,通过线性函数)上。根据某些实施例,RTDEI软件应用158执行与所获取的数字图像数据相关联的一个或多个数字图像的显示调整。例如,使得数字图像的具有非常高强度和/或非常低强度的像素是可见的,RTDEI软件应用158执行非线性显示调整(例如,伽马校正、归一化、对比度拉伸、直方图均衡化等),从而使得低强度值变得更大,而无需填满高强度值。
根据实施例,RTDEI软件应用158执行与所获取的数字图像数据相关联的一个或多个数字图像的颜色映射。具体地,RTDEI软件应用158将数字图像的许多像素的强度值映射到颜色上(例如,使用一个或多个查找表)。
例如,可以将强度值映射到包括对应于基本颜色(红色、绿色和蓝色)的三种分量的颜色上。颜色的不同分量值指示不同的基本颜色明暗度。为了增强颜色差异,RTDEI软件应用158可以选择数字图像中的许多像素并且改变被映射到所选择的像素上的颜色值,从而使得对所选择的像素基本颜色明暗度进行调整。在一些实施例中,RTDEI软件应用158自动地执行颜色增强操作,而无需用户输入。在一些实施例中,提供用户界面来接收用于颜色增强的用户输入,并且RTDEI软件应用158响应于用户输入而执行颜色增强操作。根据实施例,RTDEI软件应用158执行与所获取的数字图像数据相关联的一个或多个数字图像的通道叠加。具体地,RTDEI软件应用158创建数字图像的不同颜色通道的叠加、调整对每一个通道的显示、并且将设置从一个叠加转移到另一个叠加以允许进行视觉比较。
根据实施例,RTDEI软件应用158执行与所获取的数字图像数据相关联的一个或多个数字图像的噪声抑制。例如,RTDEI软件应用158可以应用一个或多个卷积滤波器(例如,均值滤波器、高斯模糊滤波器、边缘增强滤波器等)来减少数字图像中的噪声。在另一个示例中,RTDEI软件应用158可以应用一个或多个排序滤波器来进行噪声抑制,例如,使用具体选择的像素的强度值来代替许多像素的强度值。根据实施例,RTDEI软件应用158执行对与所获取的数字图像数据相关联的一个或多个数字图像的分割,以将一个或多个物体从背景中分离并且将物体彼此分离。例如,选择阈值范围,并且物体的所有像素具有阈值范围内的强度值。
在步骤340中,显示经处理的数字成像数据,以便以可视方式实时地示出颜色之间的增强差异。例如,处理部件153可以对经处理的实时颜色数字视频成像数据进行格式化并将其发送至显示屏幕152以供显示。根据实施例,显示屏幕152是被定为在用户的眼睛前面的HUD。
图4示出了在进行图像增强之前基材上的涂层的第一图像410的示例性实施例以及在进行图像增强之后基材上的涂层的第二图像420的示例性实施例。第一图像410表示由RTDIP设备150的彩色摄像机151所获取的实时颜色数字视频成像数据的单个图像。在图像410中的颜色看起来相对均匀,但是在图像410的中间部分附近,所述颜色稍微较暗。当观看这种未经处理的图像时,用户将难以(如果有可能)辨别基材上的任何显著的涂层厚度变化。
第二图像420表示在已经由在处理部件153上运行的RTDEI软件应用158处理图像410之后,由彩色摄像机151所获取的实时颜色数字视频成像数据的单个图像。如在第二图像420中可以看到的,在第二图像中出现了更大的颜色变化,向用户提供有关基材上的涂层的厚度如何变化的好得多的指示。用户可以在显示屏幕152上观看这种经处理的信息并且使用此信息来试图平滑或者将更加均匀的涂层施涂到基材上。在这一点上应当注意的是,尽管在本文中的附图中所示出的图像被表示为灰度颜色,但是现实应用可以利用如例如由红色(R)、绿色(G)和蓝色(B)像素的组合来数字地表示的可见颜色的全光谱。
图5展示了可以用于执行图1和图3的方法的实时数字成像和处理(RTDIP)设备的若干示例性实施例。一个实施例是在本文中已经讨论的可穿戴RTDIP设备150。另一个实施例是采用膝上计算机的形式的RTDIP设备510。进一步实施例是采用移动电话(例如,“智能电话”)的形式的RTDIP设备520。又一个实施例是采用平板计算机的形式的RTDIP设备530。又另一个实施例是具有把手541、光源542和偏光摄像机镜头543的RTDIP设备540。光源542可以提供导致获取更加一致的图像的照明。此外,偏光镜头543可以用于减少或消除所获取的图像中的不想要的反射或眩光。根据各种其他实施例,除了偏光镜头以外,可以将其他设备用于减少或者消除所获取的图像中的不想要的反射或眩光。这些各种设备中的每一个设备可以具有在图2中所展示的部件,但是采用不同的形状因子和配置来提供每一个设备。某些形状因子和配置对于某些应用而言可能是更加合适的。根据其他实施例,其他形状因子和配置也是有可能的。
图6展示了在进行图像增强和量化涂层厚度之后所获取的基材上的涂层的图像610的示例性实施例。使用采用平板电脑的形式的RTDIP设备530来获取和显示所述图像。如由不同的颜色和由在所显示的图像610的底部处所显示的数值(例如,5、10、15、20、25)所指示的,涂层的厚度从左到右(从更薄到更厚)变化。应当再次注意的是,即使在图6中所示出的图像被表示为灰度颜色,但是现实应用可以利用如例如由红色(R)、绿色(G)和蓝色(B)像素的组合来数字地表示的可见颜色的全光谱。
根据实施例,对RTDEI软件应用158进行校准,从而使得可以将所产生的颜色转换成表示所施涂的涂层(定量计量)的估计厚度(例如,以毫米计量)的数值(例如,5、10、15、20、25)。每一种不同类型的自检涂层(SIC)可以具有其自身的校准设置,以准确地将增强的图像数据的颜色转换成数字厚度值。
图7展示了在涂料容器140上可以被扫描和被用于选择实时数据成像和处理(RTDIP)设备的预置的机器可读的代码710的示例性实施例。根据实施例,代码710可以是快速响应(QR)代码(或者其他某种类型的条形码),并且RTDIP设备150可以被配置成用于使用摄像机151来获取代码710的图像并且使用在处理部件153上运行的RTDEI软件应用158来对代码710的图像进行解码。可替代地,RTDIP设备150可以包括用于阅读代码的单独的光扫描仪(例如,激光扫描仪)。
代码710识别容器140中的SIC的类型。一旦RTDIP设备150已经对代码710进行解码以识别涂层,RTDIP设备150就可以选择与所识别的涂层相关联的图像处理操作、参数和校准因子(例如,选择涂层预置)。根据实施例,已经优化了与所识别的涂层相关联的涂层预置,从而使得显示增强的图像数据时,使用涂层预置来进行的对所获取的实时颜色数字视频成像数据的处理向用户提供良好的颜色辨别力和/或涂层厚度的量化。对涂层预置的优化或校准可以考虑基材类型、涂层类型、光照条件和附加变量(例如,镜头)。稍后在本文中详细地对校准进行讨论。
作为示例,参照图1和图2,RTDIP设备150的RTDEI软件应用158可以在涂层施涂模式下采用光谱滤波技术、对比度增强技术、直方图均衡化技术和颜色映射技术的组合。根据实施例,这种组合允许用户更加迅速且容易地在被施涂到基材110的表面上的自检涂层100的各种颜色(即,厚度)之间进行区分,并且至少向用户提供最小施涂厚度和最大施涂厚度的定量视图。
图8展示了个人可以如何使用图1和图3的方法来远程地监测将涂层实时地施涂到基材上的示例性实施例。如之前在本文中所描述的,RTDIP设备可以包括无线通信部件155。无线通信部件155可以通过例如通信网络810来提供WiFi通信能力、3G或LTE通信能力、或者其他某种类型的无线通信能力。通信网络810可以是互联网、蜂窝电话网络、卫星通信网络、其某个组合、或者与无线通信部件155兼容的其他某种类型的通信网络。
参照图8,监督者820可以坐在远离将涂层施涂到基材上的用户120所在的位置处的计算机830旁。可以经由通信网络810使用无线通信部件155来将由RTDIP设备150生成的增强的实时颜色数字视频成像数据从RTDIP设备150无线地传输至远程计算机830。因此,监督者820可以实时地监测用户的表现。如果用户在适当地施涂涂层时遇到困难(例如,建立指定厚度的均匀涂层),那么监督者可以采取行动例如来使用更加合格的人员来代替用户。在施涂过程期间可由RTDIP设备提供的其他特征可以包括例如质量保证功能、施涂材料的体积量化(例如,量化的厚度乘以计算的尺寸,以及将量化的厚度转换成加仑或者其他某种计量单位)、和孔检测。
检查模式
待涂覆基材(例如,金属基材)的表面上可能具有在施涂涂层材料之前需要清除的锈、盐、污垢或者其他某种污染物质。尽管可能已经“清洁”了基材表面并且基材表面对于肉眼而言看起来是干净的,但是在基材上仍然可能存在不可接受的污染水平。这种不可接受的污染水平可能使随后施涂的涂层不适当地粘附在表面上,由此不适当地保护表面。通常,RTDIP设备的实施例可以用于在进行涂覆之前检测、识别、量化和记录基材表面的状态。检查模式还可以用于分析基材的(例如,多孔基材的)变化,或者用于对已经应用到表面上的预处理进行分析。对基材变化或预处理的分析可以或者可以不使用颜色差异来示出变化,但是可以使用IR光。根据实施例,RTDIP设备可以用于对基材的表面进行成像;增强的图像,以更加清楚地辨别任何污染物质;以及向用户显示增强的图像。
图9在902处展示了在施涂涂层之前,被污染的基材表面的增强图像(由RTDIP设备生成)的多个示例性实施例。图9的每一个增强图像对应于具有不同类型和数量的污染物质(例如,锈、盐、污垢)的基材表面。在一些情况下,盐可以是可见的(在可见光谱中)并且可以要求应用指示剂来使盐是可见的。然而,可以使用多光谱技术来对在可见光谱中以其他方式不可见的盐进行检测和可视化,而无需使用所应用的指示剂。
在进行涂覆之前,通过使用适当地配置的RTDIP设备来提供基材的表面的增强图像,用户可能能够清楚地判定表面是否足够干净以施涂涂层。根据实施例,可以经由RTDIP设备的用户界面154来选择与某种类型的污染(例如,锈、盐或者污垢)相关联的图像处理操作、参数和校准因子(检查预置)。根据实施例,优化与特性类型的污染物相关联的检查预置,从而使得显示增强的图像数据时,使用检查预置来进行的对所获取的实时颜色数字视频成像数据的处理向用户提供在基材表面的被污染的部分与未被污染的部分之间的良好视觉辨别力。
根据实施例,用户可以基于在增强的图像中所显示的污染物质的颜色来识别污染物质的类型。例如,可以将锈显示为橘色和红色的阴影。可以将盐显示为灰色的阴影。可以将污垢显示为褐色的阴影。例如,清洁、未被污染的表面可能看起来是白色。此外,可以通过将所获取的数字成像数据与所加载的表面预处理比较标准进行比较来量化表面预处理的水平或等级。
此外,用户可能不仅能够辨别特定类型的污染物质的存在,而且能够基于颜色来至少定量地辨别在表面的任何成像部分上的污染物质的量。而且,根据实施例,可以确定并且数字地向用户显示污染物质的定量的量。例如,可以向用户显示被污染的表面的百分比。可以至少部分地通过将在示出了污染物质的图像中的像素的数量(例如,指示锈的红色和橘色像素的数量)除以图像中的像素的总数量来实现这一点。
图10是用于识别和/或量化在待涂覆的基材上的表面污染水平的检查方法1000的示例性实施例的流程图。表面特性可以包括但不限于待涂覆基材上的表面污染水平以及表面变化。再次,基材的表面可能或者可能没有被污染有例如锈、盐或者污垢。在所述方法的步骤1010中,对待涂覆基材的表面进行数字成像,以获取数字成像数据。例如,用户可以使用采用平板计算机的形式的RTDIP设备530来对基材的表面进行成像。根据实施例,获取单个图像可能是足够的。在步骤1020中,对数字成像数据进行数字处理,以增强数字成像数据中的颜色之间的差异,由此生成增强的数字成像数据(例如,颜色差异可能是30度或更高)。颜色差异可以帮助在增强的数字成像数据中的被污染的像素和未被污染的像素之间进行辨别,并且帮助在增强的数字成像数据中的不同类型的污染之间进行辨别。使用肉眼来直接观看基材的表面时,这种辨别对于用户而言可能不是非常明显的。
在步骤1030中,对增强的数字成像数据进行数字处理,以量化基材上的表面污染水平。例如,可以生成表示被污染的成像表面的百分比的数值。作为另一个示例,可以计算增强的数字成像数据上的像素颜色的标准差并且使其与成像表面上的污染量相关。在步骤1040中,显示表面污染水平的可视化表示,并且可选择地显示增强的数字成像数据的可视化表示。例如,可以将表面污染水平向用户显示为数值,并且可以向用户指示增强的数字成像数据的可视化表示,其中,大部分污染存在于基材的表面上。一旦清洁了待涂覆基材的表面,用户就可以再次执行检查方法1000,以验证污染水平在可接受的限制内。可以使用类似的步骤来识别和量化表面变化。
根据实施例,作为示例,参照图9和图10,RTDIP设备530的RTDEI软件应用158可以在施涂前检查模式下采用边缘增强技术、压缩技术和阈值化技术的组合来允许用户更加迅速且容易地确定待涂覆基材的表面上的污染的存在和定量的量。此外,根据实施例,RTDIP设备530的RTDEI软件应用158可以在施涂前检查模式下采用压缩技术、遮蔽技术和关联技术的组合来允许用户更加准确地确定污染的类型(例如,锈、盐、污垢)。
在进行涂覆之后,可以将RTDIP设备的实施例用于进行检查,以增强问题区域(比如,点缺陷或微裂纹),在所述问题区域中,涂层厚度不正确或者所施涂的涂层可能具有不正确的混合比。
图11展示了在已经施涂涂层之后(所施涂的涂层可能或者可能不在此点干燥或固化),实时数字成像和处理设备530被用于检查所涂覆的表面并且显示示出了在所涂覆的表面上的局部点处的涂层厚度变化的增强图像1110的示例性实施例。如在图像1110的中心部分可以看到的,存在明显大量的涂层厚度变化。检查员可以使用增强图像作为应当修正(例如,通过重新施涂涂层)在局部点中的涂层的证明。在其他实施例中,可以将RTDIP设备用于检查大的区域,以使具有不同厚度的区域可视化或者使可能具有其他问题(比如,错误的部件混合比)的涂层的区域可视化。
作为示例,参照图11,RTDIP设备530的RTDEI软件应用158可以在施涂后检查模式下采用对比度增强技术、直方图均衡化技术、颜色映射技术和放大技术的组合。
通常,在将涂层施涂到基材上之后,检查员可以在检查模式下为了质量保证的目的而使用RTDIP设备来检测、识别、量化(计量)、和记录的所产生的涂层状态。例如,可以计算涂层的增强的数字成像数据上的像素颜色的标准差,并且将其与基材上的涂层厚度的偏差量(或者涂层厚度的均匀度量)相关。
图12展示了实时数字成像和处理(RTDIP)设备1200被用于使用双光谱成像来施涂和检查所涂覆的表面的示例性实施例。图13展示了实时数字成像和处理(RTDIP)设备1200的示例性实施例的系统框图。RTDIP设备1200包括对应于第一电磁频谱的第一传感器1310以及对应于第二电磁频谱的第二传感器1320(见图13),而不是具有对应于单个电磁频谱(例如,可见光)的单个摄像机151。例如,根据实施例,第一传感器1310是可见光谱彩色摄像机,并且第二传感器1320是近红外(NIR)视频传感器。
如之前在本文中所描述的,用户可以使用RTDIP设备1200来进行涂层施涂或者涂层检查。然而,在图12的实施例中,RTDIP设备1200同时获取第一频谱和第二频谱两者中的数字成像数据。图12示出了可见光谱数字成像数据1210的显示表示和NIR光谱数字成像数据1220的显示表示。之后,RTDIP设备1200处理并且组合数字成像数据1210和1220的多个源,以形成数字合成成像数据1230。可以使用在本文中所描述的图像处理技术的各种组合中的任何组合来从数字成像数据1210和1220的双源中生成数字合成成像数据。
作为示例,参照图12和图13,RTDIP设备的RTDEI软件应用158可以在施涂后检查模式下采用空间图像对齐技术、多光谱带比值法技术、阈值化技术、和颜色映射技术的组合。
在实施例中,可以在设备1200中将两个传感器1310和1320在空间上彼此对齐,从而使得不必执行处理以将来自两个传感器的图像数据对齐。例如,可以定位并校准传感器的镜头,以确保可见光谱数据的帧在空间上与NIR光谱数据的帧对齐。根据另一个实施例,执行对齐处理,以在执行用于生成数字合成成像数据1230的处理之前,将来自两个传感器的原始图像数据对齐。例如,可以采用空间对准算法来在空间上将可见光谱数据的像素与NIR光谱数据的像素对齐或者相匹配。这种空间对准算法可以是从实施最先进的对齐技术的成熟算法到在一个或多个空间方向上简单地将已知的、校准的偏移应用到图像数据的简单偏移程序的任何事物。
根据替代性实施例,RTDIP设备可以包括单个多光谱数字传感器,其中,单个传感器能够感测可见光谱辐射和非可见(例如,红外光谱)辐射两者。例如,单个传感器可以包括与红外光谱传感器阵列交织的可见光谱传感器阵列,允许同时获取和形成可见光谱图像数据和NIR光谱图像数据两者。可替代地,单个传感器可以在获取可见光谱图像数据与NIR光谱图像数据之间在例如帧对帧的基础上采用时间共享的方式来交替。在两种情况下,形成单独的可见光谱图像数据的集合和NIR光谱图像数据的集合并将其提供给处理部件153。在这种单个传感器实施例中,固有地实现对可见光谱图像数据和NIR光谱图像数据的空间对准。
根据实施例,数字合成成像数据1230提供对所施涂的涂层厚度的比单独的可见光谱数字成像数据1210或者单独的非可见(例如,NIR)光谱数字成像数据1220更好的辨别力。这是因为可见光谱数字成像数据1210提供非可见光谱数字成像数据1220没有提供的信息,反之亦然。因此,根据实施例,在显示屏幕152上向用户显示正是数字合成成像数据1230,而不是可见光谱数字成像数据1210或非可见光谱成像数据1220。然而,作为选项,用户可能能够经由用户界面154来选择显示哪一个光谱图像(合成的、可见的、非可见的)。还有可能使用其他非可见类型的电磁频谱(例如,如x射线、紫外线、和微波)。
预测模式
根据实施例,可以使用RTDIP设备来实时地(例如,实时全景的)对待涂布物体(例如,房间)进行成像,并且处理所获取的图像数据,以在图像数据中将一种或多种颜色应用到物体的表面(例如,墙、天花板或者地面)上。
图14展示了房间的若干数字处理图像的示例性实施例,每一个图像数字地强加不同的颜色,示出了如果房间被涂布有不同的颜色(例如,在分帧模式下所示出的)的话房间将看起来如何。如在本文中所示出的,图14受限于灰度颜色。然而,根据实施例,可以应用可见光颜色的全光谱。
作为示例,用户可以使用RTDIP设备(例如,采用智能电话的形式)来从存储在RTDIP设备中的数字颜色调色板或色卡(Fan Deck)中选择颜色。之后,用户可以实时地对房间进行成像(或者,可选择地,仅获取房间的单个图像)。当RTDIP设备对房间进行成像时,RTDIP设备处理图像数据,以找到图像数据内限定房间内的墙、地面、天花板和物体的边界。RTDIP设备进一步处理图像数据,以识别与房间内单独的墙、地面、天花板和物体相关联的像素。最后,RTDIP设备可以将所选择的颜色应用到与例如墙相关联的像素上。根据实施例,用户可以在RTDIP设备上观看房间的图像并且选择将所选择的(多个)颜色应用到哪些表面(墙、天花板、地面)上。
以此方式,用户可以在RTDIP设备的显示器上观看在墙被涂布有所选择的颜色的情况下,房间将看起来如何。如果用户不喜欢模拟涂布的墙的样子,那么用户可以从数字颜色调色板或色卡中选择不同的颜色,直到用户找到可接受的颜色为止。一旦用户选定颜色,用户就可以订购或者购买对应于该颜色的油漆并相应地对墙进行涂布。
可替代地,用户可以调整被应用到图像数据上的各种滤波器、掩模和层,以指向用户可接受的颜色,而不是直接从数字颜色调色板或色卡中选择颜色。一旦用户已经指向可接受的颜色,就可由RTDIP设备生成可以用于订购对应于该颜色的油漆的颜色识别符或代码。
而且,根据实施例,除了颜色以外,用户还可以选择光泽类型(例如,无光泽的、低光泽的、半光泽的、光泽的、全光泽的)。根据实施例,可以使用光谱滤波和IHS变换的组合来建立特定光泽类型。所述实施例还可以向用户显示可预测的错误(即,根据光照条件和其他因素,所选择的颜色/光泽在房间中可能看起来像什么的范围)。
此外,根据实施例,RTDIP设备可以计算在图像数据内所识别的各种墙、天花板和地面的面积(例如,平方英尺),并且向用户提供计算的面积信息。以此方式,用户可以确定订购多少具有特定颜色的油漆。根据实施例,RTDIP设备使用3D感测和映射技术(例如,如类似于微软的KinectFusionTM的技术)来将房间映射到三维中并且确定个别墙、天花板和地面的尺寸。RTDIP设备可以根据这些尺寸来计算面积(例如,平方英尺)。根据其他实施例(例如,激光技术、声纳技术),用于确定房间的尺寸的其他技术也是有可能的。根据各种实施例,也可以将这种尺寸确定技术应用于检查和施涂场景。
图15展示了房间的数字处理图像的示例性实施例,数字地强加两种颜色,示出了如果房间的第一部分被涂布有第一颜色1510并且房间的第二部分被涂布有第二颜色1520的话房间将看起来如何。再次,用户可以选择或指向两种颜色并且指示RTDIP设备使用在本文中所描述的技术来在图像数据中将两种颜色应用到不同的墙、天花板或地面上。
根据实施例,作为示例,参照图14和图15,RTDIP设备540的RTDEI软件应用158可以在施涂前预测模式下采用3D感测和映射技术、空间滤波技术、图像分割技术、和颜色映射技术的组合来允许用户观看如果房间被涂布有特定颜色的话房间将看起来如何。
安全和执法模式
图16展示了公路上的交通场景的数字处理图像的示例性实施例,突显了具有特定颜色的车辆。由RTDIP设备所获取的图像数据可以应用滤波器来例如仅显示具有特定绿色的车辆。在繁忙的公路交通中寻找具有特定颜色的车辆时,这种实施例对于执法而言可能是有用的。所述实施方式可以是实时的,并且用户可以选择滤波器。在图16中,通过虚线圆圈来描画兴趣车辆(即,具有所选择的颜色)的轮廓。
根据实施例,作为示例,参照图16,RTDIP设备510的RTDEI软件应用158可以在执法模式下采用光谱滤波技术和时域滤波技术的组合来允许用户观看在公路上的在所选择的颜色范围(例如,红色阴影的范围)内的车辆。
图17示出了在进行图像处理之前,商店场景的第一图像1710的示例性实施例,以及在进行图像处理以突显正常场景的变化之后,相同的商店场景的第二图像1720的示例性实施例。正常的商店场景可以是不存在人员时,在某些光照条件下的商店的图像。在经处理的第二图像1720中,柔化或者减弱(背景减弱)对应于正常场景(背景)的颜色,而增强对应于商店中的新物体(例如,人员)的颜色。在图17的第二图像1720中,通过虚线圆圈来描画增强的物体的轮廓。
根据实施例,作为示例,参照图17,RTDIP设备150的RTDEI软件应用158可以在安全模式下采用图像相减技术、压缩技术和IHS变换技术的组合来允许用户在穿戴着RTDIP设备150在商店中四处走动时观看商店中的场景内的最近改变的物体或者新的物体。
以此方式,监测商店的图像或视频的保安人员可以容易地看到侵入者在下班后的什么时候处于商店中。根据实施例,RTDIP设备被安装在商店内,产生第二图像数据1720。保安人员可以位于远离RTDIP设备的位置,在经由通信网络与RTDIP设备通信的个人计算机上监看第二图像数据1720(例如,类似于在本文中的图8)。根据实施例,RTDIP设备至少部分地使用图像相减技术来在商店中的正常场景与新物体之间进行区分。
RTDIP设备和方法的其他可能的用途包括符号检测和增强、场景的低光增强、以及针对色盲人员而处理(例如,滤波)图像(例如,允许色盲人员容易地看到交通灯什么时候是红色的或者绿色的)。此外,可以将RTDIP设备和方法用于确定涂层在什么时候完全固化或干燥。涂层产品可能随着固化或干燥(例如,设计的着色异常)而改变颜色。然而,这种颜色变化对于肉眼而言是微妙的。可以将RTDIP设备的实施例用于允许用户清楚地辨别所施涂的涂层距离固化或者干燥有多长时间。设计的着色异常是经历了由某种形式的刺激而引起的过程而产生的可逆颜色变化的物质(例如,由于蒸发而造成的固化)。除了监测固化以外,也可以在其他场景中使用设计的着色异常。
根据实施例,RTDIP设备能够记录数字成像数据(视频或静止图像)以供随后回放。根据实施例,RTDIP设备包括规定了对数字成像数据进行标记(即,数字成像数据与位置的关联性)的基于位置的服务能力(例如,使用GPS接收器)。以此方式,获取数字成像数据的地理位置可以与数字成像数据相关联。
校准
根据各种实施例,可以对RTDIP设备进行校准,以针对施涂、检查和预测场景而提供准确和可靠的用途。在一个实施例中,校准过程可以使基材、涂层和光源(以及其他变量,例如,如镜头)与标准相关。这种校准过程可以使用所存储的基材或涂层标准,或者可以包括获取和存储静止图像。类似地,可以通过获取和存储已知标准的静止图像来获得光源确定。这种标准可以像一张白纸那么简单或者像所提供的有可能内置在设备中或者装备有设备(例如,RTDIP设备的携带箱的内部上的色卡)的物理标准那么精确。
例如,根据光源,不同的光源可能使物体好像具有不同的颜色。根据实施例,可以使用RTDIP设备来实施校准程序,以补偿光源对物体的颜色的影响。例如,可以数字地将“真正的白”色存储在RTDIP设备的表示在基本上理想的光照条件(例如,光照均匀地提供可见光谱中的所有颜色)下的真正的白色物体看起来像什么的存储器中。以此方式,RTDIP设备可以“知道”在理想的光照条件下“真正的白色”物体看起来像什么。
接下来,可以在当前(例如,非理想的)光照条件下使用RTDIP设备来获取一张白纸或者已知为白色的其他某种物理标准物体的图像。之后,RTDIP设备可以将所存储的“真正的白”色与在当前、非理想光照条件下所获取的白色物体的图像的颜色进行比较,以生成补偿值。随后,可以将此补偿值应用到在当前光照条件下所获取的基材或涂层的图像,以补偿非理想光照条件。
以此方式,可由RTDIP设备来生成表示基材或涂层的真正颜色的数字成像数据。一旦实现了对光照条件的这种校准,就可以执行对所获取的数字成像数据的随后图像处理,以提供数字成像数据中的颜色之间的更好的辨别力(例如,以更容易地在涂层厚度之间进行辨别)。
作为另一个校准示例,在进行涂覆之前要检查对候选基材的污染时,RTDIP设备可以提供加载的未被污染的(理想的)基材看起来是什么样的标准。例如,加载的理想基材的标准可以源自于在“理想的”光照条件下获取清洁、未被污染的基材的数字成像数据。可以将可能具有污染的候选基材的任何随后获取的图像与加载的标准进行比较,以生成差异数据。差异数据可由RTDIP设备用于创建示出了污染存在于候选基材上的哪个位置的图像,以供显示。
此外,一旦清洁并且确定候选基材是无污染的,就可以在当前光照条件下获取该清洁的候选基材的图像,并将其与加载的标准进行比较,以确定对候选基材进行涂覆时可以随后应用到所获取的数字成像数据上的补偿值。以此方式,可以实现对由于底层基材而引起的涂层颜色差异的补偿,并且可以确定涂层厚度的准确估计。
作为进一步校准示例,可以在已经将涂层应用到基材上很久以后(例如,数年后)执行应用后检查。在已经应用涂层之后不久,可由RTDIP设备获取固化的涂层的图像。可以更晚地获取涂层的另一个图像,并且将其与原始涂层进行比较。涂层可以被设计成具有铬的特性,从而使得涂层的颜色可以随着pH、磨损、温度或者其他某种环境参数而变化。例如,涂层可以被设计成当腐蚀在涂层下(例如,在涂层与基材之间)发展时,改变颜色。RTDIP设备可以被配置成用于将原始图像(例如,数年前获取的)与当前图像进行比较,以检测和增强由于腐蚀而引起的这种颜色变化,允许检查员在即使基材仍处于涂覆状态的情况下确定任何发展中的腐蚀问题。
总之,公开了提供用于涂层预测、施涂和检查的实时数字增强成像的系统和方法。实时数字成像和处理设备提供对所获取的数字成像数据的实时图像获取、处理和显示,以允许用户辨别除了可以使用肉眼来辨别的变化以外的涂层和/或基材变化。实时数字成像和处理设备还可以提供涂覆前和涂覆后检查能力以及涂层预测能力。
虽然已经参照某些实施例描述了本申请的所要求保护的主题,但本领域技术人员将理解的是,在不脱离所要求保护的主题的范围的情况下可以做出各种改变并且可以代替等效物。此外,可以进行许多修改,以使具体的情况或材料适应所要求保护的主题的教导而不脱离其范围。因此,所要求保护的主题不旨在局限于所公开的特定实施例,而是所要求保护的主题将包括落入所附权利要求书的范围内的所有实施例。
例如,可以在执行指令(例如,软件指令)以执行在本中所公开的操作的各种类型的数据处理器环境上(例如,在一个或多个数据处理器上)实施所述系统和方法。非限制性示例包括在单个通用计算机或工作站上、或者在网络系统上、或者在客户端-服务器配置中、或者在应用服务提供商配置中的实施方式。例如,可以在许多不同类型的处理设备上通过包括设备处理子系统可执行的程序指令的程序代码来实施在本文中所述的方法和系统。软件程序指令可以包括源代码、目标代码、机器代码、或者可操作用于使处理系统执行在本文中所描述的方法和操作的任何其他所存储的数据。然而,可以使用其他实施方式,比如,固件或者甚至被配置成用于执行在本文中所描述的方法和系统的适当设计的硬件。
应进一步注意的是,所述系统和方法可以包括经由用于与一个或多个数据处理设备通信的网络(例如,局域网、广域网、互联网、其组合等)、光纤介质、载波、无线网络等来传输的数据信号。数据信号可以承载在本文中所公开的向或从设备中提供的数据中的一些数据或所有数据。
可以在一种或多种不同类型的计算机实现的数据存储装置(比如,不同类型的存储设备和编程构造(例如,RAM、ROM、闪存、平面文件、数据库、编程数据结构、编程变量、IF-THEN(或类似类型)语句构造等))中存储和实施所述系统的和方法的数据(例如,关联、映射、数据输入、数据输出、中间数据结果、最终数据结果等)。应当注意的是,数据结构描述了格式,以供用于将数据组织和存储在数据库、程序、存储器、或者供计算机程序使用的其他计算机可读介质中。
作为图示,图18在1802处描绘了可以在本文中所描述的系统和方法内使用的数据结构。数据结构1802包括将光谱响应与涂层厚度相互关联的映射数据结构。数据结构1802可以包括用于存储光谱响应连同其相关联的涂层厚度的值的单独数据库域。以此方式,可以使用特定光谱响应来确定特定涂层的厚度是什么。如果不能针对特定光谱响应而获得确切值,则使用最接近的光谱响应值中的两者之间的插值来确定涂层厚度。在另一个示例中,数据结构1802可以存储用于将光谱响应与涂层厚度映射或相互关联的公式或函数。
应当注意的是,可以采用许多不同的方式来扩展数据结构1802,以适应即将进行的应用。例如,如在图19上的1902处所示出的,可以扩展映射数据结构。在图19中,光谱响应与涂层厚度之间的相互关系与光源、基材类型、涂层类型等相关。在许多不同的情况中,这可以用于比如最小化同色异谱的影响,在所述同色异谱中,涂层在不同的光源下可能好像具有不同的颜色。
作为另一个示例,图20在2002处描绘了对包含与涂层相关的元数据的数据结构的使用。与涂层相关的元数据可以包括随着图像数据和光谱响应数据而获取与将涂层施涂到基材上相关联的如位置、取向、时间/日期、持续时间、产物、批号、和设备/操作员等元数据。
图21在2102处描绘了与涂层相关的元数据可以用于如警告和通知操作等目的。例如,如果如由在本文中所描述的方法中的一个或多个方法来确定的所施涂的涂层的厚度超出容差,则确定警告,并且将通知发送至一个或多个人员,包括涂覆设备的操作员以及监督者。还可以在检查能力中使用元数据,在所述检查能力中,元数据用于识别特定涂层不具有适当的混合比。例如,可以经由光学识别符(例如,QR码)来识别涂层。在本文中所公开的颜色可视化方法用于检测涂层的混合比是不适当的。这导致将警告通知发送至批混合计算机系统,以将涂层成分调整成适当混合比。接收警告通知的各种其他用户可以包括批混合系统的监督者和操作员。
可以在包括计算机存储机制(例如,如CD-ROM、软磁盘、RAM、闪存、计算机的硬盘驱动器等非瞬态介质)的许多不同类型的计算机可读存储介质上提供所述系统、方法和软件指令,所述计算机存储机制包含用于由处理器执行来执行所述方法的操作和实施在本文中所描述的系统的指令(例如,软件)。
可以将在本文中所描述的计算机部件、软件模块、功能、数据存储装置和数据结构直接或间接地连接至彼此,以便允许需要用于其操作的数据的流动。还应当注意的是,模块或处理器包括但不限于执行软件操作的代码单元,并且可以被实施作为例如子程序代码单元、或者作为软件功能代码单元、或者作为物体(如在以物体为导向的范例中)、或者作为小应用程序、或者在计算机脚本语言中、或者作为另一种类型的计算机代码。根据即将发生的情况,软件部件和/或功能可以位于单台计算机上或者分布在多台计算机上。
应当注意的是,如在本文中的说明书中和贯穿随后的权利要求书所使用的,除非上下文另外明确指明,否则“一个(a)”、“一个(an)”以及“所述”的含义包括复数对象。而且,如在本文中的说明书中和贯穿随后的权利要求书所使用的,除非上下文另外明确指明,否则“在……中”的含义包括“在……中”和“在……上”。最后,如在本文中的说明书中和贯穿随后的权利要求书所使用的,除非上下文另外明确指明,否则“和”和“或”的含义包括结合的和分离的,并且可以互换使用;短语“异或”可以用于指示只有分离的含义适用的情况。