CN104778701A - 一种基于rgb-d传感器的局部图像描述方法 - Google Patents
一种基于rgb-d传感器的局部图像描述方法 Download PDFInfo
- Publication number
- CN104778701A CN104778701A CN201510177576.XA CN201510177576A CN104778701A CN 104778701 A CN104778701 A CN 104778701A CN 201510177576 A CN201510177576 A CN 201510177576A CN 104778701 A CN104778701 A CN 104778701A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- rgb
- point
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 44
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 238000012876 topography Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 240000007594 Oryza sativa Species 0.000 claims description 2
- 235000007164 Oryza sativa Nutrition 0.000 claims description 2
- 235000009566 rice Nutrition 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract 1
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于RGB-D传感器的局部图像描述方法，包括以下方法：标定RGB-D传感器的参数，对获取的RGB图像和深度图像做图像预处理和局部特征提取；提取的局部特征的中心点由空间分块、灰度序列标记、法向量序列标记三个变量表述；根据局部特征的中心点的深度图像数据计算出特征点的尺度值和主方向；构建成三维直方图，将该三维直方图展开并归一化成一维向量，该向量即为局部特征的描述子。本发明相比于二维、三维、融合描述子，光照鲁棒性和场景多变的鲁棒性具有明显的优势。本发明基于深度的尺度不变性和旋转不变性方法，点云深度数据代替高斯金字塔的尺度空间估计，速度大大加快。
Description
技术领域
本发明涉及RGB-D传感器的图像和点云等数据的匹配方法，尤其涉及RGB图像纹理信息和深度图像融合来实现RGB-D图像匹配的方法。
背景技术
基于RGB-D传感器的局部图像描述方法的灵感源于二维图像和深度图像的局部特征邻域描述。二维图像纹理丰富，信息熵高。因而现阶段存在的二维描述子从空间分块，灰度、梯度等方面入手，有着良好的效果，但是二维描述子对于光照或者纹理变化较少的场景，效果就不慎理想。在完全基于深度图像的场景中，深度图像不会受到纹理缺失或者光照变化剧烈等影响，在此基础上构建各类描述子有着良好的匹配效果，但是此类描述子的匹配结果有不唯一性，并且十分依赖于硬件的精度，且对噪声不敏感。并且在RGB-D传感器中，只使用RGB图像或者深度图像会导致传感器数据的浪费。
RGB图像和深度图像融合描述子方法是专为RGB-D传感器设计的，这里的RGB-D摄像设备主要指Kinect、Xtion等能够同时获取RGB图像和深度图像的体感设备。
发明内容
本发明所要解决的技术问题是提供一种基于RGB-D传感器的局部图像描述方法，主要解决从RGB-D传感器获取的数据的图像匹配问题。为此，本发明采用以下技术方案：
一种基于RGB-D传感器的局部图像描述方法，所述D代表深度图像，其特征在于：所述方法融合了RGB图像的纹理信息和深度图像的距离数据，所述深度图像的距离为纹理信息距离光心的距离，包括如下步骤：
步骤一、标定RGB-D传感器的参数，包括：焦距、光心；从RGB-D传感器中 获取RGB图像和深度图像；焦平面坐标系(O′)下的RGB图像和深度图像转换到世界坐标系(Ou)下的点云数据，点云数据包含RGB图像中每个点的R、G、B三个图像颜色通道的数值和深度图像中对应的每个点的深度值，R为红色，G为绿色，B为蓝色；
焦平面坐标系是固联于RGB图像所在平面的像素点坐标系；世界坐标系是以光心为原点的坐标系；焦平面坐标系和世界坐标系都相对于RGB图像的位置不变，焦平面坐标系以像素为单位，世界坐标系以米为单位，根据摄像头参数将RGB图像从焦平面坐标系转换到世界坐标系下的点云数据，每个像素点的转换公式为 其中(cx，cy)是光心在焦平面上的坐标，zc是像素点在深度图像中的值，f是RGB-D摄像头的焦距，(xc,yc,zc)是转换到世界坐标系的坐标值；
步骤二、对步骤一中获取的RGB图像和深度图像做图像预处理和局部特征提取；图像预处理是对RGB图像和深度图像使用高斯滤波，局部特征提取是在RGB图像用哈森仿射/哈里斯仿射(Hessian-affine/Harris-affine)提取局部特征，得到若干的局部特征，取局部特征的中心点为特征点；
步骤三、本步骤包括对步骤二中提取的局部特征的中心点由空间分块、灰度序列标记、法向量序列标记三个变量表述；根据步骤二中局部特征的中心点的深度图像数据计算出特征点的尺度值和主方向；
(1)、空间分块：在RGB图像中，将以每个特征点为中心的圆形区域作为其邻域，并将圆形区域分成若干个扇形的子块，但是深度图像中并不分块；
(2)、灰度序列标记：将特征点的邻域中像素点按照灰度值大小排序，根据排序的序号等分成若干个组；统计出步骤三(1)中每个扇形柱体子空间中像素点的个数；
(3)、法向量序列标记：在世界坐标系下的每个特征点的邻域可以拟合成一个曲面，并求出曲面中每个像素点的法向量，两个法向量的夹角可以用点积计算， 当点积小于设定阈值时，把点积按照与灰度值相同的方法排序，再将点积的序列分成一个或者多个组；
(4)、特征点的尺度值：特征点的尺度值与特征点的深度值(步骤一中重新定义)近似成反比关系，尺度值根据特征点的深度值通过以下公式求取： 其中zc是特征点的深度值，max是取最大值，根据特征点的尺度值可以得到取的特征点的邻域的半径r＝R*s，其中R是常量，r为所求半径。然后将特征点的半径为r的邻域降采样，降采样后的所有特征点的圆形区域半径相同，单位是像素个数；
(5)、局部特征主方向：统计步骤三(2)中的每个扇形子块中所有像素与中心点的法向量的点积，取平均点积最小的扇形子块，即与中心点夹角最大的子块，该子块所在的方向为特征点的邻域的主方向；
步骤四、根据步骤三的空间分块、灰度序列标记、法向量序列标记三个变量构建成三维直方图，将该三维直方图展开并归一化成一维向量，该向量即为局部特征的描述子。
该方法结合了RGB-D设备采集的纹理信息和几何信息来做融合描述，获得了描述子的光照、旋转、尺度鲁棒性。
进一步地，在所述步骤二中，采用包括以下步骤：
(1)、图像预处理：由于目前存在的RGB-D传感器的精度不高，我们采用高斯滤波器对RGB图像和深度图像分别进行噪声平滑，以提升描述子的抗干扰能力；高斯函数的参数主要有标准差σ和平滑半径r(r2＝x2+y2)。标准差和噪声平滑的关系是正相关的。σ越大，滤波器的平滑程度越高。通过调节σ，可以在过度平滑和噪声过大之间找到折衷的数值。。在平滑过程中，设定将要平滑的像素点为原始点。平滑半径是高斯滤波器对原始点计算平滑值的距离范围。平滑后的值中原始点占比重最大，随着距离原始点越来越远，邻域像素的权重越来越小。RGB 图像的选取高斯核的标准差σ＝1，滤波窗口半径r＝5σ；深度图像的数据更加粗糙，为了增强滤波的效果取σ＝2，滤波窗口半径仍然取r＝5σ，即r＝10；
(2)、局部特征提取：对局部特征描述之前，需要提取RGB-D图像中点作为其对邻域描述的特征点，即局部特征的中心点。本方法对于特征提取的方法并没有明确的要求，但是考虑到是灰度值序列变量是基于灰度值的排序序列，我们选取相对应的基于局部区域的灰度极值的特征提取方法：哈森仿射/哈里斯仿射(Hessian-affine/Harris-affine)。
(4)、局部特征的尺度值：局部特征的尺度与特征点(在步骤二中添加了解释)深度近似成反比关系，尺度根据特征点的深度值通过以下公式求取： 其中zc是局部特征的中心点的值，max()是取最大值，根据尺度值可以得到取的局部特征邻域的半径r＝R*s，其中R是常量，r为所求半径，每个特征点的邻域归一化，全部降采样为固定大小的圆形区域，单位是像素个数；
(5)、局部特征主方向：基于深度信息的一种主方向估计方法，以适用在深度变换大、光照条件极差的环境和纹理信息缺失时的场景；统计步骤三(2)中的每个柱体空间分块中所有像素与中心点的法向量的点积，取平均点积最小的扇形子区域，即与中心点夹角最大的子区域，该区域所在的方向为特征邻域的主方向；
进一步地，在所述步骤三中，采用包括以下步骤：
(1)、空间分块：将以每个局部特征为中心的圆形临近区域作为其邻近区域，并将其按照邻近区域划分成若干个扇形的柱体子空间。如图1所示，从局部特征主方向起按照逆时针方向将邻域等分。该等分是基于所有点在RGB图像所在平面的投影。即在世界坐标系下，沿z轴并没有进行划分，这样每个分块就是一个扇形的柱体；根据实验，空间分块个数取8时，效果最佳。
(2)、灰度序列标记：局部特征的邻域中像素点按照灰度值大小排序，将其灰度值排序，根据排序的序号等分成若干个组，统计出步骤三(1)中每个扇形柱体子空间中像素点的个数。比如中心点邻域内像素值范围是1～200共200个可取像素值，我们将其分为5个组。则每个组是代表40个像素值(即将值为1～40，41～80，81～120，121～160,161～200归为5个组)。每个统计出在该像素值区间点的个数，为了减少计算复杂度，利用选择排序算法(Selection Sort)得到每个区间的边界值(相当于排序的40,80,120,160,200)即可将每个像素分类，时间复杂度为O(nlog2(nbins))。根据实验，灰度序列标记个数取8时，效果最佳。
(3)、法向量序列标记：在世界坐标系下的每个特征点的邻域可以拟合成一个曲面，并求出曲面中每个像素点的法向量，两个法向量的夹角可以用点积计算，当点积小于设定阈值时，把点积按照与灰度值相同的方法排序，再将点积的序列分成一个或者多个组；根据实验，法向量序列标记个数取3时，效果最佳
(4)、局部特征的尺度值：局部特征的尺度与特征点(在步骤二中添加了解释)深度近似成反比关系，尺度根据特征点的深度值通过以下公式求取： 其中zc是局部特征的中心点的深度值，max()是取最大值，根据尺度值可以得到取的局部特征邻域的半径r＝R*s，其中R是常量，r为所求半径，根据实验，当r＝70时，在计算速度和匹配效果上，均为最佳值；为了减少计算的复杂度，将每个特征点的邻域归一化，全部降采样为固定大小的圆形区域，单位是像素个数，半径可取20。
(5)、局部特征主方向：基于深度信息的一种主方向估计方法，以适用在深度变换大、光照条件极差的环境和纹理信息缺失时的场景；统计步骤三(2)中的每个柱体空间分块中所有像素与中心点的法向量的点积，取平均点积最小的扇形子区域，即与中心点夹角最大的子区域，该区域所在的方向为特征邻域的主方向；
进一步地，在所述步骤四中，采用包括以下步骤：
根据步骤三的空间分块、灰度序列标记、法向量序列标记三个变量构建成三维直方图，将该三维直方图展开并归一化成一维向量，该向量即为局部特征的描述子。对于展开的方式，要先定义好展开向量的顺序。本方法是按照空间,灰度和夹角序列的顺序。同时，对于灰度序列标记和法向量夹角序列的排序顺序，也按照灰度值和法向量夹角的数值大小顺序排序，而子空间分布的顺序可以按照图1所示的逆时针排序。排序的顺序并不会影响描述子的效果，但是不一致的顺序表述的意义是不一直的，会增大出错的概率。归一化的目的是消除特征点的邻域空间由于步骤三(4)中尺度s的值的大小不一样造成的像素个数不同所造成的影响，得到的是每一种分类所占的比重。
由于采用本发明的技术方案，本发明的有益效果为：本发明基于灰度值序列和法向量夹角的相对不变序列的融合算法，该算法给出了包括了尺度不变、光照不变、旋转不变等一系列提高描述子可区分性问题的解决方法，相比于二维、三维、融合描述子，本发明的光照鲁棒性和场景多变的鲁棒性具有明显的优势，而这种单调线性和非线性光照变化下的不变性是由相对序列决定的。本发明基于深度的尺度不变性和旋转不变性方法，点云深度数据代替高斯金字塔的尺度空间估计，从投影原理入手，根据不同RGB图像的已知深度数据，直接估计出图像的尺度因子，速度大大加快；基于深度信息的主方向估计的方法，本发明根据基础框架中法向量夹角数据，选取空间分块中曲率变化最大的方向为主方向，取代了基于纹理的小波响应等主方向方法。本发明实验证明本发明在光照情况下和公开数据集下优于SIFT、SURF、BRAND、CSHOT等描述子的效果，在图像校准中的应用，本发明的稳定性和对复杂场景的鲁棒性要优于SURF描述子。
附图说明
图1为本发明特征点局部区域分块顺序示意图。
图2为本发明描述子在公开数据集在公开数据集下的对比图。
图3为本发明描述子在线性光照下的对比图。
图4为本发明描述子在非线性光照下的对比图。
图5为本发明描尺度不变形效果图。
图6为本发明与高斯金字塔方法平均一副图像尺度估计所需时间统计图。
图7为本发明旋转不变性示意图。
具体实施方式
本发明所述的方法基于RGB-D传感器的局部图像描述，所述发明方法包括以下步骤：
1、根据OPENNI开源库或微软开发工具包标定RGB-D传感器的参数、获取RGB图像和深度图像；焦平面坐标系(O′)下的RGB图像和深度图像根据转换公式得到世界坐标系(Ou)下的点云数据；
步骤二、对步骤一中获取的RGB图像和深度图像做图像预处理和局部特征提取；图像预处理是对RGB图像和深度图像使用高斯滤波，局部特征提取是在RGB图像用哈森仿射/哈里斯仿射(Hessian-affine/Harris-affine)提取局部特征，得到若干的局部特征，取局部特征的中心点为特征点；
2、对获取的RGB图像和深度图像做图像预处理和局部特征提取，包括：RGB图像和深度图像的高斯滤波、RGB图像仿射不变性特征区域提取。高斯滤波中RGB图像选取高斯核的标准差为σ＝1，滤波窗口半径r＝5σ，在噪声更大的深度图像中，增强滤波的效果取σ＝2，滤波窗口半径仍然取r＝5σ，即r＝10；考虑到是基于纹理图像描述变量是灰度值序列，我们使用相对应的基于局部区域的灰度极值的特征提取方法：哈森仿射/哈里斯仿射(Hessian-affine/Harris-affine)。
3、对提取的局部特征的中心点由空间分块、灰度序列标记、法向量序列标记三个变量表述；根据局部特征的中心点的深度图像数据计算出特征点的尺度值和主方向；
(1)、空间分块：在RGB图像中，将以每个特征点为中心的圆形区域作为其邻域，并将圆形区域分成若干个扇形的子块，但是深度图像中并不分块。如图1 所示，从局部特征主方向起按照逆时针方向将邻域等分。该等分是基于所有点在RGB图像所在平面的投影。即在世界坐标系下，沿z轴并没有进行划分，这样每个分块就是一个扇形的柱体；
(2)、灰度序列标记：将特征点的邻域中像素点按照灰度值大小排序，根据排序的序号等分成若干个组；统计出(1)中每个扇形柱体子空间中像素点的个数；比如中心点邻域内像素值范围是1～200共200个可取像素值，我们将其分为5个组。则每个组是代表40个像素值(即将值为1～40，41～80，81～120，121～160,161～200归为5个组)。每个统计出在该像素值区间点的个数，为了减少计算复杂度，利用选择排序算法(Selection Sort)得到每个区间的边界值(相当于排序的40,80,120,160,200)即可将每个像素分类，时间复杂度为O(nlog2(nbins))
(3)、法向量序列标记：在世界坐标系下的每个特征点的邻域可以拟合成一个曲面，并求出曲面中每个像素点的法向量，两个法向量的夹角可以用点积计算，当点积小于设定阈值时，把点积按照与灰度值相同的方法排序，再将点积的序列分成一个或者多个组，其中用Holzer S 2012(Adaptive neighborhood selection for real-time surface normal estimation from organized point cloud data using integral images)采用积分图的方法快速求取法向量。
(4)、特征点的尺度值：尺度值根据特征点的深度值通过以下公式求取： 其中zc是特征点的深度值，并且滤去深度值小于1m和大于7m的像素点。max是取最大值，根据特征点的尺度值可以得到取的特征点的邻域的半径r＝R*s，其中R是常量，r为所求半径。然后将特征点的半径为r的邻域降采样，降采样后的所有特征点的圆形区域半径相同，单位是像素个数；尺度变化下的匹配效果如图5，，其中速度要明显优于sift的采用高斯金字塔的方法，速度比较如图6，计算一幅图像的尺度的平均时间；
(5)、局部特征主方向：统计(2)中的每个扇形子块中所有像素与中心点 的法向量的点积，取平均点积最小的扇形子块，即与中心点夹角最大的子块，该子块所在的方向为特征点的邻域的主方向；基于深度信息的主方向方法要优于基于surf和不加旋转不变性的方法，我们通常采用匹配率作为参数，如图所示，采集每15度为单位的合成旋转RGB-D图像数据，基于深度信息求主方向方法效果最好.(LOIND-D为完全基于深度信息的主方向，SURF是基于SURF的主方向方法，LOIND是不加入主方向的方法)。
步骤四、根据步骤三的空间分块、灰度序列标记、法向量序列标记三个变量构建成三维直方图，将该三维直方图展开并归一化成一维向量，该向量即为局部特征的描述子。
将以每个特征点为中心的d×d像素大小范围设置为其邻近区域，并将其按照邻近区域划分成npies个子空间。如图1所示，自主方向起按照逆时针方向将邻域等分。该等分是基于所有三维点在焦平面的投影。在世界坐标系下，沿z轴并没有进行划分，这样每个分块就是一个扇形的柱体；
5、对于展开的方式，要先定义好展开向量的顺序。本方法是按照空间,灰度和夹角序列的顺序。同时，对于灰度序列标记和法向量夹角序列的排序顺序，也按照灰度值和法向量夹角的数值大小顺序排序，而子空间分布的顺序可以按照图1所示的逆时针排序。排序的顺序并不会影响描述子的效果，但是不一致的顺序表述的意义是不一直的，会增大出错的概率。归一化的目的是消除特征点的邻域空间由于步骤三(4)中尺度s的值的大小不一样造成的像素个数不同所造成的影响，得到的是每一种分类所占的比重。
6、我们采用的匹配距离度量是欧式距离，匹配的策略是最近邻匹配。即目标特征只与其最近距离的候选项匹配，在此基础上还要满足一定的阈值条件，该方法只存在一个最佳的匹配对象，提高了正确率。
7、准确率(precision)和召回率(recall)是对描述子的性能的通用评价指标，并且两者成反比，所以在图形中1-准确率(1-precision)和召回率(1-recall)的 曲线越靠上，表示该描述子性能越好。图2、图3、图4是本发明描述子在公开数据集、线性光照条件下和非线性光照条件下，与SIFT、SURF、BRAND、CSHOT等通用的方法的比较。图5为本发明描尺度不变形效果图，速度要明显优于sift的采用高斯金字塔的方法，图6为Kinect数据集下平均一副图像尺度估计所需时间。图7为本发明旋转不变性示意图：基于深度信息的主方向方法要优于基于surf和不加旋转不变性的方法，我们通常采用匹配率作为参数，采集每15度为单位的合成旋转RGB-D图像数据，基于深度信息求主方向方法效果最好.(LOIND-D为完全基于深度信息的主方向，SURF是基于SURF的主方向方法，LOIND是不加入主方向的方法)。
Claims (3)
1.一种基于RGB-D传感器的局部图像描述方法，所述D代表深度图像，其特征在于：所述方法融合了RGB图像的纹理信息和深度图像的距离数据，所述深度图像的距离为纹理信息距离光心的距离，包括如下步骤：
步骤一、标定RGB-D传感器的参数，包括：焦距、光心；从RGB-D传感器中获取RGB图像和深度图像；焦平面坐标系(O′)下的RGB图像和深度图像转换到世界坐标系(Ou)下的点云数据，点云数据包含RGB图像中每个点的R、G、B三个图像颜色通道的数值和深度图像中对应的每个点的深度值，R为红色，G为绿色，B为蓝色；
焦平面坐标系是以RGB图像和深度图像所在平面为x,y轴，垂直于平面方向为z轴的像素点坐标系；世界坐标系是以光心为原点的坐标系；焦平面坐标系和世界坐标系都相对于RGB图像的位置不变，焦平面坐标系以像素为单位，世界坐标系以米为单位，根据摄像头参数将RGB图像从焦平面坐标系转换到世界坐标系下的点云数据，每个像素点的转换公式为其中(cx，cy)是光心在焦平面上的坐标，zc是像素点在深度图像中的值，f是RGB-D摄像头的焦距，(xc,yc,zc)是转换到世界坐标系的坐标值；
步骤二、对步骤一中获取的RGB图像和深度图像做图像预处理和局部特征提取；图像预处理是对RGB图像和深度图像使用高斯滤波，局部特征提取是在RGB图像用哈森仿射/哈里斯仿射(Hessian-affine/Harris-affine)提取局部特征，得到若干的局部特征，取局部特征的中心点为特征点；
步骤三、本步骤包括对步骤二中提取的局部特征的中心点由空间分块、灰度序列标记、法向量序列标记三个变量表述；根据步骤二中局部特征的中心点的深度图像数据计算出特征点的尺度值和主方向；
(1)、空间分块：在RGB图像中，将以每个特征点为中心的圆形区域作为其邻域，并将圆形区域分成若干个扇形的子块，但是深度图像中并不分块；
(2)、灰度序列标记：将特征点的邻域中像素点按照灰度值大小排序，根据排序的序号等分成若干个组；统计出步骤三(1)中每个扇形柱体子空间中像素点的个数；
(3)、法向量序列标记：在世界坐标系下的每个特征点的邻域可以拟合成一个曲面，并求出曲面中每个像素点的法向量，两个法向量的夹角可以用点积计算，当点积小于设定阈值时，把点积按照与灰度值相同的方法排序，再将点积的序列分成一个或者多个组；
(4)、特征点的尺度值：特征点的尺度值与特征点的深度值(步骤一中重新定义)近似成反比关系，尺度值根据特征点的深度值通过以下公式求取：其中zc是特征点的深度值，max是取最大值，根据特征点的尺度值可以得到取的特征点的邻域的半径r＝R*s，其中R是常量，r为所求半径。然后将特征点的半径为r的邻域降采样，降采样后的所有特征点的圆形区域半径相同，单位是像素个数；
(5)、局部特征主方向：统计步骤三(2)中的每个扇形子块中所有像素与中心点的法向量的点积，取平均点积最小的扇形子块，即与中心点夹角最大的子块，该子块所在的方向为特征点的邻域的主方向；
步骤四、根据步骤三的空间分块、灰度序列标记、法向量序列标记三个变量构建成三维直方图，将该三维直方图展开并归一化成一维向量，该向量即为局部特征的描述子。
2.根据权利要求1所述的基于RGB-D摄像传感器的局部图像匹配方法，其特征在于，在所述步骤二中，采用包括以下步骤：
所述步骤二的图像预处理采用高斯滤波器对RGB图像和深度图像分别进行噪声平滑；高斯滤波器中高斯核的参数包括标准差σ和平滑半径r(r2＝x2+y2)，RGB图像选取高斯核的标准差σ＝1，平滑半径r＝5σ；在深度图像中，取σ＝2，滤波窗口半径取r＝5σ，即r＝10。
3.根据权利要求1所述的基于RGB-D摄像传感器的局部图像匹配方法，其特征在于，在所述步骤三中，采用包括以下步骤：
(1)、灰度序列标记：特征点的邻域中像素按灰度值大小排序，按照其取值范围分成多个组；统计出每个在该像素值区间点的个数，利用选择排序算法(Selection Sort)得到每个区间的边界值，即可将每个像素分类，复杂度为O(nlog2(nbins))；
(2)、特征点的尺度值：为了减少计算的复杂度，将每个特征点的邻域归一化，全部降采样为固定大小的圆形区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510177576.XA CN104778701B (zh) | 2015-04-15 | 2015-04-15 | 一种基于rgb-d传感器的局部图像描述方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510177576.XA CN104778701B (zh) | 2015-04-15 | 2015-04-15 | 一种基于rgb-d传感器的局部图像描述方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104778701A true CN104778701A (zh) | 2015-07-15 |
| CN104778701B CN104778701B (zh) | 2018-08-24 |
Family
ID=53620147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510177576.XA Active CN104778701B (zh) | 2015-04-15 | 2015-04-15 | 一种基于rgb-d传感器的局部图像描述方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104778701B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096542A (zh) * | 2016-06-08 | 2016-11-09 | 中国科学院上海高等研究院 | 基于距离预测信息的图像视频场景识别方法 |
| CN106556412A (zh) * | 2016-11-01 | 2017-04-05 | 哈尔滨工程大学 | 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法 |
| CN106934763A (zh) * | 2017-04-17 | 2017-07-07 | 北京果毅科技有限公司 | 全景摄像机、行车记录仪、图像处理方法和装置 |
| CN107169933A (zh) * | 2017-04-14 | 2017-09-15 | 杭州光珀智能科技有限公司 | 一种基于tof深度相机的边缘反射像素校正方法 |
| CN108241868A (zh) * | 2016-12-26 | 2018-07-03 | 浙江宇视科技有限公司 | 图像客观相似度到主观相似度的映射方法及装置 |
| CN108399631A (zh) * | 2018-03-01 | 2018-08-14 | 北京中测智绘科技有限公司 | 一种尺度不变性的倾斜影像多视密集匹配方法 |
| CN108492329A (zh) * | 2018-03-19 | 2018-09-04 | 北京航空航天大学 | 一种三维重建点云精度和完整度评价方法 |
| CN109002811A (zh) * | 2018-08-07 | 2018-12-14 | 北醒（北京）光子科技有限公司 | 一种静态手势的识别方法及装置 |
| CN109584281A (zh) * | 2018-10-30 | 2019-04-05 | 江苏大学 | 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 |
| CN110781931A (zh) * | 2019-10-14 | 2020-02-11 | 国家广播电视总局广播电视科学研究院 | 一种局部特征提取和融合的超高清片源转换曲线检测方法 |
| CN110954133A (zh) * | 2019-11-28 | 2020-04-03 | 天津大学 | 核化距离模糊聚类正交分光成像位姿传感器标定方法 |
| CN111553343A (zh) * | 2020-04-01 | 2020-08-18 | 青岛联合创智科技有限公司 | 一种激光点云特征的提取方法 |
| CN111612099A (zh) * | 2020-06-03 | 2020-09-01 | 江苏科技大学 | 基于局部排序差值细化模式的纹理图像分类方法及系统 |
| CN111915657A (zh) * | 2020-07-08 | 2020-11-10 | 浙江大华技术股份有限公司 | 一种点云配准方法、装置、电子设备及存储介质 |
| CN113808050A (zh) * | 2021-09-26 | 2021-12-17 | 北京有竹居网络技术有限公司 | 3d点云的去噪方法、装置、设备及存储介质 |
| CN113902786A (zh) * | 2021-09-23 | 2022-01-07 | 珠海视熙科技有限公司 | 一种深度图像的预处理方法、系统及相关装置 |
| CN114066779A (zh) * | 2022-01-13 | 2022-02-18 | 杭州蓝芯科技有限公司 | 一种深度图滤波方法及装置、电子设备、存储介质 |
| CN114291531A (zh) * | 2022-02-24 | 2022-04-08 | 深圳市扬帆威志实业有限公司 | 卤食品机械传送带控速出料方法 |
| CN116993643A (zh) * | 2023-09-27 | 2023-11-03 | 山东建筑大学 | 基于人工智能的无人机摄影测量图像校正方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256409B1 (en) * | 1998-10-19 | 2001-07-03 | Sony Corporation | Method for determining a correlation between images using multi-element image descriptors |
| CN101055617A (zh) * | 2006-04-10 | 2007-10-17 | 中国科学院自动化研究所 | 基于局部描述子的人脸快速检测方法 |
| WO2008055290A1 (en) * | 2006-11-10 | 2008-05-15 | National Ict Australia Limited | Texture feature extractor |
| CN102521618A (zh) * | 2011-11-11 | 2012-06-27 | 北京大学 | 局部描述子的提取方法、图片检索方法及图像匹配方法 |
| CN102945289A (zh) * | 2012-11-30 | 2013-02-27 | 苏州搜客信息技术有限公司 | 基于cgci-sift局部特征的图像检索方法 |
| KR20130059680A (ko) * | 2011-11-29 | 2013-06-07 | 건국대학교 산학협력단 | 얼굴 영상에서의 기술어 추출 시스템 및 그 방법 |
-
2015
- 2015-04-15 CN CN201510177576.XA patent/CN104778701B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256409B1 (en) * | 1998-10-19 | 2001-07-03 | Sony Corporation | Method for determining a correlation between images using multi-element image descriptors |
| CN101055617A (zh) * | 2006-04-10 | 2007-10-17 | 中国科学院自动化研究所 | 基于局部描述子的人脸快速检测方法 |
| WO2008055290A1 (en) * | 2006-11-10 | 2008-05-15 | National Ict Australia Limited | Texture feature extractor |
| CN102521618A (zh) * | 2011-11-11 | 2012-06-27 | 北京大学 | 局部描述子的提取方法、图片检索方法及图像匹配方法 |
| KR20130059680A (ko) * | 2011-11-29 | 2013-06-07 | 건국대학교 산학협력단 | 얼굴 영상에서의 기술어 추출 시스템 및 그 방법 |
| CN102945289A (zh) * | 2012-11-30 | 2013-02-27 | 苏州搜客信息技术有限公司 | 基于cgci-sift局部特征的图像检索方法 |
Non-Patent Citations (4)
| Title |
|---|
| CAMPOS, M.F.M.等: "BRAND:A robust appearance and depth descriptor for RGB-D images", 《IROS》 * |
| DAVID G: "Distinctive image features from scale-invariant keypoints", 《IJCV》 * |
| K. MIKOLAJCZYK等: "A performance evaluation of local descriptors", 《PAMI》 * |
| TANG F等: "A novel feature descriptor invariant to complex brightness changes", 《CVPR》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096542A (zh) * | 2016-06-08 | 2016-11-09 | 中国科学院上海高等研究院 | 基于距离预测信息的图像视频场景识别方法 |
| CN106096542B (zh) * | 2016-06-08 | 2020-02-11 | 中国科学院上海高等研究院 | 基于距离预测信息的图像视频场景识别方法 |
| CN106556412A (zh) * | 2016-11-01 | 2017-04-05 | 哈尔滨工程大学 | 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法 |
| CN108241868A (zh) * | 2016-12-26 | 2018-07-03 | 浙江宇视科技有限公司 | 图像客观相似度到主观相似度的映射方法及装置 |
| CN107169933A (zh) * | 2017-04-14 | 2017-09-15 | 杭州光珀智能科技有限公司 | 一种基于tof深度相机的边缘反射像素校正方法 |
| CN107169933B (zh) * | 2017-04-14 | 2020-08-18 | 浙江光珀智能科技有限公司 | 一种基于tof深度相机的边缘反射像素校正方法 |
| CN106934763B (zh) * | 2017-04-17 | 2023-08-22 | 北京灵起科技有限公司 | 全景摄像机、行车记录仪、图像处理方法和装置 |
| CN106934763A (zh) * | 2017-04-17 | 2017-07-07 | 北京果毅科技有限公司 | 全景摄像机、行车记录仪、图像处理方法和装置 |
| CN108399631A (zh) * | 2018-03-01 | 2018-08-14 | 北京中测智绘科技有限公司 | 一种尺度不变性的倾斜影像多视密集匹配方法 |
| CN108399631B (zh) * | 2018-03-01 | 2022-02-11 | 北京中测智绘科技有限公司 | 一种尺度不变性的倾斜影像多视密集匹配方法 |
| CN108492329A (zh) * | 2018-03-19 | 2018-09-04 | 北京航空航天大学 | 一种三维重建点云精度和完整度评价方法 |
| CN109002811A (zh) * | 2018-08-07 | 2018-12-14 | 北醒（北京）光子科技有限公司 | 一种静态手势的识别方法及装置 |
| CN109002811B (zh) * | 2018-08-07 | 2021-07-13 | 北醒（北京）光子科技有限公司 | 一种静态手势的识别方法及装置 |
| CN109584281A (zh) * | 2018-10-30 | 2019-04-05 | 江苏大学 | 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 |
| CN110781931B (zh) * | 2019-10-14 | 2022-03-08 | 国家广播电视总局广播电视科学研究院 | 一种局部特征提取和融合的超高清片源转换曲线检测方法 |
| CN110781931A (zh) * | 2019-10-14 | 2020-02-11 | 国家广播电视总局广播电视科学研究院 | 一种局部特征提取和融合的超高清片源转换曲线检测方法 |
| CN110954133A (zh) * | 2019-11-28 | 2020-04-03 | 天津大学 | 核化距离模糊聚类正交分光成像位姿传感器标定方法 |
| CN111553343A (zh) * | 2020-04-01 | 2020-08-18 | 青岛联合创智科技有限公司 | 一种激光点云特征的提取方法 |
| CN111553343B (zh) * | 2020-04-01 | 2023-04-25 | 青岛联合创智科技有限公司 | 一种激光点云特征的提取方法 |
| CN111612099B (zh) * | 2020-06-03 | 2022-11-29 | 江苏科技大学 | 基于局部排序差值细化模式的纹理图像分类方法及系统 |
| CN111612099A (zh) * | 2020-06-03 | 2020-09-01 | 江苏科技大学 | 基于局部排序差值细化模式的纹理图像分类方法及系统 |
| CN111915657A (zh) * | 2020-07-08 | 2020-11-10 | 浙江大华技术股份有限公司 | 一种点云配准方法、装置、电子设备及存储介质 |
| CN113902786A (zh) * | 2021-09-23 | 2022-01-07 | 珠海视熙科技有限公司 | 一种深度图像的预处理方法、系统及相关装置 |
| CN113902786B (zh) * | 2021-09-23 | 2022-05-27 | 珠海视熙科技有限公司 | 一种深度图像的预处理方法、系统及相关装置 |
| CN113808050A (zh) * | 2021-09-26 | 2021-12-17 | 北京有竹居网络技术有限公司 | 3d点云的去噪方法、装置、设备及存储介质 |
| CN113808050B (zh) * | 2021-09-26 | 2024-02-20 | 北京有竹居网络技术有限公司 | 3d点云的去噪方法、装置、设备及存储介质 |
| CN114066779A (zh) * | 2022-01-13 | 2022-02-18 | 杭州蓝芯科技有限公司 | 一种深度图滤波方法及装置、电子设备、存储介质 |
| CN114291531A (zh) * | 2022-02-24 | 2022-04-08 | 深圳市扬帆威志实业有限公司 | 卤食品机械传送带控速出料方法 |
| CN116993643A (zh) * | 2023-09-27 | 2023-11-03 | 山东建筑大学 | 基于人工智能的无人机摄影测量图像校正方法 |
| CN116993643B (zh) * | 2023-09-27 | 2023-12-12 | 山东建筑大学 | 基于人工智能的无人机摄影测量图像校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104778701B (zh) | 2018-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104778701A (zh) | 一种基于rgb-d传感器的局部图像描述方法 | |
| CN107103323B (zh) | 一种基于图像轮廓特征的目标识别方法 | |
| CN104850850B (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
| CN104778457B (zh) | 基于多示例学习的视频人脸识别方法 | |
| CN110097093A (zh) | 一种异源图像精确匹配方法 | |
| Xiaofeng et al. | Discriminatively trained sparse code gradients for contour detection | |
| CN104835175B (zh) | 一种基于视觉注意机制的核环境中目标检测方法 | |
| CN107967482A (zh) | 图标识别方法及装置 | |
| CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
| CN108038481A (zh) | 一种结合最大极值稳定区域和笔画宽度变化的文本定位方法 | |
| WO2013088175A1 (en) | Image processing method | |
| CN104077605A (zh) | 一种基于颜色拓扑结构的行人搜索识别方法 | |
| CN110021029B (zh) | 一种适用于rgbd-slam的实时动态配准方法及存储介质 | |
| CN104182973A (zh) | 基于圆形描述算子csift的图像复制粘贴检测方法 | |
| CN106709500B (zh) | 一种图像特征匹配的方法 | |
| CN103400384A (zh) | 结合区域匹配和点匹配的大视角图像匹配方法 | |
| CN103473551A (zh) | 基于sift算子的台标识别方法及系统 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
| CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
| CN106446925A (zh) | 一种基于图像处理的海豚身份识别的方法 | |
| CN108229500A (zh) | 一种基于函数拟合的sift误匹配点剔除法 | |
| CN104851089A (zh) | 一种基于三维光场的静态场景前景分割方法和装置 | |
| CN102147867A (zh) | 一种基于主体的国画图像和书法图像的识别方法 | |
| CN108073940B (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
| CN110310263B (zh) | 一种基于显著性分析和背景先验的sar图像居民区检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |