发明内容
本发明的目的在于,提供了一种基于图像分析技术的植物物种查询系统及方法,不仅能推广林业知识的科学普及,还能为广大林业工作者和爱好者提供一个便利的科研和查询工具。
本发明的技术方案:本发明的基于图像分析技术的植物物种查询方法分为如下步骤:
通过移动终端采集和发送待查询植物图像;
通过匹配查询设备接收上述待查询植物图像,对该待查询植物图像进行处理,提取该待查询植物图像的目标植物图像的第一特征向量,将该第一特征向量与所述匹配查询设备存储的现有植物的第二特征向量建立的第二特征向量索引分别进行相似度匹配,提取相似度最高的第二特征向量对应的物种名称信息;
或者将该第一特征向量输入至特征分类函数分别进行分类处理,得到包含该第一特征向量的物种名称信息;再提取所述物种名称信息对应的所述匹配查询设备存储的物种信息,并将所述物种信息以短信形式发送到所述移动终端显示;
较佳地,该移动终端可通过手机、数码相机等设备采集待查询植物图像,该移动终端可通过手机发送待查询植物图像至匹配查询设备及接受匹配查询设备发送的该待查询植物的物种信息。
较佳地,采集得到的待查询植物图像包括目标植物图像和背景图像,该目标植物图像为仅包含待查询植物的图像。
较佳地,待查询植物可为树叶、花等。
较佳地,上述第一特征向量为待查询植物图像通过图像处理得到的一组特征向量信息,其至少包括颜色特征、纹理特征及形状特征;上述第二特征向量为现有植物的一组特征向量信息,其至少包括颜色特征、纹理特征及形状特征。
较佳地,该形状特征至少包括纵横比、矩形度、面积凹凸比、周长凹凸比、球状性、圆形度、偏心率及形状参数。
较佳地,该物种信息至少包括物种图片、物种名称、物种科目及物种产地。
进一步,待查询植物图像的匹配查询包括以下步骤:
步骤1:接收从移动终端发送的待查询植物图像;
步骤2:对上述待查询植物图像的目标植物图像与背景图像进行分割处理,并得到目标植物的二值化图像;
步骤3:提取上述二值化图像的第一特征向量,将该第一特征向量与匹配查询设备存储的现有植物的第二特征向量建立的所述第二特征向量索引分别进行相似度匹配,提取与目标植物图像的第一特征向量相似度最高的第二特征向量对应的物种名称信息,再提取该物种名称信息对应的匹配查询设备存储的物种信息;
步骤4:以短信形式发送上述物种信息到移动终端。
进一步,待查询植物图像的匹配查询包括以下步骤:
步骤1:接收从移动终端发送的待查询植物图像;
步骤2:对上述待查询植物图像的目标植物图像与背景图像进行分割处理,并得到目标植物的二值化图像;
步骤3:提取上述二值化图像的第一特征向量,将该第一特征向量输入至预先训练的分类器中构建的特征函数,得到包含该第一特征向量的物种名称信息,再提取该物种名称信息对应的匹配查询设备存储的物种信息;
步骤4:以短信形式发送上述物种信息到移动终端显示。
本发明的基于图像分析技术的植物物种查询系统包括:
至少一个移动终端,其用于采集和发送待查询植物图像,并接收待查询植物的物种信息;采集得到的待查询植物图像包括目标植物图像和背景图像,该目标植物图像为仅包含待查询植物的图像;
匹配查询设备,其存储有现有植物的第二特征向量所建立的第二特征向量索引及物种名称对应的物种信息,该匹配查询设备接收上述待查询植物图像,提取其第一特征向量,将该第一特征向量与匹配查询设备存储的第二特征向量索引分别进行相似度匹配,提取相似度最高的第二特征向量所对应的物种名称信息;
或者所述匹配查询设备存储有预先训练的分类器的特征分类函数及物种名称对应的物种信息,将该第一特征向量输入至预先训练的分类器中构建的特征分类函数分别进行分类处理,得到包含该第一特征向量的物种名称信息;再提取该物种名称信息对应的匹配查询设备存储的物种信息,并将该物种信息以短信形式发送到移动终端。
较佳地,该移动终端通过手机、数码相机等采集待查询植物图像,该移动终端可通过手机发送待查询植物图像及接受匹配查询设备发送的该待查询植物的物种信息。
较佳地,待查询植物可为树叶、花等。
较佳地,上述第一特征向量为待查询植物图像通过图像处理得到的一组特征向量信息,其至少包括颜色特征、纹理特征及形状特征;上述第二特征向量为现有植物的一组特征向量信息,其至少包括颜色特征、纹理特征及形状特征。
较佳地,该形状特征至少包括纵横比、矩形度、面积凹凸比、周长凹凸比、球状性、圆形度、偏心率及形状参数。
较佳地,该物种信息至少包括物种图片、物种名称、物种科目及物种产地。
进一步,上述匹配查询设备包括:
接收模块,其用于接收从动终端发送的待查询植物图像;
图像分割模块,其用于将上述待查询植物图像进行分割处理,得到目标植物的二值化图像;
图像检索模块,其用于对所述二值化图像的第一特征向量分别进行相似度匹配或者分类处理,得到包含该第一特征向量对应的物种名称信息,并提取所述物种名称信息对应的所述物种信息;
发送模块,其用于将上述物种信息以短信形式发送到移动终端。
本发明有益效果:本发明的提出使得植物物种信息的查询方便,匹配成功率高,并可不断更新特征数据库、图像数据库及分类器;有利于林业工作者在户外工作时,方便查找植物的信息,提高工作效率;有利用广大林业爱好者随时可查询想了解的植物,提高自己的林业知识水平;有利于推广林业知识的科学普及。
具体实施方式
为使本发明的特征和优点能够更加明显易懂,下面结合附图和具体实施例对本发明作进一步详细的说明。
请参阅图1至图4B,本发明的基于图像分析技术的植物物种查询方法分为如下步骤:
通过移动终端1采集和发送待查询植物图像31;
通过匹配查询设备2接收上述待查询植物图像31,对待查询植物图像31进行处理,提取待查询植物图像31的目标植物图像的第一特征向量,将该第一特征向量与匹配查询设备2存储的现有植物的第二特征向量建立的第二特征向量索引分别进行相似度匹配503,提取相似度最高的第二特征向量对应的物种名称信息;
或者将该第一特征向量输入至特征分类函数分别进行分类处理,得到包含该第一特征向量的物种名称信息;再提取该物种名称信息对应的匹配查询设备2存储的物种信息,并将该物种信息以短信形式发送到移动终端1。
较佳地,该移动终端1可通过手机、数码相机等设备采集待查询植物图像31,该移动终端1可通过手机发送待查询植物图像31至匹配查询设备2及接受匹配查询设备2发送的该待查询植物3的物种信息。
较佳地,采集得到的待查询植物图像31包括目标植物图像和背景图像,该目标植物图像为仅包含待查询植物的图像。
较佳地,待查询植物3可为树叶、花等。
较佳地,上述第一特征向量为待查询植物图像31通过图像处理得到的一组特征向量信息,其至少包括颜色特征、纹理特征及形状特征;上述第二特征向量为现有植物的一组特征向量信息,其至少包括颜色特征、纹理特征及形状特征。
较佳地,该形状特征至少包括纵横比、矩形度、面积凹凸比、周长凹凸比、球状性、圆形度、偏心率及形状参数;由于这些参数都是区域度量值的比值,因此具有旋转、平移和缩放不变性。
较佳地,该物种信息至少包括物种图片、物种名称、物种科目及物种产地。
进一步,待查询植物图像31的匹配查询包括以下步骤:
步骤1:接收从移动终端1发送的待查询植物图像31;
步骤2:对上述待查询植物图像31的目标植物图像与背景图像进行分割处理,并得到目标植物的二值化图像;
步骤3:输入目标植物的二值化图像501,提取二值化图像的第一特征向量502,将该第一特征向量与图像数据库234中存储的第二特征向量索引分别进行相似度匹配,提取与第一特征向量相似度最高的第二特征向量对应的物种名称信息,再提取该物种名称信息对应的匹配查询设备2存储的物种信息;
步骤4:以短信形式发送上述物种信息到移动终端1显示。
进一步,待查询植物图像31的匹配查询包括以下步骤:
步骤1:接收从移动终端1发送的待查询植物图像31;
步骤2:对上述待查询植物图像31的目标植物图像与背景图像进行分割处理,并得到目标植物的二值化图像;
步骤3:输入目标植物的二值化图像501,提取二值化图像的第一特征向量502,将该第一特征向量输入至预先训练的分类器236中构建的特征函数,得到包含该第一特征向量的物种名称信息,再提取该物种名称信息对应的图像数据库234中存储的物种信息;
步骤4:以短信形式发送待查询植物的物种信息504到移动终端1显示。
结合图1,步骤2进一步还包括以下步骤:
步骤21:通过图像转换401,将接收到的待查询植物图像31转换为灰度图像;
步骤22:采用毯子法,计算待查询植物图像局部分形维数402,该毯子法将上述灰度图像的像素值视为一座山峰,该山峰的高度为图像的灰度值,在距该山峰表面为ε的两侧形成以厚度为两倍的ε(即:2ε)的一张毯子,根据该毯子的体积和厚度得到其表面积A(ε),由于ε的值不同,可得到不同的表面积值,将其表面积的表达式经变换,得到纵坐标为log A(ε)、横坐标为logε的logA(ε)-logε坐标系中的直线斜率,进而计算出待查询植物的灰度图像的局部分形维数;
再在待查询植物图像31上设置一个小于该待查询植物图像的窗口,使该窗口沿水平和垂直方向滑动,以该窗口内的待查询植物图像31的分形维数作为该窗口中心点处图像的分型特征值,可得到待查询植物图像31中各点的局部分形维数,从而得到待查询植物图像31的分形图像,将该分形图像进行归一化,得到分形灰度图像,并可得到目标植物的纹理特征;
步骤23:采用最大类间方差法选取最佳阈值,对上述分形维数图的灰度图像进行阈值分割403。该最佳阈值把上述分形维数图的灰度图像分成目标植物图像和背景图像,利用目标植物图像平均灰度值、背景图像平均灰度值,目标植物图像像素数占待查询植物图像31的比例及背景图像像素数占待查询植物图像的比例所构成的方差,当该方差最大,则可认为此时目标植物图像和背景图像差异最大,即为最佳阈值,并通过阈值分割得到目标植物的二值化图像;
步骤24:采用4邻域像素连通标记法,计算上述目标植物的二值化图像的最大连通区域的像素数(Sm)404,该标记方法是对上述目标植物的二值化图像进行从上到下和从左到右的扫描,进行连通区域标记,并用等价表中的最低标记取代每个标记,标记出最大连通区域,并计算出最大连通区域的像素数;
步骤25:判断最大连通区域的像素数与四分之一的整幅待查询植物图像像素数的关系;
较佳地,步骤25进一步还包括以下步骤:
步骤251:当上述最大连通区域的像素数小于四分之一的整幅待查询植物图像像素数时,表明上述阈值分割效果不理想,从而执行基于颜色的模糊聚类分割406,该模糊聚类分割用于分割颜色差异较大的目标植物图像与背景图像,将目标植物图像中的像素点分为c(c远小于像素点,但c>1)个模糊组,然后求出每组的聚类中心,并确定隶属矩阵,从而分割目标植物图像与背景图像;执行完该模糊聚类分割后,执行目标植物图像的填充和去噪405,该填充和去噪步骤用于提高图像分割的准确率,填充处理包括以下步骤:先扫描整幅图像并标记出目标连通区域(即:像素值为255的区域),然后统计每个连通区域的像素数,最后填充所有小于最大连通区域的连通区域,此时,系统默认为最大连通区域为叶片区域;去噪处理包括以下步骤:先扫描整幅图像并标记出背景连通区域(即:像素值为0的区域),然后统计每个连通区域的像素数,最后将所有小于最大连通区域的连通区域的像素值置为255,此时,系统默认为小于最大连通区域为噪声;
步骤252:当上述最大连通区域的像素数大于四分之一的整幅待查询植物图像像素数时,表明上述阈值分割效果理想,从而执行目标植物图像的填充和去噪405;
步骤26:输出目标植物的二值化图像407。
较佳地,上述特征数据库233,用于存储现有植物的第二特征向量,并将该第二特征向量,如颜色、形状及纹理等特征向量,分别建立特征向量索引,即颜色索引,检索与用户指定颜色相似的图像;形状索引,检索具有相似形状的图像;纹理索引,检索具有相似纹理的图像;用于与目标植物图像的第一特征向量进行相似度匹配503;
较佳地,上述图像数据库234,用于存储物种名称信息对应的物种信息;
较佳地,上述分类器236,用于存储由现有植物的第二特征向量预先训练所构建的特征分类函数,该特征分类函数以待查询植物图像的第一特征向量为自变量,以所述物种名称信息为因变量,处理结果为该第一特征向量对应的所述物种名称信息。
较佳地,该特征数据库233、图像数据库234及分类器236可进行更新。
较佳地,如果步骤33中特征向量相似度匹配503失败,则匹配查询设备2返回一个空值到移动终端1。
再参阅图3、图4A及图4B,本发明的基于图像分析技术的植物物种查询系统包括:
至少一个移动终端1,其用于采集和发送待查询植物图像31,并接收待查询植物3的物种信息;采集得到的待查询植物图像31包括目标植物图像和背景图像,该目标植物图像为仅包含待查询植物的图像;
匹配查询设备2,其存储有现有植物的第二特征向量所建立的第二特征向量索引及物种名称对应的物种信息;该匹配查询设备2接收上述待查询植物图像31,提取其第一特征向量,将该第一特征向量与上述第二特征向量索引分别进行相似度匹配503,提取相似度最高的第二特征向量所对应的物种名称信息;
或者该匹配查询设备存储有预先训练的分类器236的特征分类函数及物种名称对应的物种信息,将该第一特征向量输入至上述特征分类函数分别进行分类处理,得到包含该第一特征向量的物种名称信息;再提取该物种名称信息对应的上述物种信息,并将该物种信息以短信形式发送到移动终端1。
较佳地,该移动终端1通过手机、数码相机等采集待查询植物图像31,该移动终端1可通过手机发送待查询植物图像31及接受匹配查询设备2发送的该待查询植物3的物种信息。
较佳地,待查询植物3可为树叶、花等。
较佳地,上述第一特征向量为待查询植物图像31通过图像处理得到的一组特征向量信息,其至少包括颜色特征、纹理特征及形状特征;上述第二特征向量为现有植物的一组特征向量信息,其至少包括颜色特征、纹理特征及形状特征。
较佳地,该形状特征至少包括纵横比、矩形度、面积凹凸比、周长凹凸比、球状性、圆形度、偏心率及形状参数。
较佳地,该物种信息至少包括物种图片、物种名称、物种科目及物种产地。
进一步,上述匹配查询设备2包括:
接收模块21,其用于接收从动终端1发送的待查询植物图像31;
图像分割模块22,其用于将上述待查询植物图像31进行分割处理,得到目标植物的二值化图像;
图像检索模块23,其用于对二值化图像的第一特征向量分别进行相似度匹配503或者分类处理,得到包含该第一特征向量对应的物种名称信息,并提取物种名称信息对应的所述物种信息;
发送模块24,其用于将上述物种信息以短信形式发送到移动终端1。
进一步,该图像分割模块22包括:
图像转换子模块221,其用于将待查询植物图像31转换为灰度图像;
第一计算子模块222,其采用毯子法计算出上述灰度图像的局部分形维数,该毯子法将上述灰度图像的像素值视为一座山峰,该山峰的高度为图像的灰度值,在距该山峰表面为ε的两侧形成以厚度为两倍的ε(即:2ε)的一张毯子,根据该毯子的体积和厚度得到其表面积A(ε),由于ε的值不同,可得到不同的表面积值,将其表面积的表达式经变换,得到纵坐标为log A(ε)、横坐标为logε的log A(ε)-logε坐标系中的直线斜率,进而计算出待查询植物的灰度图像的局部分形维数;再在待查询植物图像上设置一个小于该待查询植物图像的窗口,使该窗口沿水平和垂直方向滑动,以该窗口内的待查询植物图像31的分形维数作为该窗口中心点处图像的分型特征值,可得到待查询植物图像31中各点的局部分形维数,从而得到待查询植物图像的分形图像,将该分形图像进行归一化,得到分形灰度图像,并可得到目标植物的纹理特征;
阈值分割子模块223,其采用最大类间方差法选取最佳阈值对上述分形灰度图像进行分割处理。该最佳阈值把分形灰度图像分成目标植物图像和背景图像,利用目标植物图像平均灰度值、背景图像平均灰度值,目标植物图像像素数占待查询植物图像的比例及背景图像像素数占待查询植物图像的比例所构成的方差,当该方差最大,则可认为此时目标植物图像和背景图像差异最大,即为最佳阈值,并通过阈值分割得到目标植物图像的二值化图像,此时,目标植物区域的值为255,背景区域的值为0;
第二计算子模块224,其采用“4邻域像素连通标记法”,对上述二值化图像进行连通区域标记,该标记方法采用对上述二值化图像从上到下和从左到右的扫描进行连通区域标记,并利用等价表中的最低标记取代每个标记,标记出最大连通区域,并计算出最大连通区域的像素数;
判断子模块225,其用于判断上述计算出的最大连通区域的像素数与四分之一的整幅待查询植物图像像素数之间的关系;
输出子模块228,输出目标植物的二值化图像。
进一步,上述判断子模块225还包含:
当上述最大连通区域的像素数大于四分之一的整幅待查询植物图像像素数时,表明上述阈值分割效果理想,从而进入填充和去噪子模块226,用于提高图像分割的准确率;填充处理包括:先扫描整幅图像并标记出目标连通区域(即:值为255的区域),然后统计每个连通区域的像素数,最后填充所有小于最大连通区域的连通区域,此时,系统默认为最大连通区域为叶片区域;去噪处理包括:先扫描整幅图像并标记出背景连通区域(即:值为0的区域),然后统计每个连通区域的像素数,最后将所有小于最大连通区域的连通区域的像素值置为255,此时,系统默认为小于最大连通区域为噪声;以及
当上述最大连通区域的像素数小于四分之一的整幅待查询植物图像像素数时,表明上述阈值分割效果不理想,从而进入模糊聚类分割子模块227,其用于对图像转换前的待查询植物图像的目标植物图像与背景图像进行分割,采用基于颜色的模糊聚类算法,该方法用于对目标植物图像和背景图像的颜色差异较大时进行分割处理,该方法可将目标植物图像中的像素点分为c(c远小于像素点,但c>1)个模糊组,然后求出每组的聚类中心,并确定隶属矩阵,从而分割目标植物图像与背景图像,然后再进入填充和去噪子模块226;
进一步,该图像检索模块23包括:
特征向量提取子模块231,其用于提取上述第一特征向量;
特征向量输入子模块232,其用于输入上述第一特征向量;
特征数据库233,用于存储现有植物的第二特征向量,并将现有植物的该第二特征向量,如颜色、形状及纹理等特征向量,分别建立特征向量索引,即颜色索引,检索与用户指定颜色相似的图像;形状索引,检索具有相似形状的图像;纹理索引,检索具有相似纹理的图像;用于与目标植物图像的特征向量进行相似度匹配503;
图像数据库234,用于存储现有植物物种名称信息对应的物种信息;
匹配子模块235,通过将目标植物图像的第一特征向量分别与特征数据库中的第二特征向量进行相似度匹配503,提取相似度最高的第二特征向量对应的图像数据库234中的物种信息。
进一步,该图像检索模块23包括:
特征向量提取子模块231,其用于提取上述第一特征向量;
特征向量输入子模块232,其用于输入上述第一特征向量;
图像数据库234,用于存储现有植物物种名称信息对应的物种信息;
分类器236,用于存储由现有植物的第二特征向量预先训练所构建的特征分类函数,该特征分类函数以待查询植物图像的第一特征向量为自变量,以物种名称信息为因变量,处理结果为包含该第一特征向量对应的所述物种名称信息;
分类处理子模块237,用于提取所述物种名称信息对应的所述图像数据库234中的物种信息。
较佳地,该特征数据库233、图像数据库234及分类器236可进行更新。
较佳地,如果匹配查询失败,即特征数据库233或图像数据库234中不含有待查询植物图像31的第一特征向量,则该匹配查询设备2返回一个空值到移动终端1。
显然,上述实施例仅为本发明技术方案的说明并非限制,对本发明的技术方案进行的各种改动和等同替换而不脱离本发明的精神和范围,均应涵盖在本发明的权利要求范围之内。