Nothing Special   »   [go: up one dir, main page]

CN114742968B - 一种基于建筑物立面点云的立面图生成方法 - Google Patents

一种基于建筑物立面点云的立面图生成方法 Download PDF

Info

Publication number
CN114742968B
CN114742968B CN202210659630.4A CN202210659630A CN114742968B CN 114742968 B CN114742968 B CN 114742968B CN 202210659630 A CN202210659630 A CN 202210659630A CN 114742968 B CN114742968 B CN 114742968B
Authority
CN
China
Prior art keywords
image
building
point cloud
band
elevation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210659630.4A
Other languages
English (en)
Other versions
CN114742968A (zh
Inventor
于冰
胡金龙
王冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202210659630.4A priority Critical patent/CN114742968B/zh
Publication of CN114742968A publication Critical patent/CN114742968A/zh
Application granted granted Critical
Publication of CN114742968B publication Critical patent/CN114742968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于建筑物立面点云的立面图生成方法，基于建筑物立面点云生成初始特征图；对所述初始特征图进行图像增强，得到单波段特征图像、三波段特征图像；在单波段特征图像上提取建筑物边界、在三波段特征图像上提取门窗边界；合并建筑物边界与门窗边界，得到建筑物立面图。本发明提供一种基于建筑物立面点云的立面图生成方法，以解决现有技术中从建筑物立面点云中提取出立面图的技术难题，实现自动且稳定的基于立面点云提取立面图，降低对点云数据的质量要求，提高立面图提取方法的可迁移性的目的。

Description

一种基于建筑物立面点云的立面图生成方法
技术领域
本发明涉及建筑物测绘领域，具体涉及一种基于建筑物立面点云的立面图生成方法。
背景技术
建筑物是城市场景中人造物体的主要类型。随着城市规划、智慧城市和建筑信息模型（BIM）的不断发展，这些领域对建筑物结构信息及其特征的需求越来越大，要求也越来越高，如何高效和精确获取这些数据以及3D建模所需信息，是当前建筑物测绘领域面临的主要问题之一。建筑立面图（Building facade map）反应了建筑物表面的几何结构及其特征，它不仅能够直接服务于旧城改造、城市规划以及智慧城市建设等，还为大规模的建立3D建筑模型提供了简单灵活的方式。但是，由于绝大多数早期城市建筑的几何形状都没有记录，因此需要通过测量技术获取建筑物的立面信息，通过传统测量方法收集这些立面数据效率低下且成本巨大。
随着遥感技术的不断发展，通过激光扫描获得物体的3D点云数据已经成为成熟手段，因此人们也逐渐开始尝试直接从建筑物的3D点云数据中提取立面图，主要方法为：（一）直接提取：基于3D点云的几何信息，如距离变化、法线变化、曲率变化和3D点云的密度等，直接从原始或预处理后的3D点云中提取立面图；（二）间接提取：分割建筑物立面，再通过对建筑物特征（如门窗等）做特征提取以识别建筑物立面，获得立面图。
但是，这些现有技术在实际应用过程中仍存在诸多局限：（1）对3D点云数据要求高，依赖于多种特征信息，如点云RGB色彩、强度信息以及2D深度图像等，难以应对仅含坐标信息的点云数据，提高了点云采集的硬件要求和成本；（2）鲁棒性不高，当数据质量不佳、立面点云存在遮挡、噪声、密度不均等的情况下时，效果较差精度较低、甚至完全无法工作；（3）对用户参与度具有较高要求，难以实现直接从无序的3D点云数据中自动提取建筑物立面图；（4）可迁移性低，一种方法或模型通常对于一个特定场景的数据具有较好的效果而在其他场景甚至其他数据上则表现较差。
此外，“一种带约束的建筑物立面正射影像图提取方法”（授权公告号CN113256813B），该方法公开了以获取的建筑物立面点云为基础生成建筑物立面正射影像图，但是该方法是依靠常规的平面方程投影来生成立面正射影像图；且作为本领域公知常识，立面正射影像图是栅格的图片，与本申请所想要获取的矢量化的立面图完全不同。
综上，如何从无序的、质量不一的立面点云数据中稳定的提取出建筑物立面图仍然是亟需解决的技术难题。
发明内容
本发明提供一种基于建筑物立面点云的立面图生成方法，以解决现有技术中从建筑物立面点云中提取出立面图的技术难题，实现自动且稳健的基于立面点云提取立面图，降低对点云数据的质量要求，提高立面图提取方法的可迁移性的目的。
本发明通过下述技术方案实现：
一种基于建筑物立面点云的立面图生成方法，包括：
基于建筑物立面点云生成初始特征图；
对所述初始特征图进行图像增强，得到单波段特征图像、三波段特征图像；
在单波段特征图像上提取建筑物边界、在三波段特征图像上提取门窗边界；
合并建筑物边界与门窗边界，得到建筑物立面图。
现有技术中从立面点云中提取建筑物立面图时，存在对数据要求高、依赖于多种特征信息、对用户参与的需求高、可迁移性低等问题，本发明提出一种基于建筑物立面点云的立面图生成方法，本方法将建筑物立面点云作为已知条件，首先在此基础上生成初始特征图，然后对初始特征图进行图像增强操作，通过图像增强得到单波段特征图像、三波段特征图像，用于为后续的立面图提取做好特征图像的准备工作。之后，分别基于单波段特征图像、三波段特征图像提取出建筑物边界、以及建筑物所包含的门窗边界，再合并建筑物边界与门窗边界，即可得到本申请所需的建筑物立面图。
本申请摒弃了现有技术中的直接或间接提取方式，采用了与现有技术完全不同的立面图提取思路，因此无需考虑3D点云的几何信息、也不用通过建筑物特征来识别建筑物立面，可以从立面点云中稳健且自动的得到矢量化的立面图，且不需要点云强度和颜色等辅助信息，具有对数据要求低、无需过多人为参与、且具有较强的可迁移性和通用性。
其中，本申请利用特征增强手段创建特征更多的三波段特征图像，在得到的三波段特征图像上提取门窗边界，有利于显著提高后续深度学习的效果、以此显著增强对门窗边界的提取精度。
进一步的，基于建筑物立面点云生成初始特征图的方法包括：
将建筑物立面点云的集合转换为以对应建筑物立面为参考坐标系的点集；
舍弃所述点集中点云相对于平面的高度参数，得到三维点云投影至对应立面的二维平面点云；
创建格网，通过所述格网对所述二维平面点云进行划分，统计各格网内的点云数目，以点云数目作为像素值将点云栅格化为单波段二维图像；
对所述单波段二维图像中像素值为0的区域进行掩膜，得到初始特征图。
点云数量作为3D点云的典型特征之一，本技术通过统计该特征，实现了缺失强度和颜色信息、仅具有几何信息的点云特征图像生成，降低了点云采集的设备要求，进而降低了点云采集的成本。
进一步的，对所述初始特征图进行图像增强的方法包括：
对初始特征图执行直方图均衡化处理，得到第一特征图像I 1；
对初始特征图依次执行带通滤波、直方图均衡化处理，得到第二特征图像I 2；
对初始特征图进行边缘检测，得到边缘检测特征图像I 3；
以I 1作为单波段特征图像；合并I 1、I 2和I 3，得到三波段特征图像。
本方案提出了专用于本申请立面图生成的图像增强方法，可在显著增强图像效果的同时，得到后续所需的单波段特征图像和三波段特征图像。
其中，第二特征图像I 2是首先对初始特征图执行带通滤波操作，然后再对带通滤波的结果进行直方图均衡化处理。
进一步的，直方图均衡化处理包括：
计算被处理特征图的累计直方图hist c ；
计算直方图均衡化的映射关系cdf：cdf= hist c ×(2 q /(m×n))，其中m、n分别为被处理特征图的长、宽；q为初始特征图的量化位数；
基于映射关系cdf对原始图像进行映射，得到直方图均衡化后的特征图像。
需要说明的是，本方案中的直方图均衡化处理方法，可同时用于得到第一特征图像与第二特征图像的过程中。
进一步的，带通滤波通过如下公式执行：
Figure DEST_PATH_IMAGE001
；
式中：G(u, v)为经带通滤波后输出图像的傅里叶变换，F(u, v)为含有噪声的原图像的傅里叶变换域，B(u, v)为带通滤波传递函数，D(u, v)代表到原点的欧几里得距离，D 0、D 1分别为截断频率的最小值、最大值。
进一步的，所述边缘检测的方法包括：
分别使用Prewitt算子中的水平检测算子、垂直检测算子，对初始特征图进行边缘检测操作；将两个边缘检测的结果相加，得到边缘检测特征图像I 3。
本方案的边缘检测方法，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，从而去掉部分伪边缘，对噪声具有平滑作用。
本领域技术人员应当理解，其中的Prewitt算子为本领域通用术语，无标准中文翻译。
进一步的，在单波段特征图像上提取建筑物边界的方法包括：
通过如下公式对单波段特征图像做闭运算：
Figure 100002_DEST_PATH_IMAGE002
式中：O 1为闭运算后的特征图像，O为原始单波段特征图像，B为闭运算结构元素，
Figure DEST_PATH_IMAGE003
为膨胀运算符，
Figure 100002_DEST_PATH_IMAGE004
为腐蚀运算符；
对闭运算后的图像进行邻域连通域检测；
基于邻域连通域检测结果，获取最大连通域、进行栅格转矢量操作，将获取到的矢量面作为建筑物初始边界；
对建筑物初始边界进行空洞填补，填补对象为面积小于整体面积20%的空洞；
通过边界简化和正交化操作优化填补后的边界，得到建筑物边界。
本方案通过闭运算可更加减少噪声和遮挡的影响，通过邻域连通域检测可有效获取建筑物边界所对应的区域。此外，在得到的建筑物初始边界中，由于遮挡等因素，获取到的面边界数据中可能存在空洞，而这些空洞中又可能存在真实空洞，因此本方案通过空洞填补可克服遮挡干扰、又尽量保留了真实空洞的存在。
进一步的，采用种子填充法对闭运算后的图像进行邻域连通域检测，具体检测方法包括：
步骤a、将闭运算后的图像中所有像素值为0的像素作为背景像素，不做处理；将图像中所有非0像素作为前景像素并标注为1，得到二值化图像；
步骤b、初始化种子填充法中的标签label、栈s，令label=1；
步骤c、从图像左上角开始，按照从左到右、从上到下的顺序遍历二值化图像，直到找到满足像素为1的点，作为种子点；
步骤d、将所述种子点的像素值修改为标签label对应的值，然后将该种子点相邻的所有前景像素存入栈s中；
步骤e、移除栈顶像素，将栈顶像素的像素值修改为标签label对应的值，然后将与该栈顶像素相邻的所有前景像素存入栈s中；
步骤f、重复步骤e，直到栈s为空；
步骤g、令label=label+1；
步骤h、重复步骤c~步骤g，直到图像中所有的前景像素都被标注完毕，得到图像中所有的连通区域。
进一步的，在三波段特征图像上提取门窗边界的方法包括：
使用Faster R-CNN模型作为主干网络、使用ResNet50模型作为预训练网络，建立基于深度学习的目标检测模型；
使用标注好的门窗样本对所述目标检测模型进行训练；
将需要进行门窗检测的三波段特征图像切片、代入训练好的目标检测模型，得到所有切片的检测结果，合并后得到所需的门窗边界。
其中，Faster R-CNN模型与ResNet50模型均为深度学习中的现有网络模型，在此不做赘述。
进一步的，还包括对所有切片的检测结果做非极大值抑制操作，使同一平面的同一位置仅保留置信度最高的检测结果，保证立面图的同一平面同一位置仅有一个门窗目标存在，以契合实际情况。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种基于建筑物立面点云的立面图生成方法，摒弃了现有技术中的直接或间接提取方式，采用了与现有技术完全不同的立面图提取思路，因此无需考虑3D点云的几何信息、也不用通过建筑物特征来识别建筑物立面，可以从立面点云中稳定且自动的得到矢量化的立面图，且不需要点云强度和颜色等辅助信息。
2、本发明一种基于建筑物立面点云的立面图生成方法，降低了对3D点云数据质量的依赖，在数据质量不佳、立面点云存在遮挡、噪声、密度不均等的情况下时依然可以稳定提取出建筑物立面图，显著提高了鲁棒性。
3、本发明一种基于建筑物立面点云的立面图生成方法，仅利用点云的几何信息进行立面图生成，无需采集点云强度和颜色等其他信息，降低了对点云采集设备的要求，进而降低了点云采集成本。
4、本发明一种基于建筑物立面点云的立面图生成方法，方法使用过程中无需过多人为参与、且具有较强的可迁移性或通用性。
5、本发明一种基于建筑物立面点云的立面图生成方法，分别获取建筑物边界和门窗边界，再进行合并得到建筑物立面图。其中使用深度学习图像对象检测模型提取门窗边缘，相比传统基于几何的方法，在数据质量不佳（存在遮挡、噪声、密度不均等）的情况下仍能取得较好的效果。
、本发明一种基于建筑物立面点云的立面图生成方法，通过一系列数字图像处理技术获取初始建筑物边缘，并基于建筑物边缘的特性进行空洞填补和边界优化，最终获取到的建筑物边缘横平竖直，且不存在细碎的边线和空洞，满足建筑物边缘的应用需求。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明具体实施例的流程示意图；
图2为本发明具体实施例中的建筑物立面点云；
图3为本发明具体实施例中的立面图提取结果；
图4为本发明具体实施例在粗略提取时的立面提取精度指标箱线图；
图5为本发明具体实施例在精确提取时的立面提取精度指标箱线图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。在本申请的描述中，需要理解的是，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制。
实施例1：
如图1所示的一种基于建筑物立面点云的立面图生成方法：
基于建筑物立面点云生成初始特征图；
对所述初始特征图进行图像增强，得到单波段特征图像、三波段特征图像；
在单波段特征图像上提取建筑物边界、在三波段特征图像上提取门窗边界；
合并建筑物边界与门窗边界，得到建筑物立面图。
优选的，本实施例中的单波段特征图像为有且仅有1个波段的特征图像，三波段特征图像是由经过图像增强处理的三个单波段特征图像组成的三波段特征图像。
实施例2：
一种基于建筑物立面点云的立面图生成方法，主要包括以下流程：
（一）特征图像生成
（1）初始特征图生成
将立面提取得到的建筑物立面点云集合B(x,y,z)转换为以对应建筑物立面为参考坐标系的点集B’(x’,y’,z’)，转换公式如下：
Figure 100002_DEST_PATH_IMAGE005
式中，A、B均为对应建筑物立面的平面一般式方程系数；α为建筑物立面与平面XOZ的夹角。
再舍弃相对于平面的高度参数z’，得到三维点云投影至对应立面的二维平面点云B”(x’,y’)。使用指定的边长创建格网并对二维平面点云B”(x’,y’)进行划分，统计各格网内点云的数目，以该值作为像素值将点云栅格化为单波段二维图像。其后，对二维图像中像素值为0的区域进行掩膜，便得到初始特征图I。
（2）图像增强
设输入的初始特征图I大小为m×n，使用8位量化进行存储。图像增强的过程主要包括：
a）直方图均衡化
首先计算初始特征图I的累计直方图：hist c =cumsum(histogram(I))；
其中cumsum为累加运算符，histogram为获取直方图运算符。
其次计算直方图均衡化的映射关系：cdf= hist c ×(256/(m×n))，其中m和n分别初始特征图I的长和宽。
最后对原始图像进行映射，即可得到直方图均衡化后的图像I 1：I 1= cdf[I]。
b）带通滤波与直方图均衡化
首先对初始特征图I执行带通滤波：
Figure 100002_DEST_PATH_IMAGE006
式中：G(u, v)为经带通滤波后输出图像的傅里叶变换，F(u, v)为含有噪声的原图像的傅里叶变换域，B(u, v)为带通滤波传递函数，D(u, v)代表到原点的欧几里得距离，D 0、D 1分别为截断频率的最小值、最大值。
再对经过带通滤波的图像进行如前文“a）直方图均衡化”中记载的直方图均衡化处理，得到第二特征图像I 2。
c）Prewitt边缘检测
Prewitt算子是一种一阶微分算子的边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的，这两个方向模板一个检测水平边缘，一个检测垂直边缘。其边缘检测算子可由如下公式计算：
Figure DEST_PATH_IMAGE008
式中，G x 、G y 分别为水平检测算子、垂直检测算子；f(i, j)代表图像第i行第j列对应的像元值。根据上述公式，可以得到Prewitt的模版如下：
Figure DEST_PATH_IMAGE009
对初始特征图I分别使用G x 和G y 算子进行边缘检测，将二者的结果相加，便得到了边缘检测特征图像I 3。
（3）特征图像生成
将通过以上图像增强方法得到的图像I 1、I 2和I 3合成为一幅包含3个波段的特征图像，作为三波段特征图像；将直方图均衡化结果图像I 1作为单波段特征图像。
（二）门窗检测
本实施例中的门窗检测是在上文得到的三波段特征图像上进行，使用图像目标检测模型中精度较高的Faster R-CNN模型进行提取。该模型最大的特点是设计了 RegionProposal Networks(选区建议网络)，利用 CNN 卷积操作后的特征图生成候选区，代替了Selective Search(选取搜索)、Edge Boxes(边界框生成) 等方法，提高了检测速度的同时保证了检测精度。
值得注意的是，依据建筑物立面图同一平面同一位置仅有一个目标的特点，本实施例对检测结果做非极大值抑制，使同一位置仅保留置信度最高的提取结果。
优选的，本实施例使用Torchvision模块提供的Faster R-CNN模型作为主干网络，利用ResNet50作为预训练网络。使用标注好的样本对模型进行训练，得到适用于本实施例的建筑物门窗检测模型。将需要进行门窗检测的特征图像切片后传入该模型进行推理，所有切片推理完成后，将各切片得到的结果合并，便得到了所需的门窗边界。
其中本领域技术人员应当理解，Torchvision模块是PyTorch框架中专门用来处理图像的模块，无标准中文翻译。
（三）建筑物边界提取
设前文所得到的单波段特征图像为O，建筑物边界提取的流程如下：
（1）特征图像闭运算
为减少噪声和遮挡的影响，对单波段特征图像做闭运算：
Figure 135754DEST_PATH_IMAGE002
式中：O 1为闭运算后的特征图像，O为原始单波段特征图像，B为闭运算结构元素，
Figure DEST_PATH_IMAGE010
为膨胀运算符，
Figure DEST_PATH_IMAGE011
为腐蚀运算符；
本实施例中对图像O的膨胀和腐蚀运算表示为：
Figure DEST_PATH_IMAGE012
式中，B x 为闭运算结构元素B平移x后得到的结构元素。
（2）连通域检测
为了获取建筑物边界所对应的区域，对闭运算后的图像使用种子填充法进行8邻域连通域检测，具体流程为：
a）图像二值化。将图像中所有像素值为0 的像素作为背景像素，不做处理；将图像中所有非0像素视为前景像素，标注为1，即二值化结果为：
Figure DEST_PATH_IMAGE013
b）初始化标签label=1、用于存储过程数据的栈s。
c）选取种子点：从图像左上角开始按照从左到右、从上到下的顺序遍历二值图像O 2，直到找到像素O 2(i,j)=1的点。
d）将像素O 2(i,j)=1作为种子，并将其像素值修改为label对应的值，然后将该种子相邻的所有前景像素存入栈s。
e）弹出栈顶像素，将其像素值改为label对应的值，再次将与该栈顶像素相邻的所有前景像素都存入栈s中。
f）重复步骤e，直到栈为空。至此，便找到了图像O 2中的一个连通区域，该区域内的像素值被标记为label。
g）令label=label+1
h）重复步骤c）~步骤g），直到图像中所有前景像素都被标注完毕，扫描结束。至此，便得到了图像O 2中所有的连通区域，设标记完成后的图像为O 3。
（3）建筑物初始边界获取
从O 3中获取最大连通域，使用Esri ArcGIS平台中的RasterToPolygon工具实现栅格转矢量，将获取到的矢量面作为建筑物初始边界。
（4）初始边界数据空洞填补
由于遮挡等因素，获取到的初始边界数据中可能存在空洞，因此，使用EsriArcGIS平台中的EliminatePolygonPart工具对建筑物初始边界进行面空洞填补。考虑到面边界中可能存在真实的空洞，将面积小于整体20%的空洞填补，若空洞面积大于整体面积的20%，则保留该空洞。
（5）边界优化
考虑到建筑物边界多为直线且多相互正交，因此，使用Esri ArcGIS平台中的SimplifyBuilding工具对建筑物数据进行边界简化和正交化，完成优化。
（四）成果生成
将经过边界优化的建筑物边界与提取到的门窗边界合并，得到最终的建筑物立面图。
本实施例使用了如图2中所示的、从I至XIII共13个建筑物立面对本申请的立面图提取方法进行验证，以IV、VI、VII三个典型立面为例对立面图提取的验证结果进行说明，其立面图提取结果如图3所示。
由图3可知，绝大部分门窗被成功检测出，所提取门窗边界多呈水平、竖直分布且与实际门窗边界吻合较好。建筑物边界提取精度稍低，但总体趋势与实际吻合，本方法的提取效果达到预期。
本实施例进一步的对窗体提取结果进行定量评价。
在对象检测领域，常使用Precision(精确率)，Recall(召回率)、F1 score(F1得分)、Accuracy(准确率)、Confusion Matrix(混淆矩阵)、Average precision(平均正确率,AP)以及IoU(Intersection over Union, 交并积)等指标进行结果精度评价。由于本实施例的窗体提取为单类别对象检测，混淆矩阵等针对多类别对象检测的指标不适用，因此，使用其余4个指标进行评价，各立面窗体提取精度如表1所示。
表1 各立面窗体提取精度
Figure DEST_PATH_IMAGE015
由表1可知，窗体粗略提取(最小交并积=50%)时总体精确率、召回率和F1 得分分别达到0.982、0.977和0.979，意味着绝大部分窗体实现了正确提取。窗体精确提取(最小交并积=85%)时总体精确率、召回率和F1 得分分别达到了0.887、0.882和0.884，意味着大部分窗体能够得到精确的边缘。同时，最小交并积=85%时，F1 得分和平均正确率的最小值分别为0.774和0.621，平均值分别为0.990和0.827，总体精度较高。
本实施例进一步的分析提取精度：
使用箱线图展示各立面提取精度指标，如图4与图5所示。
从图4中可以看出，在粗略提取时，4项精度指标中位数均超过0.97，下四分位数均超过0.96，精确率中位数更是接近1.00；
从图5中可以看出，在精确提取时，精确率、召回率和F1得分的中位数均超过0.90，下四分位数均超过0.85。
综上，本实施例能够实现全部窗体的粗略提取、绝大部分窗体的精确提取。此外，对门体提取结果的定量评价同理可证，可实现全部门体的粗略提取、绝大部分门体的精确提取。所以，本实施例的提取精度满足应用要求。
实施例3：
在上述任一实施例所记载的立面图生成方法中，其作为原始数据的建筑物立面点云通过如下方法获得：
1、基于激光扫描仪技术获得建筑物的三维点云数据，进行点云预处理。
由于点云数据中包含大量地面点且密度较高，首先对这些地面点予以剔除。此外，为了减小运算量，将点云平移至坐标原点并进行体素降采样(voxel down sampling)。最后，对降采样后的数据做统计离群值去除(statistical outlier removal)以去除噪声点云。
2、通过改进的3D 霍夫变换提取潜在平面
（1）创建计数器与偏移计数
在进行3D 霍夫变换平面参数离散化时，ρ按照现有技术离散化为集合Q，θ和φ在按照现有技术离散化为集合M{0, s θ ,2s θ ,…,2π}和N{0, s φ ,2 s φ ,…,2π}后，再为M、N分别创建一个各元素偏移s θ /2、s φ /2的副本，定义为偏移副本M’、N’：
Figure DEST_PATH_IMAGE016
其中，θ为点云的平面法向量与z轴的夹角；φ为点云的平面法向量与x轴的夹角；ρ为原点到点云平面的距离；s θ 为集合M的离散化步长；s φ 为集合N的离散化步长。
在此基础上分别创建如下计数器A、A’：
Figure DEST_PATH_IMAGE017
其中，θ’为对θ偏移s θ /2的副本元素；φ’为对φ偏移s φ /2的副本元素；下标j、ij分别表示元素的的位置
（2）3D高通滤波
分别对计数器A、A’做3D高通滤波，去除计数器中的低频部分，以削弱峰值模糊的影响。本实施例中3D高通滤波的卷积核中心单元格值为1/2，其余单元格的值按照与中心单元格的距离，基于反距离加权原则确定，整个卷积核值之和为1。
（3）潜在平面获取
对滤波后的计数器A、A’投票，获取满足条件的候选平面集S(θ, φ, ρ)和S’(θ’, φ’, ρ)；使用二者的并集S∪S’作为最终的候选平面集。
3、立面约束
主要通过同平面约束和竖直面约束予以实现。
（1）同平面约束
同平面约束的目的是进一步去除由于点云密度过大、算法阈值设置不合适以及峰值模糊现象引起的相同平面和伪平面问题，主要通过平面二面角、平面距离和公共点比例三个特征确定。若两平面p 1、p 2满足如下公式，则将p 1、p 2视为同一平面并将其合并：
Figure DEST_PATH_IMAGE019
式中，r 12为原点分别在平面p 1、p 2上的垂足之间的距离向量；n 1、n 2分别为平面p 1、p 2的平面法向量；ComProp为求解两平面公共点比例的运算符；α th 为两平面间的平面二面角；△d th 为两平面间的距离；cp th 为两平面间的公共点比例对应的阈值；max为求解极大值运算符；∧为逻辑或运算符；∨为逻辑与运算符。
（2）竖直面约束
潜在平面中不仅包含建筑物立面，也包含很多其他平面。通常情况下，建筑物立面应为竖直面，因此，对同平面约束后的各平面的竖直角进行约束可排除非建筑物立面，竖直面约束的约束条件为：
Figure DEST_PATH_IMAGE020
；
式中，m’为当前平面的平面法向量；n’为竖直面的平面法向量；α v,th 为竖直面约束阈值。
若潜在平面不合符竖直面约束条件，则直接舍弃。
经过同平面约束和竖直面约束后，即可得到潜在立面。
4、立面精炼
(1) 迭代每个潜在立面，使用RANSAC算法（随机抽样一致算法）获取各潜在立面对应点云；
(2) 利用HDBSCAN算法（Hierarchical Density-based Spatial Clustering ofApplications with Noise, 本领域通用术语，无标准中文翻译，直译为“具有噪声的基于分层密度的聚类算法”）对各潜在立面点云进行聚类，得到各点云聚簇；
(3) 利用RANSAC算法获取各点云聚簇所对应潜在立面的平面方程，将结果作为新的潜在立面；
(4) 潜在立面约束，去除相同立面和伪平面，得到精炼后的建筑物立面。
需要说明的是，由于本实施例致力于立面提取，而建筑物立面通常为竖直面，因此在使用RANSAC算法进行平面提取时，令该算法的平面方程Ax+By+Cz+D=0中C=0，将平面约束为竖直面，以提高平面提取精度。
5、立面边界标定
使用先进的HDBSCAN算法对立面精炼后的点云进行聚类，然后对生成的各聚簇点云分别使用RANSAC算法从中提取立面方程和对应的立面点云，并将立面点云的最小包围盒作为立面边界。
其中由于HDBSCAN算法的聚类导致各聚簇点云会被分开，一簇会被分成好几簇，所以本实施例需要对立面边界标定的成果再次执行第3步记载的“立面约束”，从而得到有边界的建筑物立面及其对应点云数据，可直接用于后续的立面图生成。
本实施例所提出的建筑物立面点云的获得方法，可以解决3D霍夫变换用于建筑物立面提取时存在的峰值模糊、无法平衡精度和效率、立面边界混淆等问题，实现平衡精度和效率、提高建筑物立面提取的鲁棒性和准确性、克服峰值模糊和错误合并等效果。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体，意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (8)

1.一种基于建筑物立面点云的立面图生成方法，其特征在于，包括：
基于建筑物立面点云生成初始特征图；
对所述初始特征图进行图像增强，得到单波段特征图像、三波段特征图像；
在单波段特征图像上提取建筑物边界、在三波段特征图像上提取门窗边界；
合并建筑物边界与门窗边界，得到建筑物立面图；
基于建筑物立面点云生成初始特征图的方法包括：
将建筑物立面点云的集合转换为以对应建筑物立面为参考坐标系的点集；
舍弃所述点集中点云相对于平面的高度参数，得到三维点云投影至对应立面的二维平面点云；
创建格网，通过所述格网对所述二维平面点云进行划分，统计各格网内的点云数目，以点云数目作为像素值将点云栅格化为单波段二维图像；
对所述单波段二维图像中像素值为0的区域进行掩膜，得到初始特征图；
对所述初始特征图进行图像增强的方法包括：
对初始特征图执行直方图均衡化处理，得到第一特征图像I 1；
对初始特征图依次执行带通滤波、直方图均衡化处理，得到第二特征图像I 2；
对初始特征图进行边缘检测，得到边缘检测特征图像I 3；
以I 1作为单波段特征图像；合并I 1、I 2和I 3，得到三波段特征图像。
2.根据权利要求1所述的一种基于建筑物立面点云的立面图生成方法，其特征在于，所述直方图均衡化处理包括：
计算被处理特征图的累计直方图hist c ；
计算直方图均衡化的映射关系cdf：cdf=hist c ×(2 q /(m×n))，其中m、n分别为被处理特征图的长、宽；q为初始特征图的量化位数；
基于映射关系cdf对原始图像进行映射，得到直方图均衡化后的特征图像。
3.根据权利要求1所述的一种基于建筑物立面点云的立面图生成方法，其特征在于，所述带通滤波通过如下公式执行：
Figure DEST_PATH_IMAGE002
；
式中：G(u, v)为经带通滤波后输出图像的傅里叶变换，F(u, v)为含有噪声的原图像的傅里叶变换域，B(u, v)为带通滤波传递函数，D(u, v)代表到原点的欧几里得距离，D 0、D 1分别为截断频率的最小值、最大值。
4.根据权利要求1所述的一种基于建筑物立面点云的立面图生成方法，其特征在于，所述边缘检测的方法包括：
分别使用Prewitt算子中的水平检测算子、垂直检测算子，对初始特征图进行边缘检测操作；将两个边缘检测的结果相加，得到边缘检测特征图像I 3。
5.根据权利要求1所述的一种基于建筑物立面点云的立面图生成方法，其特征在于，在单波段特征图像上提取建筑物边界的方法包括：
通过如下公式对单波段特征图像做闭运算：
Figure DEST_PATH_IMAGE004
；
式中：O 1为闭运算后的特征图像，O为原始单波段特征图像，B为闭运算结构元素，
Figure DEST_PATH_IMAGE005
为膨胀运算符，
Figure DEST_PATH_IMAGE006
为腐蚀运算符；
对闭运算后的图像进行邻域连通域检测；
基于邻域连通域检测结果，获取最大连通域、进行栅格转矢量操作，将获取到的矢量面作为建筑物初始边界；
对建筑物初始边界进行空洞填补，填补对象为面积小于整体面积20%的空洞；
通过边界简化和正交化操作优化填补后的边界，得到建筑物边界。
6.根据权利要求5所述的一种基于建筑物立面点云的立面图生成方法，其特征在于，采用种子填充法对闭运算后的图像进行邻域连通域检测，具体检测方法包括：
步骤a、将闭运算后的图像中所有像素值为0的像素作为背景像素，不做处理；将图像中所有非0像素作为前景像素并标注为1，得到二值化图像；
步骤b、初始化种子填充法中的标签label、栈s，令label=1；
步骤c、从图像左上角开始，按照从左到右、从上到下的顺序遍历二值化图像，直到找到满足像素为1的点，作为种子点；
步骤d、将所述种子点的像素值修改为标签label对应的值，然后将该种子点相邻的所有前景像素存入栈s中；
步骤e、移除栈顶像素，将栈顶像素的像素值修改为标签label对应的值，然后将与该栈顶像素相邻的所有前景像素存入栈s中；
步骤f、重复步骤e，直到栈s为空；
步骤g、令label=label+1；
步骤h、重复步骤c~步骤g，直到图像中所有的前景像素都被标注完毕，得到图像中所有的连通区域。
7.根据权利要求1所述的一种基于建筑物立面点云的立面图生成方法，其特征在于，在三波段特征图像上提取门窗边界的方法包括：
使用Faster R-CNN模型作为主干网络、使用ResNet50模型作为预训练网络，建立基于深度学习的目标检测模型；
使用标注好的门窗样本对所述目标检测模型进行训练；
将需要进行门窗检测的三波段特征图像切片、代入训练好的目标检测模型，得到所有切片的检测结果，合并后得到所需的门窗边界。
8.根据权利要求7所述的一种基于建筑物立面点云的立面图生成方法，其特征在于，还包括对所有切片的检测结果做非极大值抑制操作，使同一平面的同一位置仅保留置信度最高的检测结果。
CN202210659630.4A 2022-06-13 2022-06-13 一种基于建筑物立面点云的立面图生成方法 Active CN114742968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210659630.4A CN114742968B (zh) 2022-06-13 2022-06-13 一种基于建筑物立面点云的立面图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210659630.4A CN114742968B (zh) 2022-06-13 2022-06-13 一种基于建筑物立面点云的立面图生成方法

Publications (2)

Publication Number Publication Date
CN114742968A CN114742968A (zh) 2022-07-12
CN114742968B true CN114742968B (zh) 2022-08-19

Family

ID=82287967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210659630.4A Active CN114742968B (zh) 2022-06-13 2022-06-13 一种基于建筑物立面点云的立面图生成方法

Country Status (1)

Country Link
CN (1) CN114742968B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937461B (zh) * 2022-11-16 2023-09-05 泰瑞数创科技(北京)股份有限公司 多源融合模型构建及纹理生成方法、装置、介质及设备
CN116310197B (zh) * 2023-05-11 2023-08-25 四川省非物质文化遗产保护中心 一种非遗建筑物的三维模型构建方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910387A (zh) * 2019-10-09 2020-03-24 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811714B2 (en) * 2013-08-28 2017-11-07 Autodesk, Inc. Building datum extraction from laser scanning data
CN109816708B (zh) * 2019-01-30 2021-02-02 北京建筑大学 基于倾斜航空影像的建筑物纹理提取方法
CN111612806B (zh) * 2020-01-10 2023-07-28 江西理工大学 一种建筑物立面窗户提取方法及装置
CN113256813B (zh) * 2021-07-01 2021-09-17 西南石油大学 一种带约束的建筑物立面正射影像图提取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910387A (zh) * 2019-10-09 2020-03-24 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法

Also Published As

Publication number Publication date
CN114742968A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN115861135B (zh) 一种应用于箱体全景探测的图像增强及识别方法
CN106780524B (zh) 一种三维点云道路边界自动提取方法
WO2018107939A1 (zh) 一种基于边缘完备度的图像分割最优识别方法
CN107146280B (zh) 一种基于切分的点云建筑物重建方法
CN110796667B (zh) 基于改进小波聚类的彩色图像分割方法
CN110309781B (zh) 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN108109139B (zh) 基于灰度体元模型的机载lidar三维建筑物检测方法
JP2017521779A (ja) 画像解析を用いた核のエッジの検出
CN114742968B (zh) 一种基于建筑物立面点云的立面图生成方法
CN102054271B (zh) 文本行检测方法和装置
CN103198479B (zh) 基于语义信息分类的sar图像分割方法
CN107093205A (zh) 一种基于无人机图像的三维空间建筑物窗户检测重建方法
CN103871039B (zh) 一种sar图像变化检测差异图生成方法
CN104933709A (zh) 基于先验信息的随机游走ct肺组织图像自动分割方法
CN106250895A (zh) 一种光学遥感图像感兴趣区域检测方法
CN101329402A (zh) 基于改进Wedgelet的多尺度SAR图像边缘检测方法
CN112099046A (zh) 基于多值体素模型的机载lidar三维平面检测方法
CN101334896A (zh) 数字图像测量亚像素边沿处理方法
CN117292076A (zh) 工程机械局部作业场景动态三维重构方法及系统
CN102663762B (zh) 医学图像中对称器官的分割方法
CN102567964B (zh) 一种用于立体视觉视差图的滤波方法
Wang et al. A method for detecting windows from mobile LiDAR data
CN114742957B (zh) 一种基于点云数据的建筑物立面提取方法
CN109242854A (zh) 一种基于flic超像素分割的图像显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant