基于多任务学习与立体视觉的建筑物三维信息自动提取方法
在遥感与摄影测量领域，高效、精准地实现城市建筑物的三维建模对于城市规划、智慧城市、灾害评估等应用具有至关重要的意义。传统方法往往依赖人工干预或单一技术，难以在密集城区实现高精度的自动化重建。本文介绍一种集成了深度学习、立体视觉与几何优化的综合技术流程，旨在自动化地实现从高分辨率卫星影像中提取建筑物三维信息并构建其模型。
一、 深度学习双任务：精准提取建筑物与道路
本流程的核心首先在于利用先进的深度学习模型，分别完成对建筑物和道路的精确提取。
-
基于Mask2Former的建筑物实例分割：为了有效改善密集区域建筑物相互粘连、遮挡导致的提取效果不佳问题，我们采用基于Mask2Former的网络架构。该架构摒弃了传统的基于框的检测范式，通过 Transformer 的统一掩码分类方法，能够同时处理语义分割和实例分割任务。在建筑物提取中，它不仅能分割出每个建筑物的像素区域（语义分割），还能将彼此相邻的建筑物区分开来，为每个建筑物生成独立的轮廓（实例分割）。这为后续的轮廓优化和单体三维建模奠定了坚实基础。
-
基于语义分割的道路提取：道路网络构成了城市地面的基准。我们同样利用语义分割技术，从影像中提取出道路区域。这些道路像素被视作可靠的地面点，其高程信息将为后续计算建筑物底部高程提供关键参考，是连接二维信息与三维高程的桥梁。
二、 轮廓与平面位置优化：从像素精度到几何保真
直接从深度学习模型提取的建筑物轮廓通常存在锯齿状边缘，且其平面位置受透视投影和建筑物高度的影响（即“顶底位移”效应），并非真实的建筑物底部位置。为此，我们引入两步优化：
-
轮廓规整化算法：对实例分割得到的建筑物轮廓多边形，应用规整化算法（如Douglas-Peucker算法或基于最小外接矩形的优化方法），在保留主要特征的前提下，剔除冗余顶点，使轮廓边缘更加平滑、直角化，从而更接近建筑物的真实几何形态。
-
基于像方DSM的平面位置纠正：为了纠正“顶底位移”，我们首先利用半全局匹配（SGM）这一高效的立体匹配算法，结合前方交会技术，生成高密度的像方数字表面模型（DSM）点云。随后，结合卫星影像的有理多项式系数（RPC）模型，将优化后的建筑物轮廓从存在投影偏差的影像位置，“投射”或“纠正”至由像方DSM所代表的三维表面上。这一步骤使得建筑物轮廓的平面位置能够更接近其真实的底部位置，并同时获得建筑物顶部的高程值。
三、 高程获取与三维建模：赋予建筑高度
获取精确的建筑物高度是本流程的最终目标之一。
-
底部高程计算：建筑物底部高程并非直接测量，而是通过其邻近的道路点高程来推算。由于道路被认为是地面的一部分，我们提取建筑物轮廓外围一定缓冲区内所有道路点的高程，取其平均值或中位数作为该建筑物的底部高程。这种方法有效避免了因地面起伏或植被遮挡对底部高程估算造成的干扰。
-
高度计算与模型构建：在获得了建筑物顶部高程（来自像方DSM）和底部高程（来自邻近道路）后，建筑物的高度信息即可通过简单的减法计算得到：建筑物高度 = 建筑物顶部高程 - 建筑物底部高程。最终，我们将优化后的建筑物轮廓（平面位置）、计算得到的建筑物高度以及底部高程相结合，即可自动化地构建出具有真实几何形态和精确高度的建筑物三维模型（通常表现为白模或挤压模型）。
总结
本方法展现了一个完整的、端到端的建筑物三维信息自动化提取流水线。它创新性地将基于Mask2Former的实例分割、语义分割、轮廓规整化、立体视觉DSM生成以及多源高程信息融合等技术环节有机结合。该方法不仅显著提升了密集城区建筑物提取的准确性和单体化能力，还通过严谨的几何纠正与高程计算策略，保证了最终三维模型在平面位置和高程维度上的精度，为大规模城市三维重建提供了强有力的技术解决方案。
