人工智能在点云分类中的重要作用

传统方法永远无法跟上快速、高密度点云数据的不断增加。 人工智能来救援了。

应用点云分类：在此示例中（来自 Leica Pegasus OFFICE），移动测绘用户可以编辑分类点云的设置。

确实，高清激光扫描已经伴随我们二十多年了。 然而，今天的扫描工具和解决方案与我们许多人早期开始使用的工具和解决方案几乎没有相似之处。 现在更正确的说法是现实捕获 (RC)，它可以在更短的时间内产生更多数量级的数据。 硬件，无论是地面激光扫描仪、移动 或[航空系统](https: //leica-geosystems.com/en-us/products/laser-scanners/autonomous-reality-capture/blk2fly），以每秒数百万个点的速率捕获丰富的点云。

为了继续研究现实捕捉的现状（和艺术），我们首先[深入探讨“简单性”如何成为这些系统设计的驱动力](https://www.geoweeknews.com /blogs/for-reality-capture-simplicity-is-productivity）和解决方案。 简单并不意味着简单或“简化”，而是在不影响质量的情况下提供更流畅、更高效的工作流程。 我们的系列继续探讨下游处理的基本第一步：点云分割或分类（PCC）。

混沌背景

现场软件、工作流程工具和下游处理在开发过程中发生了翻天覆地的变化，以便能够跟上海量的数据。 更高水平的自动化势在必行； 依赖传统工具只会产生瓶颈。 现实捕捉自动化的进步包括现场点云配准、减少对目标的需求，并彻底改变了 PCC 的基本步骤。

“最重要的是，激光雷达技术的技术成就使得能够以更高分辨率和更短的测量时间采集物体的数据，”海克斯康技术中心成像和点云负责人 Bernhard Metzler 博士说道。 Hexagon 是现实捕捉系统和软件领域的领导者 Leica Geosystems 的母公司。 “这项技术与精益测量工作流程相结合，显着提高了数据捕获的效率，从而生成了大量以点云表示的数据。”

例如，Leica RTC360 的单次全圆顶扫描，测量速率为每秒 200 万点， 一分半钟的扫描时间会产生约 2 亿个点的点云。 鉴于此，即使是只有几个扫描设置的小型项目也可能很快就会产生数十亿个点的数据量。 并考虑移动地图。 因此，挑战在于进一步处理这些大量数据：需要清理和分类数十亿个点，以实现有意义的分析和建模。

Bernhard Metzler 博士，海克斯康技术中心成像和点云主管。

梅茨勒的团队位于瑞士赫尔布鲁格著名的徕卡测量系统研发和制造园区。 它是一种服务于整个海克斯康集团的中央研究组织，不仅针对系统，而且还针对人工智能（AI）。 “本质上，我们提供研究即服务，”梅茨勒说。“如果有关于新产品的想法，我们就会进行技术可行性研究，以证明它是可行的。如果你能证明这一点，我们就会将其交给 产品化的部门和业务单位。”

“对于点云的自动评估，即从大量数据中提取相关信息，深度学习人工智能是我们的首选技术，”梅茨勒说。

在现实捕捉研发环境中，PCC 被称为点云的“语义分割”，其中每个单点都被分配给一个定义的对象类。存在几何形状 – 空间中的点由三个维度定义 – 然后是 时间维度。语义是指它是什么类型的点，是否是植被、墙壁等。这就是语义；它通常被认为是第五维度。

令我惊讶的是，Metzler 和他的团队考虑了每个点的多达 64 个特征，以确定它们属于哪个“类别”。 通常，这些是为具体用例定义的类，对于室外场景可以是地形、建筑物、植被等，对于室内场景可以是地板、天花板、墙壁、门等。

传统机器学习分类

六边形点云分类基于深度学习，其中点云被输入到神经网络。 然而，过去使用的机器学习技术更简单、效率更低。 为了对比新旧方法，梅茨勒给出了以下解释：

“让我首先解释一下机器学习的传统方法，”梅茨勒说。 “传统的机器学习是基于手工设计的特征，例如红、绿、蓝、平面性、线性等。总共可能有 64 种不同的特征。 对于每个点，都会计算这些特征，从而产生具有 64 个值的特征向量。 例如，如果我们制作一个二维特征空间图，其中绿色、从下到上、从左到右的平面度，我们预计属于平面度很小的植被的点将位于左上象限。 对许多点重复此操作，我们预计所有大多数植被点都会聚集在图表的该区域中（见图 1）。

图 1 – 传统机器学习分类方法的示例。 | 来源：六角形

“对于训练数据的人工标记，我们知道每个颜色/平面度对的正确答案，”梅茨勒说。 “‘传统’机器学习算法现在基于这些数据，通过绘制 2D 线来决定集群的最佳放置位置。在这个简化的情况下（见图 2），该线将模型定义为训练过程的结果 ”。

图 2 – 传统机器学习分类过程的结果模型。 | 来源：六角形

“当我们将此模型应用于新数据时，我们可以计算点特征的绿色和平面度。 如果它位于线的左侧，则所得类别为植被，”梅茨勒说。 “如果它在线的右侧，它可能是一座建筑物。 但实际上，我们不只是有两个特征，而是多达 64 个。然后这条线就变成了一个超平面，将体积分割成 64 维的特征空间。”

可以用这种方式评估特征的组合。 根据这个例子，几乎没有平面度的绿点可能是植被的指示。 然而，颜色不一定会添加到分类中。 并非所有植被都是始终绿色的（尤其是季节性的）。 例如，它也可以是一栋绿色的房子，或者一辆绿色的汽车，因为它们具有更高的平面度。

“我们为每个点定义了一组典型特征并计算了这些特征，”梅茨勒说。 “然后算法必须从我们输入大量点云的训练过程中确定正确的预测。 由此，它找出每个类的重要特征是什么——它学习如何将输入映射到输出。”

这就是过去的运作方式——初级水平的机器学习。

结论是，在传统的机器学习中，特征及其识别方式都是手工设计的。 该模型以及如何分离特征基于标记的训练数据。

这些方法总是存在实际限制。 传统方法非常缓慢，无法非常有效地评估大量点云，并且事后通常需要手动干预。

虽然许多最终用户发现过去几年的传统分类工具非常令人惊奇，但当只有一个星座时，卫星测量似乎也是如此。 我们知道多星座卫星测量已经变得多么强大。 点云分类的演变也是如此。

快进到超快速和精确的激光扫描仪时代。 我记得尝试在用当今的扫描仪捕获的大而密集的点云上使用一些旧的扫描仪软件 – 速度极其缓慢且不完整。 先进的人工智能是非常需要的，并且在正确的时间被集成。

自学

如今，深度学习的使用无需手工制作特征。 “在深度学习中，算法学习特征和权重。 不再需要手工制作功能了，”梅茨勒说。 “由于该过程存在‘黑匣子’元素，因此解释变得更加困难。”

当谈到这些发展时，“黑匣子”一词不应被视为负面的。 正如老话所说，“证据就在布丁中”。或者在这种情况下，证据就在分类点云中——更快更好。

深度学习基于神经网络。 它就像一个巨大的黑匣子，算法往往会自己找出其中的特征。

“我们不必定义平面度、线性度或颜色。网络只是自动从数据中找出这些特征，”梅茨勒说，“相关特征是什么？它变得更加抽象，因为它并不明显 神经网络学会了。”

然而，众所周知，将哪些训练数据输入到解决方案中，神经网络的性能如何rmed，它解析植被、房屋、街道设施、建筑设备和许多其他类别的效果如何。

徕卡地理系统公司（隶属于海克斯康）研发现实捕捉部门副总裁 Bernd Walser 博士表示：“深度学习的线索是这样一个想法，即这些功能不是由机器学习工程师手工制作的。” 根据输入数据，网络在训练过程中自行找到特定对象类别的最佳特征及其权重。”

Walser 说：“深度学习的线索是，这些特征不是由机器学习工程师手工制作的。”“而是根据输入数据，网络找到最佳特征及其对特定对象的权重” 培训过程中单独上课。 当用户运行 PCC 流程时，会将其数据的输入和输出与从训练数据的输入和输出中学到的内容进行比较。”

Bernd Walser 博士，Leica Geosystems（隶属于 Hexagon）研发现实捕捉部门副总裁。

训练数据是关键，梅茨勒举了一个很好的例子来说明原因。 “当我们处于研究阶段时，我们根据现成的户外数据对人工智能进行了训练。因此，瑞士的建筑物、植被等。因此，它非常擅长对瑞士建筑物和植被……一切进行分类。然后 我们在拉斯维加斯的 HxGN LIVE 上，我们的产品经理想要演示这个新功能。他们在附近的街道上捕获了一些数据。它把棕榈树误认为是建筑物上的柱子。后来我们从拉斯维加斯获取了这些数据，并训练了一个新的模型 模型，然后它在识别棕榈树方面表现良好。”

训练模型不是一次性任务。 梅茨勒表示，他们通过合作伙伴网络不断收到来自世界许多地方的用户捕获的数据。 开发元模型，由人类识别点云的不同示例区域代表什么类别。 软件从中学习，然后可以自动分配类别。 （见图 3。）他们继续训练过程，并更新软件版本中的模型。

在工作流程中

基于人工智能的 PCC 的好处不仅仅是节省处理大量数据的时间。 如果您更全面地考虑生产力，那么生成准确且完整的分类数据将为下游应用程序节省更多时间。 机密数据对现实的保真度至关重要。 与传统方法相比，基于人工智能的 PCC 不仅效率更高，而且保真度更高。

“例如，如果目标是捕获建筑物的内部，然后使用我们的其他软件工具之一生成 BIM 或 CAD 模型，适当的分类会加快该过程。”Metzler 说道。

“如果你能提前确定门、窗、地板和天花板是什么，那就很有帮助。 您可以隐藏所有其他点，为地板和天花板安装平面，等等。”

即使在完整的 PCC 之前，去除点云中的伪影（或者我们中的一些人称之为“鬼影”）是一个重要的步骤。 经过扫描仪视野的人和汽车是最常见的伪影来源。 完整分类还可以帮助您删除或简单地关闭您不感兴趣或不希望导出给下游用户的类。 本着“一次映射，多次使用”的精神，相关性过滤是一个非常强大的工具。

例如，如果移动测绘系统正在穿过城镇，并且目标是识别植被地籍中的树木，则非常需要自动确定树木参数（例如高度或树冠直径）的能力。 如果我们可以首先隔离植被，然后从一种特定的树中隔离点，那么一个简单的算法就可以自动定义这些参数。 树木可以进一步分类并输入到 GIS 中。

另一个工作组可能对护栏的状态感兴趣； 他们有多高以及他们的状况如何？ 算法可以轻松地按高度对它们进行进一步分类，另一种算法可以寻找顶部轨道形状的不规则性，以识别那些可能已被车辆损坏的轨道。

沿着整个轨道重复此操作，可以在几分钟或几秒钟内自动分析数公里的高速公路，这与手动工作流程相比是一个显着的优势。 可能性是无限的，但从干净且分类的点云开始对于任何此类算法魔法的发挥至关重要。

产品化

对于 Hexagon，基于人工智能的点云分类作为一项功能集成在 [Leica Cyclone REGISTER](https://leica-geosystems.com/en-us/products/laser-scanners/software/leica-cyclone/leica-cyclone -register-360) 360 PLUS 和 [Cyclone REGISTER 360 PLUS（黑色版）(https://shop.leica-geosystems.com/leica-blk/software/leica-cyclone-register-360-plus-blk- 版本/购买）），[Leica Cyclone 3DR]（https://leica-geosystems.com/en-us/products/laser-scanners/software/leica-cyclone/leica-cyclone-3dr)，[徕卡飞马办公室](https://leica-geosystems.com/en-us/products /mobile-mapping-systems/software/cyclone-pegasus-office）和 [AGTEK REVEAL](https://hexagon.com/company/newsroom/press-releases/2023/revealagtek-improves-speed-and-accuracy- of-construction-site-data) 软件。 Walser指出，虽然Cyclone REGISTER 360集成了基于AI的PCC元素，但主要功能是生成干净、完全配准的点云，许多客户会选择利用Cyclone 3DR进行更广泛的PCC。

图 3 – 用于产品实施增强型基于 AI 的点云分类的 Hexagon 工作流程。 从训练和标记点云创建分类模型，通过定期软件更新传播模型，直至最终用户执行。 | 来源：六角形

“对于不同的用例，这些软件产品支持不同的点云分类模型，对不同的传感器数据进行操作，并提供各种定义的输出类别，”Walser 说。 “有些模型支持针对室内场景定制的类别，如地板、天花板、墙壁、门、窗、楼梯等，还有其他模型用于分割室外扫描，包括地形、低植被、高植被、建筑物等类别 、街道设施等以及在高速公路或铁路场景中运行的模型。 Hexagon Geosystems 正在努力增加其模型组合，以适应更多应用，以更好地满足客户在自动化点云处理领域的需求。”

Metzler 团队集成新训练数据时创建的各种模型通过产品发布进行传播。 如果有人使用 Pegasus OFFICE 或 Cyclone 3DR，他们可能会使用许多相同的模型。 但具体软件中可能会有不同的模型。

例如，AGTEK REVEAL 可能拥有专注于建筑工地特征的模型，例如建筑设备和库存。

三选三

正如一句古老的谚语所说：“有快、有准、有便宜，但你只能选两样。”我对这个陈词滥调表示不满。为什么我们就不能三者兼得呢？在现实捕捉领域，这是可能的。

如果以一个度量单位（捕获的点数）来比较，激光扫描比传统方法便宜得多。是的，这可能需要在硬件上进行相当大的前期投资，然后还需要购买软件/许可证，但从长远来看，这种方式的成本要低得多。数据收集快速，精确度和密度都有所提高，而且一些简化的工作流程和减少程序错误的元素也有助于简化工作。

Hexagon并不是唯一推动此类技术进步的公司。我们在整个行业中都能以不同程度地看到这种发展。但还是要感谢Hexagon安排与他们的现实捕捉研发团队的核心人员进行交流；这非常有教育意义。

预处理步骤，如基于人工智能的PCC（点云分类），有助于确保下游处理和分析的成功。在人工智能引发的种种警示声中，看到这样一种优秀的

AI应用，实在是一种振奋人心的体验。在当前对人工智能的种种警觉和担忧之中，看到AI在这样的实际应用中大放异彩，确实令人感到一丝清新和希望。通过将AI技术应用于点云分类，不仅提高了数据处理的速度和准确性，还降低了成本，这在很大程度上证明了我们可以同时拥有速度、准确性和经济性这三者。这种技术的进步和应用，为我们展示了AI的积极面，以及其在专业领域内的巨大潜力和价值。