新的机器感知系统 HADAR

来自普渡大学和密歇根州立大学的研究团队推出了一款基于机器学习算法的热成像算法，名为 HADAR。

图片来源：普渡大学研究团队

在漆黑的环境中是否能改变我们的感知？在夜晚是否能带来白天那种情景感知能力？基于人工智能和机器学习在处理热成像方面的最新突破，普渡大学和密歇根州立大学的研究团队认为答案是肯定的。该团队最近在《自然》杂志上发表了他们的最新研究成果，他们认为他们已经解决了热成像中存在的“鬼影”问题。

通过使用人工智能和机器学习算法处理热成像扫描，该团队认为这种方法，即热辅助探测与测距（HADAR），可能会彻底改变自动驾驶汽车和机器人领域，以及对地球科学产生影响。

这是普渡大学电气与计算机工程学院埃尔莫尔家族电气与计算机工程学院的埃尔莫尔副教授 Zubin Jacob 的看法，他是本文的作者之一。Jacob 最近花时间与《Geo Week News》交流了该团队的工作和 HADAR 的相关内容，包括目前的进展以及他未来的展望。

什么是“鬼影”问题？

在讨论研究人员设计的算法和所得图像之前，他们所称的 TeX-Net 和 TeX-Vision，值得简要探讨一下这个关键问题：“鬼影”问题，即热成像图像失去纹理的问题。（来自激光雷达数据的点云也会出现“鬼影”问题，尽管出现原因不同，而且一般程度较轻。）Jacob 用一个灯泡的例子来描述这个问题。

“如果灯泡上有一些文字或纹理，灯泡亮着的时候，由于灯泡本身发出大量的光，你无法阅读上面的内容，” Jacob 说道。“但如果关闭灯泡，你所看到的就是从灯泡反射出来并进入你眼睛的辐射。”

消除外部辐射的问题——也就是来自环境与物体或材料相互作用的辐射——对于只显示所讨论对象纹理的最终图像至关重要。当然，在自动导航应用中，这种准确性至关重要。“在现实世界中，”Jacob 说道，“我们永远无法关闭来自物体的辐射。因此，我们需要找到一种聪明的方法来分离固有辐射和落在物体上并进入摄像机的所有其他辐射。”

图片来源：自然杂志

介绍 TeX-Net 和 TeX-Vision

Jacob 和他的团队确实想出了那种聪明的方法，这就是他们所称的 TeX-Net 算法。这里的 “TeX” 代表温度、辐射率和纹理，这些属性是感知这些场景所需的。他解释了机器学习技术，他说：“它获取周围环境的信息，并收集热成像图像。但它会在大约 100 个不同的光谱波段收集热成像图像。”

从这些图像中，他们使用数据库来估计材料辐射率，并目前正在开发自己的数据库用于此目的。“然后我们尝试估计不同的材料，并尝试利用光谱辐射和材料数据库来分离固有辐射和外部辐射。 TeX-Net 具有嵌入其中的热物理学机器视觉算法，用于分离固有辐射和外部辐射。一旦我们做到这一点，即使在夜晚，我们实际上可以得到这些相当高质量的图像。”

最终结果是一种他们称之为 TeX-Vision 的图像。他说 TeX-Vision “实际上是一种代表热辐射数据的图像，而不会发出任何传感器信号。这是一种完全被动的方法。” Jacob 还指出，虽然传统摄像机通常在三个频率（红、蓝和绿）上工作，但由于红外光谱范围对于肉眼是不可见的，“没有理由选择三个频率。如果我们只选择三个频率，我们会丧失信息，因此想法是尽可能收集多个波段。”

然后他们需要将这些发现呈现出来。Jacob 说，团队受到点云作为激光雷达数据表示的启发，找到了一种将这三个属性：温度、辐射率

和纹理可视化的方法。他们将数据映射到 HSV 格式（色调、饱和度和明度），得到了一个准确且丰富多彩的场景图像。

“当我们看它时，很有趣，”Jacob 告诉《Geo Week News》，“因为草永远看起来像草。当温度变化时，草可能有不同的纹理，但颜色表示始终是绿色，因为辐射率是固定的。‘e’（辐射率）固定了颜色。只有色调会随温度变化而改变，因此这种表示非常有用。”

下一步是什么？

到目前为止，Jacob 和其他研究人员的工作都处于概念验证和实验领域，还有一些需要克服的障碍，才能使它成为实际的现实世界工具。首要问题是扫描仪的尺寸。目前，Jacob 表示，用于 HADAR 的扫描仪大约有微波炉的大小，目标是将其缩小到能放在一个人手掌中的尺寸。在这些设备中取消冷却的需求之前，这是不可能实现的。

此外，与尺寸问题有关的是，Jacob 指出他们需要实现实时处理，特别是对于自动驾驶汽车和机器人应用。目前，他们的处理时间大约是“大致在几分钟左右”，具体取决于场景的复杂性以及是否有已知的地面真实数据。这又与尺寸有关，因为他们需要能够将计算嵌入到同一单元中才能使其工作。

这些问题在如此新颖和实验性的工作中是可以预料的，但它确实有可能改变我们在黑暗环境中的感知方式，甚至与激光雷达相比，尤其是与传统摄像机相比。在被问及是否将其视为独立工具或与其他传感器一起使用时，Jacob 说：“我认为最好的选择是与低成本、稀疏的激光雷达一起使用。我们有这个 TeX-Vision，我们对场景有了很好的三维理解，但并不完美。对于一些点，我们使用激光雷达，我们真的能够重构场景，就像高分辨率激光雷达所做的那样，但我们还有额外的优势，即有许多语义信息，例如温度、辐射率等。”

广泛而言，Jacob 对于 HADAR 的未来有何看法？“我认为这是迈向下一代热成像技术的一种方式。”