热成像创新技术使得人工智能能够在漆黑的环境中如同白天一样看得清楚

这项正在申请专利的创新技术能够感知人和环境的纹理、深度和物理属性

HADAR（热辅助检测与测距）将热物理学、红外成像和机器学习相结合，为完全被动和物理感知的机器视觉打开了新的可能性。普渡大学的研究团队，由电气与计算机工程Elmore副教授Zubin Jacob和研究科学家Fanglin Bao领导，其研究成果登上同行评审期刊《自然》封面故事。

美国印第安纳州普渡大学的研究人员通过他们的正在申请专利的方法，正在推动机器人和自主技术领域的前沿，对传统机器视觉和感知技术进行了优化。

Zubin Jacob，普渡大学电气与计算机工程Elmore副教授，以及研究科学家Fanglin Bao开发了HADAR，即热辅助检测与测距。他们的研究成果在同行评审期刊《自然》的2023年7月26日号上被推选为封面故事。在YouTube上还有一个关于HADAR的视频介绍。《自然》还发布了一期播客，其中包括对Jacob的采访内容。

Jacob表示，预计到2030年，每10辆车中就会有1辆是自动化的，而且到那时将有2000万台机器人助手为人类服务。

Jacob说：“每个智能体将通过先进传感器收集周围环境的信息，以便在无需人类干预的情况下做出决策。然而，多个智能体同时对同一环境的感知是存在困难的。”

传统的主动传感器如激光雷达（LiDAR）、雷达和声纳发射信号，然后接收反射信号以收集场景的三维信息。随着规模扩大，这些方法的缺点逐渐显现，包括信号干扰和对人眼安全的风险。相比之下，基于阳光或其他照明源工作的视频摄像头具有优势，但是在低光条件下，如夜晚、雾天或雨天，仍然存在严重的问题。

传统热成像技术是一种完全被动的感知方法，它可以收集场景中所有物体发出的不可见热辐射。它能够穿透黑暗、恶劣天气和太阳耀斑。但Jacob表示，它的应用仍然面临一些基本挑战。

Bao表示：“物体及其周围环境会不断发出和散射热辐射，导致图像失真，被称为‘幽灵效应’。人脸的热成像图仅显示轮廓和一些温度对比度，没有明确的特征，就像看到了幽灵。这种信息和纹理的丧失构成了基于热辐射的机器感知的障碍。”

HADAR通过将热物理学、红外成像和机器学习相结合，为完全被动和物理感知的机器视觉铺平了道路。

Jacob说：“我们的工作在信息论基础上建立了热感知的理论，证明了漆黑的环境中所携带的信息量与白天一样丰富。进化使人类对白天有偏见。未来的机器感知将克服这种昼夜之间的界限。”

Bao补充道：“HADAR可以从复杂的热信号中清晰地恢复纹理，准确地分离出场景中所有物体的温度、发射率和纹理（TeX）。它可以在漆黑的环境中感知到纹理和深度，就像白天一样，还可以感知除了RGB（红、绿、蓝）可见光成像或传统热成像不能捕捉到的物理属性。能够如此清晰地在漆黑的环境中看到，实在让人惊叹。”

该团队通过越野夜景测试了HADAR TeX视觉的效果。

Bao表示：“HADAR TeX视觉可以恢复纹理，克服了幽灵效应。它可以清晰地恢复水面的波纹、树皮的皱纹以及排水沟等细节，以及草地的细节。”

对HADAR的进一步改进包括优化硬件尺寸和数据采集速度。

Bao说：“目前的传感器由于HADAR算法需要多种颜色的不可见红外辐射，所以又大又重。要将其应用于自动驾驶汽车或机器人，我们需要减小尺寸和成本，同时提高摄像头的速度。目前的传感器大约需要一秒钟来创建一幅图像，但对于自动驾驶汽车，我们需要大约30至60赫兹的帧率。”

HADAR TeX视觉最初的应用领域是自动化车辆和在复杂环境中与人类进行互动的机器人。这项技术还可以进一步应用于农业、国防、地球科学、医疗保健和野生动物监测等领域。

Jacob和Bao已向普渡大学技术商业化创新办公室披露了HADAR TeX，并已申请了相关知识产权的专利。希望进一步开发这项创新技术的产业合作伙伴可以联系Dipak Narula，dnarula@prf.org，关于项目编号2020-JACO-68773。

Jacob和Bao已经从DARPA获得了资金支持来支持他们的研究。技术商业化办公室通过其Trask创新基金向Jacob授予了50000美元的资金来进一步发展这项研究。