据外媒报道，华盛顿大学（UW）的信息处理实验室（Information Processing Lab，IPL）开发出基于摄像头和雷达的融合传感器盒，可以像行车记录仪一样安装在车辆中。目前，基于雷达的感知解决方案尚未实现商业化。
图片来源：华盛顿大学
IPL研究人员表示，除了纯摄像头视觉（例如特斯拉的FSD）和激光雷达的光检测（例如Waymo的自动驾驶出租车）之外，基于雷达的检测和跟踪更具成本效益和鲁棒性。
该研究项目由华盛顿大学ECE教授Hwang Jenq-neng负责，思科（Cisco）赞助， IPL的研究人员开展。2019-2022年在华盛顿大学担任项目负责人的Yizhou Wang博士表示，即使在暴雨和大雪等极端天气条件下，基于雷达的感知也更加稳健。
与需要大量人工标注和资本投资来训练AI模型的特斯拉纯摄像头视觉相比，Wang教授称雷达更稳健且更具成本效益，因为它可以测量车辆与物体之间的 3D距离，检测运动物体的速度，并能穿透非金属材料，在恶劣天气条件下获得比激光雷达更清晰的图像。鉴于2D摄像头感知无法测量距离，分辨率非常高并能显示物体准确相对位置的激光雷达无法检测速度。
强大的联邦AI模型
Wang的研究团队没有使用激光雷达来构建AI模型的基础，也没有使用大量人力来进行注释，而是使用分别从摄像头和雷达传感器收集的数据作为地面实况来训练每个网络，因此能够产生弱监督的联邦AI学习模型。
该融合感知解决方案基于摄像头的经典视觉图像和雷达的3D信息，而不是人类的监督标注，且联合AI训练使该解决方案比其他解决方案更强大。
负责为该项目部署融合传感器的硕士生Andy Cheng表示，该融合传感器独立运行，因此每个系统也可作为备份系统（也称为冗余）。
例如，当有暴风雪时，雷达网络的性能优于摄像头网络，并且可以单独完成检测和跟踪，因为雷达网络已通过联邦学习进行了适当的训练。
融合传感商业化的局限性
然而，根据Wang和Cheng的说法，由于基于雷达的检测解决方案仍存在局限性，因此重建3D雷达图像，以及预处理雷达生成的包括幅度、相位和相位差等原始数据仍然面临挑战。
预处理会减慢整个系统的速度，如果系统要在实际流量中应用，任何延迟都可能会导致事故发生。Wang教授表示有两种方法可以减少处理所需的时间。
Wang表示：“首先，原始数据的可视化可以写入硬件，这需要更高的计算能力和超低延迟。其次，雷达生成的原始数据可以通过一种新的、更强大的神经网络进行可视化，可以直接将其用作输入。”最终，雷达检测和摄像头检测的综合结果将使自动驾驶更加安全。
Wang指出，自动驾驶在安全性上不能妥协，基于融合传感器的感知方案比单纯的视觉系统更能保障驾驶者的安全。相对价格低廉并提供3D信息的雷达在自动驾驶汽车领域潜力巨大。
