全新端到端技术，「提炼」后效能翻倍！出自北京理工大学计算机学院，创新成果令人瞩目。
编辑日期：2024年07月24日
CVPR 2024 最佳论文
省资源提效率的不可能挑战，在端到端自动驾驶领域竟然成为现实！
在最新一届计算机顶级会议CVPR 2024 的入选论文中，北京理工大学计算机学院团队发布了一项全球首创的成果：
通过“知识蒸馏”，端到端自动驾驶系统的性能直接提升约一倍，且无需牺牲系统可靠性和增加成本。
这就是所谓的“鱼与熊掌兼得”。
当前，自动驾驶领域盛行端到端技术，过去则更多采用模块化结构。无论哪种方式，都面临同一难题：
基于Transformer架构的大型自动驾驶模型参数众多，消耗大量计算资源，在车载设备有限的条件下难以达到最优效果。
若追求高性能，则需增加车载计算成本并延长输出时间；若考虑成本和灵活性，则必须缩减模型规模，从而降低性能。
北京理工大学团队提出了全新的知识蒸馏框架——PlanKD，实现了业内首次端到端规划器在保持较小体积的同时，性能不受影响的重大突破：
从实验数据来看，采用PlanKD后，相同参数量的端到端规划器性能（驾驶评分）提升了50%-100%。
具体实验结果如下：
该研究利用一个拥有52.9百万参数的大模型作为“教师”，指导多个不同规模的“学生”模型，并依据三项关键指标进行评估：驾驶评分、路线完成率以及违规得分。
核心实验依托于CARLA——由英特尔与丰田联手打造的顶尖自动驾驶仿真平台，它以真实城市为蓝本构建虚拟环境，并囊括多变气候条件，成为NOA开发不可或缺的利器，亦是当前唯一全面覆盖端到端测试的平台。[新端到端技术，性能激增的秘密！出自]
作为基石的端到端自动驾驶模型，我们采用了2023年商汤科技领头研发的InterFuser，这是一款以Transformer为核心的多模态架构，在CARLA公开榜单上曾傲视群雄，稳居榜首。
关于商汤科技在多模态大模型与端到端自动驾驶领域的前沿突破，智能车参考已详尽报道。
硬件配置方面，实验采用了英伟达RTX 3090 GPU作为计算引擎。
研发团队精心设计，在8座虚拟城镇中实施了21种气象变化（其中7种用于算法训练，1种专供测试），涵盖全方位天气挑战。
[新端到端技术，性能激增的秘密！出自]
实验成果表明，PlanKD赋能下的InterFuser模型，即便参数相同，驾驶评分平均跃升60%-100%；路径完成率显著增长约20%；违规扣分降低约25%。
此外，碰撞与违规频率同步下滑10%-60%不等。
值得一提的是，相较于庞然大物般的导师模型，PlanKD加持的小型模型，其推理速度大幅优化。
历经多年探索，自动驾驶领域涌现无数创新思路和技术路径，然而行业专家一致认同：自动驾驶的核心始终聚焦于一条主线：
[新端到端技术，性能激增的秘密！出自]
在智能驾驶领域，车辆路径规划的重要性不言而喻。驾驶员们深知，屏幕上的导航线若能顺畅延伸，实际驾驶便能一帆风顺；反之，则需人工介入。规划流程复杂，涉及感知、识别、预测等多个步骤。
北理计算机学院推出的PlanKD，其核心在于将大型模型的精华“蒸馏”至小型模型，实现性能飞跃。这一技术虽广泛应用于深度学习，但在端到端自动驾驶中的应用尚属首次，因驾驶任务的独特性。
首先，传感器收集的数据包含大量与驾驶无关信息，直接传递给小模型会适得其反。其次，规划路径中各点的重要性不一，关键点微小偏移可能导致严重后果。
知识蒸馏提升端到端效率及降低成本潜力巨大，但要实际应用，需克服上述挑战。为剔除非必要信息，团队开发了基于信息瓶颈策略的规划信息蒸馏技术，精准提取关键数据，而非盲目传输。
信息瓶颈是一种学习策略，旨在最小化输入特征的相关性，同时最大化其与特定类别的关联。在端到端规划中，通过减少某特征与其他中间特征的关联，同时增强其与规划要素的联系，筛选出重要规划信息。
【创新端到端技术，效能激增，源自精炼智慧！】
β代表拉格朗日乘子，I(x,x)衡量关联度，M是状态规划的规模，Z则化身成规划核心特征，由学习机制提炼而出。
H与Yi分别扮演着规划状态下，第i个环节的中段特征映射及真实值的随机变量角色。
团队匠心独运，提出一种聚焦安全性的路径点知识提炼法，专为评估各路径节点对规划影响而设：
首要步骤在于洞察每个节点之于驾驶环境的独特价值，通过计算鸟瞰图（BEV）与路径节点间的注意力权重，精准定位其重要性。
为强化权重对安全敏感情境的感知，特设安全意识排序损失函数，提升模型敏锐度。
取得权重后，融入路径点安全意识损失函数，执行知识提炼，公式如下：
同时，为防模型过度聚焦关键节点而忽视其余，引入熵损失机制，保障注意力权重分布均衡。
综上所述，此即核心理念。
CVPR 2024巅峰之作，其深远意义在于：
首次将知识提炼带入自动驾驶领域，赋予行车安全新高度；PlanKD不仅强化系统稳定，更为车载资源受限的大模型部署开辟新径。
欲探究竟，请访问论文链接：https://arxiv.org/abs/2403.01238，领略前沿科技魅力。
大家在看
