课程网站建设 碧辉腾乐网页设计教程清华大学出版社

课程网站建设 碧辉腾乐,网页设计教程清华大学出版社,服务器绑定网站打不开,网站重构点击下方卡片#xff0c;关注“自动驾驶之心”公众号戳我- 领取自动驾驶近30个方向学习路线自动驾驶前沿信息获取→自动驾驶之心知识星球现有自动驾驶系统非常依赖车载传感器进行实时精确的环境感知。然而#xff0c;这种模式受行驶过程中的感知范围限制#xf…点击下方卡片关注“自动驾驶之心”公众号戳我-领取自动驾驶近30个方向学习路线自动驾驶前沿信息获取→自动驾驶之心知识星球现有自动驾驶系统非常依赖车载传感器进行实时精确的环境感知。然而这种模式受行驶过程中的感知范围限制在视野受限、遮挡或黑暗、降雨等极端条件下常出现性能失效。相比之下人类驾驶员即使在能见度不佳的情况下仍能回忆起道路结构。为了让模型具备这种“回忆”能力针对这个特点复旦可信具身智能和上交等合作将离线检索的地理图像作为额外输入引入系统。这些图像可从离线缓存如谷歌地图或已存储的自动驾驶数据集中轻松获取无需额外传感器是现有自动驾驶任务的即插即用型扩展方案。在实验中首先通过谷歌地图API检索地理图像扩展了nuScenes数据集并将新数据与自车轨迹对齐。并在五个核心自动驾驶任务上建立了基准目标检测、在线建图、占用预测、端到端规划和生成式世界模型。其中在线建图mAP提升13.4%占用预测静态类mIoU 2.57%夜间规划碰撞率从0.55%降至0.48%为复杂场景自动驾驶提供低成本、高鲁棒的感知增强方案。大量实验表明该扩展模态能够提升部分任务的性能。我们将开源数据集构建代码、数据及基准测试为这一新自动驾驶范式的后续研究提供支持。论文标题Spatial Retrieval Augmented Autonomous Driving论文链接https://arxiv.org/abs/2512.06865项目主页https://spatialretrievalad.github.io/自动驾驶之心非常荣幸邀请到复旦大学可信具身智能研究院的贾萧松教授为大家分享这篇最新的工作。周三晚上七点半锁定自动驾驶之心直播间~一、背景回顾最新的自动驾驶方法依赖车载传感器捕获环境信息。尽管这种模式已取得良好性能但其输入本质上受限于在线传感的有限范围和视线传播特性。因此在视野受限、遮挡、曝光异常或雨雪雾等恶劣天气等视觉挑战场景下系统性能会显著下降如图1所示。例如在线建图和占用预测等任务旨在估计场景结构而有限能见度或遮挡会降低其环境识别能力进而影响规划决策。同样近年来的自动驾驶世界模型在自车偏离记录日志较大时难以生成新颖场景这一局限源于车载视野的狭小范围限制了其作为闭环评估和强化学习模拟器的应用能力。相比之下当当前视觉输入不足时人类驾驶员会回忆近期的场景记忆。在本研究中我们旨在通过空间检索为自动驾驶系统增添车载传感器即时范围之外的更广泛上下文信息。空间地理数据可来自谷歌地图该平台提供包含经纬度信息的街景和卫星图像。对于自动驾驶企业而言也可使用其离线缓存的数据集。与车载传感器不同这些地理数据是离线的、全球可访问的且不受行驶过程中干扰因素的影响。它们从自车之外的视角提供丰富的上下文线索无需额外传感器或人工标注是一种经济高效的空间上下文增强方式。为系统研究这一新范式我们首先构建了一个将地理数据整合到现有自动驾驶数据集的框架。该框架通过谷歌地图API和自车姿态信息实现数据收集和空间对齐的自动化以获取并对齐坐标系。利用这一框架我们随后为nuScenes数据集扩展了相应的地理图像和基于坐标的空间检索API。最后为探究这一新模态的效果我们在五个关键自动驾驶任务上建立了基准目标检测、在线建图、占用预测、端到端规划和生成式世界模型。我们设计了一个即插即用的适配器将地理图像无缝整合到现有模型中。大量实验表明该模态能够提升多个任务的性能。我们的主要贡献总结如下提出自动驾驶空间检索范式减轻车载感知对环境的敏感性并提供广泛的远距离上下文信息。构建扩展nuScenes数据集——nuScenes-Geography包含地理图像和空间检索API为新范式的系统研究提供支持。设计模型无关的适配器并在五个自动驾驶任务上建立基准验证新模态的广泛适用性。开源数据构建流程、扩展数据集及所有基准模型以促进后续研究。算法详解空间检索范式与任务定义假设一段自动驾驶数据由个时序化的传感器和姿态数据组成其中每个时间步包含车载传感器数据例如带有相机内参和外参的多视角图像和自车姿态。引入离线地理数据库该数据库由地理图像及其对应的元数据全球坐标和相机参数构成。我们在五个自动驾驶任务上评估空间检索范式的有效性表1。对于车载任务3D目标检测、在线建图、占用预测和运动规划每个时间步都会应用检索函数该函数以当前图像和自车姿态为输入从中检索最相关的地理数据为简化起见本研究中我们为每个相机在每个时间步检索最近的地理图像。若3D距离大于阈值API返回“无NONE”。未来可探索更先进的检索方式例如检索更多邻域图像作为全局上下文。对于离线任务生成式世界模型会沿生成目标行驶轨迹检索多张地理图像为长时域、全局一致的场景生成提供空间支架减少幻觉现象。空间检索适配器本节介绍一种通用的即插即用模块图2左用于将检索到的地理数据融入基于鸟瞰图BEV的车载任务作为直观基准。结合各任务先验知识的更先进模块将留待未来研究。地理图像与位置编码检索到的地理图像通过与车载相机相同的骨干网络编码得到。为编码检索地理图像与当前自车位置的相对空间关系我们采用PETR对地理图像块进行3D位置编码得到。地理交叉注意力地理特征通过带位置编码的交叉注意力融入BEV表示由可靠性分数调制以处理检索缺失或错误的情增强后的BEV特征随后输入原始下游任务头。这种即插即用设计保持所有训练目标和网络架构不变。生成式世界模型的空间检索自动驾驶生成式世界模型可作为数据生成器、闭环评估器或强化学习RL环境通常运行在集群和服务器上而非车载设备。因此这些模型可获取未来自车轨迹能够沿即将行驶的路径预检索地理图像类似Bench2Drive-R。通过在生成过程中注入未来位置的地理图像提供持续的空间线索维持场景一致性。地理扩展DiT参考Bench2Drive-R为将地理数据融入生成过程我们在广泛使用的DiT模块的原始注意力层后额外注入一个地理交叉注意力层其中表示带噪声的 latent 特征表示生成片段起始帧和结束帧的检索地理特征。该设计使模型能获取对应未来位置的地理上下文。基于可靠性估计的自适应融合利用地理数据的核心挑战是处理缺失或错位的街景图像图7。为减少这类情况的影响并提升模型对不可靠检索的鲁棒性我们引入自适应融合机制图3基于以下两点动态调整地理特征的贡献权重i检索位置与自车姿态的距离ii检索图像与当前车载图像的相似度。具体而言我们设置可靠性估计门控模块输出可靠性分数其中ZNCC计算车载特征与地理特征的零归一化互相关是街景位置与自车位置的距离是sigmoid函数。训练过程中我们用二元标签0表示无效/缺失1表示有效监督的学习。测试时该学习到的估计器可对不可靠地理特征进行降权。三、nuScenes-Geography基于谷歌地图的扩展地理数据为系统验证空间检索范式的有效性我们引入nuScenes-Geography数据集——通过谷歌地图API收集地理数据对广泛使用的nuScenes数据集进行扩展图4。坐标计算为建立地理数据与nuScenes帧的关联我们结合nuScenes地图的全球原点和自车姿态计算每个帧的经纬度坐标。利用这些坐标查询谷歌地图API获取街景图像和卫星地图切片。面向高效存储与检索的等矩形全景图表示由于街景图像的空间采样频率显著低于nuScenes的关键帧速率同一条道路上的多个nuScenes帧可能对应相同的街景位置图5。为最小化存储开销每个独特的地理数据仅检索一次并存储该地理数据与其所有最近nuScenes帧的映射关系。然而nuScenes中不同帧对同一街景位置需要不同视角。为在保证几何正确视角的同时维持存储效率我们采用等矩形全景图表示数据获取对于每个街景位置从API检索18张视角图像这些图像具有分布式偏航角覆盖360°和固定俯仰角0°。等矩形全景图格式将这些图像投影到球面表示并存储为等矩形全景图格式。虚拟相机对齐对于nuScenes的每个帧和每个车载相机在对应街景位置实例化一个虚拟相机其内参与nuScenes相机模型一致。外参变换由自车姿态和街景拍摄点推导旋转遵循原始nuScenes相机朝向平移由街景与自车的经纬度偏移计算得出z轴平移设为固定常数。重投影检索利用虚拟相机配置从等矩形全景图进行透视投影合成与nuScenes帧几何对齐的街景图像。该过程确保每个车载帧与其合成街景视角的空间一致性和一一对应关系同时使整个收集流程具备存储高效性——与直接下载每帧街景裁剪图相比存储量减少超过70%。缺失与错位地理数据的处理如图7所示谷歌地图API可能返回空响应或错位地理数据。如前文所述我们设计自适应融合机制通过残差门控让模型选择性融合可靠的地理信息。在nuScenes-Geography的构建过程中我们手动检查所有下载的地理图像识别出1800个错位案例作为可靠性估计模块的负样本标签。图6展示了nuScenes地理数据的覆盖情况整体覆盖率较高。四、实验结果分析本节在扩展后的nuScenes-Geography数据集上针对五个任务评估所提出的空间检索范式。我们探究了空间检索的三大潜在优势提升静态场景理解能力、增强规划鲁棒性以及改善生成式世界模型的空间一致性。场景理解空间检索提供了稳定的背景视图弥补了车载传感器在极端视觉条件下的脆弱性和有限感知范围。在线建图如表2所示将地理先验融入MapTR和MapTRv2后在线建图性能显著提升。额外的背景信息有助于恢复被遮挡的车道见图10。占用预测如表3所示扩展FBOCC和FlashOCC后模型的平均交并比mIoU持续提升静态类别尤为明显。该先验为背景几何结构提供了抗传感器噪声的锚定见图10。目标检测如表4所示BEVDet和BEVFormer在融入地理数据后提升微乎其微。这一结果符合预期因为空间检索主要提供背景信息。不过利用地理数据区分前景与背景进而辅助目标检测是一个值得探索的未来方向。规划鲁棒性我们基于VAD评估空间检索对安全规划的促进作用。地理先验提供了一致的道路布局信息弥补了遮挡或光照不足导致的传感不稳定性。如表6所示在保持轨迹精度相当的前提下我们的方法提升了安全裕度。具体而言在具有挑战性的夜间场景中平均碰撞率从0.55%降至0.48%证明了地理先验作为安全规划可靠指导的价值见图9的可视化示例。生成式世界模型一致性我们进一步评估地理先验对生成式世界模型的辅助作用。将UniMLVG和MagicDriveDit 针对MagicDriveDit我们将测试集采样步长调整为13以避免重复采样近重复片段与地理图像进行条件关联后模型的视频弗雷歇距离FVD和inception距离FID均降低有效防止了场景漂移在滚动生成过程中保持了几何一致性如表5所示。这证实了空间检索可作为结构化支架支撑连贯的世界建模。错位空间检索的可视化新范式面临检索缺失或错位的挑战——当离线地理图像与相机图像不一致时会出现此类问题见图7。其原因主要包括1地图过时道路布局因施工发生变化但缓存的地图影像未准确反映可能误导模型2GPS/定位误差自车姿态不准确可能导致检索图像与车载传感器图像错位谷歌地图API偶尔会出现此类情况。消融实验我们在占用预测任务FlashOcc和生成式世界模型任务Unimlvg上进行消融实验。如表7所示引入地理先验始终能带来显著性能提升而位置编码和可靠性估计门控则进一步优化了性能。定性分析在线建图图10显示当车载相机的视觉线索退化或缺失时地理先验有助于重建地图元素。占用预测图10显示地理先验提供了清晰稳定的几何参考能够恢复被遮挡的背景结构。规划图9显示地理先验提供的稳定道路几何信息使模型在复杂路口和恶劣天气下能生成更平滑、更安全的轨迹。生成式世界建模图8显示地理先验防止了长时域滚动生成过程中的生成崩溃维持了场景一致性。对不准确检索的鲁棒性为进一步评估所提出的可靠性估计门控的有效性我们测试了在线建图方法MapTRv2在不准确检索下的鲁棒性。我们随机丢弃地理图像或在一定比例的帧中用随机错误图像替换它们。图11显示随着先验可用性的降低模型性能平稳下降。即使50%的先验缺失或错位模型仍保留了相对于基准的大部分性能提升。这表明所提出的可靠性估计门控使模型能够在有可用先验时加以利用而在无先验时不会出现灾难性失效体现了良好的实际应用鲁棒性。五、结论本研究提出了自动驾驶空间检索范式将地理数据作为额外输入引入系统。我们通过谷歌地图API获取地理数据扩展了nuScenes数据集并在扩展后的nuScenes-Geography数据集上对五个关键自动驾驶任务进行了评估。我们设计了通用的即插即用型空间检索适配器作为融入地理数据的直观基准同时提出可靠性估计机制基于检索数据的可靠性自适应融合地理信息。大量实验表明所提出的范式能够提升多个自动驾驶任务的性能彰显了这一新范式的巨大潜力。自动驾驶之心3DGS理论与算法实战课程知识星球交流社区