轻舟智航打造国内首个时空联合规划算法

11月1日，轻舟智航正式发布自动驾驶解决方案品牌名称“轻舟乘风”。“轻舟乘风”取自诗句：长风破浪会有时，直挂云帆济沧海。这两句诗出自唐代大诗人李白的《行路难》，表达的是一种历经坎坷，但仍然无比坚定的信念，也充分彰显了轻舟智航的价值主张：基于数据，成于感知，用最强的PNC引领城市NOA的新高度；携手生态伙伴，打造使用范围最广的自动驾驶解决方案 。

在近日举办的轻舟智航技术工坊媒体沟通会上，轻舟智航公布了其在感知、数据、预测等多方面的最新技术进展，其中，大模型OmniNet最为惊艳。OmniNet取名自omnipotent，象征「无所不能的感知融合能力」，它将作为轻舟智航的感知主模型，支持核心感知功能。

据介绍，基于「超融合」感知方案，为助力加速城市NOA前装量产，轻舟智航在行业内首次将时序多模态特征融合的大模型OmniNet部署在量产平台上，以一个神经网络即可实现视觉、激光雷达、毫米波雷达在BEV（Bird’s Eye View）空间和图像空间上输出多任务结果。相较传统方案，OmniNet在实际应用中可节省2/3的算力资源，并拥有更高的感知融合精度和模型迭代效率，而且可以低成本适配不同厂家的传感器配置，更轻量、更高效、更灵活地满足城市NOA的量产需求。

轻舟智航此次提出的OmniNet是应用于前中融合阶段、实现数据/特征融合的全任务大模型，也是首个可在量产计算平台上实现时序多模态特征融合的大模型。利用一个神经网络模型，将视觉、毫米波雷达、激光雷达等数据通过前融合和BEV空间特征融合，让本来独立的各个计算任务通过共享主干网络（backbone）和记忆网络（memory network）进行高效多任务统一计算，最终同时在图像空间和BEV空间中输出不同感知任务的结果，为下游的预测和规划控制模块提供更丰富的输出。

上图：采用「时空分离规划」的车辆表现，在面对动态障碍物时，不容易灵活应变，所以会被自行车堵在后面缓行，然后再寻找绕行机会

下图：采用「时空联合规划」的车辆表现，提前预判对向车辆的轨迹，把握好时机，灵活地绕行自行车，行车策略高效

与传统方案相比，OmniNet感知更精准，提供丰富且准确的环境感知结果，有效提升感知的精度和准确性；车端更适配，以更高的算力资源利用率，更低的迁移成本，更好地满足车企泛化需求；迭代更高效，更适宜使用数据驱动的算法开发模式，有效解决实际道路场景面临的长尾问题。

轻舟智航联合创始人、首席技术官侯聪表示，城市NOA是辅助驾驶的天花板，但未来一定会逐步成为消费者的主流需求。实现“能用、好用、爱用”的城市NOA，正是轻舟智航对于用户及客户的价值，助力主机厂实现智能驾驶突围。