
前几天,小鹏汽车在 arXiv 上矜重公开了他们在物理 AI 与宇宙模子规模的最新盘考效果:X-Foresight: A Joint Vision-Action Causal Forecasting Network via Predictive World Modeling。

这无疑是全球计较机视觉顶会 CVPR 2026 开幕前夜的一项分量级效果,而小鹏亦然本届会议中独一受邀进行主题演讲的中国车企。这篇论文的公开,意味着继本年 3 月发布 X-World、4 月发布 X-Cache 之后,小鹏智驾生态的临了一块中枢拼图矜重落地。
算作这套体系的灵魂X-Foresight 是一套基于臆想式宇宙模子(Predictive World Modeling)的视觉-动作因果臆想网罗。而它的推出,直指刻下统统这个词智驾行业的底层瓶颈。
目前,大部分自动驾驶系统(包括特斯拉FSD V12)和最前沿的 VLA 架构(Vision-Language-Action),都是端到端的,实质上偏向“条款反射”。
系统就像一个凭本能开车的赛车手,走的是“感知→径直动作”的黑盒门道。因为枯竭对物理宇宙的学问,它们无法在脑海里提前模拟:“若是我这样开,3秒后会发生什么?”
怎样摧毁这个瓶颈?小鹏的 X-Foresight在这里面加入了一个中间层:“感知→臆想异日状态→评估动作后果→采纳最优动作”。
相较于传统 VLA 依赖讲话算作中间表露,X-Foresight 采纳了一条更底层、视察难度更高、但更具颠覆性的通路——径直建模物理因果。就像给智驾系统安上了“预言家的大脑”,一边高频控车,一边及时“脑补”出高清全景异日画面。非论是行东谈主突横穿、前车急刹,如故违法掉头等高危长尾场景,都能在提前预判中节略拿抓。

(B) 在 t=2 s、t=4 s、t=6 s 时刻臆想异日帧的闭环推理可视化收尾
(C) X-Foresight 在多项基准测试中均优于基线智力
而这套物理模拟器之是以大要从纸面走向现实,全靠以下四个中枢时代模块的逾越式改换:

架构:“分块预判”摧毁大模子的正当舞弊
好多东谈主以为,既然 Sora 能把视频生成得那么传神,那径直把这套“逐帧臆想下一帧画面”的绝活搬到智能驾驶上不就行了?
联系词,这样作念会遭遇一个致命的“臆想退化罗网”。由于自动驾驶视频的相邻两帧画面实在太相似了,若是让大模子去“逐帧臆想”,它会赶紧学会偷懒舞弊,径直把上一帧画面平移或者复制畴昔。这样耗损函数天然降下来了,但现实上退化成了毫无真理的像素外推,根柢没学到实在的物理开通礼貌,妥妥的“无效刷题”。
同期,宇宙建模还面对着“时序逆境”:你念念看清前车变谈的逐个瞬,就得死盯着每一帧(高帧率茂密臆想);但你念念看懂前列过十字街头的永远因果,又得往后看好几秒。若是把这两件事混在沿途强行死磕每一帧,车机算力俄顷就会被榨干。
是以,X-Foresight 的架构中枢,改用了“万古域分块自总结”(Chunk-wise Auto-Regressive)战略:
内密外疏,短长通吃:它不再一帧一帧地生啃,而是把时辰切成了一个个 1 秒钟的“大块(Chunk)”。在块的里面,密集采样,把前车变谈、刹车灯亮这种“瞬时动态”抓得死死的;在块与块之间,径直逾越式地寥落跳转,专门用来推演几秒后的“永远因果”。这样既不会让模子躺平抄功课,又用极低的算力本钱兼顾了咫尺的细节和远处的因果。
BSA 算力加快:为了真贵这种长序列视察让系统崩掉,团队我方手写了一个半因果块寥落提防力机制(BSA)算作底层核,径直把传统的 FlashAttention-2 给换掉了。这一换,端到端详察的费解量径直暴涨了 1.59倍!用最经济的算力,完整科罚了这个时辰两难的逆境。

两个面板展示了分拨给不同提防力头组的互补寥落款式

战略:由易到难,无痛拓宽 21 秒远见视界
念念让一个刚出身的大模子连气儿看清 21 秒后的异日,算力不仅吃不用,模子也根柢学不会,极易导致视察崩溃。
为了破这个局,小鹏引入了渐进式课程学习引诱推广视界战略(Curriculum Learning for Extended Foresight,CLEF),像教孩子念书雷同,崇拜次序渐进:
第一步(普及班):先让模子学会臆想挨在沿途的短时辰块(以 1 秒为步出息行短期脑补)。
第二步(进阶班):等模子基础底细塌实了,逐步把块之间的跳转间距拉大到 3 秒。
通过这种由易到难的“喂养”样式,系统在莫得增多一丁点特地算力包袱的前提下,硬生生把前瞻视线拉长到了 21 秒的超长地平线。这径直让 AI 领有了老司机“走一步、看十步”的顶级远见,即使遭遇突发情景,控车战略也稳如老狗,不掉链子。

数据:拒却活水账,免刚硬模子死磕“错题本”
海量的动身行车视频看似是一大笔资产,但其实大部分时辰车辆都在自如地匀速直线行驶。这种毫无海潮的“自如巡航谎话画面”若是均匀采样、高密度地喂给大模子,只会白白蹧跶算力和监督信号,还会稀释中枢知识的学习效果,让模子变得笨拙。
为了不让数据注水,小鹏改换利用了时序迫切性采样(Temporal Importance Sampling,简称 TIS)。这套战略不看别的,专挑“艰辛”和“突发情景”下手:
用公式给路况精确打分:系统不是盲目地乱选视频,而是通过一套基于车辆横向和纵向加快度的算法,及时给前瞻、当下、后滞三个时辰窗口的动态变动进行定量评估。
专攻安全关键:惟有遭遇变谈、急刹、强插、猛打地方等安全关键块,该片断的分数就会飙升。系统会自动把贵重的算力歪斜给这些高价值片断。这极端于免刚硬模子毁灭无真理的活水账,全神灌输地死磕“硬核错题本”,大大提高了大意危境时的方案出息。

渲染:脑眼分离,预防苦守的“防舞弊天条”
为了把大脑念念的“因果道理”酿成寰球都能看懂的高清画面,小鹏在策划形而上学上提议了一个相当炫夸的不雅点:学道理不需要高清。
若是隐空间里塞满了过多的像素细节,反而会稀释掉模子对宇宙中枢结构礼貌的解析。就像咱们东谈主类学开车,脑子里念念的是车流怎样走、路怎样弯,而不需要去强行记着路边每棵树的树叶是怎样飘的。
因此,X-Foresight 依托两大中枢模块,结束了“脑眼分离”:
大型驾驶模子(Large Drive Model)充任“智囊”:算作中枢大脑,在隐空间进行抽象的物理推理和控车方案。它输出三种东西:结果动作(高频控车)、BEV 俯瞰图(空间结构解析)和每路录像头的隐向量 Token。
视觉渲染器(Vision Renderer)充任“画师”:基于 X-World 优化的扩散式多视角渲染器与 3D 因果 VAE(变分自编码器),它不参与方案,专门负责把 LDM 智囊脑海里那些抽象的 Token,复原成几何一致、真假难辨的 7 路环顾录像头高清全景闭环画面。1 秒臆想视界 FID 值低至 1.51,即便到了 6 秒万古臆想仍能保持极低漂移!

而这里,苦守着一条绝妙的“防舞弊天条”:在最终的对都阶段,渲染器是实足不输入车辆结果动作(Action Token)的!
为什么要挑升瞒着它?因为若是让渲染器同期看到动作(比如踩油门或打地方),扩散模子就会悄悄走捷径,径直凭证动作去硬套、瞎编异日的画面,从而与 LDM 大脑里面确切的物理推理脱节。
当今,小鹏逼着渲染器只可通过 LDM 的 Camera Token 这一根独木桥来传导信息,反而死死确保了车机画出来的异日画面,与智驾大脑的里面确切念念象实足对都。

战绩:13.8 万亿 Token 喂出的工业级家底与实测轰动
一套刚硬的宇宙模子网罗,必须有精深的产业级数据和生态来喂养。
小鹏此次径直掏出了令东谈主惊奇的工业级家底:基于小鹏 28 万小时自有驾驶数据视察,涵盖 3400 万条视频片断,Token 范围达到了恐怖的 13.8 万亿! 领受 7 目环顾录像头,结束 360 度无死角遮掩,平庸横跨城市谈路(86.8%)与高速(13.2%),完整保留了环岛、匝谈、收费站、裂缝谈路使用者交互等长尾安全场景。
在这层饱胀式视察下,完合座的 X-Foresight 在磋磨安全与生成保真度上全面最初传统基线,径直用一连串硬核的数据砸碎了传统 VLA 的黑盒瓶颈:
安全合规磋磨暴涨:中枢碰撞率相对暴跌了 16.2%!安全(Safety)磋磨提高 9.1%,合规(Compliance)磋磨提高 8.2%。
轨迹精确控线:计议 AI 走线准不准的轨迹时弊上,横向和纵向的 ADE(平均位移时弊)分离提高 6.4% 和 3.6%;而长期预判的 FDE(很是位移时弊)更是分离大幅优化了 8.8% 和 4.1%。
六边形战士:依据小鹏自家的 CCES(合规性、惬意性、着力、安全性)测评磋磨体系,X-Foresight 在四个磋磨上的空洞弘扬提高了 4.6%。

在现实场景中,对比传统两眼一抹黑、动不动就车谈偏离、盲目制动点刹的旧模子,X-Foresight 现场演示了什么叫领有物理宇宙知识的“顶级老司机”:
多出口大环岛场景:传统的反映式模子由于视界太短,一进环岛看到近处的出口,很容易按“肌肉缅念念”跑偏、提前切出。而 X-Foresight 展现出刚硬的前瞻性方案材干,精确锚定导航目的出口,一齐上稳压阵地,毫不受近处出口的干涉。

多出口环岛下,X-Foresight凭证现实情况跟踪目的出口
夜间路口信号灯切换预判:面对前列红灯,平方基线模子经常因为短视而早早一脚把刹车踩死,以致把臆想轨迹掐断。但 X-Foresight 通过脑补异日,精确预判了信号灯的切换趋势 —— 它算准了车辆滑行到罢手线前红灯就会变绿,从而在里面画出了一条无需延缓、滑行通过路口的优雅轨迹。

夜间十字街头下,X-Foresight臆想信号灯曲折

全栈协同,和特斯拉国外再见的那天越来越近了
跟着 X-Foresight 的矜重亮相,小鹏通往高阶自动驾驶的“超等三件套”终于澈底完成了拼图,构筑起了闭环的自动驾驶生态:
X-World 负责科罚“数据”:用超传神的多视角仿真生成,给 AI 创造出源源不休、包罗万象的“模拟考卷”;
X-Cache 负责科罚“速率”: 把端到端的及时性和费解率拉满,确保车机大脑在大意海量高频信号时毫不卡顿、原地升起;
X-Foresight 负责科罚“智能”:注入灵魂级的物理因果推理,让车子实在学会像东谈主类老司机雷同去“预判异日”。
这三张王牌凑都,协同构建起“知识学习-场景仿真-推理加快”的全栈体系,才算实在支持起 L4 级别智驾所必需的“系统级安全冗余”。全面质变从来都不是靠某一个算法的单点爆种,而是靠这种为德不卒紊的系统级全栈工程材干。
从数据初始、模子初始,再到如今 X-Foresight 开启的“宇宙知识初始”(World-knowledge-driven)新范式,自动驾驶的下半场要变天了。异日的物理宇宙模拟器,小鹏仍是率先开上了骨干谈。
回念念起 2020 年,马斯克斥责小鹏智驾时,何小鹏在应酬媒体上的硬气回复:

如今的小鹏,已被好多东谈主认为时国内能与特斯拉正面硬刚的最强竞争者。
而何小鹏当年说的“国外再见”的那一天,仍是越来越近了。
参考阅读:
X-Foresight 官方表情主页:https://x-foresight-1.github.io/en/
•END•宽待点击科技逐日推送视频号,看最新视频~
↓↓↓
]article_adlist-->易简传媒为一家新三板挂牌公司(股票代码:834498),旗下新媒体微信粉丝2500万+,敷陈各行业的精彩故事,宽待寰球神气以下账号↓↓↓
]article_adlist-->
海量资讯、精确解读,尽在新浪财经APP