【推广】PAN 2 开源世界模型:先让 LLM 写出“下一刻”,再让扩散模型演出来
域名/IDC
145 人阅读
|
0 人回复
|
2026-11-11
|
|
> 短版摘要:MBZUAI 旗下 IFM 11 月 10 日开源世界模型 PAN 2,权重、完整训练和推理代码均为 Apache 2.0。它把“模拟下一刻”拆成两步:LLM 先写出带时间戳的 JSON 状态(谁、何时、做什么、镜头怎么动),29B 的视频扩散模型再补全接触、形变和运动。官方消融显示,去掉 LLM 推理后整套计划完成率直接归零。本文拆解架构、评测里的“复利曲线”、奖励学习的副作用。视频生成模型这两年一直有个尴尬:画面越来越好看,但“对不对”没人保证。门在没开锁之前就打开了,让镜头往后看它只转了一点点,这类错误用画质指标是查不出来的。PAN 2 技术博客开头就点出了这个问题:“A simulation can look right and still be wrong.”11 月 10 日,阿联酋 MBZUAI 设立的基础模型研究院 IFM 发布了 PAN 2,定位是“面向物理智能的开放世界模型”:给一个起始画面和一句动作描述,它模拟出接下来会发生什么。这次放出的是视频模型权重、完整的训练与推理代码、技术博客和文档,全部 Apache 2.0。新闻稿里特意强调,公开完整训练代码的世界模型并不多。我对它的兴趣不在“又一个视频模型”,而在它的分工方式:让语言模型负责“发生什么”,让扩散模型负责“看起来怎样”。这个思路对做 Agent 的人很有参考价值。以下事实来自文末 IFM 新闻稿、技术博客与 Hugging Face Diffusers 集成 PR,分析部分是笔者观点。## 一、架构:GLP 把推理和渲染拆开PAN 2 沿用 IFM 的 Generative Latent Prediction(GLP)架构。官方把它写成三段:编码器从当前观测估计潜在状态,骨干网络根据动作预测下一个状态,解码器把状态还原成下一段观测(视频)。关键在于“状态”被拆成两部分:- 概念部分:由预训练视觉语言模型的视觉编码器提取,再由 LLM(官方称为 conceptual reasoning backbone)预测下一个状态,形式是结构化的文本,包含全局场景属性和带时间戳的事件。- 感知部分:由 VAE 编码成视频潜变量,再由一个实现为 MMDiT 的潜空间扩散模型(perceptual reasoning backbone)在文本状态的条件下预测,单次窗口最长 20 秒,最后由 VAE 解码成画面。Diffusers 的集成 PR 提供了更具体的工程信息:生成模拟器是 29B 的双流多模态扩散 Transformer,视频流和文本流在注意力中汇合;流水线支持文生视频和图生视频(首帧),文本编码器用 Qwen3.5,VAE 用 Wan2.2,并默认开启一个对 prompt 和生成视频的安全检查器。官方说可以用 vLLM、HF Diffusers 或 FastVideo 运行。*图注:PAN 2 的 GLP 分工,按技术博客简化重绘,非官方原图。*一个有意思的细节是:LLM 这一层是可替换的。官方评测里,Physics-IQ 用 Claude Opus 5.5 做概念推理骨干,RBench 和人工盲评用 GPT-6 Astra,消融实验用的是 Kimi-K3。也就是说,PAN 2 开源的是“演出”的那一半,“编剧”可以是任何足够强的 LLM。## 二、LLM 不只是“改写 prompt”很多视频生成器都会在扩散模型前面放一个 LLM 改写提示词。PAN 2 做了一个很干净的消融:扩散模型固定不变,只改变 LLM 的参与程度。| 概念推理 | 单动作六维得分 | 多步计划:单步完成率 | 多步计划:整套完成率 || --- | ---: | ---: | ---: || 无(动作直接给扩散模型) | 45.1 | 8.7 | 0.0 || 仅格式化 | 78.2 | 70.7 | 27.8 || 完整推理 | 84.6 | 75.1 | 34.0 |只做格式化就能补回单动作的大部分差距,但多步计划上,“真正推理下一状态”还能再多拿 6 个百分点以上的整套完成率。笔者的解读是:格式本身就有价值(结构化的时间轴让扩散模型知道每件事何时发生),但事件顺序和因果,仍然要靠语言模型去“想”。状态写成什么样也做了对比。IFM 训练时给每段视频配结构化 JSON 字幕,字段包括视频风格、光照、视角、主体列表、起始画面描述,以及按时间段划分的事件、相机运动和包含的动作。与两种纯文本写法相比,JSON 字幕平均每段视频包含 49.43 条不同陈述(另两种为 45.97 和 41.04),训练出的扩散模型在留出集上的损失也最低(0.383243 对 0.385521 和 0.386267)。官方也提醒,三种写法内容本身也不同,不只是格式差异。## 三、评测里最值得看的是那条“复利曲线”PAN 2 用 VLM 做裁判,按六个维度(物理一致、因果连贯、实体持续、约束满足、视角不变、客观动态)出题打分;多步计划每个测试有 3–6 个步骤、共 20 秒,每个“通过”判断还要经过 5 次怀疑式复核,涉及镜头的步骤再用 VGGT-Ω 从几何上验证相机是否真的动了。结果是 PAN 2 单步完成率 75.1%、整套计划完成率 34.0%,整套完成率在参评模型中最高;单步与 MiniMax-H3 持平(后者整套 32.5%)。新闻稿称它在 Physics-IQ Verified 公开榜单上总排名第三、开源模型第一。更有意思的是,IFM 发现六个模型的数据落在同一条曲线上(R² = 0.986):$$F = S^{1.67} \cdot e^{-2.49(1-S)}$$S 是单步完成率,F 是整套计划完成率。按这条拟合曲线,单步从 75% 提到 90%,整套完成率大约从三分之一翻到三分之二。*图注:六个模型的单步与整套完成率及官方拟合曲线,数据来自 PAN 2 技术博客,笔者重绘。*这条曲线对做 LLM Agent 的人同样适用,只是很多人没认真算过:多步任务里,单步可靠性的小提升会被放大成整体成功率的大跳跃;反过来,每步“差不多能行”的 Agent,串起来以后几乎必然失败。与其堆步骤,不如先把单步做到可验收。## 四、奖励学习:涨了一些分,也掉了一些分流匹配训练之后,IFM 又用 VisionReward 回答 13 个问题来计算奖励,按 ReFL 方式微调扩散模型 600 步。结果很诚实:因果连贯 +8.5、整套计划完成率 +3.7,但视角不变 −3.0、物理一致 −2.5——奖励几乎不覆盖这两项。最终模型取的是奖励学习前后检查点的加权平均(model soup 思路),用来保住收益、缓解奖励投机。另外两个训练细节也值得记一下:一是早期训练之后去掉游戏、动画、CG 渲染和仿真视频,两个 9B 模型训练 4 万步做盲评,去掉合成内容的那个赢了 58% 的投票;二是优化器用了“按注意力头拆分的 Muon”,Q/K/V 的更新按头切开各自做 5 步 Newton–Schulz 再拼回去。在 185M 到 1.52B 的缩放实验里,它在同等损失下比纯 AdamW 省 65%–71% 的计算量(官方强调这不是生产内核的实测加速)。## 我的看法- 世界模型的“编剧”和“演员”正在解耦。PAN 2 的消融说明,LLM 越强,模拟越准;这意味着概念推理层会随通用 LLM 一起进步,开源的扩散部分可以长期复用。- 对 Agent 开发者,最可迁移的经验是那条复利曲线:单步可靠性是整体成功率的杠杆。- 官方坦白的短板也要记住:长时间世界一致性仍未解决,奖励学习会牺牲视角和物理一致性;需要“世界随探索扩展并保持一致”的场景,官方说要等后续工作。- 想跑起来先看硬件:29B 的扩散 Transformer 不是消费级显卡能轻松承载的,Diffusers 集成里提供了上下文并行和多种缓存加速选项,部署前先评估显存和时延。## 参考资料- [IFM 新闻稿:PAN 2 发布](https://ifm.ai/pan2/press-release/)(开源范围、许可证、榜单表述)- [PAN 2 技术博客](https://ifm.ai/blog/pan2/)(GLP 架构、状态格式、评测、消融、奖励学习与 Muon)- [Hugging Face Diffusers:Add PAN 2 PR](https://github.com/huggingface/diffusers/pull/15202)(29B 双流 DiT、文本编码器、VAE、默认参数)**作者说明**:作者在运营 API 中转站 Twinkle Model(https://big-model.smart-agi.com):GPT 1折、国模1折、满血 Claude、源头中转、低价稳定,价格见模型广场 https://big-model.smart-agi.com/model-plaza。
|
|
|
|
|
|
|
|
|