原来，视频生成卷到极致，就是突破大脑和视觉的边界，让想象力进入 AI 构建的虚拟空间。

昨天，PixVerse R1 突然上线。一开始我们以为这只是一次普通的版本更新，但那种「即时响应、即看即创」的全新交互体验，却是前所未有的。读完技术报告我们发现，这不仅仅是一次卷到极致的性能提升，更是量变带来的质变。

回顾过去，23 年推出第一版模型，随后 Web 端、移动端全面铺开，爱诗科技在 DiT 路线上一路狂奔：从 24 年底的 10 秒生成，到 25 年 2 月实现 5 秒生成社交级视频，再到 11 月将 1080P 视频生成压缩至 30 秒。在自研模型技术和工程化落地的思想下，PixVerse 确实将「传统视频生成」的速度推向了极限。

与此同时，行业加速从未停歇。就在上个月，生数科技宣布其与清华大学团队研发的 TurboDiffusion 框架，也让视频生成正式迈入「秒级」门槛。

但时间上的「卷」就是视频生成的全部吗？

显然，再快的速度，如果不能生产出符合制作需求的画质和一致性，依然无法成为通用的标准。

PixVerse 曾是业界第一个把 5 秒视频生成做到 5 秒之内的团队，而当一切看似达到极限时，在 2026 年开年，PixVerse R1 模型与产品同步横空出世。

通过将计算效率提升数百倍，它不再局限于「秒级」，而是做到了人类肉眼感知范围内的「实时」生成。发布即实装，这是一款真正的「通用」实时世界模型。这已不仅是单点的技术突破，而是一步到位、直接实现应用层级质变的代际跨越。

以下，我们将通过技术报告，为您详细解析 R1 的这次突破。

看了这个视频，大家或许理解了什么是「无限内容」的视频生成。

在这个模型创造的世界里，「汉语竟是上古禁咒」，你只要说出「春」即刻绿草如茵，说出「鸟」即刻飞鸟成群。一切都是如此连续，直白，世界实时响应你的呼唤，时间和空间都在你的掌控之中。或许，PixVerse R1 已经彻底掌握了「无限流」的真谛。

简单来说，PixVerse R1 是全球首个支持最高 1080P 分辨率通用实时世界模型。

这也是第一次，AI 可以基于用户的意图实时生成一个持续演化、物理上合理的世界，标志着视频生成正式从「静态输出」迈入「实时交互」的全新阶段。

回顾视频生成技术的发展路径，行业始终受困于速度、质量与成本的不可能三角：高画质往往意味着高延迟（如传统扩散模型），而追求速度又不得不牺牲物理一致性。PixVerse R1 没有盲目追求参数军备竞赛，而是找到了一条通往「通用」的平衡之路：

当一个模型首先做到了打破物理极限的实时响应（IRE），并以此为基础结合了通用全模态（Omni）与长时序世界模拟（自回归），它就已经超越了传统意义上的视频生成工具。

• 技术博客链接：https://pixverse.ai/en/blog/pixverse-r1-next-generation-real-time-world-model

交互的物理极限：瞬时响应引擎（IRE）

在通往通用世界模型的路径上，「实时性」始终是阻碍技术从实验室走向大规模应用的核心工程障碍。

传统扩散模型的生成逻辑本质上是一种精细的迭代去噪过程，通常需要 50 步甚至更多的采样步骤，才能将高斯噪声转化为清晰的视觉内容。这种机制虽然在一定程度上保证了生成质量，但其带来的秒级甚至分钟级的高延迟，使得 AI 视频生成长期停留在「离线制作、预录制回放」的阶段，无法满足即时交互的严苛需求。

不过，生成速度始终是 PixVerse 的强项，其在响应时间上一骑绝尘。早在 PixVerse V4.5 的时候我们就实测过，即使我们将各项生成指标拉满，平台输出结果的时间也没有超过 1 分钟。

但是，为了更进一步，实现彻底的「实时响应」，PixVerse 在 R1 上决心彻底重构底层推理架构，提出了瞬时响应引擎（Instantaneous Response Engine，IRE）。

这是一套针对采样过程的系统级加速方案，通过三大关键技术，在保持 1080P 高分辨率生成的前提下，将推理时间压缩到极致。

时间轨迹折叠

不同于传统方法在加噪去噪过程上进行漫长的逐步逼近，该技术引入「直接传输映射」作为结构先验，建立噪声到数据的直线通路，能够直接预测干净数据的分布路径。

这种方法在数学上有效地「折叠」了原本冗长的时间维度，将传统扩散模型所需的 50+ 采样步数暴力压缩至仅需 1-4 步。这一数量级的步数缩减，直接从源头上解决了计算量过大的问题，实现了推理速度的质变。

引导校正

针对为了保证生成质量通常采用的无分类器引导策略（Classifier-Free Guidance，CFG）所带来的双倍计算开销问题，PixVerse R1 团队通过将条件梯度直接融合进模型内部，使得系统在推理阶段无需再进行正负样本的双重计算。

这一优化成功绕过了传统 CFG 的计算瓶颈，在不牺牲指令遵循能力的情况下，进一步降低了计算复杂度。

自适应稀疏注意力

为了应对高分辨率视频生成带来的巨大显存与计算压力，IRE 采用了自适应稀疏注意力机制。

该机制能够动态分析视频生成过程中的上下文依赖，智能识别并剪除长程依赖中的冗余计算，从而显著压缩了计算图，大幅提升了整体推理效率。

       ^{即时响应引擎由三个模块组成：时间轨迹折叠、引导修正和自适应稀疏注意力学习。}

通用的认知底座：Omni 原生多模态基础模型

如果说「瞬时响应引擎」解决了传输的速度问题，那么一个强大的底座模型，则决定了传输内容的质量与上限。

底座模型是一切新功能新特性的基础。构建通用实时世界模型的第一步，在于打破单一模态的感知壁垒，只有设计一个完全端到端的原生多模态基础模型，才能彻底超越传统生成流程的局限。

在当前的视频生成技术栈中，多为非端到端的生成方式。往往需要生成一种模态之后通过级联的方式生成另一种模态，这种方式下需要反复的铺路搭桥，尤其是在处理复杂的跨模态交互上，自然显著影响了生成的效率，也限制了模型的通用性。

为了实现无限的通用性，模型必须强调：原生，原生，还是原生。

PixVerse R1 提出的 Omni 原生端到端多模态基础模型，正是通过底层架构的重构，实现了「因原生而通用」。

原生统一表示

Transformer 架构给了生成模型无穷的想象和可能性。

Omni 模型引入了统一 Token 流架构。该架构基于 Transformer，摒弃了异构模型拼接的传统路径，将文本、图像、音频与视频等不同模态的数据，统一编码为单一的生成序列。

在这一框架下，模型不再是将文本「翻译」为视觉信号，而是在原生层面上实现了对多模态数据的联合处理与理解。这种全模态的「通感」能力，使得模型能够精准捕捉文本指令与视听内容之间的深层关联，从而支撑起游戏、影视等多领域的通用化应用。

原生分辨率

除了多模态数据的原生处理，第二个原生，是实现高分辨率视频生成的核心特性：原生分辨率。

Omni 模型引入这一机制，旨在解决传统视频生成模型中因数据预处理而导致的画面构图破坏与几何失真问题。

为了适配固定的模型输入结构，传统方案往往采取「强制裁剪」或「缩放拉伸」的策略。这种「削足适履」的方式，会导致画面关键信息被裁切丢失，或使物体形态发生非物理的扭曲变形（如被压扁或拉长）。

相比之下，Omni 模型坚持在原生分辨率和原始比例下进行端到端的学习。这一架构使其能够自适应处理任意长宽比的素材，从根源上消除了因裁切或缩放带来的视觉偏差，确保了生成内容在构图完整性与物理几何上的真实感。

^{Omni 原生多模态基础模型的端到端架构，统一设计使 Omni 模型能够接受任意多模态输入并同时生成音频和视频。}

值得一提的是，模型通过原生学习大量真实世界视频数据，来确保真实世界的内在物理定律和动态的真实性。因此，Omni 模型的功能，似乎不仅限于生成引擎，更具备构建世界模型的潜力。

世界的连续演化：自回归流式生成机制

构建「世界模型」的挑战之一，在于如何从生成分段的「切片」，跨越到模拟连续的「过程」。在这一维度上，PixVerse R1 重点解决的是长视频生成中普遍存在的「长时序一致性」难题，以及伴随而来的显存成本瓶颈。

在传统的视频生成流程中，模型通常受限于固定时长的生成窗口。当试图延长视频长度时，往往面临「时间误差累积」的问题：随着生成帧数的增加，微小的预测偏差会不断叠加，导致画面内容逐渐偏离初始设定，例如角色的外貌特征发生漂移，或物理环境逻辑出现崩坏。

此外，为了维持上下文的一致性，传统架构需要保存海量的历史状态，导致显存消耗呈指数级上升，使得长视频生成在计算成本上变得不可控。尤其是在 PixVerse R1 追求的「无限内容」的生成模式下，以上问题如果没有妥善处理，会出现严重的问题。

针对上述痛点，PixVerse R1 摒弃了传统的全局预测模式，构建了自回归流式生成机制。

无限流式生成

在生成范式上，R1 采用了自回归建模。系统将视频合成任务重构为逐帧预测的流式过程，而非一次性生成固定片段。

这种架构从根本上解除了时长的硬性约束，实现了理论上的「无限流式生成」。视频不再是受限的帧组合，而成为可以根据即时输入，无限向前延展的时间流。

时间一致性

为了在无限延展中保持逻辑自洽，传统方法下基于帧上下文的特征记忆，大多有着数十秒的时间限制，显然是不够用的。

为此，R1 引入了记忆增强注意力模块。该模块能够显式地提取并锁定视频中的关键特征（如角色的身份特征、场景的空间布局等），将其转化为紧凑的记忆单元。

在生成后续内容时，模型无需回头重算所有历史数据的全量注意力，而是直接调用「记忆」。这一设计在维持长程依赖的同时，极大地优化了计算效率，避免了显存资源的爆炸式增长。

      ^{集成自回归建模与全能基础模型。}

从技术逻辑上看，这一机制赋予了 AI 模型「长期记忆」的能力，打破了传统帧间上下文的限制，确保了 PixVerse R1 生成的内容不再是孤立、破碎的视觉片段，而是一个具备持续演化能力的「平行时空」。

无论生成时长如何延伸，核心主体的统一性与环境逻辑的连贯性始终保持稳定，这种物理与逻辑的持久性，正是「通用实时世界模型」成立的关键基石。

结语：正在发生的现在

正如爱诗科技 CEO 王长虎所言：传统视频是被记录的历史，而 PixVerse R1 开创了「正在发生的现在」。

PixVerse R1 开启的是 AI 原生游戏、互动电影、实时仿真等全新媒介形态的大门，是未来「可交互的数字世界」的计算基础设施。

视频内容的消费边界正在消融。

媒体形态将不再局限于预先渲染的固定画面，而是转向由用户意图驱动的即时生成流。

PixVerse R1 以「通用实时世界模型」的形态，为这一未来提供了可落地的技术样本，也让视听媒介真正从「回放过去」迈向了「未来创作」。

还记得那个穿着「Lululemon」紧身衣、主打温柔陪伴的家用人形机器人 NEO 吗？

上次聊到它时，大家还在吐槽其「远程操控」的隐私安全问题，调侃每个机器人的背后可能都是一个「印度小哥」。

昨天，1X 公司带着它的全新「大脑」亮相：1X World Model。这一次，NEO 似乎准备把「背后的操作员」给解放了。

简单来说，现在的 NEO 不再只是死记硬背动作，它学会了像人一样「想象」。通过观看海量的网络视频和人类第一视角的实操录像，它理解了物理世界是如何运作的：东西掉了会下落，门是可以推开的。

他们把类似 Sora 的视频生成技术装进了 NEO 的脑子里，接到指令时，它会先在脑海里生成一段「自己成功完成任务」的视频，然后倒推身体该怎么动，才能把这段想象变成现实。

不过，官方博客中也表示，有时候会出现「脑子学会了，手没学会」的情况：脑补出的视频很完美，但实际动作可能会抓空。

那么这一次是「瑜伽服」下的真功夫，还是只存在于 Demo 里的「剪辑魔法」呢？不管技术落没落地，热度已经先爆表了。到截稿时间，官方推文浏览量已突破 500 万。

看来，在经历了 AI 时代各式各样炫酷 Demo 的轮番轰炸之后，大家还是忍不住想看看：这一回，它是真长脑子了吗？

以下是 1X 技术团队对这颗「新大脑」的硬核拆解：

家庭机器人要真正走进现实环境，必须具备常识性的行为能力以及对物理世界的深刻理解。

当前许多机器人基础模型采用的是 VLA 范式：即在一个预训练的 VLM 之上，增加一个用于预测机器人动作的输出头（例如 PI0.6、Helix、Groot N1.5）。VLM 能够从互联网规模的数据中学习到丰富的知识，但其训练目标更侧重于视觉与语义理解，而非对物理动态过程的预测。

因此，即便是对人类而言非常简单的任务，模型往往也需要数万小时、成本高昂的机器人数据才能学会完成。此外，为了进一步强化模型对物理交互中空间关系的理解，研究者通常还需要引入各种辅助训练目标（如 MolmoAct、Gemini-Robotics 1.5）。

在这篇博客中，1X 介绍了基于视频预训练的世界模型——1XWM，并将其集成进 NEO 机器人作为其控制策略。

与 VLA 模型直接从静态的图像-语言输入中预测动作轨迹不同，世界模型驱动策略是通过文本条件下的视频生成来推导机器人应采取的动作。借助互联网规模视频中蕴含的真实世界动力学规律，该世界模型能够在无需大规模机器人数据预训练、也不依赖任何相关的遥操作演示的情况下，即可泛化到全新的物体、运动方式和任务场景。

这标志着机器人智能范式的一次转变：机器人开始直接受益于视频预训练规模化带来的能力跃迁，而这一切得以实现，离不开一整套为高保真人类具身到机器人具身迁移而设计的硬件系统支持。

从视频知识到世界模型

如今，诸如 Veo 和 Sora 等前沿文生视频模型已经能够生成极其逼真的视频内容。然而，这些模型在零样本生成场景下并未与机器人具身形态对齐，因而在控制任务所需的多个关键维度上往往存在不足，表现在以下几个方面：

• 视觉/空间层面：生成的视频是否与机器人的相机内参和自我中心视角一致？是否能够准确保留操控任务所需的深度信息以及精确的空间关系？

• 运动学层面：生成视频中的机器人动作是否在该具身形态下可实现，是否遵循其结构特性、关节极限、速度约束以及执行器能力？

• 物理层面：生成过程是否避免了物理上不可能的结果（例如物体瞬移），从而保证其能够转化为现实世界中的成功执行？

原始视频能够提供看起来会发生什么，但并未给出如何去做。为了将视频知识转化为真正可用于控制的世界模型，1X 借助自身的端到端系统架构，采用了一种两阶段的对齐过程，思路与 DreamGen、UniPi 等已有工作一脉相承：

• 世界模型主干：这是一个文本条件扩散模型：先在互联网规模的视频数据上进行预训练，随后在人类第一视角视频数据上进行中期训练，并最终在 NEO 专属的传感器-运动日志上进行微调。该模型能够高保真地预测场景随时间演化的过程，在视觉、空间和物理一致性方面表现出色。

• 逆动力学模型（Inverse Dynamics Model, IDM）：通过训练 IDM，将像素空间与执行器控制连接起来，使其能够预测在生成帧之间完成状态转移所需的精确动作序列。同时利用 IDM 的评估指标和拒绝采样机制，对生成结果施加运动学约束，从而确保动作在具身层面上的可行性。

在推理阶段，系统接收一个文本指令和一帧初始画面：世界模型负责生成符合意图的未来场景演化，逆动力学模型从中提取所需的动作轨迹，最终由机器人在现实世界中执行该动作序列。

1XWM 的训练与推理流程

1XWM 的主干模型基于一个 140 亿参数的生成式视频模型。为了使该模型适配 NEO 的具身形态，1X 还采用了一种多阶段训练策略：

• 第一视角中期训练：使用 900 小时的人类第一视角视频数据进行训练，使模型对第一人称的操作任务产生对齐。在这一阶段，模型能够学习到通用的操作行为模式，但仍然难以生成由 NEO 执行具体任务的视频。

• 具身微调：随后，使用 70 小时的机器人数据进行微调，使模型进一步适配 NEO 的视觉外观与运动学特性。

以 DALL·E 3 等工作为例，已有研究表明，通过使用更具描述性的视觉文本标注进行训练，可以显著提升视觉基础模型对提示词的遵循能力。然而，许多第一视角数据集仅包含简要的任务描述。为此，1X 利用一个 VLM 生成更加详细的描述性字幕，并通过字幕上采样的方式将其用于训练。

此外，IDM 在 400 小时未经过滤的机器人数据上进行训练，其中既包括随机探索数据，也包含与任何具体任务无关的运动轨迹。这使得模型能够在任意状态下对 NEO 的运动进行准确追踪。

在测试阶段，系统接收一帧初始画面以及一条指导 NEO 执行动作的文本指令。1XWM 负责生成未来的视频序列，随后由 IDM 从生成视频中提取对应的机器人动作轨迹，并将其直接下发至机器人执行。为保证轨迹的平滑性，IDM 的输出会在多个初始噪声样本和滑动窗口维度上进行时间平均处理。

^{NEO 后训练数据集主要包含高质量的抓取和放置数据（98.5%），这些数据经过筛选，仅包含桌面操作且手部可见的场景。通过利用基础视频模型的网络级预训练，1XWM 模型可以泛化到各种未曾见过的物体、环境和任务。}

1XWM 到底能做啥

研究团队进一步评估了 1XWM 在任务泛化方面的能力，重点关注其是否能够完成 NEO 从未经历过的任务，以及生成视频与真实机器人执行之间的一致性程度。

在实验中，搭载 1XWM 的 NEO 被用于执行多种超出既有经验的任务，包括：

• 抓取分布内与分布外的物体；

• 操作此前从未见过、但具备复杂可供性的物体；

• 完成需要全新动作模式的全新任务。

实验结果显示，1XWM 生成的视频与真实世界中的执行过程整体高度一致。将模型生成的视频与机器人实际完成任务后拍摄的视频进行并排对比，可以发现二者在视觉表现上非常接近。这表明，1XWM 在空间结构理解、运动学约束建模以及物理一致性等方面已经具备较强能力。

抓取：

新动作：清洁

接下来，1X 尝试需要双手协调和人机交互的任务。这些能力并未包含在训练数据集中。这表明此类知识来源于视频预训练和以第一人称视角进行的人机交互训练。由于 NEO 的身体结构与人类非常相似，因此从人类视频数据中学习到的功能可以直接迁移应用。

研究团队还通过系统性的实物实验评估了 1XWM 在分布内（ID）与分布外（OOD）任务上的表现。每类任务均重复执行 30 次。结果显示，1XWM 在多种动作原语上都保持了稳定的成功率，不过部分对精细操作要求较高的任务（例如倒液体、绘图等）仍然具有一定挑战性。

能否将视频质量与任务成功率联系起来？

如果可以，就能使用视觉指标来衡量和改进视频质量，并估计实际任务成功的可能性。

有时，生成的视频是否可能成功一目了然。例如，向 1XWM 模型输入拉取纸巾指令，有时会生成 NEO 机器人拿起纸巾盒而不是拉取纸巾的视频。执行这些错误生成的视频时，成功率几乎为 0%。

1X 团队注意到像测试时计算这样的方法可以提高任务成功率。受此启发，他们尝试并行生成多个视频，并执行其中质量最好的一个。这个选择过程可以手动完成，但也可以使用 VLM 评估器进行自动化。

第一视角数据与高质量字幕的重要性

基于此前假设：生成视频的质量与任务成功率之间存在相关性，研究团队对若干训练选择进行了视觉层面的消融分析，重点考察了字幕上采样以及第一视角人类数据训练这两项因素的影响。

实验共使用了三个评测数据集，每个数据集均包含 500 组起始图像–提示词对：

• 分布内数据集：包含与机器人训练数据分布一致的复杂任务和场景，主要是杂乱环境中、物体位置较为困难的抓取与放置任务。

• 新任务数据集：由一组全新的任务构成，例如搅拌碗、抽纸、相对尺寸判断（选择更大的物体）、双手协同操作等，数据采集于真实世界中的简单背景场景。

• 分布外 T2I（OOD T2I）数据集：完全由抓取任务组成，其初始帧由文生图模型生成，随机采样分布外的家庭物体与背景场景。

下面是新任务数据示例：

团队还要求人工标注员审查每个生成的视频，并根据物理合理性、任务完成情况以及与 NEO 的形态和能力的一致性来决定接受或拒绝该视频。

字幕上采样在所有评测数据集上都能提升视频生成质量，因为更细致的字幕与视频模型预训练时的文本条件更加匹配，也能更清晰地引导具体动作生成。

引入第一视角人类数据则显著提升了新任务和分布外场景下的生成质量，说明这类数据为操作任务提供了可迁移的通用先验，且与 NEO 的类人具身高度契合。

不过，在已有大量 NEO 数据覆盖的分布内任务上，额外加入第一视角数据可能会稀释后训练数据分布，对效果提升有限，甚至略有负面影响。

^{参考链接：https://www.1x.tech/discover/world-model-self-learning}