xiaohack's Blog - 扩散模型
type: channel
link: https://blog.xiaohack.org/tag/642f2173/
items: 智源多模态大模型登 Nature，确立自回归成为生成式人工智能统一路线
items: LingBot-Depth 正式开源：让机器人“看清”物理世界
items: 万字长文｜迈向电商大模型时代，从虚拟试穿到电商AIGC
items: 在线教程丨GLM-Image基于自回归+扩散解码器混合架构，精准理解指令写对文字
items: 通用级PixVerse P1的技术突破，揣着进入平行世界的密码 ｜
items: 解锁任意步数文生图，港大&Adobe全新Self
items: Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起 ｜

智源多模态大模型登 Nature，确立自回归成为生成式人工智能统一路线
type: item
date: 2026-01-29T15:46:58+08:00
description: 整理 | 华卫 1 月 28 日，智源多模态大模型成果"Multimodal learning with next-token prediction for large multimodal models（通过预测下一个词元进行多模态学习的多模态大模型）"上线国际顶级学术期刊 Nature，预计 2 月 12 日纸质版正式刊发。 Nature 编辑点评这项研究：Emu3 仅基于预测下一个词元（Next-token prediction），实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能可与使用专门路线相当，这一成果对构建可扩展、统一的多模态智能系统具有重要意义。 https://www.nature.com/articles/s41586-025-10041-x 2018 年以来，GPT 采用 “预测下一个词元（Next-token prediction，NTP）”的自回归路线，实现了语言大模型重大突破，开启了生成式人工智能浪潮。而多模态模型主要依赖对比学习、扩散模型等专门路线，自回归路线是否可以作为通用路线统一多模态？一直是未解之谜。 智源这项成果表明，只采用自回归路线，就可以统一多模态学习，训练出优秀的原生多模态大模型，对于确立自回归成为生成式人工智能统一路线具有重大意义。在后续迭代的 Emu3.5 版本，确实证明了这一范式的可拓展性，并达成预测下一个状态（Next-state prediction)的能力跃迁，获得可泛化的世界建模能力。从语言到多模态：“预测下一个词元”的潜力与未解之问“预测下一个词元”彻底改变了语言模型，促成了如 ChatGPT 等突破性成果，并引发了关于通用人工智能（AGI）早期迹象的讨论。然而，其在多模态学习中的潜力一直不甚明朗。 在多模态模型领域，视觉生成长期以来由结构复杂的扩散模型主导，而视觉语言感知则主要由组合式方法引领 ，这些方法通常将 CLIP 编码器与大语言模型（LLMs）结合。尽管已有一些尝试试图统一生成与感知（如 Emu 和 Chameleon），但这些工作要么简单将 LLM 与扩散模型拼接在一起，要么在性能效果上不及那些针对生成或感知任务精心设计的专用方法。这就留下了一个根本性的科学问题：单一的预测下一个词元框架是否能够作为通用的多模态学习范式？ 就此，智源提出了 Emu3，基于“预测下一个词元”的全新多模态模型，将图像、文本和视频统一离散化到同一个表示空间中，并从零开始，在多模态序列混合数据上联合训练一个单一的 Transformer。这一架构证明了仅凭“预测下一个词元”，就能够同时支持高水平的生成能力与理解能力，并且在同一统一架构下，自然地扩展到机器人操作以及多模态交错等生成任务。此外，研究团队还做了大量消融实验和分析，验证了多模态学习的规模定律（Scaling law）、统一离散化的高效性、以及解码器架构的有效性。 Emu3 架构图 实验显示，Emu3 在生成与感知任务上的整体表现可与多种成熟的任务专用模型相媲美：在文生图任务中，其效果达到扩散模型水平；在视觉语言理解方面，可以与融合 CLIP 和大语言模型的主流方案比肩。此外，Emu3 还具备视频生成能力。不同于以噪声为起点的扩散式视频生成模型，Emu3 通过自回归方式逐词元（token）预测视频序列，实现基于因果的视频生成与延展，展现出对物理世界中环境、人类与动物行为的初步模拟能力。从模型到范式：Emu3 对多模态学习的启示不同于 Sora 的扩散式视频生成，Emu3 采用纯自回归方式逐词元（token） 生成视频，能够在给定上下文下进行视频延展与未来预测，并在文本引导下生成高保真视频。此外，Emu3 还可拓展至视觉语言交错生成，例如图文并茂的菜谱生成；也可拓展至视觉语言动作建模，如机器人操作 VLA 等，进一步体现了“预测下一个词元”的通用性。 智源研究团队对相关研究的多项关键技术与模型进行了开源，以推动该方向的持续研究。其中包括一个稳定且通用的视觉分词器（tokenizer），可将图像与视频高效转换为离散词元来表示。同时，研究通过大规模消融实验系统分析了多项关键技术的设计选择，例如：分词器（tokenizer）码本尺寸、初始化策略、多模态 dropout 机制以及损失权重配置等，揭示了多模态自回归模型在训练过程中的动态特性。研究还验证了自回归路线高度通用性：直接偏好优化（DPO）方法可无缝应用于自回归视觉生成任务，使模型能够更好地对齐人类偏好。 研究有力表明了预测下一个词元可作为多模态模型的核心范式，突破语言模型的边界，在多种多模态任务中展现了强劲性能。通过简化复杂的模型设计、聚焦统一词元，该方法在训练与推理阶段均展现出显著的可扩展性，为统一多模态学习奠定了坚实基础，有望推动原生多模态助手、世界模型以…

LingBot-Depth 正式开源：让机器人“看清”物理世界
type: item
date: 2026-01-28T12:07:02+08:00
description: 今天，我们正式开源了 LingBot-Depth 空间感知模型。点击查看视频不同于数字世界，具身智能的落地高度依赖物理空间信息，空间智能是其在现实场景落地应用的核心关键，而视觉维度下支撑空间智能的重要桥梁正是距离与尺度（Metric Depth）。基于这一核心需求，空间感知模型 LingBot-Depth 应运而生。LingBot-Depth 是一种面向真实场景的深度补全模型，依托奥比中光 Gemini 330 系列双目 3D 相机进行 RGB-Depth 数据采集与效果验证，并基于深度引擎芯片直出的深度数据进行训练与优化，旨在将不完整且受噪声干扰的深度传感器数据转化为高质量、具备真实尺度的三维测量结果，提升环境深度感知与三维空间理解能力，为机器人、自动驾驶汽车等智能终端赋予更精准、更可靠的三维视觉。实验结果表明，本模型在深度精度与像素覆盖率两项核心指标上均超越业界顶级工业级深度相机。在 NYUv2、ETH3D 等多个基准测试中，LingBot-Depth 在深度补全、单目深度估计及双目匹配任务上均达到当前最优水平，并在无需显式时序建模的情况下保持视频级时间一致性。LingBot-Depth 模型也已通过奥比中光深度视觉实验室的专业认证，在精度、稳定性及复杂场景适应性方面均达到行业领先水平。注解：在最具挑战的稀疏深度补全任务中，LingBot-Depth 性能整体优于现有多种主流模型。（图中数值越低代表性能越好。）下游任务验证进一步表明，模型能够在 RGB 与深度两种模态之间学习到对齐的潜在空间表征，从而实现对透明及反光物体的稳定机器人抓取。01技术架构：创新的掩码深度建模范式在家庭和工业环境中，玻璃器皿、镜面、不锈钢设备等透明和反光物体物体十分常见，但却是机器空间感知的难点。传统深度相机受制于光学物理特性，在面对透明或高反光材质时，往往无法接收有效回波。针对这一行业共性难题，我们研发了“掩码深度建模”（Masked Depth Modeling，MDM）技术。训练过程中，我们使用海量 RGB–深度图像对，但刻意遮挡其中一部分深度区域，让模型仅根据 RGB 图像去预测缺失的深度值。随着训练进行，模型逐渐学会建立“外观—几何”之间的对应关系，也就是从“物体看起来像什么”推断“它大概有多远”。在涵盖家庭、办公环境、健身房及户外场景的上千万张图像数据上完成训练后，当深度相机传回的数据出现缺失或异常时，LingBot-Depth 模型已能够融合彩色图像（RGB）中的纹理、轮廓及环境上下文信息，对缺失区域进行推断与补全，输出更完整、致密、边缘更清晰的三维深度图。02 核心亮点精准且稳定的相机深度感知LingBot-Depth 在传统深度传感器易失效的复杂场景中，仍可输出具备真实尺度的高精度深度结果，包括透明物体、玻璃表面以及高反光材质等极具挑战性的环境。不同于依赖硬件改进的方案，本模型从视觉理解层面弥补传感器缺陷，实现对真实三维结构的可靠恢复。除单帧精度优势外，LingBot-Depth 还表现出优异的时间一致性。在无需显式时序建模的情况下，模型即可为视频输入生成稳定、连贯的深度序列，有效避免闪烁与结构跳变问题，为机器人操作、AR/VR 以及动态场景感知等应用提供可靠的连续空间理解能力。卓越的 3D 和 4D 环境感知能力LingBot-Depth 为下游空间感知任务提供了坚实而通用的基础能力。通过将含噪且不完整的传感器深度优化为干净、稠密且具备真实尺度的三维测量结果，模型显著提升了多种高层视觉任务的稳定性与精度。具体而言，LingBot-Depth 支持：更加准确的结构化室内场景建图，并有效提升相机位姿与运动轨迹估计的精度；面向机器人学习的可靠 4D 点跟踪能力，在统一的真实尺度空间中同时刻画静态场景几何结构与动态物体运动。这使得系统能够在复杂真实环境中建立一致、连续且可用于决策与交互的空间理解表征。灵巧抓取操作适用于透明与反光物体通过在统一潜在空间中联合对齐 RGB 外观信息与深度几何结构，LingBot-Depth 使机器人在以往难以处理的复杂场景中实现稳定可靠的操作能力。基于模型优化后的高质量深度结果及跨模态对齐特征，我们进一步训练了一种基于扩散模型的抓取位姿生成策略，在透明杯、反光金属容器等具有挑战性的物体上取得了较高的抓取成功率。在真实机器人测试中，在透明储物盒等传统传感器难以处理的场景中，LingBot-Depth 通过生成合理的深度估计，成功实现了 50% 的抓握率，突破了技术瓶颈。点击查看视频03 从实验室到落地应用：显著提升消费级深度相机对高难物体的处理效果LingBot-Depth 展现出与现有硬件设备的良好适配性。在不更换更高成本传感器的情况下，模型可提升可靠性并降低系统部署门槛。LingBot-Depth 模型…

万字长文｜迈向电商大模型时代，从虚拟试穿到电商AIGC
type: item
date: 2026-01-26T17:13:44+08:00
description: 作者：高继航1 前言2025年，虚拟试衣已成为电商行业不可或缺的核心环节，从技术落地到商业变现，全行业都在加速布局这一赛道。什么是虚拟试衣？其背后的核心技术方案有哪些？国内外电商大厂又有哪些典型实践案例？如何突破技术瓶颈，打造更贴合用户需求的试穿体验？电商平台又该如何构建完整的AIGC能力矩阵？本文分享将基于京东零售视觉与AIGC部负责人李岩（Jason Li）博士在AICon2025的演讲内容整理呈现，深度拆解虚拟试衣的技术逻辑、行业实践与未来趋势，解锁电商AIGC的全域布局思路。﻿﻿﻿﻿内容围绕以下板块展开：首先解析虚拟试穿的定义与分类；其次回顾虚拟试穿的技术发展历程；随后深度拆解行业内主流虚拟试衣产品的核心能力；再介绍京东在虚拟试穿领域的探索及实践沉淀的实践经验；在此基础上，分享京东零售AIGC布局的全景图；最后探讨虚拟试衣及电商AIGC行业的未来发展趋势。﻿2 虚拟试穿的定义与分类﻿虚拟试穿的底层逻辑可概括为A+B=AB，其中A指模特的图片或视频，B则是服饰图。通过视觉生成技术将服饰“穿”到模特身上，最终以静态或动态效果呈现给用户，核心要求是保证模特与服饰的关键信息不被破坏、不被篡改。从不同维度划分，虚拟试穿可分为以下类别：﻿首先，从服饰呈现形式来看分类。服饰的素材形态主要有三种：一是平铺的白底服饰图，二是真人模特上身的服饰图，三是假人台模特上身的服饰图。其次，以服饰数量为划分标准，这一类可以分为单件服饰和多件服饰两类。单件服饰涵盖上装、下装、长款连衣裙以及单件内衣等；多件服饰则是多种单件服饰的组合搭配，这里鞋子、包包、配饰等，也都在虚拟试衣的服务范畴之内。以上就是从服饰的不同维度对虚拟试衣进行的分类。﻿接下来，换个角度，从模特的视角来拆解虚拟试衣的分类。从模特类型来看，可分为全身模特、半身模特、多人模特以及视频模特；从输出形态来看，则可以分为静态图像模特和动态视频模特两类。讲到这里大家不难发现，虚拟试衣任务的输入条件其实是相当丰富且复杂的。因此，一个优质的虚拟试穿算法，需要对上述所有的组合矩阵都具备良好的适配能力。而截至目前，要实现这一点，依然存在不小的技术挑战。2 虚拟试穿的核心价值：三大视角的必要性分析﻿﻿﻿虚拟试穿技术的推进源于行业发展、消费者需求与商家痛点三大核心诉求，具体可从三个视角展开：从行业大环境来看 ， 三年疫情直接推动服饰行业从线下向线上转移。2019年中国服饰线上销售额占整体零售额的25%～30%，2023～2024年这一比例提升至40%，2025年更是突破50%，线上购衣已成为主流消费习惯。从消费者视角来看 ， 购物的便捷性和私密性需求日益凸显。调研数据显示，65%的女性和54%的男性对传统实体试衣间感到不自在、不方便——狭小空间内的脱衣穿衣操作、冬季厚重衣物的繁琐试穿流程，以及公共区域的疾病交叉感染风险等，均降低了线下试衣体验。而用户天然存在查看服装上身效果的需求，因此AI试穿被视为服饰线上零售在体验上的“最后一公里”。从商家视角来看 ， 高退货率是服饰电商的核心痛点。这里有一张图，可能经常网购的女生会了解这个梗，现在有不少买家会做“穿完即退”的操作，尤其是礼服类服饰，穿着新衣服拍照打卡、出席活动后，就无理由退货，导致衣服沾染污渍异味，商家根本无法二次销售。为此，商家想出了用“大尺寸+硬质材料”的“巨型吊牌”，来对这种恶意退货进行物理防御。抛开这个梗不谈，普通电商平台的服饰退货率普遍在25%～60%，内容电商直播场景的退货率更高，部分可达80%～90%。商家每处理一件退货，平均需付出15～30元成本，涵盖物流、包装、折旧、仓储及人工处理等环节，跨境电商业务的成本则更高。此外，“穿完即退”等恶意退货行为也加剧了商家损失，因此行业亟需稳定、可靠的线上试穿技术与产品能力解决上述问题。3 虚拟试穿的行业核心难点：用户预期的三层进阶需求﻿虚拟试穿到底好不好做，行业的核心难点又在哪里？聚焦C端场景，虚拟试穿的核心难点集中在用户对技术的三层进阶预期，各层次需求对应的挑战各不相同：第一层是基础型需求，核心是服装上身效果的精准还原，包括颜色、款式、版型和面料质感。这一层面的难点主要有四：一是用户相册中往往缺乏直接可用的素材，尤其男性用户，难以提供合格的全身或头肩部位肖像；二是试衣算法需保证模特脸部等关键信息不被篡改，尤其是脸部特征，试穿前是什么样子，试穿后核心的面部ID信息必须保持一致，试穿前后核心面部ID信息保持一致；三是真实还原与美学增强的平衡“矛盾体”——算法初期优先追求信息还原，但女性用户对美观度诉求强烈，部分用户可接受轻微肖像修改以提升效果；四是试衣模型多基于扩散模型搭建，试穿效果依赖模型储备的世界知识。第二层是尺码合身需求，这是大众认知里，虚拟试穿最核心的刚需，也是目前实现难度最高的需求，行业内尚无…

在线教程丨GLM-Image基于自回归+扩散解码器混合架构，精准理解指令写对文字
type: item
date: 2026-01-20T13:52:58+08:00
description: 在图像生成领域，扩散模型因其训练稳定和泛化能力强已逐渐走入主流行列。然而，面对海报、PPT、科普图等需要准确传达复杂信息的「知识密集型」场景时， 传统模型存在指令理解与细节刻画难以兼顾的短板。 另一个长期存在的问题是生成图像中的文字经常出现笔画错误或难以辨识，严重影响实用价值。基于此，智谱于 2026 年 1 月联合华为开源了新一代图像生成模型 GLM-Image。 该模型基于昇腾 Atlas 800T A2 和昇思 MindSpore AI 框架完成全流程训练。其核心特点是采用了创新的 「自回归+扩散解码器」混合架构（9B 自回归模型 + 7B DiT 解码器）， 将语言模型的深度理解能力与扩散模型的高质量生成能力相结合。此外，模型通过改进 Tokenizer 策略，原生支持从1024×1024 到 2048×2048 的任意比例图像生成，无需重新训练。 GLM-Image 的创新性还体现在以下两个方面：*解决文字渲染难题： 在 CVTG-2K 和 LongText-Bench 权威评测中，其文字准确率等关键指标均位列开源模型第一，显著提升了图像中文字的生成准确性。*定义高性价比应用： 在 API 调用模式下，生成单张图片的成本仅需 0.1 元，成本仅为主流闭源模型的 1/10 至 1/3，为商业化应用提供了高性价比选择。目前，「GLM-Image 精准语义高保真图像生成模型」已上线 HyperAI 官网（hyper.ai）的教程版块， 快来输出无限创意吧！在线体验： https://go.hyper.ai/2jcCU效果示例：Demo 运行1.进入 hyper.ai 首页后，选择「GLM-Image 精准语义高保真图像生成模型」，或进入「教程」页面选择。页面跳转后，点击「在线运行此教程」。2.页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。注：页面右上角支持切换语言，目前提供中文及英文两种语言，本教程文章以英文为例进行步骤展示。3.选择「NVIDIA RTX Pro 6000」以及「PyTorch」镜像，按照需求选择「Pay As You Go（按量付费）」或「Daily Plan/Weekly Plan/Monthly Plan（包日/周/月」，点击「Continue job execution（继续执行）」。HyperAI 为新用户准备了注册福利，仅需 $1，即可获得 20 小时 RTX 5090 算力（原价 $7），资源永久有效。4.等待分配资源，当状态变为「Running（运行中）」后，点击「Open Workspace」进入 Jupyter Workspace。效果演示页面跳转后，点击左侧 README 页面，进入后点击上方 Run（运行）。待运行完成，即可点击右侧 API 地址跳转至 demo 页面以上就是 HyperAI超神经本期推荐的教程，欢迎大家前来体验！教程链接：https://go.hyper.ai/2jcCU

通用级PixVerse P1的技术突破，揣着进入平行世界的密码 ｜
type: item
date: 2026-01-15T17:27:59+08:00
description: 通用级PixVerse P1的技术突破，揣着进入平行世界的密码0%展开列表通用级PixVerse P1的技术突破，揣着进入平行世界的密码今天Mira公司内乱？CTO被开除，带团队回OpenAI，翁荔上推发言今天Nature丨清华等团队揭示AI科研双重效应：个人效率亦或是科学边界今天刚刚，喝到了千问APP给我点的奶茶今天人脸机器人登上Science Robotics封面：用AI教会仿生人脸机器人「开口说话」今天实测夸克「千问划词快捷指令」，这7个邪修Prompt，建议收藏今天已证实！清华姚班陈立杰全职加入OpenAI，保留伯克利教职今天解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估今天5分钟定制一个AI采购专家：讯飞发布“招采智能体工厂”，重新定义行业开发范式今天Agent时代，为什么多模态数据湖是必选项？今天大模型长脑子了？研究发现LLM中层会自发模拟人脑进化今天性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统01月14日仅用10天？Anthropic最新智能体Cowork的代码竟然都是Claude写的01月14日AAAI 2026｜AP2O-Coder 让大模型拥有「错题本」，像人类一样按题型高效刷题01月14日用AI从常规病理切片重建空间蛋白图谱：基于H&E图像的高维蛋白质表达预测01月14日京东首届AI影视创作大赛启动 最高奖金10万元邀全民共创AI视频01月14日合合信息多模态文本智能产品“上新”，覆盖AI教育、AI健康、AI Infra多元场景01月14日通用级PixVerse P1的技术突破，揣着进入平行世界的密码原来，视频生成卷到极致，就是突破大脑和视觉的边界，让想象力进入 AI 构建的虚拟空间。昨天，PixVerse R1 突然上线。一开始我们以为这只是一次普通的版本更新，但那种「即时响应、即看即创」的全新交互体验，却是前所未有的。读完技术报告我们发现，这不仅仅是一次卷到极致的性能提升，更是量变带来的质变。回顾过去，23 年推出第一版模型，随后 Web 端、移动端全面铺开，爱诗科技在 DiT 路线上一路狂奔：从 24 年底的 10 秒生成，到 25 年 2 月实现 5 秒生成社交级视频，再到 11 月将 1080P 视频生成压缩至 30 秒。在自研模型技术和工程化落地的思想下，PixVerse 确实将「传统视频生成」的速度推向了极限。与此同时，行业加速从未停歇。就在上个月，生数科技宣布其与清华大学团队研发的 TurboDiffusion 框架，也让视频生成正式迈入「秒级」门槛。但时间上的「卷」就是视频生成的全部吗？显然，再快的速度，如果不能生产出符合制作需求的画质和一致性，依然无法成为通用的标准。PixVerse 曾是业界第一个把 5 秒视频生成做到 5 秒之内的团队，而当一切看似达到极限时，在 2026 年开年，PixVerse R1 模型与产品同步横空出世。通过将计算效率提升数百倍，它不再局限于「秒级」，而是做到了人类肉眼感知范围内的「实时」生成。发布即实装，这是一款真正的「通用」实时世界模型。这已不仅是单点的技术突破，而是一步到位、直接实现应用层级质变的代际跨越。以下，我们将通过技术报告，为您详细解析 R1 的这次突破。看了这个视频，大家或许理解了什么是「无限内容」的视频生成。在这个模型创造的世界里，「汉语竟是上古禁咒」，你只要说出「春」即刻绿草如茵，说出「鸟」即刻飞鸟成群。一切都是如此连续，直白，世界实时响应你的呼唤，时间和空间都在你的掌控之中。或许，PixVerse R1 已经彻底掌握了「无限流」的真谛。简单来说，PixVerse R1 是全球首个支持最高 1080P 分辨率通用实时世界模型。这也是第一次，AI 可以基于用户的意图实时生成一个持续演化、物理上合理的世界，标志着视频生成正式从「静态输出」迈入「实时交互」的全新阶段。回顾视频生成技术的发展路径，行业始终受困于速度、质量与成本的不可能三角：高画质往往意味着高延迟（如传统扩散模型），而追求速度又不得不牺牲物理一致性。PixVerse R1 没有盲目追求参数军备竞赛，而是找到了一条通往「通用」的平衡之路：当一个模型首先做到了打破物理极限的实时响应（IRE），并以此为基础结合了通用全模态（Omni）与长时序世界模拟（自回归），它就已经超越了传统意义上的视频生成工具。技术博客链接：https://pixverse.ai/en/blog/…

解锁任意步数文生图，港大&Adobe全新Self
type: item
date: 2026-01-15T12:00:08+08:00
description: 解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估0%展开列表解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估今天5分钟定制一个AI采购专家：讯飞发布“招采智能体工厂”，重新定义行业开发范式今天Agent时代，为什么多模态数据湖是必选项？今天大模型长脑子了？研究发现LLM中层会自发模拟人脑进化今天性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统01月14日仅用10天？Anthropic最新智能体Cowork的代码竟然都是Claude写的01月14日AAAI 2026｜AP2O-Coder 让大模型拥有「错题本」，像人类一样按题型高效刷题01月14日用AI从常规病理切片重建空间蛋白图谱：基于H&E图像的高维蛋白质表达预测01月14日京东首届AI影视创作大赛启动 最高奖金10万元邀全民共创AI视频01月14日合合信息多模态文本智能产品“上新”，覆盖AI教育、AI健康、AI Infra多元场景01月14日500万次围观，1X把「世界模型」真正用在了机器人NEO身上01月14日跳出「黑盒」，人大刘勇团队最新大语言模型理论与机理综述01月14日百川开源全球最强医疗大模型M3，「严肃问诊」定义AI医疗新能力01月14日相约AAAI 2026 | 上海AI实验室北极星 X 星启交流会（报名开启）01月13日视觉模型既懂语义，又能还原细节，南洋理工&商汤提出棱镜假说01月13日无需重新训练，即可学习新任务，Arc研究所开源单细胞基础模型Stack及细胞反应全景图谱01月13日不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？01月13日解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估尽管扩散模型（Diffusion Model）与流匹配（Flow Matching）已经把文本到图像生成（Text-to-Image, T2I）推向了更高的视觉质量与可控性，但他们通常在推理时需要数十步网络迭代，限制了其对于一些需要低延迟，Real-Time 的应用。为了把推理步数降下来，现有路线通常依赖知识蒸馏（Distillation）：先训练一个多步教师模型，再把能力迁移到少步学生模型。但这条路的代价同样明显 —— 既依赖预训练教师，又引入了额外的训练开销，并在「从零训练（from scratch）」与「极少步高质量」之间留下了长期空白。近日，香港大学（The University of Hong Kong）与 Adobe Research 联合发布 Self-E（Self-Evaluating Model）：一种无需预训练教师蒸馏、从零开始训练的任意步数文生图框架。其目标非常直接：让同一个模型在极少步数也能生成语义清晰、结构稳定的图像，同时在 50 步等常规设置下保持顶级质量，并且随着步数增加呈现单调提升。论文标题：Self-Evaluation Unlocks Any-Step Text-to-Image Generation项目主页：https://xinyu-andy.github.io/SelfE-project/ 论文 PDF：https://www.arxiv.org/pdf/2512.22374 引言：从「轨迹匹配」到「落点评估」扩散 / 流匹配范式本质上是在学习一张「局部向量场」：给定噪声状态，预测下一步该往哪里走。这个监督信号在「小步、密集积分」时非常有效，但一旦尝试「大步跳跃」，误差会被轨迹曲率放大，生成往往滑向平均解、语义漂移或结构坍塌。Self-E 的切入点是一个根本上的范式改变：我们能否不再执着于「每一步走得对不对」，而是把训练重心转向「落点好不好」？也就是把目标从「轨迹匹配（trajectory matching）」转变为「落点评估（destination/landing evaluation）」。换句话说，传统 Diffusion Model 训练强调「在起点对齐局部方向」；Self-E 强调「在落点评估结果并给出纠偏方向」。监督位置的改变，带来了训练信号性质的改变：从静态监督变成动态反馈。作者在项目主页用动图展示了这两者的区别：这也是为什么模型在测试阶段有少步推理能力：扩散模型在测试时只能逐步跟随当前点预测的最好局部路径，最终走到全局最优；而 Self-E 在训练阶段就逐步学会了走向全局最优的落点。这也不同于目前多数少步生成模型所采用的学习轨迹的积分，如 Consi…

Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起 ｜
type: item
date: 2026-01-14T14:44:30+08:00
description: Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起0%展开列表Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起今天端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统今天仅用10天？Anthropic最新智能体Cowork的代码竟然都是Claude写的今天AAAI 2026｜AP2O-Coder 让大模型拥有「错题本」，像人类一样按题型高效刷题今天用AI从常规病理切片重建空间蛋白图谱：基于H&E图像的高维蛋白质表达预测今天京东首届AI影视创作大赛启动 最高奖金10万元邀全民共创AI视频今天合合信息多模态文本智能产品“上新”，覆盖AI教育、AI健康、AI Infra多元场景今天500万次围观，1X把「世界模型」真正用在了机器人NEO身上今天跳出「黑盒」，人大刘勇团队最新大语言模型理论与机理综述今天百川开源全球最强医疗大模型M3，「严肃问诊」定义AI医疗新能力今天相约AAAI 2026 | 上海AI实验室北极星 X 星启交流会（报名开启）01月13日视觉模型既懂语义，又能还原细节，南洋理工&商汤提出棱镜假说01月13日无需重新训练，即可学习新任务，Arc研究所开源单细胞基础模型Stack及细胞反应全景图谱01月13日不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？01月13日OpenAI的首款硬件：是AI耳机，今年销量要冲5000万01月13日华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能01月13日大模型中标TOP10里的黑马：中关村科金的应用攻坚之道01月13日刚刚，梁文锋署名开源「记忆」模块，DeepSeek V4更细节了01月13日一个模型统一4D世界生成与重建，港科大One4D框架来了01月13日端到端智驾的算力困局，九章智算云这样破局01月12日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起站在 2026 年的开端回望，LLM 的架构之争似乎进入了一个新的微妙阶段。过去几年，Transformer 架构以绝对的统治力横扫了人工智能领域，但随着算力成本的博弈和对推理效率的极致追求，挑战者们从未停止过脚步。知名 AI 研究员 Sebastian Raschka 的最新洞察中，他不仅回应了关于「Transformer 是否会被取代」的年度终极之问，更敏锐地捕捉到了近期业界的一个重要转向：从单纯追求模型参数的「大力出奇迹」，转向了混合架构与效率微调的精细化战争。同时，文章还探讨了一个极具潜力的变量：扩散语言模型。这类模型在 Google 等巨头的布局下会有怎样的表现？它们在「工具调用」上的天然缺陷是否会成为阿喀琉斯之踵？而在高质量数据日益枯竭的今天，扩散模型又是否能凭借「超级数据学习者」的特性，成为打破数据墙的关键？以下内容编译自 Sebastian Raschka 的最新博文，并结合文中提及的前沿论文及往期深度分析进行了系统性拓展，以便读者获取更完整的上下文视角。博客地址：https://x.com/rasbt/status/2010376305720594810最近几周，我经常被问到的一个问题是：在 2026 年，我们是否会看到自回归 Transformer 架构（即标准的 LLM）的替代方案。就目前而言，我坚信 Transformer 在未来（至少一到几年内）仍将保持其在 SOTA 性能方面的地位。它是当前 AI 生态系统的基石，拥有最成熟的工具链和优化方案。但是，情况确实会发生一些微调。这并不是说架构会一成不变，而是这种变化更多体现在「效率」和「混合」上，而非彻底的推倒重来。效率战争：混合架构与线性注意力的崛起临近去年年底，我们看到业界更加关注混合架构以及如何提高其效率。当然，这并不是什么新想法，但近期来自顶尖实验室的发布表明，目前的侧重点已明显向此倾斜。我们回顾一下 DeepSeek V3 以及随后的 R1，它们展示了混合专家模型（MoE）和多头潜在注意力（MLA）的强大之处。DeepSeek V3 通过 MLA 显著减少了推理时的 KV Cache 占用，而 MoE 架构则允许模型在拥有 6710 亿参数的同时，每次推理仅激活 370 亿参数。这种在保持模型巨大容量的同时极致压缩推理成本的设计思路，正是 2025 年末到 2026 年的主旋律。但这还不是全部。除了 MoE，我们看到了更激进的效率尝试，例如 Qwen3-Next、Kimi Linear、Nvidia Nemotron 3，以及采用了稀疏注意力机制的 DeepSeek V3.2。（如果您对更多细节感兴趣，我在之前的《Big LLM Archi…