腾讯开源首个扩散大模型 WeDLM-8B
腾讯发布首个 Diffusion 大语言模型:WeDLM-8B。WeDLM-8B 是一个基于扩散机制的大语言模型,有 80 亿参数。它从 Qwen3-8B 初始化而来,经过指令微调后,有基础版和 Instruct 版。
性能测试中,在数学推理任务上,WeDLM 比用 vLLM 优化的 Qwen3-8B 快 3 到 10 倍。比如计算 1 到 100 的和,只需 0.22 秒,而传统方式要 1.8 秒。在低复杂度任务中,每秒能生成上千个词。
模型已开源,在 Hugging Face 上可下载,支持 wedlm 引擎优化推理。这让扩散式语言模型第一次在实际速度上超过主流自回归模型。
腾讯开源的扩散大模型是否能掀起扩散大模型的浪潮?

评论区(暂无评论)