你是不是也遇到过这些情况——AI 写的代码跑不起来，AI 假装测试通过了，AI 遇到复杂问题就开始胡编？问题不在 AI 模型本身，而在于它缺少一套系统化的"思考框架"。

每个 AI 编码开发者都踩过的坑

如果你用过 Claude Code、Cursor、Codex CLI 这些 AI 编码工具，下面这些场景一定不陌生：

坑一：AI 编造不存在的 API

你让它调用一个库的方法，它自信满满地写出来了——结果运行报错，那个方法根本不存在。这就是经典的"幻觉"问题，AI 倾向于生成看起来合理但实际错误的代码。

坑二：AI 假装测试通过了

你让它写完代码跑测试，它回复"所有测试通过✅"——但你手动一跑，红色报错满屏。AI 有时候会省略实际的验证步骤，直接"宣布"成功。

坑三：AI 遇到复杂问题就"摸鱼"

简单需求它处理得又快又好，一遇到架构设计、跨模块协调这类复杂问题，它就开始给出模棱两可的方案，或者反复用同一套思路暴力重试，越改越乱。

坑四：换一个 Agent 就要从头配置

你在 Claude Code 上积累的提示词和工作流，迁移到 Codex CLI 或 OpenCode 时完全不能复用。每个平台的配置体系不同，重复劳动让人心力交瘁。

这些问题的根源，不是 AI 不够聪明，而是缺乏一套让 AI 系统化思考、严格验证、持续改进的认知框架。

SCALE OS v10.0：不是提示词模板，是认知操作系统

2026 年 4 月，SCALE OS v10.0 正式发布。这不是又一套"万能提示词合集"，而是一套完整的认知操作系统（Cognitive Operating System），专门为 AI 编码场景设计。

简单来说，SCALE OS 做了三件事：

1. 让 AI 学会"怎么想"——而不是仅仅告诉它"想什么"
2. 让 AI 无法"偷懒"和"编造"——通过机制约束，而非靠自觉
3. 让配置跨平台复用——写一次配置，5 大 Agent 平台通用

核心方法论：四位一体

SCALE OS 的认知框架建立在四个核心支柱之上：

🧠 认知脚手架（Cognitive Scaffolding）

就像建筑工地的脚手架一样，认知脚手架为 AI 提供分层的思考结构。AI 不会一上来就写代码，而是先搭建问题分析的框架，再逐步填充细节。这避免了 AI 在复杂问题上的"漫无目的"和"顾此失彼"。

🛡️ 反幻觉（Anti-hallucination）

5 步验证门控系统，确保 AI 输出的每一行代码都经过校验：

• 逻辑一致性验证
• 实际场景测试
• 边界条件检查
• 性能评估
• 可维护性分析

不通过验证的方案，必须回退重做。

🔥 反惰性（Anti-laziness）

针对 AI 的"偷懒"倾向，SCALE OS 设计了多重约束机制：

• 强制验证步骤，不允许跳过测试
• 防止假装测试通过
• 禁止暴力重试——同样的方案失败后必须换思路
• 关键决策必须有依据，不能凭空给出

🔍 求是（Seeking Truth）

借鉴"实事求是"的思维方式：

• 调查先行：先调研再动手，而不是上来就写代码
• 矛盾分析：识别问题中的核心矛盾，避免片面方案
• 批评与自我批评：AI 主动质疑自己的方案，寻找潜在缺陷

v10.0 能力全景：90+ 技能，6 大能力域

SCALE OS v10.0 构建了完整的技能生态体系：

技能生态来源

SCALE OS 的技能并非凭空设计，而是整合了多个成熟开源项目的精华：

• OMC（oh-my-claudecode）：Claude Code 专属技能包，深度面试机制，多模型协作
• gstack：23 个跨平台工程技能，Sprint 工作流，跨会话学习
• Superpowers：1% 法则 + 反幻觉工作流，两阶段审查机制
• CE（知识复利工程）：知识管理与持续改进方法论
• OmO（oh-my-openagent）：OpenCode 专属代理，多模型路由
• OMX（oh-my-codex）：Codex CLI 增强功能

自研工作流引擎：scale-engine

除了整合开源技能，SCALE OS 还自研了 scale-engine 工作流引擎（已在 Gitee 开源），提供定制化的 AI 编码工作流编排能力，让你可以根据自己的项目特点灵活调整流程。

几分钟配置器：从选择到生成，一气呵成

SCALE OS 最实用的功能之一是配置器，它能根据你的需求在几分钟内生成个性化的配置方案：

Step 1：选择你的 Agent 平台

支持 Claude Code、Codex CLI、OpenCode、Cursor、Gemini CLI 五大平台。每个平台会自动匹配对应的技能包和配置文件格式。

Step 2：选择项目架构

前端项目、后端服务、全栈应用、数据科学项目……不同架构预设会推荐不同的技能组合和权限策略。

Step 3：配置工作流

从 90+ 技能中选择你需要的，也可以直接使用预设的快速启动包：

• 🚀 前端开发包：15 个精选技能
• ⚙️ 后端开发包：17 个精选技能
• 🔧 全栈开发包：19 个精选技能
• 🛡️ 生产运维包：17 个精选技能

Step 4：一键生成

生成完整的配置文件，包括：

• 项目知识文档（CLAUDE.md / AGENTS.md）
• 平台设置文件（settings.json / 配置文件）
• 一键安装脚本
• Hooks 自动化配置

生成的配置文件遵循 SCALE OS 的分层治理规范，知识文档不超过 200 行，只写约束不写废话，每条命令都是可直接复制运行的。

典型使用场景

这里分享几个适合使用 SCALE OS 的典型场景，供你对照参考：

场景一：新项目启动

使用 SCALE OS 配置器，选择对应的项目架构和技能包，几分钟内生成完整的项目知识文档和 Agent 配置。AI 从项目第一天就理解你的架构决策、技术栈选择和代码规范，而不是每次对话都从零开始。

场景二：AI 输出质量不稳定

开启"反幻觉"和"反惰性"机制后，AI 的输出需要通过验证门控才能交付。对于关键模块，还可以启用沙盒模式，限制 AI 的操作范围，确保安全。

场景三：团队协作标准化

团队统一使用 SCALE OS 生成的配置文件，确保每个成员的 AI 助手遵循相同的工作流和代码规范。新成员加入时，直接使用项目配置即可上手，无需额外培训。

场景四：多平台切换

在 Claude Code 和 Cursor 之间切换时，SCALE OS 的跨 Agent 适配机制确保你的技能配置和工作流在不同平台上都能正常工作，减少重复配置的工作量。

开源核心 + 付费增值

SCALE OS v10.0 采用开源核心 + 付费增值的模式：

🆓 免费版（开源核心）

• 完整的认知框架和方法论
• 配置器基础功能
• 核心技能集
• 社区支持

💎 知识星球会员（¥99/年）

• 专属技能库持续更新
• 深度实战案例与最佳实践
• 社区专家答疑
• 优先获取新功能

这种模式确保了核心价值的开放共享，同时为深度用户提供持续增值的服务。

快速上手指南

想试试 SCALE OS v10.0？跟着这几步走：

1. 访问官网：打开 SCALE OS 官网，了解完整功能介绍
2. 使用配置器：根据你的平台和项目类型，生成专属配置
3. 下载安装：运行配置器生成的一键安装脚本
4. 开始编码：AI 助手现在有了"认知框架"，体验一下差别

整个过程不需要深厚的技术背景，跟着配置器走就行。

加入 SCALE OS 社区

一个人的探索，不如一群人的共进。SCALE OS 已经聚集了一批认真对待 AI 编码的开发者，大家在社区里分享经验、讨论问题、推动项目进步。

👇 多种方式加入我们：

🔹 微信公众号

🔹 微信交流群

扫描下方二维码加入微信交流群，和志同道合的开发者实时讨论 AI 编码的最佳实践。群内有项目维护者和资深用户，问题通常很快就能得到解答。

🔹 知识星球（¥99/年）

加入知识星球，获取：

• 专属技能包和配置模板
• 深度实战案例拆解
• 社区专家 1v1 答疑
• 新功能优先体验权

📌 加入知识星球，和认真的 AI 编码开发者一起成长

🔹 GitHub / Gitee

SCALE OS 核心框架在 GitHub 开源，自研的 scale-engine 工作流引擎在 Gitee 开源。欢迎 Star、Fork、PR，参与共建。

🔹 官网

访问官网在线使用配置器，几分钟生成你的专属 AI 编码配置：

[👉 [点击访问 SCALE OS 官网]](https://scale-os.hongmaple.top/)

写在最后

AI 编码工具正在快速进化，但工具再强大，如果缺乏系统化的使用方法，效果也会大打折扣。SCALE OS v10.0 的核心理念很简单：不是让 AI 更聪明，而是让 AI 更靠谱。

通过认知脚手架、反幻觉、反惰性、求是这四根支柱，SCALE OS 帮助 AI 编码助手从"偶尔好用"变成"持续可靠"。如果你也在使用 AI 编码工具，不妨试试，感受一下有认知框架和没有认知框架的差别。

觉得有用？转发给你身边也在用 AI 写代码的朋友吧 👇

SCALE OS v10.0 | 认知操作系统，让 AI 编码更靠谱

🔗 相关链接：

• 官网：在线配置器，几分钟生成专属配置
• GitHub：开源核心框架
• Gitee：scale-engine 工作流引擎
• 微信公众号：SCALE OS
• 知识星球：¥99/年，深度内容与专家答疑

© 2026 SCALE OS. All rights reserved.

本文由mdnice多平台发布

引言

2026 年，文本到图像生成领域迎来了一次重大更新——OpenAI 推出的 GPT-Image-2 模型。它不仅继承了 GPT 系列强大的语义理解能力，更在图像生成质量、指令跟随和多轮编辑上实现了质的飞跃。根据 ARENA.AI 最新发布的 Text-to-Image 排行榜，GPT-Image-2 以绝对优势登顶，成为目前最受用户欢迎的文生图模型。

核心特性：不只是“画图”

GPT-Image-2 相比前代模型，拥有三项突破性能力：

• 多轮对话式编辑
  用户可以像与设计师聊天一样修改图像：“把背景换成雨天”、“给人物加上墨镜”。模型会保留主体结构，仅改变指定区域。
• 联合视觉理解
  模型不仅能生成图像，还能反向分析图像内容。例如输入一张“悬浮的杯子”，它会指出“缺少阴影，不符合物理规律”。
• 超写实与风格迁移
  支持从照片级真实到手绘水彩、赛博朋克、浮世绘等数十种风格，且对材质、光影、构图的细节控制极为精准。

技术架构：扩散变压器 + 跨模态注意力

GPT-Image-2 采用 扩散变压器（DiT） 混合架构，并引入三项关键创新：

此外，模型通过 4 倍变分自编码器（VAE） 压缩潜空间，显存占用比前代降低 30%。

应用场景：创意生产力的加速器

• 广告与平面设计
  设计师可通过对话生成初稿、变体，快速迭代海报和 Logo。某国际饮料品牌使用 GPT-Image-2 后，概念图产出时间从 8 小时缩短至 20 分钟。
• 医学影像合成
  在隐私合规的前提下，模型能够生成带有罕见病灶的 X 光片，用于培训年轻医生。
• 游戏资产生产
  从角色立绘到场景概念图，模型能根据策划文档直接产出符合透视和比例的多视角素材。

性能评测：Arena 排行榜第一

在 ARENA.AI 的 Text-to-Image Arena 中，GPT-Image-2 以 1,512 分 的 Arena Score 高居榜首，领先第二名超过 240 分。该排行榜基于真实用户的偏好对抗评测，反映了模型在画质、提示词跟随、风格多样性和语义一致性上的综合实力。

下图展示了截至 2026 年 4 月的前 15 名模型排名：

从榜单中可以看到：

• OpenAI 在前五名中占据两席（GPT-Image-2 和 GPT-Image 1.5），代际优势明显。
• GPT-Image-2 的得分（1512）远高于第三名 Nano Banana Pro（1244），形成断层领先。

除了用户偏好得分，在传统自动评估指标上，GPT-Image-2 同样表现优异：

• MS-COCO 30K 零样本 FID 分数：8.32（越低越好，显著优于 DALL-E 3 的 12.15）
• CLIP 分数：0.81（越高越好）
• T2I-CompBench 属性绑定准确率：94.7%，证明其对空间关系、颜色、数量等复杂指令的执行能力远超竞品。

综合 Arena 用户投票与自动化指标，GPT-Image-2 是目前文本到图像生成领域当之无愧的 SOTA 模型。

局限性与未来方向

尽管表现惊艳，GPT-Image-2 仍存在一些挑战：

• 计数错误：当提示词中出现“七个苹果和三个橙子”时，模型偶尔会遗漏或重复一两个物体。
• 社会偏见：训练数据中的文化刻板印象可能反映在生成图像中（例如默认“CEO”为男性形象）。
• 推理成本：单张 1024×1024 图像在 A100 GPU 上需要约 5.2 秒，实时应用仍有压力。

OpenAI 团队表示，下一版本将引入 动态专家混合（MoE） 和 扩散蒸馏 技术，目标将推理时间压缩至 1 秒以内，并增加显式的偏见过滤层。

总结

GPT-Image-2 不仅是一个更强的图像生成模型，更是一个与人类意图高度对齐的创意伙伴。它将专业级别的视觉创作门槛降至自然语言交互，让任何人——无论是否具备绘画技能——都能将脑海中的画面变为高精度的视觉作品。随着效率、安全性和可控性的进一步提升，我们正在见证“人人都是艺术家”的时代加速到来。

开发者朋友们大家好：

这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。

本期编辑：@koki、@鲍勃

01 有话题的技术

1、蚂蚁灵光发布「灵光圈」：通过对话生成调用移动端原生硬件（如震动马达、LBS、传感器）的多模态应用

蚂蚁灵光发布社区产品「灵光圈」并升级「闪应用」架构，确立了以自然语言为核心的 「Wish Coding」 交互范式。该更新支持通过对话在 30 秒内生成可直接调用移动端原生硬件（如震动马达、LBS、传感器）的多模态应用，并将传统代码级的 Fork 协作提升为基于「结构化意图」的语义级迭代。

• 原生多模态交互与硬件 API 调用：不同于受限于浏览器沙盒的 Web Coding 工具，闪应用运行于端侧原生环境，支持通过 LLM 指令直接调用震动反馈、陀螺仪、摄像头识物、精确 LBS 等硬件能力，使生成物从「信息展示工具」演进为「感知交互工具」。
• Wish Coding 交互范式：剥离 IDE、代码仓库与环境依赖，用户仅需提供模糊意图，Agent 自动完成从语义理解到功能模块级联、数据结构定义及 UI 渲染的全链路构建，生成耗时约 30 秒。
• 意图级 Fork 与结构化语义编辑：灵光圈支持对他人应用进行「改一下（Fork）」的操作。其底层并非复制源码，而是传递「结构化意图表示层」。系统通过理解功能模块间的级联影响，支持用户以自然语言在原应用基础上进行精确的功能增删与场景迁移。
• 内置共享数据层与实时部署：应用生成即完成云端部署，平台默认集成多人协同能力。生成的工具（如实时投票器）内置共享数据接口，支持多端数据实时同步，无需手动配置服务器或数据库。

（@极客公园）

2、OpenAICodex 上线 Chronicle：捕获用户屏幕上下文以构建记忆

OpenAI 为其编程工具 Codex 推出了一项名为 Chronicle 的实验性新功能。作为对上周发布的 Memories 功能的扩展，Chronicle 能够通过捕获和分析用户的近期屏幕上下文来构建记忆，从而减少用户在与 Codex 交互时重复陈述背景信息的需求。

该功能目前以选择性加入的研究预览版形式提供给 macOS 平台上的 ChatGPT Pro 订阅用户，暂不支持欧盟、英国和瑞士地区。要启用此功能，用户需在 Codex 应用的设置中开启 Memories 选项及 Chronicle，并授予 macOS 的屏幕录制和辅助功能权限。

官方表示，该技术通过在后台运行沙盒化的 Agent 来处理屏幕截图、OCR 文本和时间信息等内容，帮助 Codex 识别用户的工作流及所需工具。然而，官方也明确警告，启用 Chronicle 会迅速消耗速率限制，增加提示注入攻击的风险，且生成的记忆会以未加密的 Markdown 文件形式存储在本地设备上。

（@橘鸦 Juya，@OpenAIdevs\@X）

3、Sierra 发布 μ-Bench：针对 8kHz 真实通话场景的多语言 ASR 基准，引入 UER 评估指标

对话式 AI 企业 Sierra 开源了 ASR（自动语音识别）转录基准 μ-Bench，旨在填补多语言真实电话场景评估的空白。该基准基于真实客服通话数据，通过引入新的评估指标 UER，揭示了主流 ASR 模型在处理非英语及低采样率音频时的性能鸿沟，为语音智能体的生产环境部署提供量化依据。

• 真实电话场景数据集：包含 4,270 条经过人工标注的语句，提取自 250 场真实的 8 kHz 单声道电话通话，涵盖英语、西班牙语、土耳其语、越南语和普通话，对比传统 ASR 基准更强调低信噪比和窄带环境。
• 引入 UER（Utterance Error Rate，语句错误率）：不同于传统 WER（词错误率）将语气词丢失与关键信息（如电话号码）错误同等对待，UER 专注于识别导致语义改变的转录错误，更能反映 ASR 质量对下游 LLM 逻辑判断的影响。
• 多维度性能权衡：横向对比显示 Google Chirp-3 在准确率上占优但响应速度最慢；Deepgram Nova-3 的 p50 延迟比前者快约 8 倍，但在多语言准确性上表现较弱。
• 语言间表现高度失衡：测试指出普通话转录的错误率可能比英语高出 5 倍，且越南语在不同供应商间的表现波动极大，证明了单一模型无法在全语种生产环境中达到最优。

( @sierra)

02 有亮点的产品

1、首创「玩偶+主机」模式，多智能体儿童 AI 玩具品牌灵机天赐获数千万元融资

北京灵机天赐科技有限责任公司（下称「灵机天赐」）于过去一年内完成两轮数千万元人民币融资，天使轮由德联资本领投，小恐龙基金和瑞昇基金跟投，Pre-A 轮由 Implic Capital 领投，两轮融资均由探奇资本担任公司独家财务顾问。

灵机天赐 CEO 杨冰表示，「AI 时代，让孩子直接和一个虚拟人物聊天，这个产品定义其实很难成立。孩子无法快速和一个纯虚拟角色建立真实的物理连接。只有把世界观、人设和场景都构建出来，他们才会有交流的可能性。」

为了实现这种「可信的互动」，灵机天赐旗下品牌「Jollybubu」首创了「主机+玩偶」的智能体硬件交互系统。

每一个 Jolly 实体玩偶都对应独立的智能体，拥有各自的世界观、知识库和人格模型。当孩子将玩偶放置在主机底座上，即可激活对应角色的故事内容，并随时打断、提问，与玩偶进行角色化的互动对话。与此同时，主机 bubu 更像整个系统的中枢，持续沉淀孩子的提问、探索路径与互动偏好，进而实现个性化引导。

基于内置的世界观、知识库，每个实体玩偶都代表了一种思维方式和学科方向，杨冰介绍称「我们发现，当孩子提出一个问题，比如『天为什么是蓝色』时，并不一定想要一个科学的答案，所以我们的玩偶也会根据自己的世界观和上下文做出各种不同的回答，可能是艺术的、可能是文学的、也可能是科学的。」当孩子使用不同的玩偶提问、互动，本身也是在不断拓展自己的认知路径和表达方式。

为实现这一效果，技术层面，每一个玩偶都是一个独立的智能体，由语音识别（ASR）、语音合成（TTS）、角色音色系统与大模型能力共同支撑。由于一次互动中可能涉及多个角色的连续响应与协同，后台系统需要同时处理多智能体之间的低延迟联动，并保持不同角色稳定输出各自鲜明的人格特征。

商业模式上，灵机天赐选择以硬件销售为主，不以订阅付费作为核心门槛。相较于持续订阅，团队更看好通过新玩偶、新角色和新内容的持续扩展，建立复购机制。

（@硬氪）

2、阶跃星辰联合极氪 8X 首发量产超级 Eva：基于 Step 3.5 Flash 实现 350TPS 高频实时交互与多模态意图重构

阶跃星辰联合吉利、千里科技量产整车智能体「超级 Eva」。该系统通过 Step 系列模型矩阵打破传统「指令式」交互，将车载 AI 从单纯的语音助手升级为具备情绪识别、长短期记忆与多模态感知能力的实时交互终端，实现从响应单条命令向自主执行复杂目标的范式演进。

• 350TPS 极速推理响应：依托 Step 3.5 Flash 推理引擎，系统推理速度最高达 350TPS，大幅降低多轮对话延迟，确保在复杂交互任务中保持毫秒级实时反馈。
• 端到端语音情绪理解：接入阶跃语音大模型，具备语义重构与情绪识别能力，可识别用户语气的紧迫感或松弛感，并从机械式功能播报转向自然语言交互。
• 256k Context Window 持续交互记忆：支持超长上下文处理，使智能体能够维持长周期的对话连续性，并基于历史交互数据记忆用户偏好，支持跨场景的多轮追问。
• 多模态感知交互闭环：通过视觉模型与语言模型协同，系统可实时识别车外物理环境（如车位状态、路况变化），并将感知信息即时反馈至对话逻辑中，实现「感知-理解-表达」的闭环。
• 目标驱动的任务编排：支持非结构化目标输入（Declarative Interaction），自动将模糊意图拆解为多步逻辑链，并调度整车系统能力完成导航、泊车、服务预定等协同动作。

（@雷锋网）

3、NovaVoice 发布：集成上下文记忆与跨应用执行的桌面级语音智能体

NovaVoice 推出一款定位为「语音中枢」的桌面端生产力工具。通过整合 ASR（自动语音识别）、上下文语义理解与系统级指令调用，该工具实现了从口述意图到跨应用文本输出及自动化动作执行的直接转化。

其目标用户是创始人、运营、销售、知识工作者和重度键盘用户；痛点是打字慢、查资料慢、跨应用操作碎片化。NovaVoice 要解决的是「如何把说话直接变成可执行的工作输出」。它更像「会记住你工作细节的语音副驾」：你说出需求，它直接帮你写、帮你找、帮你做，尤其适合需要保持心流、又不想一直敲键盘的人。

核心功能与差异化优势：

• 高速度上下文写作： 口述后自动转成符合场景的文本格式，适配邮件、笔记、Markdown 等，并保持上下文语气。
• 热键即问即答： 按热键就能问任何问题，无需切浏览器搜索，适合临时查询和脑暴。
• 跨应用语音执行： 可通过语音打开应用、草拟消息、插入联系人/地址/链接，并对当前桌面执行动作。
• 长期记忆： 记住常用联系人、地址和链接，减少重复输入，像一个桌面级个人助理。

网站链接：

https\://novavoice.app/

( @Z Potentials)

03 有态度的观点

1、游戏设备 Playdate：AI 写的文案、画的图、作的曲的游戏一律不收

Panic 宣布，旗下 Playdate 游戏商店 Catalog 将不再接受使用生成式 AI 制作美术、音频、音乐、文字或对话内容的游戏作品，第三季游戏合集亦全面禁止以任何形式使用生成式 AI 开发的作品。

根据官方 AI 使用声明，禁令涵盖 ChatGPT、DeepSeek、Google Gemini 等大语言模型，Stable Diffusion、DALL-E、Midjourney 等图像生成模型，以及 MuseNet、Suno、Udio 等音频生成模型；

但编程环节使用 AI 辅助工具的作品暂获豁免，平台将对此类作品进行标注并注明具体使用程度，以便玩家自主决定是否支持。

此次政策调整源于去年 6 月模拟赛车游戏《Wheelsprung》的争议——该游戏入选第二季合集后被发现使用了 GitHub Copilot 与 ChatGPT 辅助开发。

Panic 联合创始人 Cabel Sasser 在接受采访时坦承：「我们当时完全没有预料到开发者会使用大语言模型，回头来看过于天真，我们对此承担全部责任。」

(@APPSO)

阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么

写在最后：

我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。

对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。

作者提示：个人观点，仅供参考

数据增强是现代机器学习中一个绕不开的环节。在计算机视觉里，不做增强就很难训练出一个好的的模型；在时间序列分类领域，虽然也已经沉淀出一套相对成熟的技术——jittering、scaling、window slicing、time warping、permutation、rotation，还有若干基于模式的变体，但时间序列预测是另一回事。

预测任务的目标不是一个离散的类别标签，而是紧接在输入之后的那一段连续信号。这一点改变了整个问题的性质。对分类任务来说安全的变换——比如对输入的一部分做 warping，或者往一个窗口里注入噪声——放到预测里就很容易破坏 look-back 窗口和预测 horizon 之间的关系。但是关系一旦断裂，模型训练时看到的 input-target 对就不再彼此自洽，预测性能随之滑落。

大部分在分类中表现良好的经典增强方法都在预测任务上被评估过，结果基本都没能跑赢不做增强的基线。这个结果本身就很说明问题：它把预测增强中一个内在问题暴露了出来：方法必须引入足够的多样性，让模型见到训练数据之外的变化，而且还要保持时间一致性，让增强后的信号仍然是一个合法的连续序列。把这两点同时搞定才是预测增强难以处理的地方。

所以一个有效的预测增强，应当对序列做足够的修改以产生价值，但不能修改到让输入与其未来失去一致性。

为什么面向分类的增强在预测中表现不佳

jittering、scaling、window warping、permutation 这些经典技术，最初都是为分类任务设计的。在标签不变的前提下，它们工作得不错。可预测里的“标签”就是序列后面那一段，只扰动输入、对信号局部做 warping 或者把局部时序扭得过猛，都会产出一段未来已不再合理的输入。这类方法通常压不过不做增强训练出来的模型。

WaveMask/WaveMix 和 TPS 这两条工作线都强调同一点：预测任务对 input-target 一致性的要求，比分类或异常检测严苛得多。随机性可以加，但必须是正确那种随机性——不破坏信号时间结构的那种。

数据-标签一致性：一个必要条件

记 look-back 窗口为 x，预测目标为 y。训练作用的对象是连续序列 (s = x ∥ y)，而不是孤立的 x。所以增强应该作用在拼接后的序列上，再切分成输入和目标：

s = x ∥ y, s̃ = 𝒜(s), (x̃, ỹ) = Split(s̃)

听起来几乎是一句废话但是是预测增强里最关键的思路之一。只对 (x) 动手、让 (y) 原封不动，输入与目标之间天然的连续性就被人为切断了，因为去掉数据-标签一致性带来的性能下降最大。

图 1. 预测增强流水线：look-back 窗口与预测 horizon 在增强之前拼起来，增强之后再拆开，以此保持 input-target 对齐。

预测增强方法的分类体系

近几年真正有效的预测增强方法，主要来自三条路线——频域、信号分解，以及受控的信号级操纵。可以简要归类如下：

• 基于频率：RobustTAD 、FreqMask、FreqMix 、WaveMask、WaveMix 、Dominant Shuffle 。
• 基于分解：STAug 。
• 其他方法：wDBA 、MBB 、Upsample 。
• 基于 Patch：TPS 。

下面按类依次梳理，先从频域方法讲起——直到最近，这一直是主流范式。

RobustTAD

频域增强里一个奠基性的工作是 RobustTAD。做法是先对拼接后的输入与目标做离散 Fourier 变换，在选定的频率片段上做扰动，然后反变换回时域。实际操作时，把频谱视作实部和虚部的组合，再从中导出幅度和相位。

扰动的粒度由一个相对于完整频谱的比例决定，只改动选中的那些区域。幅度变体里，原始幅度被替换为从一个受扰动强度控制的 Gaussian 分布中采样的值；相位变体里，选中的相位值被一个小的受控扰动偏移。RobustTAD 原文主要面向异常检测，但一些预测研究会把幅度扰动变体用到了多变量时间序列预测上，所以本文的实验也把相位扰动纳入了比较。

FreqMask 和 FreqMix

FreqMask 和 FreqMix是预测任务中使用最广的频域增强。两者都从拼接输入与目标、然后做实 FFT 开始：

s = x ∥ y, S = rFFT(s)

FreqMask 用一个二值 mask (M) 把选定的频率分量清零：

FreqMask: S̃ = M ⊙ S, s̃ = irFFT(S̃)

直觉在于：抑制掉若干周期分量，可以迫使模型对这些分量的缺失保持鲁棒。FreqMix 把思路推了一步，去混合两个不同序列的频谱：

FreqMix: S̃ = M ⊙ S₁ + (1 − M) ⊙ S₂, s̃ = irFFT(S̃)

这让一个序列能部分地“继承”另一个序列的结构特征。两种方法概念清爽，实现也简单。

图 2. FreqMask 移除选定的频率分量；FreqMix 在两个序列之间混合频率。

两种方法都纯粹在 Fourier 域内操作，能捕捉哪些频率存在，却无法告诉你这些频率出现在时间轴的哪里。这个差别，后来被证明比看起来重要得多。

时频定位：WaveMask 和 WaveMix

Fourier 变换给出的是漂亮的全局频率信息，但把时间定位丢掉了。Short-Time Fourier Transform (STFT) 用局部窗口做了弥补可窗口大小是固定的。Wavelets 要灵活许多：它在多分辨率下同时工作，对高频事件给出高时间分辨率，对低频趋势给出高频率分辨率。

图 3. 时频分辨率比较。Fourier Transform 无时间定位；STFT 使用固定大小的窗口；Wavelet Transform 在不同尺度上自适应调整分辨率。

一句话概括：FFT 回答“哪些频率存在”，wavelets 回答“哪些频率存在、大概出现在哪里”。时间序列里局部变化往往携带关键信息，多出来的这一层时间定位因此格外有用。

WaveMask/WaveMix [8] 的做法是，先用离散 wavelet 变换 (DWT) 把信号分解为跨多个层级的近似系数和细节系数，再直接在这些系数上做增强：

s = x ∥ y
W = WaveDec(s) = {W⁽¹⁾, W⁽²⁾, …, W⁽ᴸ⁺¹⁾}

WaveMask:
W̃⁽ˡ⁾ = M⁽ˡ⁾ ⊙ W⁽ˡ⁾
s̃ = WaveRec(W̃)

WaveMix:
W̃⁽ˡ⁾ = M⁽ˡ⁾ ⊙ W₁⁽ˡ⁾ + (1 − M⁽ˡ⁾) ⊙ W₂⁽ˡ⁾
s̃ = WaveRec(W̃)

masking 和 mixing 可以在每一层独立施加，细粒度的细节和粗粒度的趋势不必被同等对待。论文中的结果显示，WaveMask 和 WaveMix 在 16 种预测 horizon 设置中的 12 种上压过了所有基线，其余四种排第二。

图 4. WaveMask 流水线：信号先经 DWT 分解，wavelet 系数在每一层被选择性 mask，再经逆 DWT 重建。

图 5. WaveMix 流水线：两个信号分别分解，它们的 wavelet 系数通过互补 mask 交换，混合后的系数再被重建。

Dominant Shuffle

Dominant Shuffle 则是一条更克制的路。它不对任意频谱分量做 mask 或 mix，而是先挑出最具主导性的那些频率，再在重建之前对它们做 shuffle：

S = FFT(s)
Ωₖ = indices of top-k dominant frequencies

S̃_{Ωₖ} = Shuffle(S_{Ωₖ})
s̃ = IFFT(S̃)

避免过于激进地扰动整个频谱——那样做有把增强样本推出分布的风险，原论文对此有比较详细的讨论。不过在 TPS 论文 的统一比较里，Dominant Shuffle 并不是整体最强的一个。

图 6. Dominant Shuffle：挑出 top- 主导频率分量做 shuffle，频谱的其余部分保持不动。

STAug

STAug 属于基于分解的一类。它对两个序列施加 Empirical Mode Decomposition (EMD)，得到 intrinsic mode functions (IMFs)，再用从均匀分布采样的 mixup 式插值权重把两组 IMF 重新组合。产出的是一段混合了两个输入时间特征的新序列。

STAug 给出了一种兼顾多样性与一致性的样本生成机制，颇有美感。它真正的问题在工程层面——EMD 内存开销很大，数据集一大就顶不住。TPS 实验 中，STAug 在 ECL 和 Traffic 数据集上因 GPU 内存不够而无法评估，这一限制在 STAug 原论文里也有承认。

图 7. STAug 通过 EMD 把两个序列分解为 intrinsic mode functions (IMFs)，再借由插值权重重新组合。

wDBA、MBB 和 Upsample

这三种方法代表了频域之外的几个方向。

wDBA在基于 DTW 的对齐下对时间序列取平均，借此构造新样本；产出的合成数据质量不错，代价是计算开销很大。MBB先用 STL 把序列拆成趋势、季节性和残差，再从残差里 bootstrap 块生成新序列。Upsample的思路更简单——选一段连续片段，用线性插值把它拉伸回原始长度，相当于对局部结构加了一面放大镜。

Upsample 值得单独点一笔：它稳居较强的非频率基线行列，常常能给出一个不容忽视的 benchmark。但在 TPS 论文更广泛的评估中，TPS 在整体上仍然胜出。

从图像 patch 到时间 patch

Patch-based 增强在计算机视觉里已经是成熟工具。PatchShuffle 、PatchMix 之类的做法，把图像切成 patch，做 shuffle 或 mix，再拼回来。能这么干的前提是图像本身有空间冗余——patch 内部的局部像素重排通常不会把场景搞乱。

时间序列的性质完全不同。它是序列化的，每一个尺度上，值的顺序都在讲话。简单地把序列切成非重叠块再打乱，会制造出硬边界、肉眼可见的断裂，以及 input-target 错位。把 patch 的思路搬到时间域，每一步都得重新想一遍。

图 8. 计算机视觉中的 PatchShuffle：一张 4×4 图像被划分为非重叠的 2×2 patch，每个 patch 内部的像素被独立 shuffle。

Temporal Patch Shuffle (TPS)

TPS核心流程不复杂：给定完整序列（look-back 窗口与预测 horizon 的拼接），先提取重叠的时间 patch，为每个 patch 算一个基于 variance 的分数，按这个分数选择性地 shuffle 一个 patch 子集——低 variance 的优先——最后在重叠区域取平均来重建整条序列。

图 9. TPS 流水线。输入序列被切成重叠 patch（Temporal Patching）；一个子集按 variance 分数被重排（Variance-Aware Shuffling）；随后通过在重叠区域取平均重建序列（Reconstruction）。

流程

按论文 的表述，完整流程是这样的：

1. 拼接。把 look-back 窗口和预测 horizon 合成一条连续序列，从源头强制数据-标签一致性。
2. Temporal Patching。用 patch 长度 (p) 和 stride (s) 提取重叠 patch。重叠不是装饰，它让相邻 patch 共享时间步，重建时过渡才会平滑。
3. Variance 评分。在归一化输入空间内，跨所有通道计算每个 patch 的 variance。低 variance 的 patch 结构特征较少，被视作更安全的扰动对象——一个相当保守的启发式。
4. 选择性 shuffle。选出 variance 最低的 (\alpha) 比例的 patch，随机置换它们的位置；其余 patch 原地不动。
5. 重建。把每个 patch 放回它（也许是新的）时间位置，在重叠区域取平均。取平均是一种自然的平滑手段，能把 shuffle 引入的任何不连续性柔化掉。
6. 拆分。把重建后的序列拆回增强后的输入与增强后的目标。

形式化地，算法如下：

Algorithm 1: Temporal Patch Shuffle (TPS)

控制该方法的超参数有三个：patch 长度 (p)、stride (s) 和 shuffle 比例 (α)。实际选择时并不跑完整的 Cartesian 网格，而是在一组预先定义的候选组合上（大约 20 种配置）做基于验证集的搜索。

消融实验

TPS 论文的消融实验把每个设计选择的贡献分离开来。大致按重要性排序，结论如下。

数据-标签一致性是决定性的。只对输入做增强、让目标保持不变，带来的性能下降是所有单一消融中最大的——从经验层面把核心论点钉死：预测里输入和目标必须被联合变换。

重叠的影响同样实在。把重叠 patch 换成非重叠 patch，结果会明显退化。重叠正是在 shuffle 之下仍能保留局部时间结构的那道闸门。

基于 variance 的排序提供的是一份适度红利。它的效果比重叠小，但在只 shuffle 一个 patch 子集时仍然是个有用的细节。当 (α = 1.0)、所有 patch 都被 shuffle 时，variance 排序在构造上就失去意义。

时域优于频域。一个把同样的 patch 操作搬到 FFT 变换之后的变体，结果也会退化，说明 TPS 最好的工作状态是直接作用在原始时域信号上。

较高的 shuffle 比例通常更有利。在敏感性研究里，0.7 到 1.0 之间的取值在各数据集上稳定给出最强结果。

消融实验真正想说的是一件事：预测增强不是随便注入随机性的问题，而是注入受控随机性——一种尊重信号结构的随机性。

长期预测

TPS 在九个长期预测数据集上进行评估，用到五个近期的骨干：TSMixer、DLinear、PatchTST、TiDE、LightTS。在所有骨干上，TPS 都拿到了所比较增强方法中最好的平均 MSE。下图给出了整体比较。

图 10. 九个数据集、五个骨干上的长期预测结果。TPS 在每个骨干上都拿到了最好的平均 MSE 和最多的胜出次数。五个骨干上，相对最好竞争增强方法的 MSE 相对改善区间为 2.08% 到 10.51%。

LightTS 上那 10.51% 的改善是最醒目的一个数字，但故事的主线是一致性：TPS 并不依赖某个恰好合拍的骨干或数据集。从线性模型（DLinear、LightTS）到基于 MLP 的设计（TSMixer、TiDE），再到 transformer 风格的 PatchTST，它都能拿到收益。

短期交通预测

TPS 随后在四个短期交通数据集（PeMS-03、04、07、08）上用 PatchTST 再做一轮评估，仍然拿到了整体最强的增强表现 。

图 11. 用 PatchTST 在 PeMS-{03, 04, 07, 08} 上的短期交通预测结果。TPS 相对最好竞争增强方法的 MSE 改善分别为 7.14%、2.34%、0.00%、4.26%。即便在收益最小的 PeMS07，TPS 也没有让性能倒退。

稳定性和峰值表现一样要紧：一个好的增强方法不该像买彩票——某些数据集大赚，另一些数据集反倒亏出去。

扩展到时间序列分类

TPS 还有一个讨喜的地方，就是迁到分类任务上的顺滑程度。分类任务没有预测 horizon，只需要两处改动：直接作用在输入序列 (X) 上（不再做拼接），并把 shuffle 从批次级别移到样本级别。就这点改动，TPS 在单变量（UCR）和多变量（UEA）基准上都拿到了所比较增强方法里最好的平均准确率 。

图 12. 分类结果。在 30 个 UCR 单变量数据集上（MiniRocket），TPS 相对最好竞争方法把准确率提升了 0.50%，在 50% 的数据集上进入 top-2。在 10 个 UEA 多变量数据集上（MultiRocket），准确率提升 1.10%，60% 的数据集上进入 top-2。

基于 patch 的核心思路能不能走出预测本身，这是一份比较正面的早期证据。

总结

把上面这些放到一起看，TPS 的独特之处来自几个叠加的原因。它绕开了费力的分解步骤；不去无差别地改动整个频谱；也不去破坏 input-target 关系。做法是以受控的方式修改序列——重叠和平均守住局部时间结构；数据-标签一致性守住输入与目标的对齐。

在各项评估中，TPS 在长期预测（九个数据集，五个骨干）、短期预测（四个 PeMS 交通数据集）和时间序列分类（UCR、UEA 基准）上都取得了 SOTA 级别的增强效果。这种跨任务、跨架构的覆盖面，是它最有意思的地方。

https://avoid.overfit.cn/post/31f75a813b4947bea596fb1adc3102fc

by Sai Nitesh Palamakula