今年电商平台都不放假么，春节正常发货？
早前这个时候，各电商平台都开始提醒截至几号停止发货了
今天看到平台显示“春节正常发货”，是为了促进消费吗，春节商家都还发货、快递送货，是不是太拼了？
有 V 友往年春节网购的吗？真能送货还是虚挂名头？
今天看到平台显示“春节正常发货”，是为了促进消费吗，春节商家都还发货、快递送货，是不是太拼了？
有 V 友往年春节网购的吗？真能送货还是虚挂名头？
机器人领域的专家轨迹、互联网上的文本图像视频，这些数据让生成模型在机器人操控、语言生成与规划、视觉理解等任务上取得了惊人效果。但问题来了：换到具体任务上这些模型往往不太行。这是因为LLM 需要微调才能遵守安全约束或符合人类偏好，机器人策略也得继续训练才能弥补演示数据的不足。
扩散模型和流模型已经成为生成任务的主流方法，强化学习则是任务层面追求最优性能的老路子。两者结合就有了 DDPO、DPPO、FPO、Flow-GRPO 这些工作。这类方法普遍在数十亿参数、图像文本这种高维环境下运行，所以我们换个思路：在一个二维简单环境里研究训练细节，只优化单条去噪轨迹。
这个环境训练不到一分钟，计算资源几乎可以忽略。状态空间和动作空间都简单到指标没什么意义，不过真正有意思的是不同微调策略下涌现出来的视觉行为。虽然这里聚焦于 DPPO 和扩散策略（把数据当作"动作"），但微调动态完全可以推广到其他基于 RL 的扩散应用场景。
环境
定义一个"环形"高奖励区域，模型要学会把样本去噪到这个环的任意位置。观察点在于：模型会收敛到环上的某个模式，还是把样本均匀分布开？对环宽度的敏感程度如何？下面是一条去噪轨迹的例子：
期望行为：从随机初始化（噪声状态）走向高奖励区域，最后一步就是去噪完成的样本。
不过在开始之前我们先解释 DPPO 和相关术语，再尝试用这个算法优化扩散模型来生成高奖励样本。
DPPO 算法概述
DPPO 是 PPO 的变体，属于 on-policy 方法。核心思路是更新扩散模型参数让生成样本获得更高奖励。它把扩散过程建模成 MDP：每个扩散时间步是一个状态，动作就是"去噪"，奖励来自最终的去噪状态。奖励通过蒙特卡洛估计传播回有噪声的时间步——也就是对完整回合的折扣回报求平均来估计期望累积奖励。DPPO 论文里这张图讲得很清楚：
外循环先做回合采样，存下每个扩散时间步的动作对数似然，加上状态、动作、奖励这些标配。内循环跑 K 个 epoch，用 PPO 风格的目标更新扩散模型参数。PPO 的细节网上讲得很多，下面只展开相关部分。内循环结束后，用新策略再采样一批回合。损失包含信任域策略更新、价值函数损失和探索用的熵项。为简化起见，这里只看上图中的"t=0"这一步，对应单条扩散轨迹。
算法 1. DDPO + DDIM 实现的伪代码。第 5 行的"动作"就是去噪一个样本。
步骤 1：回合采样
state = env.reset()
# (aside: action variance is learned)
action_var = nn.Parameter(torch.full((2,), action_std_init * action_std_init))
current_pos = state[:2]
# in the rollout...
with torch.no_grad():
# conditional noise prediction
pred_noise = policy.actor(current_pos, t)
# the "T-1" prediction is the next position in the denoising trajectory
action_mean = policy.ddim_step(pred_noise, t, current_pos)
dist = Normal(action_mean, action_var.sqrt())
# sample from distribution with learned noise
action = dist.sample()
action_log_prob = dist.log_prob(action).sum(dim=-1)
next_state, reward, done = env.step(action)
# store in Buffer
buffer.states.append(state, action, action_log_prob, reward, done) 这段代码对应 DPPO 论文公式 4.3。目前微调整个 DDIM 轨迹，后面会比较只微调最后几步的效果：
代码里去噪过程的每一步都被当作动作，这是 DPPO 内部 MDP 的关键。动作方差设为可学习参数，因为 DDIM 本身是确定性的，需要加探索噪声（公式里的 sigma）。
DDIM 步骤方法如下，求解概率流 ODE 得到去噪过程的前一步（参考伪代码里的公式）。这个操作必须可微，梯度才能流过去噪过程：loss → logprobs → dist → action → ddim_step → pred_noise → actor weights。噪声调度参数是预设好的。
# DPPO differentiates through diffusion steps, so this needs to be differentiable
def ddim_step(self, model_output, timestep, sample):
# Handle t-1 (if t=0, prev=0, but alpha_prev=1.0)
prev_timestep = torch.clamp(timestep - 1, min=0)
alpha_prod_t_prev = alphas_cumprod[prev_timestep].view(-1, 1)
alpha_prod_t = alphas_cumprod[timestep].view(-1, 1)
beta_prod_t = 1 - alpha_prod_t
# DDIM Formula
pred_original_sample = (sample - torch.sqrt(beta_prod_t) * model_output) / torch.sqrt(alpha_prod_t)
pred_sample_direction = torch.sqrt(1 - alpha_prod_t_prev) * model_output
prev_sample = torch.sqrt(alpha_prod_t_prev) * pred_original_sample + pred_sample_direction
return prev_sample步骤 2：奖励缩放和 GAE
这部分基本是标准 PPO。跟踪运行统计量来归一化奖励，因为奖励方差太大会让价值函数训练不稳定。然后对缓冲区里所有状态跑一遍价值函数前向（不算梯度），用 GAE 从回报计算优势值，平衡偏差和方差。GAE 做的事情是给去噪过程中的"动作"分配功劳，价值函数则是为带噪声的状态建模这个功劳（注意输入里也带了扩散时间步）。
# get values from buffer
old_states = torch.cat(buffer.states, dim=0)
# scale rewards using running statistics
rewards_np = np.array(buffer.rewards)
rewards_norm = (rewards_np - reward_scaler.mean) / (np.sqrt(reward_scaler.var) + 1e-8)
# compute Values for GAE
with torch.no_grad():
x_t = old_states[:, :2]
t_long = old_states[:, 2].long()
# Get values from critic
values = policy.critic(x_t, t_long)
advantages = []
last_gae_lam = 0
# iterate backwards through the buffer
# buffer.is_terminals tells us if the episode ended at that step
for step in reversed(range(len(buffer.rewards))):
if step == len(buffer.rewards) - 1:
next_non_terminal = 1.0 - float(buffer.is_terminals[step])
next_val = next_value
else:
next_non_terminal = 1.0 - float(buffer.is_terminals[step])
next_val = values[step + 1].item()
# Delta = r + gamma * V(s') * mask - V(s)
delta = rewards_norm[step] + gamma * next_val * next_non_terminal - values[step]
# Advantage = Delta + gamma * lambda * Advantage_next * mask
last_gae_lam = delta + gamma * gae_lambda * next_non_terminal * last_gae_lam
advantages.insert(0, last_gae_lam)
# Compute Returns: Return = Advantage + Value
# This is the target for the Value Function
returns = advantages + values
# Normalize Advantages (Standard PPO trick)
advantages = (advantages - advantages.mean()) / (advantages.std() + 1e-8)步骤 3：PPO 更新
优化策略，降低低优势动作的概率，提高高优势动作的概率。这个过程跑多个 epoch 以充分利用缓冲区数据，不是更新一次就扔掉。每次迭代策略都在变，所以要在新策略下重新计算旧动作的对数概率，用新旧比率控制策略改进幅度。后面会实验不同的裁剪参数（eps clip）。
# next state (from previous cell)
state = next_state
old_actions = torch.cat(buffer.actions, dim=0)
old_logprobs = torch.cat(buffer.logprobs, dim=0)
# K epochs define how
for _ in range(K_epochs):
x_t = old_states[:, :2]
t_long = old_states[:, 2].long()
pred_noise = policy.actor(x_t, t_long)
mean_action = policy.ddim_step(pred_noise, t_long, x_t)
# learnable action variance (defined during rollout)
dist = Normal(mean_action, action_var.sqrt())
# recalculate log probs under new policy for policy ratio
logprobs = dist.log_prob(old_actions).sum(dim=-1)
ratios = torch.exp(logprobs - old_logprobs)
surr1 = ratios * advantages
surr2 = torch.clamp(ratios, 1-eps_clip, 1+eps_clip) * advantages
policy_loss = -torch.min(surr1, surr2)
# compute V(s) with gradients this time, to train value function
state_values = policy.critic(x_t, t_long)
value_loss = 0.5 * nn.MSELoss()(state_values, returns)
# there can also be an entropy term and KL term here, but omit for now
loss = policy_loss + value_lossDPPO 和 DDPO 的区别
网上几乎没有对比这两个名字容易混淆的方法：Denoising Diffusion Policy Optimization（DDPO）和 Diffusion Policy Policy Optimization（DPPO）。DDPO 针对文本生成图像，DPPO 针对扩散策略优化。动机差异之外，DDPO 用按 prompt 的奖励归一化，"类似于价值函数基线"；DPPO 用更成熟的 GAE 加上显式学习的价值函数。概念上真的很难分清楚，不过这里的实现因为用了 GAE，技术上算 DPPO。
从头训练 DPPO（失败）
理论上跟 PPO 一样，给够回合数就能最大化奖励。但 RL 和实际训练里，样本效率才是命门。模拟环境确实降低了采样成本，可灵巧操控这种 sim2real 效果差的任务，还是得靠真实演示用尽量少的回合搞定。所以先试试只用 300 个回合从头训练，看看性能曲线。下图和后续图里，蓝点是去噪后的样本，训练过程中定期评估。
300 个回合后 DPPO 完全没收敛，样本压根没往高奖励区域靠。扩散模型本身就需要大量样本，再叠上 RL 臭名昭著的样本低效，失败并不意外。就算加到 5000 个回合，超参不仔细调也收敛不了。
从专家演示微调
现实场景里不可能有无限回合，所以专家演示通常够引导奖励最大化。要模拟"专家演示"，需要一个分布：接近高奖励区域的多个模式，大体形状像那么回事，但又留有 RL 优化空间。于是选了一个半径 1.0 的圆形分布，用监督学习训练扩散模型去噪到这个区域——可以类比从演示学习或在互联网数据上预训练。30k epoch 后几百个样本的可视化效果如下：
微调前的预训练动作分布（去噪轨迹未画出）。
加载预训练 checkpoint 再跑 DPPO，性能提升明显行为也符合预期：大约 150 个回合后粒子开始收敛到高奖励区域。不过通常是找到第一个被探索到的高奖励模式，而不是均匀分布在 radius=1.5 的环上。
DPPO 微调把动作从 radius=1 的预训练分布引导到 radius=1.5 的高奖励区域，比从头训效果好太多
添加 KL 约束
Flow-GRPO 等工作在 PPO 目标之外加了 KL 约束。对 LLM 和图像生成模型（Flow-GRPO 的主要场景），偏向有效文本和语义正确的图像是有道理的。机器人领域不太在意行为克隆的真实分布，只是借它引导通常稀疏且初次难以成功的高奖励区域（比如到底拿没拿起咖啡杯）。但如果用的是可能被"利用"的密集奖励，KL 约束就有用了——比如"杯子举多高"这种奖励，很容易被往上抛的动作钻空子。
DPPO 和 Flow-GRPO 目标对比如下：
DPPO 目标
Flow-GRPO 目标
Flow-GRPO 的组大小 G 可以替代 GAE 做优势估计。KL 约束确保新策略不会偏离原策略太多，能防止收敛时的发散行为。策略比率则保证更新幅度不要太大。加上 KL 后损失变成：
带 KL 约束的新 DPPO 目标
观察到的现象是：动作没有像之前那样收敛到一两个模式，而是保留了更多圆形分布的形状，分散在多个奖励模式周围。总奖励偏低，但这在预期之内。Flow-GRPO 论文也有类似发现：
…我们发现省略 KL 会导致视觉多样性崩溃，这是一种奖励利用的形式…（第 5.2 节）
分布在多个高奖励模式上，对应现实中完成任务有多种方式的情况（可以抓杯身也可以抓杯把）。KL 约束还能增加泛化性，防止只收敛到单一高奖励模式。比如普通 DPPO 可能只学会抓杯身，碰到杯子烫得不行的分布外场景就傻了；加了 KL 约束的 DPPO 还知道可以抓杯把。
即便抓杯把本来不在演示分布里，这个好处也可能成立。值得后续研究的问题是：PPO 更新中的 KL 约束到底保持的是预训练分布的形状，还是分布本身？在这个玩具环境里，如果带 KL 的 DPPO 最优策略确实收敛到均匀分布在 radius=1.5 圆上，就可以定性地说形状被保留了，只是低奖励特性被替换。如果 KL 只是把动作值锁在 radius=1.0，那就不成立了。
消融实验
微调跑通之后，就可以看看 PPO 各组件对性能的影响。
只微调最后几个扩散步骤
DPPO 论文建议提高效率的做法是：预训练后复制两份模型，一份冻结用于去噪前面的时间步，另一份微调用于去噪最后几步（附录 C.2 建议 10% 来平衡效率）。但在这个环境里，30% 到 50% 似乎更合适（总共 50 个去噪步骤）。
只微调最后 10%、30%、50% 的步骤（从左到右）。30% 到 50% 之间效果明显更好
这个环境还可以对比不同设置下的扩散轨迹，训练结束后可视化 20 个样本：
只微调最后 10%、30%、50% 步骤的采样轨迹（从左到右）
放大 10% 微调步骤产生的轨迹（最左边），可以看到样本越过预训练流形后有个向高奖励区域的急剧"转向"。转向后面的去噪步骤就是被微调的模型。有意思的是，微调步骤越多，这个转向越平滑，但预期还是会在某个地方出现——最左边轨迹在第 90 百分位步骤能看到，中间轨迹偶尔在第 70 百分位出现，最右边第 50 百分位已经是平滑过渡了。如果转向的急剧程度和微调效果差相关（急剧可能意味着最后几步过度补偿），那可以考虑用轨迹急剧程度作为拟合质量的指标，尤其是高维场景下不容易定位问题的时候。
跟微调整个轨迹的结果对比：
线条颜色更深，说明显著地把样本推向了高奖励区域，初始扩散步骤的重要性可见一斑。
策略比率 eps clip 和学习率的交互
直觉上这两个东西作用类似。策略比率控制策略变化速度，actor 学习率也决定这一点。
低/高 clip 与学习率的对比（clip = 0.1/0.4，lr = 1e-4, 5e-3）。高 clip 意味着允许更大的策略偏移
学习率的影响压过了策略裁剪，这说得通——参数空间偏移太大的话，策略比率会变得巨大。跑了几个实验后结论很清楚：学习率最需要调，策略裁剪挡不住过激更新（哪怕 clip 设到 0.01 配上高学习率也没用）。有意思的是，低学习率似乎有助于保留奖励区域的多个模式。
移除策略比率
完全去掉策略比率，min() 两边都设成优势值乘对数概率（注意如果只用 A 不带 log prob，梯度就断了）。动作收敛到比不加 KL 项更紧密的分布（跟上一节高 clip 结果很像），不过奖励依然挺高。这也暴露了环境复杂度的局限——没有性能掉下去就回不来的区域，而策略比率本来就是为防这个设计的。不过有趣的是，这又是一个能防止奖励模式崩溃的因素。另一个有趣现象是训练久了会在多个奖励模式之间跳——像是高学习率行为的稍微稳定版。
其他超参的一些观察
优化 epoch 数确实和 eps clip 成反比，两个超参都在权衡每次更新的策略改进幅度。
DPPO 更新间隔的时间步数和学习率成反比，两者都在权衡策略改进的速度。
总结
这篇文章解释了如何为单步环境中的扩散模型实现 DPPO，希望能提供一个比典型机器人环境更容易理解训练动态的平台。跑了只微调最后几个去噪步骤、调各种 PPO 超参的实验。大家可以自己从这些结果里得出结论，也可以动手改改环境，看能不能提升样本效率——这仍然是 PPO 的关键瓶颈。
代码在这里：https://avoid.overfit.cn/post/f27f00300f6c4bf79312ed79a23ae9df
作者： Neel
