async fastsac: update() 指标整体错位一位，且未持有的 CUDA graph 张量在日志路径崩溃 #86

现象

FastSacAgent.update() 返回的 metrics 存在两个问题（引入于 #74 的 fused learner updates）：

• 指标标签整体错位一位："actor_loss" 实际记录的是 target_values.min()（tv_min），"policy_entropy" 实际记录的是 actor loss，真正的 neg_logp 从未被记录——perf(fastsac): fast async learner pipeline — batched drain, CUDA-IPC ring, fused updates #74 合入后所有 async fastsac 训练的这两条曲线都是错位数据；
• async learner 日志路径崩溃：当 update() 的最后一个梯度步跳过 policy 更新时（policy_frequency > 1 时周期性发生），携带进 metrics 的 tv_min 是未经 _own() 的 CUDA graph 池张量，下一次 replay 使其失效后，learner 在日志的 float(v) 处直接抛出：

RuntimeError: Error: accessing tensor output of CUDAGraphs that has been
overwritten by a subsequent run.
Stack trace: ... torch_dynamo_resume_in__critic_backward_at_274:
target_values.min().detach().float().clone()

根因

_update_main 的返回元组是 4 元（qf_loss, alpha_loss, tv_max, tv_min），但 update() 循环内仍按 3 元布局派生 actor pair：

actor_pair = (last[3], last[4])      # 取到 (tv_min, actor_loss)，不是 (actor_loss, neg_logp)
last = (*main_outputs, *actor_pair)  # 6 元，metrics dict 按 5 元布局索引

触发条件

policy_frequency > 1（默认 2）且走到日志发射路径（logging.interval 足够小、warmup 结束后）。默认 logging.interval=100 的短训练通常踩不到崩溃，因此长期未被发现；指标错位则自 #74 起一直存在。

修复

actor pair 显式跨迭代携带，metrics 五槽布局取 main_outputs[:3] 组合；新增 CPU 哨兵回归测试（未修复代码上失败于 assert 4.0 == 1234.5，修复后通过）。详见关联 PR。

环境

• main @ 41338b9（bug 由 perf(fastsac): fast async learner pipeline — batched drain, CUDA-IPC ring, fused updates #74 引入，feat(fastsac): multi-collector/multi-learner async training — structured topology, unified drain & startup hardening #76/perf(test): speed up pytest via CI cache and smoke test parametrization #81 仍带）
• 复现：python scripts/train.py task=g1-wbt-dance/motrix.fastsac num_envs=32 logging.interval=10 algo.trainer.num_learning_iterations=40