research: Learning in Referencing — 22 组实证；🔴 换词控制推翻了参数化记忆线的「概念」解读（25 处自我推翻）

[oratis]

主文档：research/learning-in-referencing/REPORT.md

这是什么

一个新论文方向（目标 COLM/ICLR 2027）的阶段研究成果：让 LLM 在预训练之后、于交互（引用）中建立经过验证的、永久的、按对话者隔离的新概念。

本 PR 只新增 docs/ 与 research/ 下的文档与实验代码，不触碰产品代码。

核心结论

定位：空白不在「有没有准入门控」，而在门控用什么信号。跨持续学习/记忆架构/agentic 记忆，所有永久固化门的信号穷尽落在十类代理上（损失·参数漂移·容量·新颖性·梯度干扰·代表性·类别平衡·随机·不确定性·来源可信），「无 GT、无外部 oracle 的概念级正确性」一列为空。

实证：压缩增益门成立——22 个 gavagai 对，margin +4.08 nats 95%CI[+2.52,+5.70]，19/22，p=0.00043。
但最重要的发现是**「压缩什么」比「用什么判据」更关键**：

观测量	margin	显著性
老师的自由陈述	+0.68 nats	p=0.36 ❌
老师的用词决策序列	+4.92 nats	p=0.0039 ✅

三个前置条件（原设计全都漏了）：观测量要对 / 基座要有能力 / 基座要肯照做。
后两者对缩放的反应相反（G4 无信号型 0.562→0.812 改善；G5 条件化失败 0.812→0.000 恶化）⟹ 「放大模型」不是通用解药。

★ 10 处自我推翻

报告第 4 节逐条记录了我方先提出、后被自己的调研或实验推翻的主张，包括：

• 「所有门控只调写入强度」→ 第三轮推翻（DEN/SEMA/SAGE 都是真门控）
• 「推理期写入 × 跨会话持久从未同时成立」→ 上下文蒸馏族已填上该格
• 「放大模型可解」→ 3B 上 margin 涨 4× 但 AUC 反降
• 「σ_null 是盲的」→ 被自己的数据纠正（是校准问题不是盲区）
• 忠实性探针 F(c)、/base 归一化 → 试了，失败（存档以免重复劳动）
• LMLM 的 venue 与机制归因、Sharpening 的定理归因 → 第六轮改正

其中 6 处来自设计时特意埋的诊断项——例如朴素压缩门表面 8/8，被自埋的 ΔNLL 拆解否掉（92% 的 margin 来自长度罚，词级 margin 仅 +0.02）。只报 G 就会是假阳性结论。

🔴 一条优先权风险

arXiv:2607.08032（2026-07-09）已在开放问题中提出与压缩增益门同构的写入准入判据（基于边际任务条件信息量 I*(Q)），但只提议程、未实现未实验。
贡献声明已据此最终收紧为：「尚无方法【实现并实证】基于压缩增益的、GT-free 且无外部 oracle 的写入准入门控」，并将其作为 concurrent position work 正面引用。

证据等级

• 家族 A–I：经 3 票对抗验证（✅）
• 家族 J–P：第五、六轮的正式 Verify 阶段未跑完；第六轮抓取代理完成了 pdftotext 全文穷举 + 近似命中逐条核查，故标 ✅ᶠ（强于 🔍、弱于 ✅）
• 未解决项与方法学限制在报告第 5 节全部列出（E5 条件化失败、误收 3 个 M′、内化不幂等、迭代内化坍缩、单模型族、22 items）

复现

全部实验零训练算力（冻结基座 + 纯 prompt，单机 MPS）：

cd research/learning-in-referencing/p0
uv venv --python 3.12 .venv && uv pip install torch transformers
.venv/bin/python p0c_decision_mdl.py                              # 核心信号
.venv/bin/python p0e_v2_eval.py Qwen/Qwen2.5-1.5B-Instruct bf16   # 22 items + CI
.venv/bin/python p0j_calibration.py                               # 跨规模校准（纯分析）

🤖 Generated with Claude Code

[oratis]

第七轮 3 票验证结果（PR 已更新）

前两轮的 Verify 阶段都卡住没跑完，这轮把范围收窄到 8 篇后成功执行（103 agent，105 主张 → 25 验证 → 18 确认 7 否决）。

🔴 立论支点的绝对表述被证伪

arXiv:2606.03979（Language Models Need Sleep）的 Dreaming 阶段有两道真实的写入前筛选：

• 梯度重要性 Top-k 拒采 —— ARC 上**「每任务采 60 条 dream、拒 45 条」**
• 继承自 SEAL 的二值奖励 r = {1 if improves, 0 otherwise}

但两者判据都是【可学习性/效用】，不是正确性/事实核验。 贡献声明因此第三次收紧：

「尚无方法【实现并实证】以压缩增益 / MDL 为判据、GT-free 且无外部 oracle 的写入准入门控。」

🔴 同时改正了我方两处实质错误（都在 2605.26099）

1. 作用域：N 次 pass 只作用于 L=24 token 的当前窗口，不是"整个累积上下文"
2. 定性（更严重）：其 fast weights 是 SSM 定长递归状态、每序列零初始化（permanent/cross-session/continual 全 0）——不是持久参数。我方原先称其"把睡眠期落到权重上"是错的，已撤回。

✅ 新确认（3 票 + 全文穷举）

Sleep-time Compute 不写权重：LaTeX 源码级 weight/gradient/LoRA/SGD 全 0；所用模型全为闭源 API 结构上无法写权重；官方 repo 无 torch/peft。数字 5×/+13%/+18% 属实。唯一写入规则是新近性 + 似然，参考实现是无条件覆写。

🔴 下一轮最高优先：GATES

2606.03979 点名 GATES 用 consensus-gating「按多条 tutor trace 的一致性门控学习」——一致性是无需 GT 的正确性代理，直接落在我方主张的位置上。若属实需再次收紧。

❗ 覆盖缺口（已在报告中明确标注）

J 族 3 篇 + P 族 2 篇无一条主张通过验证，仍仅摘要级。相关事实（Snell 的"不需 GT"、SPIDER +9%、OPCD 机制、Memory Grafting 数字等）明确标注为不得写入论文。

---

自我推翻清单从 10 条增至 12 条；另沉淀了一套核查 SOP（子串误报清单如 gating ⊂ backpropagating、词边界+substring 双跑、arXiv HTML 曾返回错篇故须用正文水印校验）。

[oratis]

第八轮：GATES 确认为反例 —— 贡献声明第四次收紧（定稿）

上一条评论里我预判「GATES 有相当概率构成反例」。应验了。

🔴 GATES 是一个 GT-free 的二值写入准入门

arXiv:2602.20574v1（Stein / Huang / Goldstein, UMD）—— PDF 水印 + LaTeX e-print + HTML 三源互证：

• 判据 = k=8 条 tutor rollout 答案的一致度 ≥4/8；未过门者 "contributes zero loss across all objectives"
• 数学确证是硬性准入而非降权：g_i·e_{i,j} 同时出现在 Eq.1 的分子与归一化分母中 → 被门掉的项从分母消失
• 作者自陈："agreement… as a proxy for correctness"、"no external teacher or reward model is involved"
• 亲自与推理期方法划界："it decides when to distill, not what to answer"

且非首创：LMSI（arXiv:2210.11610, 2022）早已用多数投票筛选自训练数据，明言 "we do not use any ground truth labels to filter"。GATES 自己承认 consensus filtering 是 "well-established"。

✅ 但我方在另外两轴存活 —— 这反而让 delta 更精确

轴	GATES / LMSI	我方
判据类型	答案一致性；全族 MDL/description length/compression 词边界命中 = 0	压缩增益 / MDL
门控环节	训练期数据/梯度准入，作用于固定预生成题集	推理期按对话者隔离的持久写入

❌ SEAL 不构成反例

奖励需每个 context 配带 gold label 的 τ；论文 Limitations 自述这 "prevents RL training of SEAL from scaling to unlabeled corpora"。且筛选在生成器 RL 训练期，部署写入期无条件聚合、完全无门。

★ 一条对我方有利的反向证据

arXiv:2607.08065 的大规模审计（53 runners × K=50 × 265,000 samples）：一致性只是弱预测子（Spearman ρ 0.20–0.59），高一致的 gpt-4.1 在 GPQA 上仍 48% 出错 —— "Self-consistency is not accuracy… unreliable as a standalone confidence score."

⟹ 可论证：一致性类信号 ≠ 压缩类判据，且共识门控的代理效力本身存疑。

🚫 三条硬性禁令（已写入文档）

1. 不得再写「尚无 GT-free 的写入准入门控」—— 已被彻底证伪
2. 不得保留「无外部 oracle」作为独立卖点 —— 攻防上得不偿失
3. 用「写入」必须带 scope 注解（推理期/持久/按条），否则与 GATES 的训练准入不可区分

最终措辞（摘要版 + Related Work 收口版）已定稿写入 REPORT §4。

---

自我推翻清单 12 → 13 条。剩余最大风险面：Prompt Distillation (2412.14964) 与 OPCD (2602.12275) 连续两轮未通过验证——若任一含 GT-free 的写入侧筛选，声明仍可能被推翻。

[oratis]

第九轮定向验证 — 最后风险口闭合 ✅（commit 3d417c8）

只查两篇（连续两轮未通过对抗验证的最大风险面）：2412.14964（Prompt Distillation）与 2602.12275（OPCD）。全文级（PDF，水印校验 arXiv:2412.14964v2 / arXiv:2602.12275v2，md5 记录在案），11 条主张 × 3 独立对抗验证者 = 33 票全数 3–0 确认。

★ 决定性问题：有无 GT-free 的写入侧准入筛选？——都没有

论文	裁决
2412.14964	完全无筛：30+ 关键词词边界+substring 双跑穷举零命中（gate/gating 9 个 raw 命中全为 mitigate/investigate 子串误报，另新收录 gate ⊂ Bagatella 人名误报）。噪声生成答案不过滤，靠高温软标签蒸馏吸收（"answers serve as inputs (not direct targets)"）。附录 K 五分位分组是诊断性消融，非管线筛选
2602.12275	唯一筛选「filtered EKD」= 在 1000 道带 GT 的 math validation / 128 局文字游戏环境得分上打分取最高 → 判据是任务表现，需要标签/环境 oracle，非 GT-free；触发在蒸馏训练前的数据选择期。其明确 GT-free 的「test-time EKD」设定随机选取，论文自述 "no ground-truth labels are available and the quality of experiential knowledge is not pre-evaluated"

⟹ 第八轮定稿贡献声明维持原文，免于第五次收紧。 OPCD 反而构成反向支持——它把 GT-free 部署场景明确留在「质量不预评」状态，可在 Related Work 中直接引作空白存在性的文献锚点。

同轮确认（两篇解禁，可按收紧措辞写入论文）

• 2412.14964：teacher = 同一模型带文档 prompt ✅、同一模型 + LoRA 翻转切换角色（rank 512–1024）✅、训练全程无 GT ✅、无更强 teacher（更大 expert 反因风格失配变差）✅
• OPCD：reverse KL + on-policy 机制（学生无 context 采样自身轨迹、top-256 学生词表）✅、两应用（experiential / system prompt distillation）✅

新增 2 处我方转述收紧（§4 #14/#15，自我推翻总数 13 → 15）

1. 「PD 多规模超过 RAG」→ 纯闭卷仅 Squadshifts/Llama-8B 追平；「超过」依赖 PD+RAG 组合（三规模）或 PD XL（Squadshifts 均值）；HotpotQA 上 RAG 对纯闭卷 PD 全面占优
2. 「OPCD 更好保留 OOD」→ 边际（对 off-policy CD 仅 +0.1~+0.5、落在 std 内；对 base 持平或微降），且 checkpoint 按 test accuracy 挑选（A.3/B.2），数字受通胀

状态与下一步

• 仍禁写（仅摘要级）：Snell 2209.15189 机制细节与「SPIDER +9%」、DyPRAG 2503.23895、Memory Grafting 2605.20948
• §6 已推进：① 按第八轮定稿措辞改写 Introduction / Related Work → ② 进 P1/P2（构造语言生成器 → 三臂对照 → 记忆层 + 隔离测试）
• 原始裁决（33 票 + 逐条证据引文 + PDF md5）存于 research/learning-in-referencing/r9/verification.json

🤖 Generated with Claude Code

[oratis]

P3 冲突词隔离测试完成 —— P4 性质实证

8 对冲突词（同一伪词、两位老师教互斥含义）× 每对 8 条程序化留出决策。冻结 Qwen2.5-1.5B，零训练。

结果

	分区（只含 A 的概念）	共享（A+B 同时在场）
对 A 留出集的判别 AUC	1.000（8/8 对完美）	0.754（6/8 下降；最差 ISO-08 掉到 0.281 = 反向）
★ 压缩门选对 A 的真实含义	8/8 = 100%	4/8 = 50% ≈ 随机

没有分区，门就无法把概念归属到人——不是模型不行，而是信息上就不可能：两个互斥定义同时在场时，观测数据本身不含"哪个属于谁"。

隔离是机制正确性的前提，不是工程洁癖。

⚠️ 三处必须说清的限定

1. 共享条件的门控比较是同样两句话的不同顺序，测的是"位置是否承载归属"（答案：不承载）。不得表述为"门在两个候选间选错"。
2. 共享条件是强形式污染（互斥定义直接同处一境），不是 PersistBench 那种隐蔽的自然泄漏——度量不同，勿与其 53% 直接比数值。
3. 🔴 本轮是上下文级分区，尚未实现 product-key 记忆层的 uid 硬分区——研究文档 §7.4 的"架构性零干扰"主张仍未实证。

★ 又一次"先验仪器再下结论"救了结论

初版用 0.5 阈值算准确率，得到 0.00 的假象。查证发现模型对陌生伪词谓词有系统性 No 偏置：

上下文	实例	p(yes)
komalor means blue.	蓝色项	0.245–0.349
同上	红色项	0.020–0.023

判别信号强约 14×，但绝对值全在 0.5 以下。

这反过来佐证了机制设计：压缩门用连续 NLL 而非阈值化决策，不受该偏置影响——同一条 ISO-01 上"准确率 0.00"而门控 ✅。

（继 P0h 之后第二次。另修两个实现 bug：mw.entities() 生成器被一次性耗尽；固定阈值改为阈值无关 AUC。）

详见 p3/README.md。

下一步：product-key 记忆层 + uid 硬分区——把上下文级分区升级为架构性零干扰，这是 P3 唯一未闭合项。

[oratis]

P4 端到端闭环 —— 四条性质第一次在同一流程里同时成立

① 教学 → ② 门控裁决 → ③ 写入 uid 分区 → ★④ 清空上下文 → ⑤ 新会话仅从该 uid 分区加载 → 作答

16 位老师（8 对冲突词），候选 = {真含义, 对方老师的含义, 2 个干扰颜色}。冻结 Qwen2.5-1.5B，零训练。

结果

环节	结果
② 门控裁决	16/16；真含义领先对方含义 +9.92 nats
⑤ 新会话（上下文已清空）	none 0.514 → ★partitioned 0.980
对照：取回错用户的概念	0.129（远低于随机，因两义互斥）
结构性零干扰	跨分区命中 0/16

四条性质：P1 全新 ✅ · P2 无 GT 自验证 ✅ · P3 持久 ✅（0.514→0.980）· P4 隔离 ✅

🔴 共享库的失效模式是「后写覆盖」，不是「两义并存」

组	分区 AUC	共享 AUC
uA 先写	0.984	0.148 — 8/8 概念被彻底摧毁
uB 后写	0.977	0.977 — 完好

均值 0.562 是"A 被毁 + B 完好"的平均，不可读作整体退化。
且这与 P3 的共享条件是不同失效模式（P3 是两义同处上下文互相干扰；P4 是存储层 last-write-wins）。

⚠️ 三条必须说清的限定

1. 🔴 层级：这是 L1 外部记忆 + 检索纪律，不是研究文档 §7.4 提议的 L4 product-key 参数化记忆层（需训练）。按我方自己的五判据，本方案满足 I4 与隔离，但不满足 I1 免检索 / I2 组合性——仍是"知道有这回事"，不是"学会了"。论文中不得说成参数级内化。
2. 门控任务比 P2 容易得多：4 个互斥颜色、领先 +9.92 nats。16/16 不可与 P2 核心域 AUC 0.915 相提并论。
3. 零干扰是构造性真理（键带 uid 前缀 + 按 uid 掩码），不是实证发现；实证的是它复现了隔离行为、且两个对照确实劣化。

详见 p4/README.md。

---

下一步：把 L1 外部记忆升级为 L4 参数化记忆层（product-key + uid 硬分区）——这是当前唯一需要突破零算力约束的一步。

[oratis]

论文正文初稿 + 投稿前一致性审计

1. Method / Experiments 草案 v1

接 Intro/RW 补齐 §3–§7（DRAFT_METHOD_EXPERIMENTS.md，英文正文 + 中文编辑注记）：

• §3 Method — 观测量（决策序列而非自由陈述）→ 两部分 MDL + 安慰剂对照 → 零分布 z 校准 → 三态门
• §4 Setup — 构造语言 + 污染控制双保险；★ gavagai 对把 Quine 做成可控条件；为何用阈值无关 AUC
• §5 Results — 三臂对照 / 失效机制 / 作用域 / 隔离 / 端到端
• §6 Limitations — 五条，与 REPORT 未解决表一一对应
• §7 禁令自查表 — 8 条逐条勾

新增两条本稿特有的禁令：

4. 不得把 L1 外部记忆说成参数级内化 —— §3.3 明写 this store is external，§6(i) 独立成条：按我方自己的五判据，本方案满足 I4 与隔离，但不满足 I1 免检索 / I2 组合性，是"知道有这回事"不是"学会了"
5. 不得把 P4 门控 16/16 与 P2 核心域 AUC 0.915 相提并论 —— 前者是 4 个互斥颜色、领先 +9.92 nats，难度差一个量级

2. 🔴 一致性审计抓到一处真实残留

20 处自我推翻散落在 12 份文档里，正文改了而附录表格没跟着改是最易漏的一类错误。写了个审计器扫全库：

docs/RESEARCH_KNOWLEDGE_INTERNALIZATION.md 附录 J 的 LMLM 条目仍写着「NeurIPS 2025」+「损失掩码即准入门」 —— 这两条早在第六轮就已改正，但当时只改了正文。

已修正（v3 更名 Limited Memory LM；实为 CCFM workshop Oral 非主会；掩码是训练目标，真正的写入过滤器是标注管线的 Corrector）。

其余 24 处命中经逐条复核均为正当引用（自我推翻表的"我方原主张"列、四次收紧表的"被推翻的表述"列、两份草稿的禁令自查表——都是"为了禁止而引用"）。已在四次收紧表上方加注：该列仅作沿革记录，不得用作行文措辞。

审计器已固化为 tools/audit_retracted.py（11 条规则），输出明确标注**"放行 ≠ 正确，仍需人工复核"**——它是提醒器不是判官。投稿前及每次新增主张后应重跑。

---

当前状态：11 轮调研（🔍 全清零）· 13 组实证（四性质端到端跑通）· 20 处自我推翻 · 论文 Intro/RW + Method/Experiments 初稿齐备。

剩余：3 张图表 + 正式 bibkey；L4 参数化记忆层（唯一需要突破零算力约束的一步）。

[oratis]

L4 参数化记忆完成 —— I1「免检索」达成，并证明是分区而非容量在防干扰

这是唯一需要训练的一步（基座全程冻结，只训练记忆的 keys/values；记忆挂最后一层之后，梯度不反传任何 transformer block，单机数分钟）。

★ I1 免检索达成 —— P4 的 L1 方案不满足的那一条

上下文里完全没有该概念的任何陈述：

	探针 AUC
无记忆（冻结基座）	0.485 ≈ 随机
★ 参数化记忆	0.992（+0.507）
用他人分区	0.260（远低于随机）

★ 顺序写入：分区 vs 共享（同等总容量 512 槽）

已写入	uid 分区	共享槽
2	1.000	0.520 ← 第 2 次就崩
16	0.992（最低 0.960）	0.562（最低 0.000）

🔴 但分区版的零退化是构造性的——梯度掩码 → 先前用户的槽根本没被碰到。实测「写入时 AUC」与「最终 AUC」16/16 逐位相同。
不得报作"稀疏记忆抗崩塌"的实证。

✅ 有意义的结论只有一条：同等容量下，分区防住了、共享没防住 ⟹ 关键是分区，不是容量或稀疏性本身。

过程中两次失败，都靠先诊断而非猜测才定位

1. 全词表 CE（151k）稀释二元信号 → 记忆完全无效（三个条件 AUC 全同、提升 +0.000）
2. 原始点积路由塌缩 → 记忆退化为常量偏置。诊断链：线性探针 acc 1.000（信息在 h 里，设计点没死）→ 隐状态两两余弦 0.9937、‖h‖≈172 → 被路由到的不同槽数 1/12（决定性证据）。
   余弦归一化 + 温度后：loss 0.6377→0.0021、acc 0.50→1.00。

   ★ 一般性教训：提示只在细微语义处不同时，product-key 路由必须做余弦归一化。

---

综合收尾

REPORT 新增 §0 综合结论（可独立阅读）：四次收紧沿革 · 四性质状态 · 三个可迁移发现 · 三条"差点犯的错" · 未解决清单。

Method/Experiments 并入 P5，并修了两处因 P5 而过时的表述：

• §6(i) 原写"the store is external"——已被 P5 部分推翻，改为"深度与组合性"（final-layer memory 缺深度组合，I2 未验证）
• §4 原写"no training of any kind"——对 P5 不成立，改为"基座全程冻结、只训练 keys/values"

禁令自查表 8 → 10 条。一致性审计 0 处待处理。

---

当前状态

调研	11 轮，🔍 全清零
实证	14 组，四性质端到端 + L4
自我推翻	20 处
五判据	达成 I1 免检索 + I4 持久 + 隔离；I2 组合性未验证，I3/I5 未测

下一步：验证 I2 组合性（跨域/跨属性探针）；把 final-layer memory 上移到中间层（§7.4 原提案）。

[oratis]

P6 — I2 组合性：我方自设的限制被自己的实验推翻（自我推翻 #21）

五判据里最后一条未验证的（I2 组合性）已测。前面所有探针都来自同源微世界——那测的是泛化，不是组合。

跨域探针要求两步组合：① a ripe banana 是 yellow（预训练世界知识）× ② romi = yellow（推理期习得）⟹ Is a ripe banana romi? 从未被明说。

	域内探针	★ 跨域探针
base（无概念、无记忆）	0.485	0.500
L1 上下文注入	1.000	0.840
★ L4 参数化记忆	0.992	0.949
L4 − base	+0.507	+0.449
L4 − L1	−0.008	+0.109

前置检查：base 对这些真实物体颜色的世界知识命中 1.00（否则实验无意义）。

🔴 这推翻的是我方自己声明的限制

P5 §4 写过「final-layer memory 缺深度组合性」，并据此在 Method 草稿 §6(i) 写入 "we do not verify criterion I2"。
该断言从架构位置推测、从未实测——一测就反了。现已撤回，只保留结构事实：不参与中间层表征计算。

⟹ 新增纪律：自己声明的「限制」也必须做实验。未测的限制和未测的优点一样不可信。

⚠️ 三条必须同时写清的限定

1. base 跨域 0.500 是构造性的：冲突对对称（A 的 Yes 项正是 B 的 No 项），逐用户范围 [0.062, 0.938] 相互抵消 → 说明探针集跨用户平衡，不代表 base 校准良好。
2. 只测了「概念 ⊗ 世界知识」：概念⊗概念、否定/量化、多跳组合全部未测 ⟹ 不得泛化为「具备组合性」。
3. L4 为何反超 L1 是假说、未做消融（猜测上下文注入干扰了世界知识检索）——引用须标 hypothesis。

五判据最新状态

判据	状态
I1 免检索	✅ P5（0.485 → 0.992）
I2 组合性	◐ 部分成立 — 与世界知识 ✅；概念间未测
I3 隐式触发	🔴 未测
I4 跨会话持久	✅ P4/P5
I5 抗干扰	🔴 未测
（隔离）	✅ P3/P4/P5

同步范围

REPORT §3.9 + 自我推翻表（20 → 21 处）+ §0.2/0.4/0.5/§5/§6/§7；Method 草稿 §5.6/§6(i)/禁令 10；全景文档 L0–L5 表的 I2 列首次回填实证；p5/README.md §1 与 memory_layer.py 的残留（由一致性审计器抓到）；审计器新增 #21 两条规则并重跑 → 0 处残留。

📌 research/learning-in-referencing/p6/README.md

[oratis]

更正 + P7

🔴 先更正上一条评论里的一个数字

上一条我写「世界知识前置检查命中 1.00 ✅」。错的。 换 torch/transformers 环境重跑时发现，脚本实际打印的是：

red 3/4 · blue 3/4 · yellow 3/4 · green 2/4
平均 0.69 —— ⚠️ 世界知识不足，跨域结论受限

我把脚本的警告当成了通过。 而且判据也错——重犯了 P3 的 No 偏置坑（16 个正确颜色配对里 5 个 p_yes < 0.5，尽管负例低至 0.001）。改用阈值无关 AUC：0.891。P6 结论不变，世界知识确实可用。

P6 本身在新环境下逐用户 16/16 完全复现（0.949 / 0.840 / 0.992 逐位相同）。

结构性防复发：新增 tools/probe_metrics.py。P3 的教训写进了报告但没变成代码，所以第二次照犯。

---

P7 — 「概念 ⊗ 概念」（I2 的最后一格）

同一用户学两个概念（颜色 + 材质，各自独立教学），探针问从未教过的合取句式 Is X both w1 and w2?

臂	概念1	概念2	★ min(两半)
base	0.510	0.444	0.479
L1 定义进上下文	0.997	0.997	0.986
L4 合并训练	0.812	0.889	0.889
L4 顺序·共享 32 槽	0.590	0.931	0.750
L4 顺序·子区(只掩梯度)	0.483	0.826	0.576
★ L4 顺序·子区(写入+检索都掩)	0.927	0.847	0.653
单概念策略			0.500

自我推翻 #22：初稿把单概念策略上界算成 0.500，实为 0.750。判据必须拆成 conj|¬w2 与 conj|¬w1 两半取 min——单概念策略在此才必然 ≈ 0.5。裁决线设错会把单概念策略误判成组合。

🔴 自我推翻 #23：P5 的「分区解决了干扰」只对跨用户成立

同一分区内顺序写第二个概念会冲掉第一个：0.951 → 0.590（Δ −0.361）。

修法来自诊断而非猜测——子区版失败后（Δ −0.351，几乎等于不分区）先查：

检查	结果
w1 的槽 values 最大改动量	0.00e+00 → 梯度掩码有效，槽分毫未动
w1 探针 top-4 落在 w2 子区的比例	25% ← 决定性证据

★ 分区必须同时作用于写入与检索。 P5 之所以成功，正因为那里检索本来就按 uid 掩了——子区破坏了这个对称性。双掩码后 Δ +0.000，且每概念只有 16 槽 < seq 的 32 ⟹ 容量解释被排除。

🔴 但 Δ 0.000 是构造性的，不得报作"抗遗忘"。非构造性的只有两条：只掩写入不够（−0.351 ≈ 不分区的 −0.361）；修好它的那版容量更少。

⚠️ 代价：新的一条张力

可隔离性 ↑ ⟹ 组合性 ↓。严格按概念分区保住了单概念（0.927，Δ 0.000），却把合取压到 0.653（合并训练 0.889）。组合要两个概念在同一次检索里都被取到，隔离要它们永不相见——要求正好相反。

⟹ 「顺序到达 + 强组合」目前无解，已写进 §6(i)。另：L4 全线低于 L1（0.889 vs 0.986），参数化路线在组合上确有代价，未加掩饰。

五判据

判据	状态
I1 免检索	✅ P5
I2 组合性	✅ 两种形态（P6 ⊗世界知识、P7 ⊗概念）；否定/量化/多跳/同属性内两概念未测
I3 隐式触发	🔴 未测
I4 跨会话持久	✅ P4/P5
I5 抗干扰	🔴 未测
隔离	✅ 跨用户；◐ 用户内部需子区+双掩码，代价是组合性

顺带修了审计器一个缺陷：在子目录下跑会扫到 0 份文档却打印 ✅（假放行）→ 路径锚到仓库根，<10 份即拒绝给结论。

📌 p7/README.md

[oratis]

P8 — 五判据最后两格：I5 ✅ / I3 ❌，且 I3 的机制把前面所有结论统一了

I5 抗干扰 ✅

上下文里塞进另一位老师的含义（Note: in some dialects, w means <对方>.）：

臂	无干扰	无关长文	★ 冲突定义	降幅
base	0.545	0.525	0.033	−0.513
L1 上下文注入	0.988	0.917	0.912	−0.075
★ L4 参数化记忆	0.960	0.953	0.910	−0.050

关键对照在 base 那一行：base 没有概念，那条注释是它唯一的定义来源，于是照单全收、答案系统性反向（0.033）。⟹ 干扰被证明有效，L4 扛住不是因为模型没读它。参数化比上下文注入更抗干扰。

🔴 I3 隐式触发 ❌ —— 干净的负结果

不问定义，要求去用（二选一行动题，训练中从未出现的句式）：

臂	★ AUC	accuracy	选 A 比例
base	0.500	0.488	0.910
L1 定义进上下文	1.000	0.988	0.496
真英语词先验	1.000	0.979	0.479
★ L4 参数化记忆	0.507	0.492	0.914

零迁移。 任务完全可解，参数化记忆没有任何效果。

🔴 判据在这里又错了一次：初版只报 accuracy，而伪词条件下模型 91% 选 A，阈值法被偏置钉死在 0.5。这是 P3(No 偏置) → P6(前置检查) → P8(A 偏置) 同一类仪器错误的第三次，而且专为此抽出的 probe_metrics.auc 当时已经 import、却只用在了 I5 上。改 AUC 后结论不变——但那是运气不是方法。⟹ 抽出工具还不够，判据必须在每个新度量上被显式选择一次。

★ 机制：不是检索失败，是读出方向

观测	值	判读
行动题 top-4 落在训练用过的槽的比例	0.750	✅ 检索取到了 ⟹ H_route 被否
cos(m(h), W_yes − W_no)	+0.7926
cos(m(h), W_A − W_B)	+0.0027	← 近乎零
两读出方向本身的余弦	−0.0265	近乎正交
‖m(h)‖	14.279	不是太小，是方向不对

记忆学的是「这个决策格式下该往哪边推」，不是概念。

P8b — 回应「那多训几种格式不就行了」

H_readout 对此有可证伪的预言，直接测：

臂	F1 Yes/No	F2 A/B	F3 True/False（始终 held-out）
base	0.540	0.550	0.510
L1 定义进上下文	0.960	1.000	1.000
L4 训 F1	0.960	0.555	0.755
L4 训 F1+F2	0.902	0.795	0.645

加训 F2：F2 +0.240，但 F3 −0.110、F1 −0.058 ⟹ 换方向，不是累加。

比裁决更有力的是同序关系——只训 F1 时，迁移量随读出方向余弦单调：

测试格式	与 F1 的余弦	AUC	相对 base
F1 Yes/No	1.000	0.960	+0.420
F3 True/False	+0.1065	0.755	+0.245
F2 A/B	−0.0265	0.555	+0.005 ≈ 0

⚠️ 只有三个点，顺序一致而已，不得写成拟合出来的定律。

🔑 这条回溯限定了 P5–P7

实验	变的是	结果
P6 跨域探针	表层内容 · 同读出方向	✅ 0.949
P7 合取探针	表层句式 · 同读出方向	✅ 0.889
P8 I3	读出方向	❌ 0.507

精确主张只有一条：概念能跨表层句式迁移，不能跨读出方向迁移。
「泛化 ✅ / 组合 ✅ / 隐式触发 ❌」不是三个互不相干的结论，是同一条机制的三个侧面。
论文中 P5–P7 每条结论都已加作用域「在教学所用的决策格式内」（禁令 13）。

✅ 副产品：中间层记忆第一次有了实证动机

P5 曾错误声明 final-layer memory「缺深度组合性」（已被 P6 推翻撤回）。现在有了正确版本，而且是测出来的：它只在输出层动手，学到的东西天然绑死在训练任务的读出方向上。⚠️ 但中间层版本未做，不得声称它能解决（禁令 15）。

五判据最终状态

判据	状态
I1 免检索	✅ P5
I2 组合性	✅ 两种形态（P6/P7）—— 限于同一读出方向内
I3 隐式触发	❌ 不成立（0.507），且不是调参能补的
I4 跨会话持久	✅ P4/P5
I5 抗干扰	✅ 优于上下文注入
隔离	✅ 跨用户 · ◐ 用户内部（需双掩码，代价是组合性）

📌 p8/README.md · 诊断脚本 p8/diag_i3_mechanism.py

[oratis]

🔴 P9 / P9b / P9c — 我把自己整条参数化记忆线推翻了

先是好消息：P8 的推论成立

把记忆从输出层移到中间层，跨读出方向迁移成立。而且控制条件查清了真正的原因：

插入位置	F1（训练）	F2	F3	跨方向均值
base	0.540	0.550	0.510	0.530
L1 定义进上下文	0.960	1.000	1.000	1.000
★ L7 全位置	0.945	0.935	0.945	0.940
◇ L7@last（只改最后位置）	0.820	0.565	0.600	0.583
post-norm（=P5–P8）	0.970	0.555	0.770	0.663

L7@last 同样在 L7、其上同样有 20 层，只是仅改最后一个位置 → 0.583，比 post-norm 还低。⟹ 增益来自位置覆盖（改写描述物体的 token），不是深度。

然后这条结论自己打开了漏洞，我去堵，堵塌了

既然它改写的是物体表征，就可能只学会了「给蓝色物体打标」、根本没绑定到那个词。控制：训练不变，只换提示里那个伪词。

插入位置	本词 → 换成别人的词	落差均值
L7	0.945/0.935/0.935 → 0.930/0.895/0.935	0.018
post-norm	0.970/0.555/0.770 → 0.975/0.505/0.765	0.017

还剩一个辩解：单概念设置欠定（一个词时「w 指蓝色」与「给蓝色物体打标」在训练集上外延完全相同，那个词是常量、零信息）。P7 的两词设置是唯一例外——直接测，也不行：

提示里用的词	F1	F2	F3
w1（本词）	0.785	0.505	0.695
★ 换成同用户的 w2	0.790	0.570	0.645
own − within	−0.005	−0.065	+0.050

前置：w2 自己的探针 0.890，两个词都"学会"了 ⟹ 不是没学会导致的。

机制：两个方案因不同原因失败

观测	L7	post-norm
m(h) 换词后余弦	0.99998	0.787
路由命中槽 换词后重合率	1.000	0.957
决策方向上的投影	—	+1.690 → +1.047
★★ 【正例−负例】投影差	—	+4.443 → +4.327（保留 97%）

• L7：路由层面就看不见那个词。
• post-norm：看得见词，但 AUC 只看排序，而判别分量保留 97% ⟹ 词只平移偏置。

🔴 我在这里差点判反：只看 m(h) 余弦 0.787 会得出"路由确实读到了词 ✅"。是补了决策方向上的正负例投影差才发现变化分量与判别正交。⟹「输出变了」不等于「行为变了」。

处置

必须撤回：参数化记忆线不得写"学会了一个词 / 建立了一个概念"。
能站住的只有：「为每位对话者写入一个持久的、按分区隔离的、与词无关的物体级偏置」。

受影响	不受影响
P5 I1 · P6 I2⊗世界知识 · P7 I2⊗概念 · P8 I5 · P9 跨读出方向 的概念性解读	压缩增益门（P0–P4）——那条线里概念以文本存在、词是显式的
	按对话者隔离（P3/P4）——隔离的是分区，与绑定到什么无关

已落地：REPORT 顶部最高优先级警告 + §3.12 + 自我推翻 #25；p5–p8 四页 README 加降级横幅；Method 草稿加 SCOPE CORRECTION + §6(0) + 禁令 16/17；审计器加 #25 中英两条规则。

修法方向（全部未做，不得声称已解决）：键取在词的 token 位置而非整段末位；让两个词在同一物体上给出相反标签（P9c 方向对但强度不够——两词问不同属性，一个"红或木"的分级标就能同时糊弄过去）；显式的词条件路由。

📌 p9/README.md · 诊断 p9/diag_word_independence.py