Skip to content

Вариант B: абляция осей GF+A/PolyQ по единой downstream-BPT (SW-proxy) - #275

Open
gHashTag wants to merge 1 commit into
mainfrom
wave-loop-gfa-polyq-ablation-30e
Open

Вариант B: абляция осей GF+A/PolyQ по единой downstream-BPT (SW-proxy)#275
gHashTag wants to merge 1 commit into
mainfrom
wave-loop-gfa-polyq-ablation-30e

Conversation

@gHashTag

Copy link
Copy Markdown
Owner

Что

Прямая бит-выровненная абляция двух осей адаптивности по ЕДИНОЙ downstream-метрике (bits/token) на микро-LM (4L d=128, seed=20260730).

  • GF+A — построчный межформатный выбор кармана из φ-каталога {φ-split, e2, int, lns}.
  • PolyQ-proxy — поканальная activation-aware разрядность {2,4,8} (водоналивной по важности H_jj=E[x_j²]), в духе VBQ (arXiv:2607.02893) и PolyQ (arXiv:2607.14618).

Результат [измерено — SW proxy, CPU]

Ср. бюджет ΔBPT(PolyQ−GF+A) порог 0.0195
4 бит +0.01150 ниже
6 бит +0.00268 ниже
8 бит −0.00002 ниже

Все значения ниже порога значимости Parameter Golf → оси downstream-неотличимы (ортогональны); ни одна не доминирует. БЕЗ заявлений «обходит».

Границы честности

(i) микро-масштаб = направление, НЕ величина; (ii) PolyQ-proxy без компиляторных кернелов (замер качества, не скорости); (iii) оверхед заголовков не вычтен; (iv) Hessian снят только с FFN (fused MHA не ловится хуком).

…roxy)

Micro-LM (4L d=128, seed=20260730), single downstream metric bits/token,
budget-aligned at mean 4/6/8 bits. GF+A (per-row cross-format pocket choice)
vs PolyQ-proxy (per-column activation-aware bit-width water-filling).
Result: dBPT below Parameter Golf significance threshold (0.0195 BPT) on all
budgets -> axes downstream-indistinguishable (orthogonal). No superiority claim.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant