Skip to content

3 層の初回の測定で supervisor が割る候補(実作業の中央値 296k・最大充填 787k)、worker の 24 件中 8 件が実作業 < 固定費 #773

Description

@takemi-ohama

何を見つけたか

v10.15.0 のまとまり(8 課題、conductor のセッション 1 つ)を配布した版の skill-stats.py --agents --session <conductor> で測った初回の結果である。--window-limit は既定(200,000)。

持ち場 モデル 件数 固定費の中央値 実作業の中央値 実作業 < 固定費 最大充填の最大
conductor - claude-opus-5 1 35689 376279 0 411968 割る候補
supervisor その他 claude-opus-5 18 40354 295946 1 787115 割る候補
supervisor その他 claude-sonnet-5 1 45294 252629 0 297923 割る候補
worker 修正 claude-sonnet-5 1 43830 26672 1 70502
worker その他 claude-opus-5 21 40245 58871 6 132892
worker その他 claude-sonnet-5 2 44909 35240 1 104798
持ち場 supervisor supervisor の実作業 worker の件数 supervisor と worker の固定費の合計
その他 1 447407 12 526211 worker を使いすぎ

3 つの事実が読める。

  1. supervisor の実作業の中央値(295,946)が --window-limit を超える。 最大充填の上位 3 件(787,115 / 641,503 / 487,555)は応答数 468 / 272 / 209、所要 1300 / 1251 / 318 分で、設計 PR のクロスレビューを 20 ラウンド・38 ラウンド回した supervisor と重なる。収束ループの 1 ラウンドごとの差分と指摘が supervisor 自身の context window に積まれている
  2. worker の 24 件中 8 件が実作業 < 固定費(opus 21 件中 6 件、sonnet 3 件中 2 件)。固定費 40k を払って 26k〜37k の作業をしている worker がある
  3. 1 つの supervisor が worker を 12 本起動し、固定費の合計(526,211)が自身の実作業(447,407)を上回る

どこで見つけたか

v10.15.0 の振り返り(issue #550 のコメント)の「context window の大きさ」の表。測定は plugins/ndf/skills/skill-stats/scripts/skill-stats.py --agents --session 95dd816c-…(タグ ndf--v10.15.0)。

なぜこの変更の範囲外なのか

#550 の受け入れ条件は「測定が retrospective の出力に集計として現れる」ことと「粒度の基準が比で書かれている」ことまでで、測った結果に基づく切れ目の見直しは「前提: 境界の 4 点は上限ではなく初期値である。測った結果、実作業が固定費を下回る工程があれば隣と束ねる。逆に 1 つの窓が劣化の目安に届くなら割る」と次の判断へ送っている。持ち場がすべて その他 に落ちる件は #768 が扱う。

直さないと何が起きるか

agent-layers.md の切れ目(持ち場 5 つ)のまま次のまとまりを通すと、設計の supervisor が同じ形で 700k を超え、context-window.md の劣化の目安(遅くとも 20 万で切る)を守れない。worker の側は固定費が実作業を上回る起動が 3 分の 1 残る。

直し方の候補

由来

issue #550(v10.15.0 の振り返り)

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area: ndf-skillNDF の Skill 本体enhancementNew feature or requestpriority: medium保守性・設計一貫性など、計画的に対応する

    Type

    No type

    Projects

    No projects

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions