Skip to content

release-verification: 検証用の Pull Request を閉じると、前の版と同じ入力でリリース後テストを再現できない #835

Description

@takemi-ohama

何を見つけたか

リリース後テストの AC12(読めない PATH と kiro-cli が無い環境で cross-review の開始の手順が通ること)は、生きた Pull Request を 1 本必要とする。10.16.0 で使った検証用 PR #812 は閉じられており、ブランチも消えていたため、同じ手順を 10.16.1 で再実行できなかった。

❌ gh pr checkout --detach #812 失敗: fatal: couldn't find remote ref refs/heads/verify/10.16.0-live
init exit=1

10.16.1 では検証用 PR #833 を新しく作り直して確かめた(合格)。前の版と同じ対象で比べられないため、「直った」ことは言えても「同じ条件で比べた」ことは言えない。

どこで見つけたか

マイルストーン 17(ndf 10.16.1)の仕上げの持ち場。state.py init 812 の実行。

なぜこの変更の範囲外なのか

#811 #813 の受け入れ条件にも、cross-review の実装にも含まれない。release-verification の手順(検証用の Pull Request の扱い)の問題である。

直さないと何が起きるか

版ごとに検証用の Pull Request を作り直すことになり、毎回のリリース後テストで PR が 1 本増える。閉じれば再現できず、残せば未マージの PR が溜まる。加えて、前の版の不合格を同じ入力で再現する経路が無くなるため、退行の検知が「テストが通ること」だけに寄る。

直し方の候補: (a) 検証用 Pull Request を閉じるときに head の SHA と再作成の手順を記録へ残す(release-verification の出力物へ 1 行)、(b) 開始の手順の検証を、Pull Request を要らない経路(参加者の解決だけを通す前段)で受け入れ条件に書き直す。今回は (b) の前段と (a) の本体の両方を実行しており、前段だけでも版を見分けられた(10.16.0 は PermissionError で exit=1、10.16.1 は exit=0)。

由来

PR #831(ndf 10.16.1 の配布)のリリース後テスト

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area: ndf-skillNDF の Skill 本体enhancementNew feature or requestpriority: medium保守性・設計一貫性など、計画的に対応する

    Type

    No type

    Projects

    No projects

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions