何を見つけたか
リリース後テストの AC12(読めない PATH と kiro-cli が無い環境で cross-review の開始の手順が通ること)は、生きた Pull Request を 1 本必要とする。10.16.0 で使った検証用 PR #812 は閉じられており、ブランチも消えていたため、同じ手順を 10.16.1 で再実行できなかった。
❌ gh pr checkout --detach #812 失敗: fatal: couldn't find remote ref refs/heads/verify/10.16.0-live
init exit=1
10.16.1 では検証用 PR #833 を新しく作り直して確かめた(合格)。前の版と同じ対象で比べられないため、「直った」ことは言えても「同じ条件で比べた」ことは言えない。
どこで見つけたか
マイルストーン 17(ndf 10.16.1)の仕上げの持ち場。state.py init 812 の実行。
なぜこの変更の範囲外なのか
#811 #813 の受け入れ条件にも、cross-review の実装にも含まれない。release-verification の手順(検証用の Pull Request の扱い)の問題である。
直さないと何が起きるか
版ごとに検証用の Pull Request を作り直すことになり、毎回のリリース後テストで PR が 1 本増える。閉じれば再現できず、残せば未マージの PR が溜まる。加えて、前の版の不合格を同じ入力で再現する経路が無くなるため、退行の検知が「テストが通ること」だけに寄る。
直し方の候補: (a) 検証用 Pull Request を閉じるときに head の SHA と再作成の手順を記録へ残す(release-verification の出力物へ 1 行)、(b) 開始の手順の検証を、Pull Request を要らない経路(参加者の解決だけを通す前段)で受け入れ条件に書き直す。今回は (b) の前段と (a) の本体の両方を実行しており、前段だけでも版を見分けられた(10.16.0 は PermissionError で exit=1、10.16.1 は exit=0)。
由来
PR #831(ndf 10.16.1 の配布)のリリース後テスト
何を見つけたか
リリース後テストの AC12(読めない
PATHとkiro-cliが無い環境でcross-reviewの開始の手順が通ること)は、生きた Pull Request を 1 本必要とする。10.16.0 で使った検証用 PR #812 は閉じられており、ブランチも消えていたため、同じ手順を 10.16.1 で再実行できなかった。10.16.1 では検証用 PR #833 を新しく作り直して確かめた(合格)。前の版と同じ対象で比べられないため、「直った」ことは言えても「同じ条件で比べた」ことは言えない。
どこで見つけたか
マイルストーン 17(ndf 10.16.1)の仕上げの持ち場。
state.py init 812の実行。なぜこの変更の範囲外なのか
#811 #813 の受け入れ条件にも、
cross-reviewの実装にも含まれない。release-verificationの手順(検証用の Pull Request の扱い)の問題である。直さないと何が起きるか
版ごとに検証用の Pull Request を作り直すことになり、毎回のリリース後テストで PR が 1 本増える。閉じれば再現できず、残せば未マージの PR が溜まる。加えて、前の版の不合格を同じ入力で再現する経路が無くなるため、退行の検知が「テストが通ること」だけに寄る。
直し方の候補: (a) 検証用 Pull Request を閉じるときに head の SHA と再作成の手順を記録へ残す(
release-verificationの出力物へ 1 行)、(b) 開始の手順の検証を、Pull Request を要らない経路(参加者の解決だけを通す前段)で受け入れ条件に書き直す。今回は (b) の前段と (a) の本体の両方を実行しており、前段だけでも版を見分けられた(10.16.0 はPermissionErrorで exit=1、10.16.1 は exit=0)。由来
PR #831(ndf 10.16.1 の配布)のリリース後テスト