AIモデルはベンチマークだけで選ばない―LunaとAstraの実作業比較で見る開発評価

CodexのGPT-5.6 LunaとGPT-6 Astraへ同じAstro改修を任せた実測をもとに、AIモデルを開発で比べるときに見る項目を考えます。要件達成、時間、変更範囲、検証、手戻り、利用枠を分けて確認します。
gpt-5-6-lunaのタグが付いた記事です。
2件の記事

CodexのGPT-5.6 LunaとGPT-6 Astraへ同じAstro改修を任せた実測をもとに、AIモデルを開発で比べるときに見る項目を考えます。要件達成、時間、変更範囲、検証、手戻り、利用枠を分けて確認します。

CodexのGPT-5.6 LunaとGPT-6 Astraへ実際のAstro改修を任せ、TOP、404、リンク切れ検出、画像最適化で時間・差分・検証範囲・利用枠を比較。4回目はAstraを思考量「軽」まで下げましたが、5時間枠を使い切り比較タスクを完走できませんでした。