問題定義のYAML検証とメタデータ標準化/インデックス化の提案（例: RTC-001のYAMLパースエラー）

[ootakazuhiko]

背景

AE Framework から req2run-benchmark の問題を実行したところ、RTC-001 で YAML パースエラーが発生しました。他の問題は順次実行・レポート生成できています。

• 事象（抜粋）:

• 実行方法:

改善提案

1. YAML 検証の自動化（CI）

   • yamllint + スキーマ検証（ajv など）を導入し、構文/構造の逸脱を早期検出
   • スキーマ（problem定義: id, title, category, difficulty, requirements 等）をレポジトリ内に明記

2. 問題ID・カテゴリ・難易度の標準化

   • ファイル名（CLI-XXX/WEB-XXX/…）とメタデータ（category, difficulty）の整合性を検査
   • 命名規則の lint を追加（PR時に自動チェック）

3. 問題インデックスの提供

   • problems/index.json を自動生成（id, category, difficulty, path を列挙）
   • フレームワーク側が "発見→実行" を自動化しやすくなります

4. CI/PR 向けスモークセット

   • basic 中心の軽量セット（3〜5問）を ci/smoke-set.yaml で提供
   • 下流（ae-framework 等）での CI スモークに活用

5. 互換性とバージョニング

   • セマンティックバージョニング方針
   • 互換性マトリクス（req2run-benchmark × ユーザー側フレームワーク）
   • 破壊的変更のガイド/マイグレーションの雛形

受け入れ基準（例）

• RTC-001 を含む全問題がスキーマ+lint を通過
• problems/index.json が自動生成され、id, category, difficulty, path が列挙される
• ci/smoke-set.yaml が整備され、3〜5問の軽量実行が可能
• PR 時の CI で YAML 検証が実行される

追加情報

• 実行環境: Node 22 / pnpm 10 / Linux
• 下流: AE Framework 側レポートは 成功/失敗 や時間を記録済み（評価値は現状軽量実装）