顧客の概要

顧客は、中国に本社を置く世界有数の多国籍テック企業であり、複数のプログラミング言語と複雑なコードベースにわたる長期的なソフトウェアエンジニアリングタスクを解決するために設計された、AIコーディングエージェントを開発している。

ビジネス課題

軌跡データの必要性： 安定した学習と強力な汎用性を確保するための、大規模かつ高品質な軌跡データが必要。
• 難易度の向上： モデルのロードマップに沿って、タスクを多様化させ、段階的に難易度を上げていく。
• ステップ精度の担保： ほぼ完璧なステップ精度と厳格な品質管理の義務付け（1つのステップの誤りが、軌跡全体を無効化するため）。
• 広範なカバー率： 様々なプログラミング言語や、多様な要求種類（バグ修正、環境の問題、機能開発など）を広範囲にカバーする。
• スケーリングの要件： 規模の拡大には、長年の実践的な開発およびプロジェクト保守の経験を持つ熟練した開発者が必要。
• 一貫性のある測定： 経時的な進捗を追跡し、トレーニングと評価ターゲットを確実に一致させるための、安定した一貫性のあるベンチマークとスコアリング手法が必要。

プロジェクト詳細

長期実行軌跡の収集・記録、品質保証フレームワーク設計・実行、タスクとシナリオの作成、複数言語のコードカバー率の確保、AIエージェントの評価と進捗追跡。

ソリューション

1. 標準化された生産パイプライン：タスク作成 ➔ 実行 ➔ 修正 ➔ 自動QA ➔ 人手によるQAにより、エラーを削減しながらスループットを向上。
2. ロードマップに適合したタスク生成：高速な更新サイクル、難易度コントロール、および学習ウェーブ全体における段階的なドメイン拡張。
3. 明確な評価基準に基づくエンドツーエンドのQA：多層チェック（ピアレビュー、スポットチェック、ゴールドスタンダードタスク）に加え、合格率、編集距離、修正時間、自己回復などの指標を導入。
4. スケーラブルなデリバリー：迅速なオンボーディング、定期的なパフォーマンス測定、およびコストと品質を最適化するためのスキル階層化。
5. 軌跡の品質管理：推論トレースの検証、ツール使用状況の検証、および再現性の確認。
6. 評価に準拠したデータセット：エージェントのベンチマークと互換性のある標準化されたフォーマット。
7. 継続的な改善ループ：評価結果に基づき、タスクの更新およびQAプロセスをアップデート。

主な結果