顧客の概要

リアルなウェブブラウジングのインタラクションデータを収集し、AIエージェントの性能を評価する米国拠点のAI企業。
本プロジェクトは、実際のウェブサイト操作中におけるステップごとの推論、行動ロジック、スクリーンショットの忠実性、最終回答の品質の検証に重点を置いている。

ビジネス課題

QAフィードバックの遅延：QAレビューが制作後3週間で開始され、大規模な遡及修正と迅速なデータ調整が必要だった。
頻繁なガイドライン更新：ポップアップ対応、バックスペースの使用、コピー＆ペースト制限など、複雑な操作ルールのリアルタイム更新が頻繁に発生した。
高精度な技術的制約：WebOlmo固有の実行手順に厳密に従い、文字単位のタイピングやスクリーンショットの忠実性を、厳しい納期内で維持する必要があった

プロジェクト詳細

• 期待される成果物： WebナビゲーションAI

ソリューション

1. ガイドライン変更の効果的管理
• ゴールデンガイドの更新をリアルタイムで追跡・適用
• 更新ごとに迅速な再トレーニングを実施
• 毎日のキャリブレーションセッションを実施し、チームの整合性を維持
2. 明確なブラウジングプロセスの構築
• WebOlmo実行用の構造化チェックリストを作成
• 文字単位のタイピングおよびスクリーンショットの正確性を管理
• 推論テンプレートを使用してAIのロジックと最終回答を検証
3. 品質と納期の維持
• QA開始時に専任の修正チームを編成
• 高リスクバッチには多層レビューを適用
• 生産チームと修正チームを分け、納品速度を確保

使用技術

主な結果