LTS QA

顧客の概要

米国拠点のリサーチラボであり、ヒューマンAIインタラクション領域の研究開発を行っている。人間の行動に近い形でデジタルプラットフォームを操作可能なAIシステムの構築を目指している。その実現に向けて、リアルなユーザーインタラクションデータを大量に必要としている

ビジネス課題

・ お客様は、複数のアプリ上で人間の操作をシミュレーションし、そのインタラクションをLLM開発向けのトレーニングデータとして収集することを要件としている。
・ 弊社は、フレームワークおよび各種スクリプトを構築する必要がある。その上で、当該スクリプトに基づき、可能な限り多様なタスクを生成する必要がある。
・ アノテーターは、1日6～8時間にわたり画面録画を行い、アプリの自然な利用をシミュレーションする。
・ 各操作は約2～3秒間隔のリズムで実施し、人間のアプリ利用を模倣しつつ、自然なインタラクション速度を再現する。
・ アノテーターは、AIモデルとの対話を想定し、プロジェクトマネージャーと1対1形式で直接コミュニケーションを行う。
・ 厳格なQAルーブリック（正確性、完全性、効率性、品質、設定、キーボード／マウス操作）を遵守する必要がある。
・ 本プロジェクトはスクリプトおよび行動の多様性を重視しており、許容されるエラー率は最大10％。

ソリューション

1. 要件定義：クライアントとアプリ対象範囲、主要ユーザーアクション（投稿、購買、応募、編集）について合意し、データセット量とリアルなユーザー行動のバランスを調整する。
2. チーム構成：45名体制を配置します（PM 2名、タスク作成者 3名、QA 10名、アノテーター 30名）。アノテーターは日々のアプリ操作を記録する。
3. トレーニング：アノテーターを教育し、ソーシャル、Eコマース、コンテンツ、プロフェッショナルプラットフォームで自然なアプリ利用をシミュレーションできるようにする。
4. 実行：スクリプトに基づき多様なアプリ操作を実施する。アノテーターは1日6～8時間録画し、スクロール、投稿、いいねなどの実際の行動を再現する。このワークフローにより、週単位で数千分の動画を生成し、98％以上の精度を達成する。
5. 納品：画面録画、タスクログ、QAレポートを含むデータを定期的に納品し、クライアントがLLMトレーニングに直接利用できる形式で提供する。

使用技術

主な結果

顧客の概要

顧客はオランダに本社を置く信頼性の高いデータソリューションパートナーである。
データアノテーション、データ生成、データ収集などのサービスを通じて高品質なデータを提供し、トレーニングから評価に至るAI開発のすべてのステージをサポートすることに特化している。

ビジネス課題

顧客は、以下の要件を満たすパートナーの選定において課題に直面していた：
・ 多数のドメインエキスパートの提供。
・ 短期間での大量のタスクの処理。
・ コードの自然さに対する要求要件の充足。
高品質な教師ありファインチューニング（SFT）データセットを提供することで企業のビジネスを強化し、安全で責任ある、信頼できるAI製品の開発を可能にする、LLM向けデータラベリングベンダーを求めていた

ソリューション

プロジェクトの開始にあたり、以下の手順を実行した。
• 顧客の課題を分析し、要求要件を明確化。
• モデルへの入力が自然なものとなるよう、既存の応答データ（質問および回答を含む）を精緻化。
• 技術的知識と論理的推論を用いて、新しい質問に対する回答を生成。
具体的なプロセス：
• 提供されたText2code（テキストからコードへの変換）に基づき、質問を自然言語で書き直し、解説付きの論理的
に正しい回答を記述。さらに、基準となるテストケースを作成。
• ステップ1のコードデータを「質問作成」と「回答作成」の2つに分割。文脈に適合するよう双方を精緻化し、回答
に詳細な解説を追加。
• ステップ1で生成されたコードにコメントおよびドキュメンテーション文字列を追加。
• 自然言語で質問を作成し、AIに対して単体テスト、回答、および解説を生成するよう指示

使用技術

• 言語： Python, C/C++, Java, JS, Scala, .Net, Bash, R

主な結果

顧客の概要

リアルなウェブブラウジングのインタラクションデータを収集し、AIエージェントの性能を評価する米国拠点のAI企業。
本プロジェクトは、実際のウェブサイト操作中におけるステップごとの推論、行動ロジック、スクリーンショットの忠実性、最終回答の品質の検証に重点を置いている。

ビジネス課題

QAフィードバックの遅延：QAレビューが制作後3週間で開始され、大規模な遡及修正と迅速なデータ調整が必要だった。
頻繁なガイドライン更新：ポップアップ対応、バックスペースの使用、コピー＆ペースト制限など、複雑な操作ルールのリアルタイム更新が頻繁に発生した。
高精度な技術的制約：WebOlmo固有の実行手順に厳密に従い、文字単位のタイピングやスクリーンショットの忠実性を、厳しい納期内で維持する必要があった

プロジェクト詳細

• 期待される成果物： WebナビゲーションAI

ソリューション

1. ガイドライン変更の効果的管理
• ゴールデンガイドの更新をリアルタイムで追跡・適用
• 更新ごとに迅速な再トレーニングを実施
• 毎日のキャリブレーションセッションを実施し、チームの整合性を維持
2. 明確なブラウジングプロセスの構築
• WebOlmo実行用の構造化チェックリストを作成
• 文字単位のタイピングおよびスクリーンショットの正確性を管理
• 推論テンプレートを使用してAIのロジックと最終回答を検証
3. 品質と納期の維持
• QA開始時に専任の修正チームを編成
• 高リスクバッチには多層レビューを適用
• 生産チームと修正チームを分け、納品速度を確保

使用技術

主な結果

顧客概要

顧客は、機械学習およびAIシステムの開発を⽀援するため、倫理的な⼿法で収集‧調達されたデータセットおよびデータサービスを提供する⽶国のAIデータ企業である。⾳声、テキスト、画像、動画といった複数モダリティにわたるデータ収集、アノテーション、および評価サービスを提供している。⾳声認識、⾃然⾔語処理（NLP）、ロボティクス、およびエンボディドAIなどの分野におけるAIモデルの学習と改善を⽀援している。

課題

• エンボディドAIの学習に必要となる、⼀⼈称視点での操作データセットの不⾜。
• 実⽣活環境における⼈間と物体の⾃然なインタラクションをキャプチャすることの困難さ。
• 顔の映り込みなし、個⼈を特定できる情報（PII）など、厳格なプライバシー保護を維持しつつ、データの多様性を確保すること。

当社の強み

• 動画データ収集およびセマンティック‧アノテーションにおける豊富な経験と実績。
• 実⽣活環境においてデータ収集のセットアップを構築‧展開する能⼒。
• 厳格な品質管理体制を維持したまま、データ収集を規模拡⼤できる能⼒。

ソリューション

• ヘッドマウントカメラと⼿⾸装着型カメラを使⽤して、⼀⼈称視点のインタラクションデータを収集。
• 把持、道具の使⽤、マルチステップのタスクなど、多様なマニピュレーション動作をキャプチャ。
• データセットの堅牢性を向上させるため、複数のテイクおよび多様な物体のシナリオを記録。

使⽤技術

主な結果

顧客概要

顧客は、フィジカルAIとロボティクス向けの⾼精度データセットに特化したAIデータソリューションプロバイダー。未加⼯の⼈間動作データと⾃律型マシンによる実⾏の間のギャップを埋めることで、グローバルのTier 1サプライヤーやロボティクスOEMを⽀援している。

課題

従来のロボットの学習は遠隔操作やシミュレーションに依存していますが、これらの⼿法は規模拡⼤において⼤きな障壁に直⾯しています。⾼コスト、厳格なハードウェア依存性、そしてエンボディメント‧ギャップにより、ロボットが様々なプラットフォームや環境にわたって汎⽤的な知能を獲得するために必要な、多様で「In-the-wild（実際の多様な環境下）」なデータを収集することはほぼ不可能でした。

当社の強み

スタンフォード⼤学、コロンビア⼤学、およびTRIの研究者によって開発された「Universal Manipulation Interface (UMI)」は、ロボットに実世界との相互作⽤を教えるアプローチにパラダイムシフトをもたらす。データ収集プロセスをロボット本体から切り離すことで、UMIは⼈間が⼿持ち式のグリッパーを使⽤して、あらゆる場所でタスクのデモンストレーションを⾏うことを可能にし、そのデータをさまざまなロボットプラットフォームに展開できるようにする。

ソリューション

• データ収集 ： ⼈間がUMIグリッパーを使⽤し、50種類の異なる実環境（カフェ、キッチン、屋外など）の場所でカップを配置するインタラクションデータを収集。
• 学習：この視覚‧空間データセットに基づいて、ディフュージョンポリシーを学習。
• 展開：学習した同⼀のポリシーを、UR5eおよびフランカの両⽅のロボットアームに展開。
• 結果： 研究者がタスクの途中で受け⽫を動かしたり、照明を変更したりするような環境変化が⽣じた場合でも、ロボットは70〜100%のタスク成功率を達成した。ResNetなどの従来のビジョンモデルと⽐較して、極めて⾼い堅牢性を⽰した

使⽤技術

主な結果

顧客概要

中国のフィジカルAIインフラストラクチャ企業で、ロボットの⼤規模な学習を促進する「SimReady（シミュレーションに即座に利⽤可能）」なアセット、合成データ、⼀⼈称視点の⼈間データ、および評価プラットフォームを提供している。
具体的には、Sim-to-Realギャップを解消することを⽬的とした「EgoSuite」プロジェクト向けのデータを提供している。
⼀⼈称視点の⼈間データは、エンボディドAIおよび世界モデルの学習において、今や基礎的な要件として台頭している。

課題

• Sim-to-Realギャップを効果的に埋めるために必要な、実験室や製造現場などの複雑な実世界環境から、ロボットが利⽤可能な、⼗分で多様かつ⾼品質なデータが不⾜している。
• ⼈間の動作や多様な環境におけるエンボディドAIデータに必要とされるノテーションの複雑さおよび厳格な品質保証要件。

当社の強み

• データ収集からアノテーションまでのエンドツーエンドのサポートと規模拡張能⼒。
• 複雑な実世界環境全体にわたる柔軟なオペレーション体制。
• 動画およびセマンティック‧アノテーションにおける豊富な経験。
• ⾼品質な成果物を維持し、データの信頼性を向上させる品質第⼀のワークフロー。

ソリューション

フェーズ1：データ収集

• ⼀⼈称視点での⼈間の相互作⽤データを収集。
• 複雑な⼿先での操作やツール使⽤時の⾏動データをキャプチャ。
• 家庭、実験室、製造現場、⼩売店舗などの多様な環境での収集をサポート。

フェーズ2：アノテーション

• ⾼精度な動画およびセマンティック‧アノテーションの提供。
• マルチレイヤーな品質保証プロセスの適⽤。
• 拡張可能で⼀貫したデータ品質の保証。

使⽤技術

主な結果

顧客概要

• 顧客は、フィジカルAIの最前線を牽引する企業で、ロボット、タスク、環境を横断して機能する単⼀の頭脳「EDGE™」プラットフォームを開発している。不確実性の下でも推論を⾏う予測エンジンとして機能する「Belief World Model (BWM)」をベースに構築されたロボティクスAIを導⼊している。
• 展開分野：サイトマッピング、施設検査、無⼈資材輸送、異常検知、セキュリティなど。

課題

• 移動⽅針をサポートするトレーニングアルゴリズム
• 市販の既製品および公開されているモーションデータセットは、忠実度と網羅性の点で不⼗分である

当社の強み

• テキスト、ビデオ、3Dアノテーションの経験
• ⾼品質なデータスループットのスケーリングと維持に関する経験

ソリューション

アルゴリズムのより迅速な学習を可能にする、⽬的に特化したMOCAPデータセットの提供。
顧客の要件に基づいたカスタム‧アクションスクリプトの作成‧提供。
MOCAPデータに付随するデータ検証およびアノテーションサービスの提供

使⽤技術

主な結果

顧客の概要

顧客は、米国を拠点とするデータ中心型AIのパイオニアであり、高度なフロンティアAIやエージェンティック・システム向けに高品質なデータサービスを提供することに特化している。データプラットフォームとモデル開発プロセスの架け橋として重要な役割を果たしており、より信頼性が高くスケーラブルなAIパフォーマンスの実現に貢献している

目的

顧客は、コーディング用AIモデルに特化したデータプラットフォームを開発している。この取り組みを推進するため、以下の要件を満たす信頼できるベンダーを必要としていた。
• 大量かつ高品質で複雑なコーディング・データセットの生成
• 明確に定義された多角的な品質基準に基づくデータの評価
• 幅広い技術領域への対応
• タイトなスケジュールでの迅速な納品

ビジネス課題

顧客は主に以下の重要な課題に直面した：
• 膨大なタスク量を処理するための、有資格の専門家を大量に動員できるベンダーを見つけることが困難
• 多様で複雑なコーディングタスク全体にわたり、一貫した品質を確保する必要性
• データ品質の基準を高く維持しながらも、予算の制約に対応しなければならない点
• 迅速な体制構築や、ますます高度化する要件に対応できる、十分なスケーラビリティを持つベンダーが限られている点

プロジェクト1：AI学習向けの複雑なコーディングタスク設計

チャレンジ

• 短期間で大量の有資格エキスパートを迅速に確保し、オンボーディングする必要性
• プロジェクトの難易度・複雑性が高く、一貫したタスク品質を担保するため、初期段階からの徹底したトレーニ
ングと認識合わせが不可欠

要件

• 稼働中のDockerコンテナ内で実行される、複数ステップ（5～10コマンド以上）のワークフローを中心としたタスクの設計
• モデル評価において、指定された合格率目標を達成するためのエンジニアリングタスク
• データセットの多様性を確保するための、幅広い技術領域の網羅

ソリューション

• LTS Japan独自の迅速な採用・育成フレームワークを導入し、わずか2週間で多様かつ大規模な専門家チームを構
築。
• 事前構築済みの専門家プールを活用し、顧客要望への迅速な対応と、あらゆるフェーズにおける拡張性を確保。
• 体系的なオンボーディングと実践的なトレーニングを実施し、初期段階から複雑なタスク要件に対応可能な体制
を構築。
• 今後のAIコーディング支援プロジェクトを見据えた、長期的なデータパートナーシップを確立した。

主な成果

達成事項

• 指定納期内に、要求された全タスク量（100%）の納品を完遂した。
• モデル学習プロセスの加速により、クライアントのエンドユーザーに対する市場投入までの時間を短縮した。
• 全世界で数千人規模の開発者を支援する、より信頼性の高い「コーディング支援AI」のモデル学習を実現した。
• 今後のAIコーディング支援プロジェクトを見据えた、長期的なデータパートナーシップを確立した

プロジェクト2：AI学習向けモデル応答の評価

チャレンジ

• 高度な技術専門性と、AI学習タスクに求められる根気強さを併せ持つ人材の大規模な確保（従来のソフトウェア開発人材とは異なる要件のため困難）
• タスクの複雑性が非常に高く、1件あたりの評価完了に多大な時間を要する点
• 数千件に及ぶタスク全体を通じた評価の一貫性の維持（全評価者に対する同一の評価・判断基準の徹底

要件

• 多様な技術領域における実践的なコーディング課題を通じた、AIモデルの対応能力の評価およびガイダンス
• 高水準の精度と信頼性を担保するための、複数の品質基準に基づくマルチターン評価の実施

ソリューション

• 階層型の人材プールモデルを導入し、専門家を各専門グループに細分化することで、作業効率とタスク精度を向上させた。
• LTS Japanの広範なテクノロジーエコシステムを活用し、多分野の多様な人材プール（開発者、テスター、AIエンジニア等）を確保した。
• 大規模な評価においても一貫性を担保するため、プロジェクト要件に最適化した独自の評価ベンチマークおよびガイドラインを策定（評価項目：ロジックと正確性、命名と明確性、構成とモジュール性、インターフェース設計、エラー処理と堅牢性、ドキュメント、マージの準備状況など）

主な成果