LTS QA

顧客の概要

顧客は、低侵襲手術向けのコンピュータビジョンシステムを開発している、欧州の大学・アカデミックAI研究グループ。開発モデルは、腹腔鏡手術の動画を分析して、手術操作や手術器具と解剖学的構造（臓器・組織）との相互作用を理解する。内視鏡手術中に、手術器具の検出、解剖学的構造の識別、および一連の手術操作の解釈を行うモデルを学習させるため、高品質にアノテーションされた手術データが求められている

ビジネス課題

・ 正確なラベリングに必要な外科的専門知識： 腹腔鏡の視野には複雑な手術器具や解剖学的構造が含まれており、医療の専門知識を持たないアノテーターがそれらを判読することは困難であること。
・ 多層的なアノテーションワークフロー： データセットには、インスタンスセグメンテーションに加え、手術器具・アクション・解剖学的構造を紐付ける「トリプレットベース」の相互作用アノテーションの双方が求められたこと。
・ スケーラビリティの制約： 高度な専門知識と一貫した品質の双方が求められるため、規模の拡大が困難であること。大規模アノテーション作業のために、常勤の放射線科医や医師を確保することは非常に困難。

プロジェクト詳細

手術器具、解剖学的構造、および一連の手術操作を理解するAIモデルを支援するため、腹腔鏡手術動画におけるインスタンスセグメンテーションおよび相互作用アノテーションを実施した。
・ データタイプ： 腹腔鏡手術の動画フレーム
・ タスク： 手術器具と解剖学的構造のインスタンスセグメンテーション、トリプレットベースの相互作用アノテーション

ソリューション

1. 医療ガイドラインの翻訳・伝達レイヤー
正確なラベリングには外科的知識が必要であるため、医師による監修レイヤーを導入した。手術プロトコルや実例を明確なアノテーションガイドラインに翻訳し、訓練を受けたアノテーターが手術器具、解剖学的構造、手術中の相互作用を確実に識別できるようにした。
2. 構造化されたセグメンテーションと相互作用アノテーションのワークフロー
多層的なアノテーション要件に対応するため、手術器具と解剖学的構造のインスタンスセグメンテーションと、手術操作を表すトリプレットベースの相互作用アノテーションを組み合わせたワークフローを構築した。これにより、フレーム間を横断して、器具と生体組織の相互作用の一貫した解釈を保証した。
3. スケーラブルな医療アノテーション人材モデル
全作業負荷を外科医だけに依存することなく、大量の腹腔鏡動画フレームを処理するため、ハイブリッド型の人材モデルを採用した。
• 訓練を受けたアノテーターが、セグメンテーションと相互作用のラベリングを担当。
• 医療アドバイザーがガイドラインの明確化と品質保証（QA）レビューを支援。
この体制を構築することで、医療水準の正確性を維持しつつ、大規模なデータセットの生産を実現した。

使用技術

主な結果

顧客の概要

顧客は、イスラエル拠点のテクノロジー企業であり、ハンズフリー操作システムの開発に注力している。同社の目標は、手動操作を必要とせず、視線のみでデジタルデバイスとコミュニケーションできる体験を向上させること。このビジョンを実現するために、正確な視線検出を行うAIモデルを構築しており、これには人間の参加者から収集した大規模で構造化されたリアルワールド視線データが必要。

ビジネス課題

構造化された視線データ収集:
参加者は画面上に表示される特定のターゲットを注視する必要があった。各セッションは、監督者から指示された厳格なポジショニング手順に従い、一貫したデータ取得条件を確保した。
大規模データ:
データセットの要件は非常に大きく、短期間で100名以上の参加者をトレーニングし、チームを迅速に拡張する必要があった。
迅速な展開:
スケジュールは厳しく、数週間以内にデータ収集を開始し、規模を拡大する必要があった。
コスト効率:
大規模プロジェクトでありながら、予算内での実施が求められた。
厳格なQAとセキュリティ:
すべてのデータ収集活動は厳格な品質管理が必要で、参加者のプライバシーとデータの機密性が必須条件。

プロジェクト詳細

ドメイン： 人工知能（AI）

ソリューション

1. プロトコル設定: ターゲット、ポジショニング、照明、カメラなどの視線取得基準をクライアントと合意した。パイロットセッションで設定の妥当性を検証した。
2. チーム拡張: 200名以上の参加者体制を構築し、10名の訓練済みスーパーバイザーがセッションを指導し、姿勢や視線を修正した。
3. データ収集: 構造化されたフロー：設定 → 視線取得 → レビュー → アップロード。
スーパーバイザーが常時、位置合わせや照明を監視した。
4. 品質管理: 現場でのチェックおよびランダムレビューにより、視線位置の正確性を保証した。
5. データセキュリティ: データはクライアントのシステムに直接アップロードし、アクセス制限を徹底した。
6. 監視: 収集量、再取得、精度を毎日追跡し、品質を維持した

主な結果

顧客の概要

顧客は、様々な分野向けにデジタルツインとLiDARソリューションを専門とする韓国の企業。農業環境から収集された生の画像データはすでに保有していたが、厳しい納期内に高品質なセグメンテーションアノテーションを提供できる、信頼性の高いパートナーを必要としていた。

ビジネス課題

農業環境から収集された生の画像データはすでに保有していたが、厳しい納期内に高品質なセグメンテーションアノテーションを提供できる、信頼性の高いパートナーを必要としていた。
・ 高品質な2Dセグメンテーションアノテーション：複数のオブジェクトクラスにわたり、各画像にピクセルレベルでの精度が求められた。セグメンテーションのエラーはデジタルツインの出力品質に直結するため、精密さが極めて重要であった。
・ 1ヶ月以内の迅速な納期対応：すべてのアノテーション作業をこの期間内に完了させ、検証まで実行する必要があった。
・ 合理的なコスト：コストを膨らませることなく、品質とスピードのバランスが取れたソリューションを求めていた。
・ 厳格な品質保証（QA）と万全なデータセキュリティ：明確に定義された品質保証プロセスと、クライアントのセキュリティ基準への完全な準拠が求められた。

プロジェクト詳細

アノテーション対象のクラス：19クラス（ガラス、木、低木、車両など）
アノテーション種類：2Dセグメンテーション

ソリューション

• チームの立ち上げ：経験豊富な20名のアノテーターからなるチームを編成した。セグメンテーションの対象クラス、ラベリングルール、出力フォーマット、レビュー基準、および使用ツールについて顧客と合意を形成した。
• トレーニング：ピクセルレベルのセグメンテーション、クラスの境界、およびエッジケースに特化したトレーニングを実施。本格的な生産の前に、QAリードが試行タスクをレビューし、ガイドラインを精緻化した。
• 実行およびQA：画像はバッチ単位で割り当て。アノテーターはQAチェックの前にセグメンテーションとセルフレビューを完了させた。疑問点はチャットで迅速に解決。プロジェクトは98%の精度を達成した。
• 納品：アノテーションデータは、1ヶ月を通じて構造化されたバッチ形式で順次納品。これにより、顧客側での継続的なレビューとシステムへの統合を可能にした能にした

使用技術

主な結果

顧客の概要

顧客は、シンガポールを拠点とし、高度なAIモデル向けのデータソリューションを提供する企業である。同社の事業は、リテールアナリティクスや商品認識など、コンピュータビジョンの幅広いアプリケーションを支えている。

ビジネス課題

納期がわずか1ヶ月という極めて緊急性の高いプロジェクト。顧客は、以下3つの明確な要求要件を掲げて当社にアプローチした：
・ 高品質な2Dバウンディングボックスアノテーショングローサリーアイテムを正確にラベリングし、物体検出モデルを適切にサポートできる学習データを確保すること。
・ 1ヶ月以内の迅速な納品
極めてタイトなスケジュール。後続のモデル学習スケジュールに間に合わせるため、すべてのアノテーションをわずか1ヶ月以内に完了する必要があった。
・ 厳格な品質保証（QA）と絶対的なデータセキュリティ統制された品質保証プロセスと、顧客のデータセキュリティ基準への完全な準拠が求められた

プロジェクト詳細

アノテーション対象クラス： グローサリー
アノテーション種類： 2Dバウンディングボックス

ソリューション

• チームの立ち上げ：1ヶ月の納期に対応するため、7名のアノテーターを招集した。アノテーション範囲、バウンディングボックスの基準、およびレビュー基準についてクライアントと合意を形成した。連絡や意思疎通は、WhatsAppおよびクライアントのアノテーションツールを介して実行。
• トレーニング：一貫したバウンディングボックスのルールに関してチーム内の認識を一致させ、サンプル画像を確認した。本格的な生産に入る前に、トライアルバッチを完了・検査した。
• 実行：密集した陳列棚や商品の重複に細心の注意を払いながら、食料品アイテムのラベリングを実行。4ステップの品質保証（QA）プロセスにより、98%の精度を確保した。
• 納品：進捗状況、データボリューム、およびQA結果の定期的なアップデートを伴うバッチ形式で、アノテーショ
データを納品した。

使用技術

主な結果

顧客の概要

顧客は、昆虫、幼虫、および感染症の媒介に焦点を当てた政府出資の研究プロジェクトを遂行している、イタリアの大学である。この研究は、感染症の拡大を招くおそれのある昆虫の個体群の早期発見と分析の改善を目指している

ビジネス課題

・ 本プロジェクトは視覚的データに大きく依存していた。大量の生物画像が収集されていたものの、分析やモデル学習に使用する前に、データを正確にアノテーションする必要があった。
・ 対象となるテーマが生物学と医学研究に関わるものであるため、顧客は、高度なアノテーションの技術的スキルと、専門領域特有門領域特有の機微やデータ取り扱いに対する深い理解を兼ね備えたベンダーを求めていた。

プロジェクト詳細

・ アノテーション対象：4種類の幼虫
・ アノテーション種類： 2Dバウンディングボックス

ソリューション

1. チーム編成：生物画像の処理経験を持つ10名のアノテーターからなるチームを編成。幼虫の定義、バウンディングボックスのルール、およびレビュー基準について顧客と合意させた。
2. ドメイン知識のトレーニング：幼虫とゴミやノイズ（破片・アーティファクト）を識別し、非常に小さい、または一部のみが見えている対象物に対して精密なバウンディングボックスを描くためのトレーニングを実施。
3. 実行・オペレーション：厳密に管理されたバッチ単位で画像のラベリングを実行。手戻りを防ぐため、アノテーターは自らセルフレビューを行い、不明瞭なケースは早い段階でフラグを立てて報告。
4. 品質保証（QA）のプロセス：4層のQAワークフロー（セルフチェック、相互レビュー、QAリードレビュー、最終検査）を導入し、98%の精度を確保。
5. 納品：進捗状況、対象物のカウント数、およびQAのステータス更新を伴う定期的なバッチ形式で、アノテーションデータを納品。

使用技術

主な結果

顧客の概要

顧客はこの分野のリーディングカンパニーであり、現実世界のデータキャプチャや設計統合から、コラボレーション、レポーティング、プロジェクト保管に至るまで、全体のワークフローを効率化するためのソリューションを開発している。

ビジネス課題

自社プラットフォームの価値を最大化するため、顧客は、ラベル付けされた建築図面と360度現地動画用の建設画像を処理・検証できるパートナーを必要としていた。具体的な要求要件は以下の通り：
・ 設計図面と照らし合わせて建設工事を検証し、設備などの設置が計画とスケジュール通りに進んでいるかを確認すること。
・ 異なる作業区域、工種、およびBIM（ビルディングインフォメーションモデリング）カテゴリ全体にわたる進捗率の分析。
・ 360度現地動画を進捗報告書に変換し、現場チームへの指示出し、遅延の削減、コラボレーションの向上に役立てること。
・ 建築要素を一貫して以下の3つのクラスに分類すること：
° 未検出： 不足、または未設置
° 未完了： 部分的に設置済み
° 設置済み： 完全に設置完了し、検証済み

プロジェクト詳細

・ アノテーション対象：配管（パイプ）、壁、ドアなど
・ 範囲： データ検証

ソリューション

1. パイロットフェーズ：5名のアノテーターからなる体制で開始し、ワークフローをテスト。建設図面と360度動画を
用いて、3つの分類（未検出、未完了、設置済み）の基準についてクライアントと認識を一致させた。
2. ガイドラインと品質保証：アノテーションルールやエッジケースを顧客と共同で精緻化。多層的なQAプロセスにより、98%の精度を維持。
3. チームの規模拡大：構造化されたオンボーディング、ツール操作研修、および実践練習を導入し、50名のアノテーター体制まで拡張。
4. モニタリング：PMが生産性を追跡し、週次のフィードバックや再研修を通じて不明瞭なケースを解消。
5. 実績・結果：1年間で5万枚以上の画像を処理。信頼性の高い建設進捗分析に向けて、98%以上の精度を維持。

使用技術

主な結果

顧客の概要

顧客は、中国に本社を置く世界有数の多国籍テック企業であり、複数のプログラミング言語と複雑なコードベースにわたる長期的なソフトウェアエンジニアリングタスクを解決するために設計された、AIコーディングエージェントを開発している。

ビジネス課題

軌跡データの必要性： 安定した学習と強力な汎用性を確保するための、大規模かつ高品質な軌跡データが必要。
• 難易度の向上： モデルのロードマップに沿って、タスクを多様化させ、段階的に難易度を上げていく。
• ステップ精度の担保： ほぼ完璧なステップ精度と厳格な品質管理の義務付け（1つのステップの誤りが、軌跡全体を無効化するため）。
• 広範なカバー率： 様々なプログラミング言語や、多様な要求種類（バグ修正、環境の問題、機能開発など）を広範囲にカバーする。
• スケーリングの要件： 規模の拡大には、長年の実践的な開発およびプロジェクト保守の経験を持つ熟練した開発者が必要。
• 一貫性のある測定： 経時的な進捗を追跡し、トレーニングと評価ターゲットを確実に一致させるための、安定した一貫性のあるベンチマークとスコアリング手法が必要。

プロジェクト詳細

長期実行軌跡の収集・記録、品質保証フレームワーク設計・実行、タスクとシナリオの作成、複数言語のコードカバー率の確保、AIエージェントの評価と進捗追跡。

ソリューション

1. 標準化された生産パイプライン：タスク作成 ➔ 実行 ➔ 修正 ➔ 自動QA ➔ 人手によるQAにより、エラーを削減しながらスループットを向上。
2. ロードマップに適合したタスク生成：高速な更新サイクル、難易度コントロール、および学習ウェーブ全体における段階的なドメイン拡張。
3. 明確な評価基準に基づくエンドツーエンドのQA：多層チェック（ピアレビュー、スポットチェック、ゴールドスタンダードタスク）に加え、合格率、編集距離、修正時間、自己回復などの指標を導入。
4. スケーラブルなデリバリー：迅速なオンボーディング、定期的なパフォーマンス測定、およびコストと品質を最適化するためのスキル階層化。
5. 軌跡の品質管理：推論トレースの検証、ツール使用状況の検証、および再現性の確認。
6. 評価に準拠したデータセット：エージェントのベンチマークと互換性のある標準化されたフォーマット。
7. 継続的な改善ループ：評価結果に基づき、タスクの更新およびQAプロセスをアップデート。

主な結果

顧客の概要

米国拠点のリサーチラボであり、ヒューマンAIインタラクション領域の研究開発を行っている。人間の行動に近い形でデジタルプラットフォームを操作可能なAIシステムの構築を目指している。その実現に向けて、リアルなユーザーインタラクションデータを大量に必要としている

ビジネス課題

・ お客様は、複数のアプリ上で人間の操作をシミュレーションし、そのインタラクションをLLM開発向けのトレーニングデータとして収集することを要件としている。
・ 弊社は、フレームワークおよび各種スクリプトを構築する必要がある。その上で、当該スクリプトに基づき、可能な限り多様なタスクを生成する必要がある。
・ アノテーターは、1日6～8時間にわたり画面録画を行い、アプリの自然な利用をシミュレーションする。
・ 各操作は約2～3秒間隔のリズムで実施し、人間のアプリ利用を模倣しつつ、自然なインタラクション速度を再現する。
・ アノテーターは、AIモデルとの対話を想定し、プロジェクトマネージャーと1対1形式で直接コミュニケーションを行う。
・ 厳格なQAルーブリック（正確性、完全性、効率性、品質、設定、キーボード／マウス操作）を遵守する必要がある。
・ 本プロジェクトはスクリプトおよび行動の多様性を重視しており、許容されるエラー率は最大10％。

ソリューション

1. 要件定義：クライアントとアプリ対象範囲、主要ユーザーアクション（投稿、購買、応募、編集）について合意し、データセット量とリアルなユーザー行動のバランスを調整する。
2. チーム構成：45名体制を配置します（PM 2名、タスク作成者 3名、QA 10名、アノテーター 30名）。アノテーターは日々のアプリ操作を記録する。
3. トレーニング：アノテーターを教育し、ソーシャル、Eコマース、コンテンツ、プロフェッショナルプラットフォームで自然なアプリ利用をシミュレーションできるようにする。
4. 実行：スクリプトに基づき多様なアプリ操作を実施する。アノテーターは1日6～8時間録画し、スクロール、投稿、いいねなどの実際の行動を再現する。このワークフローにより、週単位で数千分の動画を生成し、98％以上の精度を達成する。
5. 納品：画面録画、タスクログ、QAレポートを含むデータを定期的に納品し、クライアントがLLMトレーニングに直接利用できる形式で提供する。

使用技術

主な結果

顧客の概要

顧客はオランダに本社を置く信頼性の高いデータソリューションパートナーである。
データアノテーション、データ生成、データ収集などのサービスを通じて高品質なデータを提供し、トレーニングから評価に至るAI開発のすべてのステージをサポートすることに特化している。

ビジネス課題

顧客は、以下の要件を満たすパートナーの選定において課題に直面していた：
・ 多数のドメインエキスパートの提供。
・ 短期間での大量のタスクの処理。
・ コードの自然さに対する要求要件の充足。
高品質な教師ありファインチューニング（SFT）データセットを提供することで企業のビジネスを強化し、安全で責任ある、信頼できるAI製品の開発を可能にする、LLM向けデータラベリングベンダーを求めていた

ソリューション

プロジェクトの開始にあたり、以下の手順を実行した。
• 顧客の課題を分析し、要求要件を明確化。
• モデルへの入力が自然なものとなるよう、既存の応答データ（質問および回答を含む）を精緻化。
• 技術的知識と論理的推論を用いて、新しい質問に対する回答を生成。
具体的なプロセス：
• 提供されたText2code（テキストからコードへの変換）に基づき、質問を自然言語で書き直し、解説付きの論理的
に正しい回答を記述。さらに、基準となるテストケースを作成。
• ステップ1のコードデータを「質問作成」と「回答作成」の2つに分割。文脈に適合するよう双方を精緻化し、回答
に詳細な解説を追加。
• ステップ1で生成されたコードにコメントおよびドキュメンテーション文字列を追加。
• 自然言語で質問を作成し、AIに対して単体テスト、回答、および解説を生成するよう指示

使用技術

• 言語： Python, C/C++, Java, JS, Scala, .Net, Bash, R

主な結果

顧客の概要

リアルなウェブブラウジングのインタラクションデータを収集し、AIエージェントの性能を評価する米国拠点のAI企業。
本プロジェクトは、実際のウェブサイト操作中におけるステップごとの推論、行動ロジック、スクリーンショットの忠実性、最終回答の品質の検証に重点を置いている。

ビジネス課題

QAフィードバックの遅延：QAレビューが制作後3週間で開始され、大規模な遡及修正と迅速なデータ調整が必要だった。
頻繁なガイドライン更新：ポップアップ対応、バックスペースの使用、コピー＆ペースト制限など、複雑な操作ルールのリアルタイム更新が頻繁に発生した。
高精度な技術的制約：WebOlmo固有の実行手順に厳密に従い、文字単位のタイピングやスクリーンショットの忠実性を、厳しい納期内で維持する必要があった

プロジェクト詳細

• 期待される成果物： WebナビゲーションAI

ソリューション

1. ガイドライン変更の効果的管理
• ゴールデンガイドの更新をリアルタイムで追跡・適用
• 更新ごとに迅速な再トレーニングを実施
• 毎日のキャリブレーションセッションを実施し、チームの整合性を維持
2. 明確なブラウジングプロセスの構築
• WebOlmo実行用の構造化チェックリストを作成
• 文字単位のタイピングおよびスクリーンショットの正確性を管理
• 推論テンプレートを使用してAIのロジックと最終回答を検証
3. 品質と納期の維持
• QA開始時に専任の修正チームを編成
• 高リスクバッチには多層レビューを適用
• 生産チームと修正チームを分け、納品速度を確保

使用技術

主な結果