現代のビジネス環境において、マルチモーダルAI事例は、複雑な情報の理解と意思決定の自動化という側面で劇的な変革をもたらしています。従来のテキストや画像のみを処理するAIシステムとは異なり、マルチモーダルAIは言語、画像、音声、動画、そしてセンサーデータを統合し、現実世界をより深く、網羅的に理解することが可能です。 製造ラインでの製品検査、医療画像診断による医師の支援、小売における高度な検索、自動運転技術まで、マルチモーダルAIの応用範囲は無限に広がっています。基盤モデルが進化を続ける現在、競争優位性を左右するのはモデルそのものの選択だけではありません。真の価値は、これらのモデルを実環境で確実に動作させるための「高品質なマルチモーダル学習データ」にあると言えます。 本記事では、マルチモーダルAIとは何か、その仕組みやシングルモーダルAIとの違いを紐解き、各産業におけるマルチモーダルAIの活用事例を詳しく解説します。また、実運用を見据えたAI構築において、データ品質がなぜ最大の課題となるのか、そしてLQAがどのように高品質なデータセット構築を支援するかをご紹介します。 マルチモーダルAI：基礎から仕組みを徹底解説 マルチモーダルAIは今、研究室レベルの革新技術から、ビジネスの現場で直接的な価値を生む実用フェーズへと急速に移行しています。Global Market Insightsの予測によると、日本のマルチモーダルAI市場は2034年までに約70.6億米ドル規模に達すると見込まれています。 この成長を牽引しているのは、日本が長年培ってきた精密工学とロボティクスの強固な基盤に加え、AIを活用した製造業のDXやスマート自動化への投資拡大です。産業界全体でマルチモーダルAI活用事例を模索する動きが強まる中、こうしたシステムを支える基盤技術を理解することは、企業の競争力を左右する非常に重要な要素となっています。 では、そもそもマルチモーダルAIとは一体どのような技術なのでしょうか。なぜ日本を含む世界中でこれほどまでに注目を集めているのでしょうか。まずはその基本的な概念を理解した上で、各産業でどのように活用されているのか、具体的な事例を紐解いていきましょう。 マルチモーダルAIとは？ マルチモーダルAIとは、テキスト、画像、音声、動画など、複数の異なる入力形式を単一のモデル内で処理し、推論を行うAIシステムを指します。 従来のAIが画像認識や自然言語処理など、特定のデータ形式に特化しているのに対し、マルチモーダルAIは異なる種類の情報を組み合わせて解析することで、状況をより包括的に理解したうえで、予測や回答を生成できます。 例えば、製造現場では、製品画像だけでなく、検査レポート、設備の稼働音、センサーデータを同時に分析することで、不良や異常をより高精度に検出できます。このように、異なるモダリティを横断的に関連付けて理解できることにより、従来は複数のAIシステムを組み合わせなければ実現できなかった高度なタスクを、単一のマルチモーダルAIで実行できるようになります。 マルチモーダルAIはどのように異なるデータを統合するのか？ マルチモーダルAIの最大の特徴は、それぞれのデータを個別に処理するのではなく、異なるモダリティ同士の関係性を学習できる点にあります。 従来のように画像認識AIや音声認識AIなど複数のモデルを組み合わせるのではなく、最新のマルチモーダルAIは、テキスト・画像・音声・動画・センサーデータなどを共通の特徴表現へ変換します。これにより、異なるモダリティ間の関連性を理解し、それらを組み合わせて推論できるようになります。 主な特徴は次のとおりです。 統合的なデータ理解： テキストや動画、センサー入力を「潜在特徴空間」において共有された特徴量へと変換します。これにより、モデルは異なるデータ源を孤立させず、相互に関連づけて解釈できます。 クロスモーダル推論： 言語による指示と動画映像のマッチングや、設備画像と保守記録の紐付けなど、モダリティを超えた論理的な推論を実現します。 高度な異常検知： 視覚的な動きと音声データ、あるいはセンサーの数値を相関させることで、単一モダリティでは検知不可能な異常パターンを浮き彫りにします。 人間らしい判断力： 視覚、聴覚、言語を組み合わせることで、人間が日常的に行うシーンの解釈を模倣し、コンテキストに基づいた精度の高い意思決定を支援します。 シングルモーダルAIとマルチモーダルAIの比較 従来のAIまたはシングルモーダルAIは、一度に処理できるデータ形式が1種類に限られています。例えば、画像認識AIは画像のみ、音声認識AIは音声のみ、大規模言語モデル（LLM）は主にテキストを対象として処理します。 これらのAIは特定分野では高い性能を発揮しますが、複数の情報を組み合わせて判断する必要がある業務では限界があります。 一方、マルチモーダルAIは、単一のモデルで複数のモダリティを同時に理解・分析できます。 例えば、製造業における設備点検では、シングルモーダルAIは設備画像だけを解析します。一方、マルチモーダルAIは、設備画像に加えて保守履歴、異常音、センサーデータなどを統合的に分析し、不具合の原因をより正確に特定するとともに、適切な対応策まで提案できます。 比較項目 マルチモーダルAI シングルモーダルAI 入力形式 複数のモダリティを同時に処理   単一のモダリティのみ処理 コンテキスト理解 複数ソースを網羅した深い理解 限定的…

製造業におけるAIは、新たな局面を迎えています。単なる生産データの分析や推奨事項の提示にとどまらず、AIは今、機械や生産ライン、そして工場の現場環境と直接的に相互作用し始めています。この進化は「フィジカルAI（Physical AI）」と呼ばれ、製造業における複雑な物理的作業の自動化を根本から塗り替えようとしています。 この変革は日本の製造業にとって極めて重要なタイミングで訪れています。 科学技術振興機構（JST）もその戦略的重要性を認識しており、次世代のインテリジェント・ロボティクスの核となる技術としてフィジカルAIを位置づけ、日本の長期的な産業競争力を強化する鍵として強調しています。 こうした背景の中、製造業におけるフィジカルAIは、単なるAIの流行を超えつつあります。それは、あらかじめ定義された指示を実行するだけの機械から、自ら周囲を理解し、自律的な判断を下し、リアルタイムで物理的な状況に対応できるシステムへの決定的な転換を意味します。 本記事では、フィジカルAIとは何かという基本から、それを支える技術、なぜ今日本の製造現場がこれに注力しているのか、すでに生産現場で導入が進んでいるマルチモーダルAIの事例や産業用AIソリューション、導入を阻む障壁、そして成功のために必要なデータや検証の観点について詳しく解説します。 フィジカルAIの基本原則：物理世界を認識・推論・相互作用する仕組み 製造業におけるフィジカルAIは、機械が物理世界を自律的に認識し、推論し、相互作用を可能にすることで、従来のAIの枠組みを超えた進化を遂げています。本セクションでは、フィジカルAIとは何か、従来の産業用オートメーションと何が違うのか、そしてそれを実現する中核技術について解説します。 フィジカルAIとは何か？ これまでの産業用AIは、需要予測や予兆保全、品質分析、生産計画の最適化によって製造業を変革してきました。しかし、これらのシステムの多くはデジタル領域で完結しており、「情報の分析と推奨」を行うまでにとどまり、物理的な作業そのものは人間やあらかじめプログラムされた機械に依存していました。 製造業におけるフィジカルAIは、AIの役割をデジタル上の意思決定から物理的実行へと拡張します。機械が自ら環境を感知し、変化を理解し、判断を下し、物理的な動作を行うことを可能にする技術です。 科学技術振興機構（JST）の研究開発戦略センター（CRDS）によれば、フィジカルAIとは、センサーやアクチュエータ、運用インフラを通じて物理環境と直接相互作用することで、知性を獲得する「身体性を持った人工知能」と定義されています。 端的に言えば、フィジカルAIとは、機械に「視覚・思考・行動」を与える技術です。 あらかじめ定義されたルールや繰り返しの動作シーケンスに依存するのではなく、AIを搭載したロボットは、センサーデータを継続的に解釈し、周囲の状況を評価して、条件の変化に応じて自ら行動を調整します。壊れやすい部品のハンドリングや、動的に変化する工場内での移動、あるいは作業員との安全な協働など、これらのシステムは「反復」ではなく「適応」を学習するのです。 この概念の技術的な詳細については、当社の専門ガイド「フィジカルAIとは？仕組み・活用事例・生成AIとの違いをわかりやすく解説」も併せてご覧ください。 フィジカルAIを支える技術要素 フィジカルAIは、単一のAIモデルや特定のロボットを指す言葉ではありません。実際の製造現場で機能する自律的な物理システムを構築するために、複数の技術が統合されています。 センシング技術：カメラ、LiDAR、レーダー、力覚トルクセンサー、IMUなどを活用し、物理的な環境の状態をリアルタイムで把握します。 ロボティクス技術：アクチュエータ、ロボットアーム、グリッパー、移動プラットフォームなど、AIの判断を物理的な動作へと変換します。 機械学習・強化学習：デモンストレーションや試行錯誤から学習し、タスクの精度を向上させます。多くの場合、実機に触れる前に数百万回ものシミュレーションを重ねて最適化されます。 エッジAI技術：装置内で推論を実行し、クラウド接続に依存せず瞬時に判断を下します。これは工場の現場において不可欠な低遅延性を実現します。 シミュレーション技術：デジタルツインやワールドモデルを活用し、現実環境に導入する前に仮想環境でロボットの挙動を検証・改善します。 これらの技術レイヤーが統合されることで、機械は「プログラムされた指示を実行するだけの存在」から、「目の前の状況に応じて自らの行動を適応させられる存在」へと進化するのです。 フィジカルAIと従来のAI、および従来型産業用ロボットの違い フィジカルAIは、広義の「AI」や「ロボティクス」と混同されがちですが、投資判断を行う際にはその明確な違いを理解することが不可欠です。 従来のAIとフィジカルAIの比較 まずは、情報の処理を主とする従来のAIと、物理的な適応能力を持つフィジカルAIの違いを整理します。   比較項目 従来のAI フィジカルAI 主な役割 ビジネス効率化、コンテンツ生成支援 人間の物理的作業の代替・支援 動作環境 デジタル空間（PC、サーバー、クラウド） 物理的、現実世界の空間 学習方法 大規模な構造化/非構造化データ 実世界の試行錯誤、シミュレーションに基づく強化学習…

顧客の概要 顧客は、低侵襲手術向けのコンピュータビジョンシステムを開発している、欧州の大学・アカデミックAI研究グループ。開発モデルは、腹腔鏡手術の動画を分析して、手術操作や手術器具と解剖学的構造（臓器・組織）との相互作用を理解する。内視鏡手術中に、手術器具の検出、解剖学的構造の識別、および一連の手術操作の解釈を行うモデルを学習させるため、高品質にアノテーションされた手術データが求められている ビジネス課題 ・ 正確なラベリングに必要な外科的専門知識： 腹腔鏡の視野には複雑な手術器具や解剖学的構造が含まれており、医療の専門知識を持たないアノテーターがそれらを判読することは困難であること。 ・ 多層的なアノテーションワークフロー： データセットには、インスタンスセグメンテーションに加え、手術器具・アクション・解剖学的構造を紐付ける「トリプレットベース」の相互作用アノテーションの双方が求められたこと。 ・ スケーラビリティの制約： 高度な専門知識と一貫した品質の双方が求められるため、規模の拡大が困難であること。大規模アノテーション作業のために、常勤の放射線科医や医師を確保することは非常に困難。 プロジェクト詳細 手術器具、解剖学的構造、および一連の手術操作を理解するAIモデルを支援するため、腹腔鏡手術動画におけるインスタンスセグメンテーションおよび相互作用アノテーションを実施した。 ・ データタイプ： 腹腔鏡手術の動画フレーム ・ タスク： 手術器具と解剖学的構造のインスタンスセグメンテーション、トリプレットベースの相互作用アノテーション ソリューション 1. 医療ガイドラインの翻訳・伝達レイヤー 正確なラベリングには外科的知識が必要であるため、医師による監修レイヤーを導入した。手術プロトコルや実例を明確なアノテーションガイドラインに翻訳し、訓練を受けたアノテーターが手術器具、解剖学的構造、手術中の相互作用を確実に識別できるようにした。 2. 構造化されたセグメンテーションと相互作用アノテーションのワークフロー 多層的なアノテーション要件に対応するため、手術器具と解剖学的構造のインスタンスセグメンテーションと、手術操作を表すトリプレットベースの相互作用アノテーションを組み合わせたワークフローを構築した。これにより、フレーム間を横断して、器具と生体組織の相互作用の一貫した解釈を保証した。 3. スケーラブルな医療アノテーション人材モデル 全作業負荷を外科医だけに依存することなく、大量の腹腔鏡動画フレームを処理するため、ハイブリッド型の人材モデルを採用した。 • 訓練を受けたアノテーターが、セグメンテーションと相互作用のラベリングを担当。 • 医療アドバイザーがガイドラインの明確化と品質保証（QA）レビューを支援。 この体制を構築することで、医療水準の正確性を維持しつつ、大規模なデータセットの生産を実現した。 使用技術 主な結果

顧客の概要 顧客は、イスラエル拠点のテクノロジー企業であり、ハンズフリー操作システムの開発に注力している。同社の目標は、手動操作を必要とせず、視線のみでデジタルデバイスとコミュニケーションできる体験を向上させること。このビジョンを実現するために、正確な視線検出を行うAIモデルを構築しており、これには人間の参加者から収集した大規模で構造化されたリアルワールド視線データが必要。 ビジネス課題 構造化された視線データ収集: 参加者は画面上に表示される特定のターゲットを注視する必要があった。各セッションは、監督者から指示された厳格なポジショニング手順に従い、一貫したデータ取得条件を確保した。 大規模データ: データセットの要件は非常に大きく、短期間で100名以上の参加者をトレーニングし、チームを迅速に拡張する必要があった。 迅速な展開: スケジュールは厳しく、数週間以内にデータ収集を開始し、規模を拡大する必要があった。 コスト効率: 大規模プロジェクトでありながら、予算内での実施が求められた。 厳格なQAとセキュリティ: すべてのデータ収集活動は厳格な品質管理が必要で、参加者のプライバシーとデータの機密性が必須条件。 プロジェクト詳細 ドメイン： 人工知能（AI） ソリューション 1. プロトコル設定: ターゲット、ポジショニング、照明、カメラなどの視線取得基準をクライアントと合意した。パイロットセッションで設定の妥当性を検証した。 2. チーム拡張: 200名以上の参加者体制を構築し、10名の訓練済みスーパーバイザーがセッションを指導し、姿勢や視線を修正した。 3. データ収集: 構造化されたフロー：設定 → 視線取得 → レビュー → アップロード。 スーパーバイザーが常時、位置合わせや照明を監視した。 4. 品質管理: 現場でのチェックおよびランダムレビューにより、視線位置の正確性を保証した。 5. データセキュリティ: データはクライアントのシステムに直接アップロードし、アクセス制限を徹底した。 6.…

顧客の概要 顧客は、様々な分野向けにデジタルツインとLiDARソリューションを専門とする韓国の企業。農業環境から収集された生の画像データはすでに保有していたが、厳しい納期内に高品質なセグメンテーションアノテーションを提供できる、信頼性の高いパートナーを必要としていた。 ビジネス課題 農業環境から収集された生の画像データはすでに保有していたが、厳しい納期内に高品質なセグメンテーションアノテーションを提供できる、信頼性の高いパートナーを必要としていた。 ・ 高品質な2Dセグメンテーションアノテーション：複数のオブジェクトクラスにわたり、各画像にピクセルレベルでの精度が求められた。セグメンテーションのエラーはデジタルツインの出力品質に直結するため、精密さが極めて重要であった。 ・ 1ヶ月以内の迅速な納期対応：すべてのアノテーション作業をこの期間内に完了させ、検証まで実行する必要があった。 ・ 合理的なコスト：コストを膨らませることなく、品質とスピードのバランスが取れたソリューションを求めていた。 ・ 厳格な品質保証（QA）と万全なデータセキュリティ：明確に定義された品質保証プロセスと、クライアントのセキュリティ基準への完全な準拠が求められた。 プロジェクト詳細 アノテーション対象のクラス：19クラス（ガラス、木、低木、車両など） アノテーション種類：2Dセグメンテーション ソリューション • チームの立ち上げ：経験豊富な20名のアノテーターからなるチームを編成した。セグメンテーションの対象クラス、ラベリングルール、出力フォーマット、レビュー基準、および使用ツールについて顧客と合意を形成した。 • トレーニング：ピクセルレベルのセグメンテーション、クラスの境界、およびエッジケースに特化したトレーニングを実施。本格的な生産の前に、QAリードが試行タスクをレビューし、ガイドラインを精緻化した。 • 実行およびQA：画像はバッチ単位で割り当て。アノテーターはQAチェックの前にセグメンテーションとセルフレビューを完了させた。疑問点はチャットで迅速に解決。プロジェクトは98%の精度を達成した。 • 納品：アノテーションデータは、1ヶ月を通じて構造化されたバッチ形式で順次納品。これにより、顧客側での継続的なレビューとシステムへの統合を可能にした能にした 使用技術 主な結果

顧客の概要 顧客は、シンガポールを拠点とし、高度なAIモデル向けのデータソリューションを提供する企業である。同社の事業は、リテールアナリティクスや商品認識など、コンピュータビジョンの幅広いアプリケーションを支えている。 ビジネス課題 納期がわずか1ヶ月という極めて緊急性の高いプロジェクト。顧客は、以下3つの明確な要求要件を掲げて当社にアプローチした： ・ 高品質な2Dバウンディングボックスアノテーショングローサリーアイテムを正確にラベリングし、物体検出モデルを適切にサポートできる学習データを確保すること。 ・ 1ヶ月以内の迅速な納品 極めてタイトなスケジュール。後続のモデル学習スケジュールに間に合わせるため、すべてのアノテーションをわずか1ヶ月以内に完了する必要があった。 ・ 厳格な品質保証（QA）と絶対的なデータセキュリティ統制された品質保証プロセスと、顧客のデータセキュリティ基準への完全な準拠が求められた プロジェクト詳細 アノテーション対象クラス： グローサリー アノテーション種類： 2Dバウンディングボックス ソリューション • チームの立ち上げ：1ヶ月の納期に対応するため、7名のアノテーターを招集した。アノテーション範囲、バウンディングボックスの基準、およびレビュー基準についてクライアントと合意を形成した。連絡や意思疎通は、WhatsAppおよびクライアントのアノテーションツールを介して実行。 • トレーニング：一貫したバウンディングボックスのルールに関してチーム内の認識を一致させ、サンプル画像を確認した。本格的な生産に入る前に、トライアルバッチを完了・検査した。 • 実行：密集した陳列棚や商品の重複に細心の注意を払いながら、食料品アイテムのラベリングを実行。4ステップの品質保証（QA）プロセスにより、98%の精度を確保した。 • 納品：進捗状況、データボリューム、およびQA結果の定期的なアップデートを伴うバッチ形式で、アノテーショ データを納品した。 使用技術 主な結果

顧客の概要 顧客は、昆虫、幼虫、および感染症の媒介に焦点を当てた政府出資の研究プロジェクトを遂行している、イタリアの大学である。この研究は、感染症の拡大を招くおそれのある昆虫の個体群の早期発見と分析の改善を目指している ビジネス課題 ・ 本プロジェクトは視覚的データに大きく依存していた。大量の生物画像が収集されていたものの、分析やモデル学習に使用する前に、データを正確にアノテーションする必要があった。 ・ 対象となるテーマが生物学と医学研究に関わるものであるため、顧客は、高度なアノテーションの技術的スキルと、専門領域特有門領域特有の機微やデータ取り扱いに対する深い理解を兼ね備えたベンダーを求めていた。 プロジェクト詳細 ・ アノテーション対象：4種類の幼虫 ・ アノテーション種類： 2Dバウンディングボックス ソリューション 1. チーム編成：生物画像の処理経験を持つ10名のアノテーターからなるチームを編成。幼虫の定義、バウンディングボックスのルール、およびレビュー基準について顧客と合意させた。 2. ドメイン知識のトレーニング：幼虫とゴミやノイズ（破片・アーティファクト）を識別し、非常に小さい、または一部のみが見えている対象物に対して精密なバウンディングボックスを描くためのトレーニングを実施。 3. 実行・オペレーション：厳密に管理されたバッチ単位で画像のラベリングを実行。手戻りを防ぐため、アノテーターは自らセルフレビューを行い、不明瞭なケースは早い段階でフラグを立てて報告。 4. 品質保証（QA）のプロセス：4層のQAワークフロー（セルフチェック、相互レビュー、QAリードレビュー、最終検査）を導入し、98%の精度を確保。 5. 納品：進捗状況、対象物のカウント数、およびQAのステータス更新を伴う定期的なバッチ形式で、アノテーションデータを納品。 使用技術 主な結果

顧客の概要 顧客はこの分野のリーディングカンパニーであり、現実世界のデータキャプチャや設計統合から、コラボレーション、レポーティング、プロジェクト保管に至るまで、全体のワークフローを効率化するためのソリューションを開発している。 ビジネス課題 自社プラットフォームの価値を最大化するため、顧客は、ラベル付けされた建築図面と360度現地動画用の建設画像を処理・検証できるパートナーを必要としていた。具体的な要求要件は以下の通り： ・ 設計図面と照らし合わせて建設工事を検証し、設備などの設置が計画とスケジュール通りに進んでいるかを確認すること。 ・ 異なる作業区域、工種、およびBIM（ビルディングインフォメーションモデリング）カテゴリ全体にわたる進捗率の分析。 ・ 360度現地動画を進捗報告書に変換し、現場チームへの指示出し、遅延の削減、コラボレーションの向上に役立てること。 ・ 建築要素を一貫して以下の3つのクラスに分類すること： ° 未検出： 不足、または未設置 ° 未完了： 部分的に設置済み ° 設置済み： 完全に設置完了し、検証済み プロジェクト詳細 ・ アノテーション対象：配管（パイプ）、壁、ドアなど ・ 範囲： データ検証 ソリューション 1. パイロットフェーズ：5名のアノテーターからなる体制で開始し、ワークフローをテスト。建設図面と360度動画を 用いて、3つの分類（未検出、未完了、設置済み）の基準についてクライアントと認識を一致させた。 2. ガイドラインと品質保証：アノテーションルールやエッジケースを顧客と共同で精緻化。多層的なQAプロセスにより、98%の精度を維持。 3. チームの規模拡大：構造化されたオンボーディング、ツール操作研修、および実践練習を導入し、50名のアノテーター体制まで拡張。 4. モニタリング：PMが生産性を追跡し、週次のフィードバックや再研修を通じて不明瞭なケースを解消。 5. 実績・結果：1年間で5万枚以上の画像を処理。信頼性の高い建設進捗分析に向けて、98%以上の精度を維持。 使用技術…

顧客の概要 顧客は、中国に本社を置く世界有数の多国籍テック企業であり、複数のプログラミング言語と複雑なコードベースにわたる長期的なソフトウェアエンジニアリングタスクを解決するために設計された、AIコーディングエージェントを開発している。 ビジネス課題 軌跡データの必要性： 安定した学習と強力な汎用性を確保するための、大規模かつ高品質な軌跡データが必要。 • 難易度の向上： モデルのロードマップに沿って、タスクを多様化させ、段階的に難易度を上げていく。 • ステップ精度の担保： ほぼ完璧なステップ精度と厳格な品質管理の義務付け（1つのステップの誤りが、軌跡全体を無効化するため）。 • 広範なカバー率： 様々なプログラミング言語や、多様な要求種類（バグ修正、環境の問題、機能開発など）を広範囲にカバーする。 • スケーリングの要件： 規模の拡大には、長年の実践的な開発およびプロジェクト保守の経験を持つ熟練した開発者が必要。 • 一貫性のある測定： 経時的な進捗を追跡し、トレーニングと評価ターゲットを確実に一致させるための、安定した一貫性のあるベンチマークとスコアリング手法が必要。 プロジェクト詳細 長期実行軌跡の収集・記録、品質保証フレームワーク設計・実行、タスクとシナリオの作成、複数言語のコードカバー率の確保、AIエージェントの評価と進捗追跡。 ソリューション 1. 標準化された生産パイプライン：タスク作成 ➔ 実行 ➔ 修正 ➔ 自動QA ➔ 人手によるQAにより、エラーを削減しながらスループットを向上。 2. ロードマップに適合したタスク生成：高速な更新サイクル、難易度コントロール、および学習ウェーブ全体における段階的なドメイン拡張。 3. 明確な評価基準に基づくエンドツーエンドのQA：多層チェック（ピアレビュー、スポットチェック、ゴールドスタンダードタスク）に加え、合格率、編集距離、修正時間、自己回復などの指標を導入。 4. スケーラブルなデリバリー：迅速なオンボーディング、定期的なパフォーマンス測定、およびコストと品質を最適化するためのスキル階層化。 5.…

顧客の概要 米国拠点のリサーチラボであり、ヒューマンAIインタラクション領域の研究開発を行っている。人間の行動に近い形でデジタルプラットフォームを操作可能なAIシステムの構築を目指している。その実現に向けて、リアルなユーザーインタラクションデータを大量に必要としている   ビジネス課題 ・ お客様は、複数のアプリ上で人間の操作をシミュレーションし、そのインタラクションをLLM開発向けのトレーニングデータとして収集することを要件としている。 ・ 弊社は、フレームワークおよび各種スクリプトを構築する必要がある。その上で、当該スクリプトに基づき、可能な限り多様なタスクを生成する必要がある。 ・ アノテーターは、1日6～8時間にわたり画面録画を行い、アプリの自然な利用をシミュレーションする。 ・ 各操作は約2～3秒間隔のリズムで実施し、人間のアプリ利用を模倣しつつ、自然なインタラクション速度を再現する。 ・ アノテーターは、AIモデルとの対話を想定し、プロジェクトマネージャーと1対1形式で直接コミュニケーションを行う。 ・ 厳格なQAルーブリック（正確性、完全性、効率性、品質、設定、キーボード／マウス操作）を遵守する必要がある。 ・ 本プロジェクトはスクリプトおよび行動の多様性を重視しており、許容されるエラー率は最大10％。 ソリューション 1. 要件定義：クライアントとアプリ対象範囲、主要ユーザーアクション（投稿、購買、応募、編集）について合意し、データセット量とリアルなユーザー行動のバランスを調整する。 2. チーム構成：45名体制を配置します（PM 2名、タスク作成者 3名、QA 10名、アノテーター 30名）。アノテーターは日々のアプリ操作を記録する。 3. トレーニング：アノテーターを教育し、ソーシャル、Eコマース、コンテンツ、プロフェッショナルプラットフォームで自然なアプリ利用をシミュレーションできるようにする。 4. 実行：スクリプトに基づき多様なアプリ操作を実施する。アノテーターは1日6～8時間録画し、スクロール、投稿、いいねなどの実際の行動を再現する。このワークフローにより、週単位で数千分の動画を生成し、98％以上の精度を達成する。 5. 納品：画面録画、タスクログ、QAレポートを含むデータを定期的に納品し、クライアントがLLMトレーニングに直接利用できる形式で提供する。 使用技術 主な結果