LTS QA

データアノテーション の目的

機械学習

機械学習はというと、AIに内包されるもので、特定のタスクをトレーニングにより機械に実行させるものである。機械学習の手法は、教師あり学習、教師なし学習、半教師あり学習と強化学習の4選がある。

▸教師あり学習：教師あり学習とは、学習データに正解ラベルを付けて学習する手法である。これは、事前に与えられたデータをいわば例題とみなして、それをガイドに学習を行うというのアルゴリズムである。

▸教師なし学習：教師なし学習は、学習データに正解のラベルを付けないで学習させる手法である。つまり、機械学習モデルが自力でデータの法則性、特徴を見つけていく。

▸半教師あり学習：半教師あり学習は、文字通りに教師あり学習と教師なし学習と共通点がある手法となっている。

▸強化学習：強化学習とは、ある環境内におけるエージェントが、現在の状態を観測し、取るべき行動を決定する機械学習の一種。例えばゲーム業界に、この学習手法により、エージェントは、タスクの報酬を最大化する一連の意思決定を行うことができる。

手法には何選がありますが、最もよく使用されるのは教師なし学習と教師あり学習である。

 

教師データとは？

教師データとは、一つ一つのデータに対して付与される正解を示す情報のことである。基本的に割り当てられたタスクの実行をAIに教えるテキストで、何度も使用を繰り返して予測を微調整し、正解率を高めていく。

 

 

AI向け教師データの作成し方　(データアノテーション)

ステップ1：データ収集

正しいな教師データを収集するには、まず課題の内容 とそのビジネス上の価値を理解する必要がある。 アノテーションのデータ分類については、名前から 類推して キーワードを作成し、インターネットからのデータ検索ツールを使用して、画像を検索することが できる。 または、写真、SNSの動画、Googleの衛星画像、公共のカメラ や車（Waymo、Tesla）から 無料で 収集されたデータ、または 第三者からデータを購入することも できる（データの正確性については自己責任）。

一般的なデータタイプには、画像、動画、テキスト、音声、および3Dセンサーデータがある。

画像：人、物、動物の写真。

動画：CCTVまたはカメラから記録されたテープ。

テキスト：さまざまなドキュメントの種類で数字や単語が含まれ、複数の言語で書いても使用できる。

音声：人口統計が異なる人々からの音声レコード。

3Dセンサーデータ：センサーデバイスによって生成された3Dモデル。

 

ステップ2：課題を把握する

課題を把握すると入力データにどんな手法を選ぶのかわかっていく。 コンピュータビジョンには、以下のようにタスクがある：

▸画像分類：入力データを分類し、画像にクラスラベルを割り当てること。

▸物体認識（オブジェクト ディテクション）：画像から検出する物体に点や線を設置、あるいは矩形（バウンディングボックス）で囲みます。そのオブジェクトが何であるかを示すタグ（クラス）と座標情報のラベル（ローカライゼーション）も付ける。

▸領域抽出（セグメンテーション）：画像をセグメンテーションした（輪郭線情報をポリゴンにより付与）後、クラスラベルを付ける。

 

ステップ3：データアノテーション

要件を満たすデータセットを準備したら、次は どのような方法で アノテーションをするのか を決める必要がある。データは 決まった手法に応じて 処理されていく。例えば、分類の場合、「ラベル」はクロールするプロセスでインターネットからデータを見つける時に使用されるキーワードである。 その後、ツールを使用して 画像注釈（画像のラベルとメタデータを設定）を実行する必要がある。 一般的なツールには Comma Coloring, Annotorious, LabelMe などが ある。これらのツールは、画像の各セグメントに ラベルを付けるためのGUIを サポートする。

 

データアノテーションプロジェクトを担当するのは？

社内

データが自社で ラベル付けす

・長所：データの精度管理が容易、低コスト。

・短所：データの収集とラベル付けに 時間がかかる。

アウトソース(外注)

データアノテーションサービスを提供しているBPO・ITアウトソーシング企業に 依頼する。

・長所：データを すぐ集められる。

・短所：データの透明性、正確性がわからない。費用が かかる。

オンライン労働力

Amazon MechanicalTurkやCrowdflowerといったプラットフォームでアノテーションの業務を委託することができる。

・長所：労働力が多い

・短所：正確性がわからない。

 

機械学習を構築するには、データサイエンティストに複雑な機械学習タスクのインフラを構築させるだけでなく、入力データにラベルを付けるためのデータアノテーターも必要もあります。

 

Lotus Quality Assuranceは、さまざまなドメインで専門的なデータxアノテーションサービスを提供します。 品質レビュープロセスにより、高品質で安全なサービスを提供することをお約束します。 さらにサポートが必要な場合は、お問い合わせください。

 

最近、アウトソーシングは企業のコストを削減するのに役立つだけでなく、戦略的管理のための効果的な選択にもなりました。典型的な例は、テスト自動化アウトソーシングです 。企業の製品やアプリの品質を向上させ、ビジネスリスクを軽減するのに役立ちます。テスト自動化と品質保証で10年以上の経験を持つLQAのテストチームは、ROIを最大化するためのテスト自動化アウトソーシングに関する5つのヒントを提供します。

 

1. エンゲージメントモデルを調べ

• テスト自動化アウトソーシングモデルのタイプを決定するべき。 アウトソーシングプロジェクトをどの程度管理したいのかを考えましょう。より細かく制御し、リスクを軽減するために作業をより小さなプロジェクトに分割できるようにしたい場合は、インクリメンタルアウトソーシングが最適です。ただし、コアビジネスに集中し、テストアクティビティを第三者に任せたい場合は、トータルアウトソーシングが最良の選択だと思います。
• ベンダーのパフォーマンスを管理するプロジェクトマネージャー(PM)を任命すること。 オンサイトモデルとオフショアモデルのどちらを採用する場合でも、プロジェクトマネージャーをクライアント側に派遣することで、ベンダーの能力を評価し、ベンダーのパフォーマンス管理プロセスを設定し、SLA義務の履行と適時性を追跡できます。

 

2.独立で高能力のベンダーを選択

同じ初期投資で、ROIの数値はベンダーによって異なります。独立品質保証会社は、客観性と徹底性を提供できるため、お気に入りのベンダーになりつつあります。さらに、テストに重点を置いているため、独立したQAベンダーは、適正価格で最高品質の結果を引き出すことができます。独立ベンダーは専門知識を提供できることが：

• 全体のテスト自動化戦略を作成すること。
• 柔軟なテスト自動化アーキテクチャを設計、開発、維持すること。
• 最良のテスト自動化フレームワークを選択するのアドバイス。
• UIとAPIレベルの両方で自動化をサポートすること。

 

 

3.水平方向のコラボレーションを設定

双方にとってより有益で便利なものにするために、ベンダーとのコラボレーションは水平レベルで実行する必要があります。 詳しくは以下のように：

当社側	コラボレーションの側面	ベンダー側
CTOあるいはCEO	戦略的整合、長期的な優先順位付け	CTOあるいはCEO
ソフトウェア開発/ QAチームリーダー	サービスレベルアグリーメント（SLA）の調整、KPIレビュー、契約の修正	アカウントマネージャー
プロジェクトマネージャ	QA活動の優先順位付けとスケジューリング、リスク管理、プロセス調整	テスト自動化マネージャー
ビジネス分析、ソフトウェア開発、品質保証エンジニア	毎日のコラボレーション	テスト自動化エンジニア

 

 

4. Establish performance measurement metrics

テスト自動化のメリットの1つは、簡単な測定と測定基準であいまいさを減らすことです。 作業単位は小さな成果物（１つのテストケース）であるため、1人あたり、1日に自動化されたテストの数を簡単に測定し、メンテナンスにどのくらいの労力が費やされているかを把握し、最終的にROIの決定に到達できます。 メトリックの確立には、次のアクティビティを含める必要があります：

• ベンダーとのSLAおよびパフォーマンスメトリックを設定すること：パートナーシップを開始する前に、両当事者が協力して包括的なSLAを把握する必要があります。 さらに、契約には、ベンダーの責任と、サービスを測定するKPIも明確に記載するべきだと思います。
• テスト自動化のアウトソーシングで発生する可能性のあるリスクを軽減すること：作業プロセスでは、技術的およびリソース関連のリスクにより、追加のコストとサービス提供の遅延が発生する可能性があります。特定されたリスクについて、管理者は軽減および緊急時対応戦略を策定するべきです。具体的な例の1つは、プロジェクトの負荷が変動する場合、マネージャーは、プロジェクトの負荷の事前定義された制限内での柔軟なリソース割り当ての可能性についてベンダーと交渉する必要があります。
• SLA条件が遵守され、満たされていることを確認：プロジェクトマネージャーは、テスト結果レポートを定期的に確認する必要があります。 テストカバレッジや自動テストあたりのコストなどの指標の組み合わせに注意を払うことが大事です。

 

5. Moving forward to long-term collaboration

テスト自動化のアウトソーシングは、最初は手間がかかる作業かもしれませんが、長期的にはメリットがあります。長期実行プロジェクトの自動化は、プロジェクトが実行する限り、通常は何人年もかかります。したがって、自動化による節約と価値はこの期間にわたって維持され、その結果、ROIが向上します。さらに、自動化されたテストスクリプトは最小限の介入で済み、テストケースの実行とスクリプトエラーのトラブルシューティングの頻度が少なくて済みます。 反復的なタスクから離れて、より重要なビジネスプロセスに展開することにより、人的資源の使用率を向上させます。

 

品質保証とテスト自動化をアウトソーシングすることを決定する場合、最高のROIを達成するために考慮すべきいくつかの要素があります。 上記の5つのステップで、LQAは皆さまのアウトソーシングプロジェクトが望むように順調に進むことを望んでいます。 弊社とのコラボレーションでご要望がございましたら、こちらからお問い合わせください。

 

数十年間で、テクノロジーは常に男性の遊び場でしたが、女性がこのゲームに参加することを決定したのは近年だけです。

LotusQualityAssuranceのCEOであるPhungThanh Xuan氏は、テクノロジーエンジニアとして何年も働いた後、現在、たった5年間で200人近くのスタッフを擁する独自のグローバルテクノロジー企業を経営しています。 私たちは才能のある、決して屈服せず、断固としたCEOによって率いることを光栄に思います。 より多くのベトナム人女性がテック業界の「ジェンダーバイアス」の壁を乗り越えろとしているが見えます。

この傾向は、社会が女性だけでなく男性にとってもより良い方向に変化する可能性があると信じています。

BNewsに掲載されたインテビューの国際女性デーをありがとうございます。この記事が、性別の固定観念に関係なく、より多くの女性が好きなことをするように刺激することができるように願っています。