LTS QA

データアノテーション の目的

機械学習

機械学習はというと、AIに内包されるもので、特定のタスクをトレーニングにより機械に実行させるものである。機械学習の手法は、教師あり学習、教師なし学習、半教師あり学習と強化学習の4選がある。

▸教師あり学習：教師あり学習とは、学習データに正解ラベルを付けて学習する手法である。これは、事前に与えられたデータをいわば例題とみなして、それをガイドに学習を行うというのアルゴリズムである。

▸教師なし学習：教師なし学習は、学習データに正解のラベルを付けないで学習させる手法である。つまり、機械学習モデルが自力でデータの法則性、特徴を見つけていく。

▸半教師あり学習：半教師あり学習は、文字通りに教師あり学習と教師なし学習と共通点がある手法となっている。

▸強化学習：強化学習とは、ある環境内におけるエージェントが、現在の状態を観測し、取るべき行動を決定する機械学習の一種。例えばゲーム業界に、この学習手法により、エージェントは、タスクの報酬を最大化する一連の意思決定を行うことができる。

手法には何選がありますが、最もよく使用されるのは教師なし学習と教師あり学習である。

教師データとは？

教師データとは、一つ一つのデータに対して付与される正解を示す情報のことである。基本的に割り当てられたタスクの実行をAIに教えるテキストで、何度も使用を繰り返して予測を微調整し、正解率を高めていく。

AI向け教師データの作成し方　(データアノテーション)

ステップ1：データ収集

正しいな教師データを収集するには、まず課題の内容 とそのビジネス上の価値を理解する必要がある。 アノテーションのデータ分類については、名前から 類推して キーワードを作成し、インターネットからのデータ検索ツールを使用して、画像を検索することが できる。 または、写真、SNSの動画、Googleの衛星画像、公共のカメラ や車（Waymo、Tesla）から 無料で 収集されたデータ、または 第三者からデータを購入することも できる（データの正確性については自己責任）。

一般的なデータタイプには、画像、動画、テキスト、音声、および3Dセンサーデータがある。

画像：人、物、動物の写真。

動画：CCTVまたはカメラから記録されたテープ。

テキスト：さまざまなドキュメントの種類で数字や単語が含まれ、複数の言語で書いても使用できる。

音声：人口統計が異なる人々からの音声レコード。

3Dセンサーデータ：センサーデバイスによって生成された3Dモデル。

ステップ2：課題を把握する

課題を把握すると入力データにどんな手法を選ぶのかわかっていく。 コンピュータビジョンには、以下のようにタスクがある：

▸画像分類：入力データを分類し、画像にクラスラベルを割り当てること。

▸物体認識（オブジェクト ディテクション）：画像から検出する物体に点や線を設置、あるいは矩形（バウンディングボックス）で囲みます。そのオブジェクトが何であるかを示すタグ（クラス）と座標情報のラベル（ローカライゼーション）も付ける。

▸領域抽出（セグメンテーション）：画像をセグメンテーションした（輪郭線情報をポリゴンにより付与）後、クラスラベルを付ける。

ステップ3：データアノテーション

要件を満たすデータセットを準備したら、次は どのような方法で アノテーションをするのか を決める必要がある。データは 決まった手法に応じて 処理されていく。例えば、分類の場合、「ラベル」はクロールするプロセスでインターネットからデータを見つける時に使用されるキーワードである。 その後、ツールを使用して 画像注釈（画像のラベルとメタデータを設定）を実行する必要がある。 一般的なツールには Comma Coloring, Annotorious, LabelMe などが ある。これらのツールは、画像の各セグメントに ラベルを付けるためのGUIを サポートする。

データアノテーションプロジェクトを担当するのは？

社内

データが自社で ラベル付けす

・長所：データの精度管理が容易、低コスト。

・短所：データの収集とラベル付けに 時間がかかる。

アウトソース(外注)

データアノテーションサービスを提供しているBPO・ITアウトソーシング企業に 依頼する。

・長所：データを すぐ集められる。

・短所：データの透明性、正確性がわからない。費用が かかる。

オンライン労働力

Amazon MechanicalTurkやCrowdflowerといったプラットフォームでアノテーションの業務を委託することができる。

・長所：労働力が多い

・短所：正確性がわからない。

機械学習を構築するには、データサイエンティストに複雑な機械学習タスクのインフラを構築させるだけでなく、入力データにラベルを付けるためのデータアノテーターも必要もあります。

Lotus Quality Assuranceは、さまざまなドメインで専門的なデータxアノテーションサービスを提供します。 品質レビュープロセスにより、高品質で安全なサービスを提供することをお約束します。 さらにサポートが必要な場合は、お問い合わせください。

最近、アウトソーシングは企業のコストを削減するのに役立つだけでなく、戦略的管理のための効果的な選択にもなりました。典型的な例は、テスト自動化アウトソーシングです 。企業の製品やアプリの品質を向上させ、ビジネスリスクを軽減するのに役立ちます。テスト自動化と品質保証で10年以上の経験を持つLQAのテストチームは、ROIを最大化するためのテスト自動化アウトソーシングに関する5つのヒントを提供します。

1. エンゲージメントモデルを調べ

• テスト自動化アウトソーシングモデルのタイプを決定するべき。 アウトソーシングプロジェクトをどの程度管理したいのかを考えましょう。より細かく制御し、リスクを軽減するために作業をより小さなプロジェクトに分割できるようにしたい場合は、インクリメンタルアウトソーシングが最適です。ただし、コアビジネスに集中し、テストアクティビティを第三者に任せたい場合は、トータルアウトソーシングが最良の選択だと思います。
• ベンダーのパフォーマンスを管理するプロジェクトマネージャー(PM)を任命すること。 オンサイトモデルとオフショアモデルのどちらを採用する場合でも、プロジェクトマネージャーをクライアント側に派遣することで、ベンダーの能力を評価し、ベンダーのパフォーマンス管理プロセスを設定し、SLA義務の履行と適時性を追跡できます。

2.独立で高能力のベンダーを選択

同じ初期投資で、ROIの数値はベンダーによって異なります。独立品質保証会社は、客観性と徹底性を提供できるため、お気に入りのベンダーになりつつあります。さらに、テストに重点を置いているため、独立したQAベンダーは、適正価格で最高品質の結果を引き出すことができます。独立ベンダーは専門知識を提供できることが：

• 全体のテスト自動化戦略を作成すること。
• 柔軟なテスト自動化アーキテクチャを設計、開発、維持すること。
• 最良のテスト自動化フレームワークを選択するのアドバイス。
• UIとAPIレベルの両方で自動化をサポートすること。

3.水平方向のコラボレーションを設定

双方にとってより有益で便利なものにするために、ベンダーとのコラボレーションは水平レベルで実行する必要があります。 詳しくは以下のように：

4. Establish performance measurement metrics

テスト自動化のメリットの1つは、簡単な測定と測定基準であいまいさを減らすことです。 作業単位は小さな成果物（１つのテストケース）であるため、1人あたり、1日に自動化されたテストの数を簡単に測定し、メンテナンスにどのくらいの労力が費やされているかを把握し、最終的にROIの決定に到達できます。 メトリックの確立には、次のアクティビティを含める必要があります：

• ベンダーとのSLAおよびパフォーマンスメトリックを設定すること：パートナーシップを開始する前に、両当事者が協力して包括的なSLAを把握する必要があります。 さらに、契約には、ベンダーの責任と、サービスを測定するKPIも明確に記載するべきだと思います。
• テスト自動化のアウトソーシングで発生する可能性のあるリスクを軽減すること：作業プロセスでは、技術的およびリソース関連のリスクにより、追加のコストとサービス提供の遅延が発生する可能性があります。特定されたリスクについて、管理者は軽減および緊急時対応戦略を策定するべきです。具体的な例の1つは、プロジェクトの負荷が変動する場合、マネージャーは、プロジェクトの負荷の事前定義された制限内での柔軟なリソース割り当ての可能性についてベンダーと交渉する必要があります。
• SLA条件が遵守され、満たされていることを確認：プロジェクトマネージャーは、テスト結果レポートを定期的に確認する必要があります。 テストカバレッジや自動テストあたりのコストなどの指標の組み合わせに注意を払うことが大事です。

5. Moving forward to long-term collaboration

テスト自動化のアウトソーシングは、最初は手間がかかる作業かもしれませんが、長期的にはメリットがあります。長期実行プロジェクトの自動化は、プロジェクトが実行する限り、通常は何人年もかかります。したがって、自動化による節約と価値はこの期間にわたって維持され、その結果、ROIが向上します。さらに、自動化されたテストスクリプトは最小限の介入で済み、テストケースの実行とスクリプトエラーのトラブルシューティングの頻度が少なくて済みます。 反復的なタスクから離れて、より重要なビジネスプロセスに展開することにより、人的資源の使用率を向上させます。

品質保証とテスト自動化をアウトソーシングすることを決定する場合、最高のROIを達成するために考慮すべきいくつかの要素があります。 上記の5つのステップで、LQAは皆さまのアウトソーシングプロジェクトが望むように順調に進むことを望んでいます。 弊社とのコラボレーションでご要望がございましたら、こちらからお問い合わせください。

LotusQAのCEOであるPhung Thanh Xuan氏のインタビュー記事「デジタルテクノロジーでビジネスを始める：女性起業家として成功できるなのか？」がBNewsに掲載された

数十年間で、テクノロジーは常に男性の遊び場でしたが、女性がこのゲームに参加することを決定したのは近年だけです。

LotusQualityAssuranceのCEOであるPhungThanh Xuan氏は、テクノロジーエンジニアとして何年も働いた後、現在、たった5年間で200人近くのスタッフを擁する独自のグローバルテクノロジー企業を経営しています。 私たちは才能のある、決して屈服せず、断固としたCEOによって率いることを光栄に思います。 より多くのベトナム人女性がテック業界の「ジェンダーバイアス」の壁を乗り越えろとしているが見えます。

この傾向は、社会が女性だけでなく男性にとってもより良い方向に変化する可能性があると信じています。

BNewsに掲載されたインテビューの国際女性デーをありがとうございます。この記事が、性別の固定観念に関係なく、より多くの女性が好きなことをするように刺激することができるように願っています。

Lotus Quality AssuranceはISTQBパートナーシッププログラムにて「Silver Partner」に認定されました。

ソフトウェアテストに関する国際的な資格認定機関である

「ISTQB」 そのパートナープログラムは、テスト技術者資格認定者の技術を通して、 品質技術およびテスト技術の向上に尽力している会社や組織を認定するスキームです。ISTQB®パートナープログラムは、ソフトウェアテスト認定への取り組みが実証されている組織を表彰します。

Lotus Quality Assuranceは、本質的な評価、審査に合格し、ISTQBの「Silver Partner」として認められました。「Silver Partner」に認定されたのは、証明書の数と社内のテスターの資格に関するISTQBの厳しい要件を満たす必要があります。

この成果は、グローバルスタンダードを備えた高レベルのテスターの継続的なトレーニングプロセスの結果です。 LQAの優秀な人材チームは、すべてのプロジェクトに最高品質のサービスを提供することにします。

ISTQBの「Silver Partner」になることは、将来的に「Global Partner」になるための最初の一歩です。 この成果は、グローバルスタンダードのテストサービスを提供する国際的に信頼できるQAパートナーになるというLQAの決意を強化します。

2021年ベトナム旧正月 休暇のお知らせ

平素は格別のお引き立てを賜り、厚く御礼申し上げます。

弊社では、ベトナム旧正月休暇の期間を以下の通りとさせていただきます。

ご不便をお掛け致しますが、何卒ご了承くださいますようお願い申し上げます。

皆様のご健康とご多幸をお祈り申し上げます。

休業期間：2021年2月10日（水）～　2021年2月16日（火）

※2021年2月17日（水）より通常営業いたします。

お休み期間中にお送りいただきましたお問い合わせは、新年の営業開始日より順次対応させていただきます。 来年も本年同様、変わらぬご愛顧のほど、よろしくお願い致します。

ベトナム、中国、インドなどの新興BPOの目的地へのデータラベリングサービスのアウトソーシングは、最近の傾向になっています。 ただし、多くの企業の中から最適な データラベリングアウトソーシング ベンダーを選択することは容易ではありません。 この記事では、LQAが最適なベンダーを見つけるためのアドバイスを紹介します。

1.明確なプロジェクト要件を準備します

まず第一に、最終結果に対する自分の期待のすべてを示す明確で詳細な要件を準備することが重要です。 リクエストにプロジェクトの概要、タイムライン、予算を含める必要があります。 適切な要件は下記のようになります：

• • アノテーターはどのようなデータ型を処理するか？
  • どのようなアノテーションタイプをするか？
  • データにラベルを付けるには、専門知識が必要か？
  • データセットに高精度の注釈を付ける必要があるか？
  • 注釈を付けるファイルはいくつか？
  • プロジェクトの締め切りはいつか？
  • このプロジェクトの費用はいくらか？
  • 要件に一致するアノテーションタイプを提供していますか？

2.ベンダーを評価するための必須基準

要件を確定したら、どのベンダーと契約したいかベンダーリストから評価する必要があります。 多額の費用をかけ、品質低いデータセットを貰わないよう、この段階は非常に重要です。 経験、品質、効率、セキュリティ、チームメイトに基づいて評価することをお勧めします。

経験

データのラベル付けは簡単な作業のように見えますが、大規模のデータを効率的かつ正確に実行するには、細部に細心の注意を払い、特別なスキルが必要です。各ベンダーが具体的にあるデータアノテーション量でどのくらいの期間作業してきたか、及びアノテーターがどの程度の経験を持っているかをしっかりと理解する必要があります。評価するために、長年の経験、ドメインに関する知識、およびアノテーションタイプについてベンダーに問い合わせる必要があります。 例えば：

• • データアノテーションに何年の経験がありますか？
  • 以前に特別なドメインに関する知識を要求するプロジェクトでやったことがありますか？
  • 要件に一致するアノテーションタイプを提供していますか？

品質

データサイエンティストは、多くの場合、ラベルがどの程度正確に配置されているかによって、モデルトレーニングのデータセットの品質を定義します。ただし、1〜2回正しくラベル付けすることではなく、一貫して正確なラベル付けが必要です。下記のようにベンダーの高品質のラベル付きデータを提供する能力があるかどうか確認できます：

• • 以前のアノテーションプロジェクトのエラー率
  • ラベル配置の正確度
  • アノテーターは各ラベルに適切タグを付けたの頻度

次の動画でデータ品質の詳細をご覧ください :

効率

アノテーションは想像以上に時間がかかります。例えば、5分間のビデオでは、1文に平均24フレームがあり、ラベル付け画像が最大7200枚になります。アノテーターが1枚の画像のラベル付けに使う時間が長いほど、タスクを完了するために必要な時間が長くなります。プロジェクトを完了するための必要な工数を正しく見積もるには、ベンダーに下記のように確認する必要があります：

• • 各ラベルを配置するの平均時間
  • 各ファイルでラベルを付けるの平均時間
  • 各ファイルの品質チェックの時間

ベンダーのアノテーションチームがプロジェクトを直接実行するため、アノテーションチームの能力を理解することは重要です。ベンダーは、十分に訓練されたチームを提供すること。 さらに、テキストにラベルを付ける場合、ラベル付けチームがその言語を話せるかどうかを確認する必要もあります。また、ベンダーに、アノテーションチームを短期間でスケールアップまたはスケールダウンする準備ができているかどうかを確認することが重要です。プロジェクトのサイズは時間の経過とともに変化する可能性があります。

参考 :

３．パイロットプロジェクトを要求する

パイロットプロジェクトは、プロジェクトの実行可能を検証するために使用される最初の小規模なプロジェクトです。パイロットプロジェクトでは、新しいプロジェクトのリスクを管理し、本格的なリソースが投入する前に欠陥を分析できます。

ベンダーにパイロットプロジェクトを依頼する場合は、データセットからいくつかのサンプルデータを選択する必要があります。 様々なデータタイプ（データセットの複雑度に応じる。10〜15ファイル）を含む少量データから始めることができます。

ベンダーを正しく評価できるように、デモの詳細なガイドラインを提供することは重要です。最後に、デモテストの進行状況を確認する方法を聞くことが必要です。 その結果、品質とパフォーマンスの追跡ツールまたはプロセスが要件を満たしているかどうかを評価できます。

データラベリングのアウトソーシングベンダーと契約を結ぶ前に、注意すべきポイントを全て述べました。 この記事は、あなたが最良なパートナーを見つけるのに役立つなら何よりです。

データラベリングベンダーリストが立っているなら、LQAも含めてみませんか？ヘルスケア、自動車、eコマースなどのさまざまな分野でデータにラベルを付ける経験が豊富です。LQAの経験と以前のプロジェクトについて詳しい知りたい場合、お問い合わせください。

下記の内容を簡単に把握できるようにするために データのアノテーションツール のリストをインフォグラフィックにまとめました。

• データのアノテーシツールの種類
• 各種での最適なツール
• ツールがラベル付けできるデータの種類

【インフォグラフィック】データのアノテーションツール

の包括的なリスト

データのアノテーションツール の種類

オープンソースツール

オープンソースツールは無料で使用でき、ソースコードを変更することができます。 データアノテーション用のオープンソースツールには、CVAT、LabelImg、Doccano、VoTTなどがあります。

商用ツール

このタイプのツールを使用するには支払いが必要ですが、ユーザーは自分の要望に合わせて機能をカスタマイズできます。 最高の商用ツールには、LinkedAI、Dataloop AI、Tagtog、LightTagなどがあります。

フリーウェアツール

オープンソースツールと同様に、フリーウェアツールは料金を請求しません。 フリーウェアをダウンロードして使用することはできますが、変更することはできません。 このタイプのツールの例は、Colabeler、SuperAnnotateです。

データラベリングプロジェクトに最適なツールを選択する方法がまだ分からない場合は、AIデータラベリングツールに関するビデオガイダンスシリーズをご覧ください。

データラベリングプロセスの効率を改善したいですか？ お問合せください！

ITの世界では高品質のソリューションが求められているため、テストの自動化は当然のことながら優れたソリューションと見なされています。 その利点にもかかわらず、起こりうる障害を回避するために、自動テストを実装する能力を事前に見積もる方法について大きな懸念があります。 実際、この方法を使用する前に注意深く確認する必要があります。注意して覚えておく必要のある障害があります。

この記事を通じて、テスト自動化の最大の課題を把握します。

課題1：適切なテストアプローチの選択

適切な自動化テストアプローチは、プロジェクトの効果的な結果において重要な役割を果たします。管理レベルでは、テストアプローチを作成する方法と方法を確実に知っていますが、テスト自動化でこのアプローチを作成することは別の問題です。最初の難しさは、製品の寿命に関連する長期的な自動化プロセスを作成することです。たとえば、デスクトップアプリケーションの平均サイクルは、一般的に12〜18ヶ月から15年以上です。したがって、テストアプローチは、ソフトウェアのライフスパンの全プロセスで実行できる必要があります。次に、テストアプローチでは、製品が変更または更新されたときに、人間の介入なしにこれらの変更を識別して対応できることを確認する必要があります。モバイルアプリケーションを例にとると、ユーザーの要件は急速に変化するため、このアプローチを「1つのサイズですべてに対応」することはできません。

確かに、最初に効果的な長期指向のフレームワークを構築するという課題を抱えて、テストアプローチでこれらの困難に対処することは困難です。

課題2：適切なツールの選択

自動化テストを成功させるための重要なポイントは、適切なツールを選択することです。開発者とテスターは、オープンソースツールまたは商用ツールを使用して、社内ツールを構築するための定期的な基盤のようにそれらを使用できます。各ツールは、特定のシナリオごとに適しています。市場にはさまざまな包括的なテストツールが存在するため、適切なものを選択することは困難です。特に、適切なツールは、プロジェクトの長期的な方向性、フレームワーク、プロジェクトの出力、クライアントの要件、テスターチームのスキルなどの多くの要因と一致する必要があります。間違ったツールや不適切なツールを選択すると、最初からプロセス全体が失敗する可能性があります。実際、オープンソースツールは、多くの場合、商用ツールよりも高いレベルのコーディングスキルを必要とします。例を挙げると、Selenium は、テスターに​​さらにプログラミングスキルを要求するオープンソースツールです。

エキスパートテスターは、次の手順でツールのプロセスを設定することをお勧めします

• ステップ1：ツール要件基準のセットを定義する
• ステップ2：選択したツールを確認する
• ステップ3：ツールを使用してトライアルテストを実施する
• ステップ4：これらのツールを使用するかどうかの最終決定を下しますか？

課題3 : 効果的なコミュニケーションとコラボレーション

手動テストおよび開発と比較して、自動テストは実際にはより多くのコラボレーションを必要とします。プロジェクトのインプットとアウトプットを完全に分析して理解するために、最初から、デリバリーチームと顧客の間の良好な相互作用が必須です。テスト戦略に関しては、テスターチームは、計画、範囲、およびフレームワークの作成についてプロジェクトマネージャーと連絡を取る必要があります。自動化テスターは、コードを理解するために開発者だけでなく、テストケースについては手動テスターと、最終製品を構築するための統合についてはインフラストラクチャエンジニアと話し合うという事実。言うまでもなく、最初からの誤解を無視したり無視したりすると、プロセスが煩雑になる可能性があります。

各プロセスの特定の連絡先、明確な期待、メンバーの責任などのコラボレーション環境を確立することで、誰もが情報を迅速かつ便利に提供できるようになります。さらに、積極的な関与と透明性のあるフレームワークにより、独自の企業文化が育まれます。

課題4：最初は高い投資コスト

自動化テストのメリットを否定することはできませんが、コストについて言及する場合、多くの問題と懸念があります。テスト自動化の長期にわたる高いROIにもかかわらず、初期段階のコストは非常に高くつきます。自動化されたテストフレームワーク、ライブラリ、およびハードウェアやソフトウェアなどの機能を構築するためにお金を費やす必要があります。当初、ツールは、オープンソースツールを選択した場合でも、多額の投資を考慮に入れています。オープンソースツールはライセンスのコストを削減できますが、それらのツールをトレーニングおよび保守するには、依然として多くの努力が必要です。その上、会議、コミュニケーション、コラボレーションなど、多くの隠れたコストも考慮に入れる必要があります。結果として、投資についてマネージャーまたは利害関係者の間でコンセンサスを得ることが課題となります。これが、潜在的な計画と実行可能な目標があっても、予算の制約のために自動化テストの多くの傾向が拒否される可能性がある理由です。

まとめ

要約すると、自動化テストはペイオフを効果的にサポートし、企業が進捗をスピードアップするための優れた方法です。ただし、テストの自動化は人間の知性に取って代わることはできません。自動化テストの全プロセスでオリエンテーションを行うには、依然として人間が必要です。

それでも疑問があり、ガイドラインやロードマップが必要な場合は、LQAがテスト自動化に関する無料のコンサルティングを提供します。