オープンソースのフリーテキスト注釈ツールのおすすめ 10 選

テキスト注釈作業は、テキスト内の特定の内容にラベルまたはタグを対応付ける作業です。その主な目的は、特に人工知能の分野で、より深い分析と処理のためにテキストに追加情報を提供することです。

#テキスト注釈は、人工知能アプリケーションの教師あり機械学習タスクにとって非常に重要です。これは、自然言語テキスト情報をより正確に理解し、テキスト分類、感情分析、言語翻訳などのタスクのパフォーマンスを向上させるために AI モデルをトレーニングするために使用されます。テキスト アノテーションを通じて、AI モデルにテキスト内のエンティティを認識し、コンテキストを理解し、新しい同様のデータが出現したときに正確な予測を行うように教えることができます。

この記事では主に、より優れたオープンソースのテキスト注釈ツールをいくつか推奨します。

1.Label Studio

https://github.com/HumanSignal/label-studio

Label Studio はオープンソース データです注釈ツール。複数のデータ型を処理し、複数のモデル形式へのエクスポートをサポートできます。生データを準備したり、既存のトレーニング データを改善して機械学習モデルの精度を向上させるために広く使用されています。

2.Doccano

https://github.com/doccano/doccano

Doccano は、テキスト分類、シーケンスのラベル付け、およびシーケンス タスクの機能を提供するオープン ソースのテキスト アノテーション ツールです。テキスト注釈チームのコラボレーション、多言語、モバイル アプリ、絵文字、ダーク テーマ、REST スタイルの API をサポートします。 Docker および Docker Compose を使用してインストールできます。

3.ユニバーサル データ ツール

https://github.com/UniversalDataTool/universal-data-tool

ユニバーサル データ ツールは、画像、テキスト、音声、ドキュメントなど、さまざまな種類のデータを編集し、注釈を付けるための多用途アプリケーションです。幅広いデータ型をサポートし、リアルタイムのコラボレーション、使いやすい GUI、テキスト アノテーター向けのトレーニング コースの作成などを提供します。このツールは Web 上またはデスクトップ アプリケーションとして利用でき、CSV または JSON 形式でのデータのダウンロードとアップロードをサポートしています。

4.YEDDA

https://github.com/jiesutd/YEDDA

YEDDA は、さまざまな言語、記号、絵文字で使用できるテキスト注釈ツールです。ショートカットの使用、モデルのコマンド実行、注釈テキストのシーケンス テキストとしてのエクスポートがサポートされています。インテリジェントなレコメンデーションや管理者分析などの機能をサポートします。

YEDDA は、Windows、Linux、MacOS を含むすべての主要なオペレーティング システムと互換性があります。

5.Argilla

https://github.com/argilla-io/argilla

Argilla は人工知能のためのプラットフォームですエンジニア 高品質で効率的なデータ出力を提供する、ドメイン専門家とのオープンソース データ コラボレーション プラットフォーム。

データ品質の制御と AI 出力品質の向上に役立ち、データとモデルの迅速な反復を可能にすることで効率が向上します。 Argilla は、データ管理ツールとモデル トレーニング ツールも提供します。

6.KernAI Refinery

https://github.com/code-kern-ai/refinery

Refinery は、自然言語データを扱うデータ サイエンティスト向けに設計された KernAI のオープンソース プラットフォームです。半自動データアノテーション、データサブセット品質評価、集中データ監視などの機能を提供し、手動ラベル付けの効率向上を目指します。

このツールは、Hugging Face や spaCy などのテクノロジーを活用して、事前構築された言語モデルを構築し、他のラベル付けツールと統合して柔軟なデータ処理を実現します。

機能:

• NLP タスクの (半) 自動化されたラベル付けワークフロー
• 手動およびプログラムによる分類とスパンのラベル付け
• 状態によるサポート-最先端のライブラリとフレームワークの統合
• ルックアップ テーブル/ナレッジ ベースの作成と管理
• ニューラル検索ベースの類似レコードと外れ値の取得
• スライス可能なタグ セッション
• プロジェクトごとに複数のタグタスク
• 豊富な自動化ライブラリ
• 広範なデータ管理とモニタリング
• 埋め込みの自動作成のためのHugging Faceとの統合
• JSONデータのアップロード/ダウンロード用のベースのデータ モデル
• プロジェクト メトリクスの概要
• Python SDK を介したデータへのアクセスと拡張
• インプレース属性の変更
• チーム コラボレーションホスト型バージョンでは
• 複数ユーザー向けのロールベースのアクセスと最小化されたタグ ビュー
• 統合されたグループ タグ ワークフロー
• アノテーター間の合意を自動的に計算

##7.Recogito.js
##https://github.com/recogito/recogito-js

ApplitoJS はテキスト注釈用の JavaScript ライブラリ。Web ページにテキスト注釈機能を追加したり、カスタム テキスト注釈プログラムを構築したりするために使用されます。 npm 経由でインストールするか、最新バージョンをダウンロードしてインストールできます。

8.ラベルスルース

https://github.com/label-sleuth/label-sleuth

##Label Sleuth は、テキストのラベル付けと分類のためのオープンソースのノーコード システムです。これにより、医師、弁護士、心理学者などの分野の専門家が、NLP 専門家の協力を得ずにカスタム NLP モデルを構築できるようになります。

通常、NLP モデルの作成にはドメインと機械学習の専門知識が必要です。 Label Sleuth は、直感的なテキスト注釈と AI モデル構築により、NLP の専門知識の要件を回避します。ユーザーがデータにラベルを付けている間、機械学習モデルがバックグラウンドでトレーニングされ、予測を行って次に何をラベル付けするかを提案します。

ノーコード システムであるため、機械学習の知識は必要なく、タスク定義から完成モデルまでわずか数時間で迅速なモデル開発が可能です。

9.マークアップ

https://github.com/samueldobbie/markup

マークアップは、エンティティ認識などの NLP および ML タスク用に、非構造化ドキュメントを構造化形式に変換するために使用できるオンライン注釈ツールです。アノテーションを付けながら同時に学習して、より複雑なアノテーションを予測および推奨します。また、概念マッピングのための共通オントロジーとカスタム オントロジーへの統合されたアクセスも提供します。

機能:

• 予測アノテーション: マークアップの機械学習主導の予測アノテーション機能は、作業中により複雑なアノテーションを推奨できるため、アノテーション プロセスがより効率的になります。
• 統合オントロジー アクセス タグ: 幅広い一般的なオントロジー (UMLS、SNOMED-CT、ICD-10 など) への統合アクセスと、概念マッピング用のカスタム オントロジーをアップロードする機能を提供します。
• 予測オントロジー マッピング: Markup の予測オントロジー マッピング機能は、機械学習を使用して、注釈を付けているテキストに基づいて標準用語とカスタム用語への適切なマッピングを推奨します。
• ユーザーフレンドリーなインターフェイス: 技術専門家でも初心者でも、Markup のユーザーフレンドリーなインターフェイスにより、誰でも最小限のセットアップで簡単にドキュメントに注釈を付けることができます。

10.ポテト

https://github.com/davidjuurgens/potato

Potato は、さまざまなテキスト注釈タスクの迅速なセットアップと展開をサポートする Web ベースのテキスト注釈ツールです。単一の構成ファイルによって駆動される Web サーバーとして実行でき、起動時のコーディングは必要ありません。ただし、Potato はカスタマイズが簡単で、通常、テキスト アノテーター用にユーザー インターフェイスを調整するために追加の Web デザインを必要としません。

主な機能:

• セットアップとカスタマイズが簡単
• 豊富な組み込みスキーマとテンプレート
• 複数のデータ型をサポート
• マルチタスク設定のサポート
• キーボード ショートカット、動的強調表示、ラベル ツールチップなどの機能でアノテーションの効率を向上させます
• フィルタリングの前後など、アノテーターの機能をより深く理解します質問
• 注意力テスト、認定テスト、組み込み時間チェックなどの品質管理機能