Python でのテキスト前処理テクニック-Python チュートリアル-php.cn

Python は、データサイエンス、機械学習、自然言語処理などの分野で広く使用されている強力なプログラミング言語です。これらの分野では、テキストの前処理は非常に重要なステップであり、テキストデータのノイズを低減し、モデルの精度を向上させることができます。この記事では、Python での一般的なテキスト前処理テクニックをいくつか紹介します。

1. テキストデータの読み取り

Python では、open() 関数を使用してテキストファイルを読み取ることができます。

with open('example.txt', 'r') as f: text = f.read()

ログイン後にコピー

この例では、「example.txt」という名前のテキストファイルを開いて、その内容を読み取ります。このテキストファイルの内容は、「text」という名前の文字列変数に保存されます。 read() 関数の使用に加えて、readlines() 関数を使用してテキストファイルの内容をリストに保存することもできます。

with open('example.txt', 'r') as f: lines = f.readlines()

ログイン後にコピー

この例では、「example.txt」の内容がリストとして保存され、各行がリストの要素になります。これは、複数行のデータを一度に読み取って処理できるため、大規模なテキストデータを操作する場合に便利です。

2. 句読点と数字を削除する

テキストの前処理では、通常、テキストから句読点と数字を削除する必要があります。 Python の re モジュールは、これらのタスクを処理するための非常に便利な正規表現機能を提供します。

import re text = "This is an example sentence! 12345." text = re.sub(r'[^ws]', '', text) # Remove punctuation text = re.sub(r'd+', '', text) # Remove numbers

ログイン後にコピー

この例では、最初に re.sub() 関数と正規表現 "¹" を使用してすべての句読点とスペースを削除します。次に、 re.sub() 関数と正規表現 "d" を使用して、テキストからすべての数値を削除します。最後に、処理したテキストを文字列変数「text」に保存します。

3. 単語の分割

単語の分割とは、テキストを個々の単語に分割することを指します。 Python の nltk ライブラリと spaCy ライブラリはどちらも、非常に便利な単語分割ツールを提供します。ここでは例として nltk ライブラリを取り上げます。

import nltk nltk.download('punkt') text = "This is an example sentence." words = nltk.word_tokenize(text)

ログイン後にコピー

この例では、最初に nltk ライブラリの punkt パッケージをダウンロードしました。これは、nltk ライブラリで非常に人気のある単語分割ツールキットです。次に、nltk.word_tokenize() 関数を使用してテキストを単語に分割し、結果を「単語」リストに保存します。

4. ストップワードの削除

テキスト処理では、一般的なストップワードを削除する必要があることがよくあります。一般的なストップワードには、「is」、「a」、「this」などが含まれます。 Python の nltk ライブラリと spaCy ライブラリも、優れたストップワードリストを提供します。以下は、nltk ライブラリを使用した例です。

import nltk nltk.download('stopwords') from nltk.corpus import stopwords text = "This is an example sentence." words = nltk.word_tokenize(text) filtered_words = [word for word in words if word.lower() not in stopwords.words('english')]

ログイン後にコピー

この例では、最初に nltk ライブラリのストップワードパッケージをダウンロードし、そこから英語のストップワードリストをインポートしました。次に、リスト内包表記を使用して、テキスト内のストップワードを単語リストから削除します。最後に、ストップワードを含まない単語リスト「filtered_words」を取得します。

5.ステミング

ステミングは、さまざまな形式の単語 (時制、単数形、複数形など) を同じ形式に正規化するプロセスです。 Python の nltk ライブラリと spaCy ライブラリはどちらも、非常に便利なステミングツールを提供します。ここでも、nltk ライブラリを例として取り上げます。

import nltk from nltk.stem import PorterStemmer stemmer = PorterStemmer() text = "This is an example sentence." words = nltk.word_tokenize(text) stemmed_words = [stemmer.stem(word) for word in words]

ログイン後にコピー

この例では、最初に nltk ライブラリから PorterStemmer クラスをインポートしました。次に、PorterStemmer オブジェクトをインスタンス化します。次に、リスト内包表記を使用してテキストから語幹を抽出し、結果を「stemmed_words」リストに保存します。

6. 品詞タグ付け

品詞タグ付けは、テキスト内の単語を品詞 (名詞、動詞、形容詞など) にマークするプロセスです。）。 Python の nltk ライブラリと spaCy ライブラリも、非常に便利な品詞タグ付けツールを提供します。ここでは、nltk ライブラリも例として取り上げます。

import nltk nltk.download('averaged_perceptron_tagger') text = "This is an example sentence." words = nltk.word_tokenize(text) tagged_words = nltk.pos_tag(words)

ログイン後にコピー

この例では、最初に nltk ライブラリの Averaged_perceptron_tagger パッケージをダウンロードしました。次に、nltk.word_tokenize() 関数を使用してテキストを単語に分割し、結果を「単語」リストに保存します。次に、nltk.pos_tag() 関数を使用して単語に品詞をタグ付けし、その結果を「tagged_words」リストに保存します。

概要

この記事では、テキストデータの読み取り、句読点と数字の削除、単語の分割、ストップワードの削除、ステミングと品詞など、Python での一般的なテキスト前処理テクニックをいくつか紹介します。タグ付けなど。これらのテクニックは非常に便利で、テキスト処理で広く使用されています。実際のアプリケーションでは、データの精度と効果を向上させるために、ニーズに応じてテキストの前処理に適切な手法を選択できます。