NLP 用 Python: PDF からテキストを抽出するには?-Python チュートリアル-php.cn

NLP 用 Python: PDF からテキストを抽出するには?

WBOY

リリース： 2023-09-27 11:21:43

オリジナル

1268 人が閲覧しました

Python for NLP：如何从PDF中提取文本？

NLP 用 Python: PDF からテキストを抽出するにはどうすればよいですか?

はじめに:
自然言語処理 (NLP) はテキストデータに関係する分野であり、テキストデータの抽出は NLP の重要な手順の 1 つです。実際のアプリケーションでは、分析や処理のために PDF ファイルからテキストデータを抽出する必要があることがよくあります。この記事では、Pythonを使ってPDFからテキストを抽出する方法と、具体的なコード例を紹介します。

ステップ 1: 必要なライブラリをインストールする
まず、2 つの主要な Python ライブラリ、つまり PyPDF2 と nltk をインストールする必要があります。次のコマンドを使用してインストールできます。

pip install PyPDF2
pip install nltk

ログイン後にコピー

ステップ 2: 必要なライブラリをインポートする
ライブラリのインストールが完了したら、Python コードに対応するライブラリをインポートする必要があります。サンプルコードは次のとおりです。

import PyPDF2
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords

ログイン後にコピー

ステップ 3: PDF ファイルを読み取る
まず、PDF ファイルを Python に読み取る必要があります。これは、次のコードを使用して実現できます。

def read_pdf(file_path):
    with open(file_path, 'rb') as file:
        pdf = PyPDF2.PdfFileReader(file)
        num_pages = pdf.numPages
        text = ''
        for page in range(num_pages):
            page_obj = pdf.getPage(page)
            text += page_obj.extract_text()
    return text

ログイン後にコピー

この関数 read_pdf は、PDF ファイルのパスである file_path パラメータを受け取り、抽出されたテキストを返します。データ。

ステップ 4: テキストの前処理
抽出されたテキストデータを NLP タスクに使用する前に、多くの場合、単語の分割、ストップワードの削除など、テキストの前処理が必要になります。次のコードは、テキストの分割とストップワードの削除に nltk ライブラリを使用する方法を示しています。

def preprocess_text(text):
    tokens = word_tokenize(text.lower())
    stop_words = set(stopwords.words('english'))
    filtered_tokens = [token for token in tokens if token.isalpha() and token.lower() not in stop_words]
    return filtered_tokens

ログイン後にコピー

関数 preprocess_text は、text パラメータを受け取ります。、つまり処理対象のテキストデータであり、単語の分割とストップワードの削除後の結果を返します。

ステップ 5: サンプルコード
以下は、上記のステップを統合して PDF テキストの抽出と前処理のプロセスを完了する方法を示す完全なサンプルコードです:

import PyPDF2
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords

def read_pdf(file_path):
    with open(file_path, 'rb') as file:
        pdf = PyPDF2.PdfFileReader(file)
        num_pages = pdf.numPages
        text = ''
        for page in range(num_pages):
            page_obj = pdf.getPage(page)
            text += page_obj.extract_text()
    return text

def preprocess_text(text):
    tokens = word_tokenize(text.lower())
    stop_words = set(stopwords.words('english'))
    filtered_tokens = [token for token in tokens if token.isalpha() and token.lower() not in stop_words]
    return filtered_tokens

# 读取PDF文件
pdf_text = read_pdf('example.pdf')

# 文本预处理
preprocessed_text = preprocess_text(pdf_text)

# 打印结果
print(preprocessed_text)

ログイン後にコピー

概要:
この記事では、Python を使用して PDF ファイルからテキストデータを抽出する方法について説明します。 PyPDF2 ライブラリを使用して PDF ファイルを読み取り、nltk ライブラリを組み合わせてテキストの分割やストップワードの削除などの前処理操作を実行することで、PDF から有用なテキストを迅速かつ効率的に抽出できます。 . 後続の NLP タスクを準備するためのコンテンツ。

注: 上記のコード例は参考用であり、実際のシナリオでは、特定のニーズに応じて変更および最適化する必要がある場合があります。

以上がNLP 用 Python: PDF からテキストを抽出するには?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。