NLP용 Python: PDF 파일의 텍스트를 자동으로 구성하고 분류하는 방법은 무엇입니까?-파이썬 튜토리얼-php.cn

Python for NLP：如何自动整理和分类PDF文件中的文本？

NLP용 Python: PDF 파일의 텍스트를 자동으로 구성하고 분류하는 방법은 무엇입니까?

요약:
인터넷의 발달과 정보의 폭발적인 증가로 우리는 매일 엄청난 양의 텍스트 데이터에 직면하고 있습니다. 이 시대에는 텍스트를 자동으로 정리하고 분류하는 것이 점점 더 중요해지고 있습니다. 이 기사에서는 Python과 Python의 강력한 자연어 처리(NLP) 기능을 사용하여 PDF 파일에서 텍스트를 자동으로 추출하고 구성 및 분류하는 방법을 소개합니다.

1. 필요한 Python 라이브러리를 설치합니다.

시작하기 전에 다음 Python 라이브러리가 설치되어 있는지 확인해야 합니다.

pdfplumumber: PDF에서 텍스트를 추출하는 데 사용됩니다.
nltk: 자연어 처리용.
sklearn: 텍스트 분류용.
pip 명령을 사용하여 설치할 수 있습니다. 예: pip install pdfplumber

2. PDF 파일에서 텍스트 추출

먼저 PDF 파일에서 텍스트를 추출하려면 pdfplumber 라이브러리를 사용해야 합니다.

import pdfplumber def extract_text_from_pdf(file_path): with pdfplumber.open(file_path) as pdf: text = "" for page in pdf.pages: text += page.extract_text() return text

로그인 후 복사

위 코드에서는 주어진 PDF 파일에서 텍스트를 추출하기 위해 extract_text_from_pdf라는 함수를 정의합니다. 이 함수는 파일 경로를 매개변수로 받아들이고 pdfplumber 라이브러리를 사용하여 PDF 파일을 연 다음 루프를 통해 각 페이지를 반복하고 extract_text() 메서드를 사용하여 텍스트를 추출합니다.

3. 텍스트 전처리

텍스트 분류 전에 일반적으로 텍스트를 전처리해야 합니다. 여기에는 불용어 제거, 토큰화, 형태소 분석 등의 단계가 포함됩니다. 이 기사에서는 nltk 라이브러리를 사용하여 이러한 작업을 수행합니다.

import nltk from nltk.corpus import stopwords from nltk.tokenize import word_tokenize from nltk.stem import SnowballStemmer def preprocess_text(text): # 将文本转换为小写 text = text.lower() # 分词 tokens = word_tokenize(text) # 移除停用词 stop_words = set(stopwords.words("english")) filtered_tokens = [word for word in tokens if word not in stop_words] # 词干提取 stemmer = SnowballStemmer("english") stemmed_tokens = [stemmer.stem(word) for word in filtered_tokens] # 返回预处理后的文本 return " ".join(stemmed_tokens)

로그인 후 복사

위 코드에서는 먼저 텍스트를 소문자로 변환한 다음 word_tokenize() 메서드를 사용하여 텍스트를 토큰화합니다. 다음으로, 불용어 라이브러리를 사용하여 불용어를 제거하고 형태소 분석을 위해 SnowballStemmer를 사용합니다. 마지막으로 전처리된 텍스트를 반환합니다.

4. 텍스트 분류

PDF 파일에서 텍스트를 추출하고 전처리했으므로 이제 기계 학습 알고리즘을 사용하여 텍스트를 분류할 수 있습니다. 이 글에서는 Naive Bayes 알고리즘을 분류자로 사용하겠습니다.

from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB def classify_text(text): # 加载已训练的朴素贝叶斯分类器模型 model = joblib.load("classifier_model.pkl") # 加载已训练的词袋模型 vectorizer = joblib.load("vectorizer_model.pkl") # 预处理文本 preprocessed_text = preprocess_text(text) # 将文本转换为特征向量 features = vectorizer.transform([preprocessed_text]) # 使用分类器预测文本类别 predicted_category = model.predict(features) # 返回预测结果 return predicted_category[0]

로그인 후 복사

위 코드에서는 먼저 joblib 라이브러리를 사용하여 훈련된 Naive Bayes 분류기 모델과 Bag-of-Words 모델을 로드합니다. 그런 다음 전처리된 텍스트를 특징 벡터로 변환한 다음 분류기를 사용하여 텍스트를 분류합니다. 마지막으로 텍스트의 예측된 분류 결과를 반환합니다.

5. 코드 통합 및 PDF 파일 자동 처리

이제 위 코드를 통합하여 PDF 파일을 자동으로 처리하고 텍스트를 추출하고 분류할 수 있습니다.

import os def process_pdf_files(folder_path): for filename in os.listdir(folder_path): if filename.endswith(".pdf"): file_path = os.path.join(folder_path, filename) # 提取文本 text = extract_text_from_pdf(file_path) # 分类文本 category = classify_text(text) # 打印文件名和分类结果 print("File:", filename) print("Category:", category) print("--------------------------------------") # 指定待处理的PDF文件所在文件夹 folder_path = "pdf_folder" # 处理PDF文件 process_pdf_files(folder_path)

로그인 후 복사

위 코드에서는 먼저 PDF 폴더의 파일을 자동으로 처리하기 위해 process_pdf_files라는 함수를 정의합니다. 그런 다음 os 라이브러리의 listdir() 메서드를 사용하여 폴더의 각 파일을 반복하고 PDF 파일의 텍스트를 추출하여 분류합니다. 마지막으로 파일 이름과 분류 결과를 인쇄합니다.

결론

Python과 NLP 기능을 사용하면 PDF 파일에서 텍스트를 쉽게 추출하고 정리하고 분류할 수 있습니다. 이 기사에서는 독자가 PDF 파일의 텍스트를 자동으로 처리하는 방법을 이해하는 데 도움이 되는 샘플 코드를 제공하지만 특정 응용 프로그램 시나리오는 다를 수 있으며 실제 상황에 따라 조정 및 수정해야 합니다.

참고자료: