Exemples de traitement du langage naturel en Python : segmentation de mots

Le langage Python est l'un des langages de programmation les plus populaires aujourd'hui, et sa puissante boîte à outils de traitement du langage naturel est également devenue son avantage unique. Le traitement du langage naturel (NLP) constitue une direction de recherche importante dans le domaine de l’intelligence artificielle et offre de larges perspectives d’application. Cet article présentera principalement l'un des exemples de traitement du langage naturel en Python : la segmentation des mots.

La tokenisation est une tâche fondamentale dans le traitement du langage naturel. Son but est de segmenter un morceau de texte en unités de vocabulaire significatives, telles que des mots et des signes de ponctuation en anglais, un mot et des mots en chinois, etc. La segmentation des mots est la première étape du traitement du langage naturel et constitue également la base de tâches telles que le marquage de parties du discours, la reconnaissance d'entités nommées et l'analyse des sentiments qui seront mises en œuvre à l'étape suivante.

Il existe de nombreux outils de segmentation de mots couramment utilisés en Python, tels que nltk, spacy et jieba. Dans cet article, nous présentons principalement l'utilisation de l'outil de segmentation de mots jieba couramment utilisé.

Tout d’abord, nous devons installer l’outil de segmentation de mots jieba. Exécutez simplement la commande suivante :

!pip install jieba

Une fois l'installation terminée, nous pouvons effectuer une segmentation de mots sur le texte. Supposons que nous ayons un texte chinois :

text = "自然语言处理是人工智能领域的一个重要方向，其目的是让计算机能够理解自然语言及其含义。"

Nous pouvons utiliser la méthode cut() de jieba pour le segmenter en mots. L'exemple de code est le suivant : cut()方法将其分词，示例代码如下：

import jieba

text = "自然语言处理是人工智能领域的一个重要方向，其目的是让计算机能够理解自然语言及其含义。"
seg_list = jieba.cut(text, cut_all=False)

print(" ".join(seg_list))

cut()方法接受两个参数，第一个参数为待分词的文本内容，第二个参数cut_all表示是否采用全模式分词（即全部切分出可行的词语），如果不指定，默认为False，表示采用精确模式分词。

代码运行结果如下所示：

自然语言 处理 是 人工智能 领域 的 一个 重要 方向 ， 其 目的 是 让 计算机 能够 理解 自然语言 及 其 含义 。

在这个例子中，我们可以看到，jieba分词将文本正确地分割成了一个个有意义的词语单元。同时，我们也可以通过调用jieba.cut()方法的不同参数完成其他的分词操作：

• cut() 方法返回的是一个生成器，可以直接使用 for 循环迭代输出分词结果；
• cut_for_search() 方法是一个混合模式分词器，既可以精确分词，又可以扫描出文本中所有可能是词语的组合；
• lcut() 和 lcut_for_search() 方法将返回一个列表类型的分词结果。

除此之外，jieba分词工具还支持自定义词典，可以增加分词的准确率。例如，我们可以定义一个包含领域相关术语的词典，命名为newdict.txt，并调用jieba分词器的load_userdict()

import jieba

# 加载自定义词典
jieba.load_userdict("newdict.txt")

text = "自然语言处理是人工智能领域的一个重要方向，其目的是让计算机能够理解自然语言及其含义。"
seg_list = jieba.cut(text, cut_all=False)

print(" ".join(seg_list))

• cut() La méthode renvoie un générateur qui peut utiliser directement une boucle for pour générer de manière itérative les résultats de la segmentation des mots ;
• cut_for_search() La méthode est un segmenteur de mots en mode mixte qui peut segmenter les mots avec précision ; et scanner le texte Toutes les combinaisons possibles de mots ; les méthodes
• lcut() et lcut_for_search() renverront un type de liste de résultats de segmentation de mots.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!