Comment écrire un système intelligent de classification de texte basé sur l'analyse des sentiments à l'aide de Java

Avec le développement d'Internet et des médias sociaux, les gens continuent de générer une variété de données textuelles. Comment extraire des informations utiles à partir de données textuelles massives est devenu un problème urgent qui doit être résolu. L'analyse des sentiments, en tant que technologie de classification de texte, peut nous aider à classer automatiquement le texte et à en extraire les informations émotionnelles. Cet article explique comment utiliser Java pour écrire un système intelligent de classification de texte basé sur l'analyse des sentiments.

1. Obtenir des données

Tout d'abord, nous devons obtenir des données adaptées à l'analyse des sentiments à partir d'Internet. En général, une grande quantité de données textuelles peut être obtenue grâce à la technologie des robots d'exploration. Ces données textuelles doivent être prétraitées, comme la segmentation des mots, la suppression des mots vides, le balisage des parties du discours, etc. Cet article n'implique pas les robots d'exploration ni la technologie de prétraitement. Les lecteurs peuvent se référer à d'autres didacticiels connexes pour en savoir plus.

2. Modèle de formation

Après avoir obtenu les données textuelles traitées, nous devons utiliser ces données pour former un modèle d'analyse des sentiments. Nous pouvons choisir d'utiliser des techniques d'apprentissage profond telles que des algorithmes tels que les réseaux de neurones convolutifs (CNN) ou les réseaux de neurones récurrents (RNN). Des techniques traditionnelles d’apprentissage automatique peuvent également être utilisées, telles que Naive Bayes, Support Vector Machine (SVM) et d’autres algorithmes. Dans cet article, nous choisissons l’algorithme Naive Bayes.

L'algorithme Naive Bayes est un algorithme de classification basé sur des statistiques de probabilité. Il suppose que toutes les caractéristiques sont indépendantes les unes des autres et que chaque caractéristique a le même impact sur la classification (c'est-à-dire qu'il présente l'hypothèse Naive Bayes). Nous pouvons utiliser la bibliothèque d'apprentissage automatique open source de Java, Weka, pour implémenter la formation de l'algorithme Naive Bayes.

Ce qui suit est une implémentation simple de code Java :

// 加载训练数据
DataSource source = new DataSource("train.arff");
Instances train = source.getDataSet();
train.setClassIndex(train.numAttributes()-1);

// 构建模型
BayesNet classifier = new BayesNet();
classifier.buildClassifier(train);

// 保存模型
ObjectOutputStream oos = new ObjectOutputStream(
new FileOutputStream("model.bin"));
oos.writeObject(classifier);
oos.flush();
oos.close();

Dans le code ci-dessus, nous utilisons d'abord la classe DataSource de Weka pour charger les données du fichier de données de formation, puis utilisons la classe BayesNet pour créer un modèle Bayes naïf. Enfin, enregistrez le modèle dans un fichier pour une utilisation ultérieure.

3. Classer les nouveaux textes

Après avoir terminé la formation du modèle, nous pouvons utiliser le modèle pour classer de nouveaux textes et effectuer une analyse des sentiments. Ce qui suit est une simple implémentation de code Java :

// 加载模型
ObjectInputStream ois = new ObjectInputStream(
new FileInputStream("model.bin"));
BayesNet classifier = (BayesNet) ois.readObject();

// 构建待分类的实例
Instance instance = new DenseInstance(2);
instance.setValue(0, "这个电影真是太好看了！");
instance.setValue(1, "正片太赞，恶评都是骗点击的！");

// 进行分类
double label = classifier.classifyInstance(instance);
System.out.println("分类标签：" + train.classAttribute().value((int)label));

Dans le code ci-dessus, nous utilisons d'abord la technologie de désérialisation de Java pour charger le modèle à partir du fichier modèle, puis construisons l'instance à classer. Notez que les instances à classer doivent avoir la même structure d'attributs que les données d'entraînement, sinon des erreurs se produiront. Enfin, le modèle est utilisé pour la classification et les résultats de la classification sont générés.

4. Intégrer dans une application Web

Si vous souhaitez intégrer le modèle d'analyse des sentiments dans une application Web, vous devez encapsuler le code ci-dessus dans une API et fournir une interface Web afin que d'autres programmes puissent l'utiliser.

Java fournit de nombreuses bibliothèques de programmation réseau, telles que : Servlet, JAX-RS, Spark, etc. Dans cet article, nous choisissons d'utiliser la technologie fournie par Spring Boot et Spring Web pour créer rapidement une application Web complète.

Tout d’abord, nous devons utiliser le plug-in Maven de Spring Boot pour générer le squelette d’une application Web. La commande est la suivante :

mvn archetype:generate -DgroupId=com.example -DartifactId=myproject -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

Ensuite, intégrez le modèle d'analyse des sentiments mentionné précédemment dans l'application web. Ce qui suit est une implémentation simple de code Java :

@RestController
public class SentimentAnalysisController {

  private BayesNet classifier;

  public SentimentAnalysisController() {
    // 加载模型
    try {
      ObjectInputStream ois = new ObjectInputStream(
        new FileInputStream("model.bin"));
      classifier = (BayesNet) ois.readObject();
      ois.close();
    } catch (IOException | ClassNotFoundException e) {
      e.printStackTrace();
    }
  }

  @PostMapping("/predict")
  public String predict(@RequestBody Map<String, String> reqBody) {
    String text = reqBody.get("text"); // 获取待分类的文本
    Instance instance = createInstance(text); // 构建待分类的实例
    double label = classifier.classifyInstance(instance); // 进行分类
    return train.classAttribute().value((int)label); // 返回分类结果
  }

  private Instance createInstance(String text) {
    Instance instance = new DenseInstance(1);
    instance.setValue(0, text);
    instance.setDataset(new Instances(createAttributes(), 1));
    return instance;
  }

  private Instances createAttributes() {
    FastVector attributes = new FastVector();
    attributes.addElement(new Attribute("text", (FastVector) null));
    attributes.addElement(new Attribute("class", createClasses()));
    Instances instances = new Instances("data", attributes, 0);
    instances.setClassIndex(1);
    return instances;
  }

  private FastVector createClasses() {
    FastVector classes = new FastVector();
    classes.addElement("positive");
    classes.addElement("negative");
    return classes;
  }

}

Dans le code ci-dessus, nous chargeons d'abord le modèle d'analyse des sentiments dans le constructeur de la classe. Ensuite, définissez un gestionnaire pour les requêtes HTTP POST pour recevoir le texte à classer et renvoyer les résultats de la classification. Dans le processeur, nous construisons d'abord l'instance à classer, puis utilisons le modèle pour classer et enfin renvoyons le résultat de la classification.

5. Déploiement et tests

Après avoir terminé l'implémentation du code ci-dessus, nous pouvons utiliser Maven pour le conditionner dans un package Jar exécutable et l'exécuter sur le serveur. Par exemple, nous pouvons exécuter l'application web sur notre machine locale à l'aide de la commande suivante :

mvn package
java -jar target/myproject-1.0-SNAPSHOT.jar

Nous pouvons ensuite utiliser un outil, tel que Postman ou curl, pour envoyer une requête HTTP POST à ​​l'application web pour la tester. Par exemple, nous pouvons tester l'application Web à l'aide de la commande suivante :

curl --request POST 
  --url http://localhost:8080/predict 
  --header 'content-type: application/json' 
  --data '{"text": "这个电影真是太好看了！"}'

Notez que nous devons remplacer localhost:8080 dans la commande ci-dessus par l'adresse IP et le numéro de port du serveur.

6. Résumé

Dans cet article, nous avons présenté comment utiliser Java pour écrire un système de classification de texte intelligent basé sur l'analyse des sentiments. Nous avons d'abord expliqué comment obtenir des données textuelles adaptées à l'analyse des sentiments et utiliser l'algorithme Naive Bayes pour la formation du modèle. Nous montrons ensuite comment utiliser le modèle entraîné pour classer et analyser les sentiments d'un nouveau texte. Enfin, nous avons intégré le modèle dans une application Web et fourni un gestionnaire pour les requêtes HTTP POST à ​​des fins de test. Ce programme n'est qu'un cadre de base et les lecteurs peuvent l'étendre selon leurs propres besoins.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!