Modèles génératifs et discriminants

Les modèles de classification peuvent être divisés en deux catégories : les modèles génératifs et les modèles discriminatifs. Cet article explique les différences entre ces deux types de modèles et discute des avantages et des inconvénients de chaque approche.

Modèle discriminant

Le modèle discriminatif est un modèle qui peut apprendre la relation entre les données d'entrée et les étiquettes de sortie. Il prédit. étiquettes de sortie en apprenant les caractéristiques des données d’entrée. Dans un problème de classification, notre objectif est d'attribuer à chaque vecteur d'entrée x une étiquette y. Les modèles discriminants tentent d'apprendre directement une fonction f(x) qui mappe les vecteurs d'entrée aux étiquettes. Ces modèles peuvent être divisés en deux sous-types :

Les classificateurs tentent de trouver f(x) sans utiliser de distribution de probabilité. Ces classificateurs génèrent directement une étiquette pour chaque échantillon sans fournir d'estimation de probabilité de la classe. Ces classificateurs sont souvent appelés classificateurs déterministes ou classificateurs sans distribution. Des exemples de tels classificateurs incluent les k voisins les plus proches, les arbres de décision et SVM.

Le classificateur apprend d'abord les probabilités de classe postérieures P(y = k|x) à partir des données d'entraînement, et attribue un nouvel échantillon x à l'une des classes en fonction de ces probabilités (généralement celle avec le classe de probabilité a posteriori la plus élevée).

Ces classificateurs sont souvent appelés classificateurs probabilistes. Des exemples de tels classificateurs incluent la régression logistique et les réseaux de neurones utilisant des fonctions sigmoïdes ou softmax dans la couche de sortie.

Toutes choses étant égales par ailleurs, j'utilise généralement un classificateur probabiliste au lieu d'un classificateur déterministe car ce classificateur fournit des informations supplémentaires sur la confiance dans l'attribution d'un échantillon à une classe spécifique.

Les modèles discriminants généraux incluent :

• Régression logistique (LR)
• Support Vector Machine, SVM)
#🎜 🎜#Arbre de décision (DT)

Modèle génératif

Modèle génératif avant d'estimer la probabilité de classe Apprenez la distribution des entrées. Un modèle génératif est un modèle capable d'apprendre le processus de génération de données. Il peut apprendre la distribution de probabilité des données d'entrée et générer de nouveaux échantillons de données.

Plus précisément, le modèle génératif estime d'abord la densité conditionnelle P(x|y = k) de la catégorie et la probabilité de catégorie antérieure P(y = k) à partir des données d'entraînement. Ils essaient de comprendre comment les données de chaque catégorie sont générées.

Ensuite, utilisez le théorème de Bayes pour estimer la probabilité de classe a posteriori :

Le dénominateur de la règle de Bayes peut être utilisé dans le numérateur Les variables qui apparaissent sont représentées par :

Le modèle génératif peut également d'abord apprendre la distribution conjointe de l'entrée et de l'étiquette P(x, y ), puis normalisez-le. Unifiez-le pour obtenir la probabilité postérieure P(y = k|x). Une fois que nous avons les probabilités a posteriori, nous pouvons les utiliser pour attribuer un nouvel échantillon x à l'une des classes (généralement la classe avec la probabilité a posteriori la plus élevée).

Par exemple, considérons une tâche de classification d'images où nous devons faire la distinction entre les images de chiens (y = 1) et de chats (y = 0). Le modèle génératif va d'abord construire un modèle de chien P(x|y = 1) et un modèle de chat P(x|y = 0). Ensuite, lorsqu'il classe une nouvelle image, il la compare aux deux modèles pour voir si la nouvelle image ressemble plus à un chien ou à un chat.

Les modèles génératifs nous permettent de générer de nouveaux échantillons à partir de la distribution d'entrée apprise P(x|y). Nous appelons donc cela un modèle génératif. L'exemple le plus simple est que pour le modèle ci-dessus, nous pouvons générer de nouvelles images de chiens en échantillonnant à partir de P(x|y = 1).

Les modèles génératifs généraux incluent

Naive Bayes(Naïve Bayes)
• Modèles de mélange gaussien (GMM)#🎜🎜 ##🎜 🎜#Modèle de Markov caché (hmm)
• Analyse discriminante linéaire (LDA)
• Les modèles génératifs profonds (DGM) combinent des modèles génératifs et un réseau neuronal profond : #🎜 🎜#

Autoencoder (AE)

Generative Adversarial Network (GAN)

#🎜🎜 #Les modèles autorégressifs, tels que le GPT (Generative Pre-trained Transformer), sont un modèle de langage autorégressif contenant des milliards de paramètres.
• Différences et avantages et inconvénients
• La principale différence entre les modèles génératifs et les modèles discriminatifs est qu'ils ont des objectifs d'apprentissage différents. Les modèles génératifs apprennent la distribution des données d'entrée et peuvent générer de nouveaux échantillons de données. Les modèles discriminants apprennent la relation entre les données d'entrée et les étiquettes de sortie et peuvent prédire de nouvelles étiquettes.

Modèles génératifs :

Les modèles génératifs nous donnent plus d'informations car ils apprennent simultanément les distributions d'entrée et les probabilités de classe. De nouveaux échantillons peuvent être générés à partir de la distribution d'entrée apprise. Et peuvent gérer les données manquantes car ils peuvent estimer la distribution d'entrée sans utiliser de valeurs manquantes. Mais la plupart des modèles discriminants exigent que toutes les fonctionnalités soient présentes.

La complexité de la formation est élevée car le modèle génératif nécessite une grande quantité de ressources de calcul et de stockage pour établir une répartition conjointe entre les données d'entrée et les données de sortie. L'hypothèse de distribution des données est relativement forte, car le modèle génératif doit établir une distribution conjointe entre les données d'entrée et les données de sortie, et doit assumer et modéliser la distribution des données. Par conséquent, pour une distribution de données complexe, le modèle génératif est utilisé. convient aux petites échelles. Ne s'applique pas aux ressources informatiques.

Les modèles génératifs peuvent gérer des données multimodales car les modèles génératifs peuvent établir des distributions conjointes multivariées entre les données d'entrée et les données de sortie, étant ainsi capables de gérer des données multimodales.

Modèle discriminant :

Il est difficile, sur le plan informatique, pour un modèle génératif d'apprendre la distribution d'entrée P(x|y) sans faire certaines hypothèses sur les données. Par exemple, si x est constitué de m caractéristiques binaires, afin de prédire P. (x |y), nous devons estimer 2 ᵐ paramètres à partir des données de chaque classe (ces paramètres représentent la probabilité conditionnelle de chacune des 2 ᵐ combinaisons de m caractéristiques). Des modèles tels que Naïve Bayes supposent une indépendance conditionnelle des fonctionnalités pour réduire le nombre de paramètres à apprendre, de sorte que la complexité de la formation est faible. Mais de telles hypothèses aboutissent souvent à des modèles génératifs moins performants que des modèles discriminants.

Il offre de bonnes performances pour la distribution de données complexes et les données de grande dimension, car le modèle discriminant peut modéliser de manière flexible la relation de mappage entre les données d'entrée et les données de sortie.

Le modèle discriminant est sensible aux données bruyantes et aux données manquantes, car le modèle considère uniquement la relation de mappage entre les données d'entrée et les données de sortie, et n'utilise pas les informations contenues dans les données d'entrée pour remplir les valeurs manquantes et supprimer le bruit.

Résumé

Les modèles génératifs et les modèles discriminants sont tous deux des types de modèles importants dans l'apprentissage automatique. Ils ont chacun leurs propres avantages et scénarios applicables. Dans les applications pratiques, il est nécessaire de sélectionner un modèle approprié en fonction des besoins de tâches spécifiques et de combiner des modèles hybrides et d'autres moyens techniques pour améliorer les performances et l'effet du modèle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!