Comment faire une analyse de Big Data en Python

Acquisition de données : données publiques, robot d'exploration Python

Il existe deux manières principales d'obtenir des données externes. (Apprentissage recommandé : Tutoriel vidéo Python)

La première consiste à obtenir des ensembles de données publiques externes. Certaines institutions de recherche scientifique, entreprises et gouvernements ouvriront certaines données. site Web spécifique. Téléchargez ces données. Ces ensembles de données sont généralement relativement complets et de relativement bonne qualité.

Une autre façon d'obtenir des données externes consiste à utiliser des robots d'exploration.

Par exemple, vous pouvez utiliser un robot d'exploration pour obtenir les informations de recrutement pour un certain poste sur le site de recrutement, explorer les informations de location d'une certaine ville sur le site de location, explorer la liste des films avec les notes les plus élevées sur Douban, et obtenez le classement des likes sur Zhihu, liste de classement des critiques musicales NetEase Cloud. Sur la base des données extraites d’Internet, vous pouvez analyser une certaine industrie et un certain groupe de personnes.

Avant d'explorer, vous devez connaître quelques connaissances de base de Python : éléments (listes, dictionnaires, tuples, etc.), variables, boucles, fonctions...

Et comment utiliser Les bibliothèques Python (urllib, BeautifulSoup, requêtes, scrapy) implémentent des robots d'exploration Web.

Après avoir maîtrisé les robots d'exploration de base, vous avez encore besoin de compétences avancées, telles que les expressions régulières, l'utilisation des informations sur les cookies, la simulation de connexion utilisateur, l'analyse de capture de paquets, la création de pools de proxy, etc., pour gérer les restrictions anti-crawler. de différents sites Web.

Accès aux données : langage SQL

Lorsqu'il s'agit de données inférieures à 10 000, Excel n'a aucun problème avec l'analyse générale. Une fois que la quantité de données est importante, il ne pourra plus le faire. pour y faire face. La base de données peut très bien résoudre ce problème. Et la plupart des entreprises stockent les données sous forme de SQL.

SQL, en tant qu'outil de base de données le plus classique, offre la possibilité de stocker et de gérer des données massives, et améliore considérablement l'efficacité de l'extraction des données. Vous devez maîtriser les compétences suivantes :

Extraire des données dans des circonstances spécifiques

Ajouter, supprimer, interroger et modifier une base de données

Regrouper et agréger des données, comment créer plusieurs tables La connexion entre

Prétraitement des données : Python (pandas)

Souvent, les données que nous obtenons ne sont pas propres, avec des doublons, des données manquantes, des valeurs aberrantes, etc. Attendez, à ce stade, il est nécessaire de nettoyer les données et de traiter les données qui affectent l'analyse, afin d'obtenir des résultats d'analyse plus précis.

Pour le prétraitement des données, apprenez à utiliser pandas (package Python), et vous n'aurez aucun problème à gérer le nettoyage général des données. Les points de connaissances à maîtriser sont les suivants :

Sélectionner : Accès aux données

Traitement des valeurs manquantes : Supprimer ou remplir les lignes de données manquantes

Traitement des valeurs en double : Jugement et détermination des valeurs en double Supprimer

Traitement des valeurs aberrantes : effacer les espaces inutiles et les données extrêmes et anormales

Opérations associées : statistiques descriptives, Appliquer, histogrammes, etc.

Fusionner : se conformer à divers Opération de fusion de relations logiques

Regroupement : division des données, exécution de fonctions séparément, réorganisation des données

Remodelage : génération rapide de tableaux croisés dynamiques

Théorie des probabilités et connaissances statistiques

Les points de connaissances à maîtriser sont les suivants :

Statistiques de base : moyenne, médiane, mode, centile, valeur extrême, etc.

Autres Descriptifs statistiques : asymétrie, variance, écart type, signification, etc.

Autres connaissances statistiques : population et échantillon, paramètres et statistiques, ErrorBar

Distribution de probabilité et tests d'hypothèses : diverses Distribution, processus de test d'hypothèses

Autres connaissances en théorie des probabilités : probabilité conditionnelle, Bayes, etc.

Avec les connaissances de base en statistiques, vous pouvez utiliser ces statistiques pour effectuer des analyses de base. Vous pouvez utiliser Seaborn, matplotlib, etc. (paquet python) pour effectuer une analyse visuelle et obtenir des résultats instructifs grâce à divers graphiques statistiques visuels.

Analyse des données Python

Maîtrisez la méthode d'analyse de régression. Grâce à la régression linéaire et à la régression logistique, vous pouvez réellement effectuer une analyse de régression sur la plupart des données et en tirer une conclusion relativement précise. . Les points de connaissances à maîtriser dans cette partie sont les suivants :

Analyse de régression : régression linéaire, régression logistique

Algorithme de classification de base : arbre de décision, forêt aléatoire...

Algorithme de classe de clustering de base : k-means...

Bases de l'ingénierie des fonctionnalités : comment utiliser la sélection des fonctionnalités pour optimiser le modèle

Méthode d'ajustement des paramètres : comment ajuster les paramètres pour optimiser le modèle

Package d'analyse de données Python : scipy, numpy, scikit-learn, etc.

À ce stade de l'analyse des données, concentrez-vous sur la compréhension de la méthode d'analyse de régression. En utilisant l'analyse statistique descriptive et l'analyse de régression, vous pouvez obtenir une bonne conclusion analytique.

Bien sûr, à mesure que votre pratique augmente, vous pouvez rencontrer des problèmes complexes et vous devrez peut-être comprendre des algorithmes plus avancés : la classification et le clustering.

Vous saurez ensuite quel modèle d'algorithme est le plus adapté aux différents types de problèmes. Pour l'optimisation du modèle, vous devez comprendre comment améliorer la précision de la prédiction grâce à l'extraction de caractéristiques et à l'ajustement des paramètres.

Vous pouvez réaliser l'ensemble du processus d'analyse des données, de modélisation et d'analyse de l'exploration de données via la bibliothèque scikit-learn en Python.

Pour plus d'articles techniques liés à Python, veuillez visiter la colonne Tutoriel Python pour apprendre !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!