Quels packages doivent être installés pour le robot d'exploration Python ?

Quelles bibliothèques doivent être installées pour apprendre le robot d'exploration Web Python ?

Voici les bibliothèques pertinentes impliquées dans les robots d'exploration Python

Bibliothèque de requêtes, bibliothèque d'analyse, référentiel, bibliothèque d'outils

1. Bibliothèque de requêtes : urllib/re/requests

(1) urllib/re est la bibliothèque fournie par défaut avec python. Elle peut être vérifiée par la commande suivante :

.

Aucun message d'erreur n'est affiché, indiquant que l'environnement est normal

(2) demandes d'installation

2.1 Ouvrez CMD, entrez les demandes d'installation pip3

2.2 Attendez l'installation, vérifiez

(3) installation de Selenium (piloter le navigateur pour le comportement d'accès au site Web)

3.1 Ouvrez CMD, entrez pip3 install selenium

3.2 Installer chromedriver

Site Web : https://npm.taobao.org/

Décompressez le package compressé téléchargé et placez l'exe dans D :Python3.6.0Scripts

Ce chemin doit uniquement être dans la variable PATH

3.3 Une fois l'installation terminée, vérifiez

Appuyez sur Entrée et le navigateur Chrome apparaîtra Interface

3.4 Installer d'autres navigateurs

Navigateur sans interface phantomjs

URL de téléchargement : http://phantomjs.org/

Décompressez une fois le téléchargement terminé, placez le répertoire entier dans D:Python3.6.0Scripts et ajoutez le chemin du répertoire bin à la variable PATH

Vérification :

Ouvrir CMD

2. Bibliothèque d'analyse :

2.1 lxml (XPATH)

Ouvrez CMD et entrez pip3 install lxml ou téléchargez depuis https://pypi .python.org, par exemple, lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5), téléchargez d'abord le fichier whl, exécutez pip3 install sur le fichier de ligne de commande name.whl

2.2 beautifulsoup

Ouvrez CMD, vous devez d'abord l'installer Bon lxml

pip3 install beautifulsoup4

2.3 pyquery ( similaire à la syntaxe jquery)

Ouvrez CMD, pip3 install pyquery

Vérifiez les résultats de l'installation

Référentiel

3.1 pymysql (exploiter MySQL, base de données relationnelle)

Installation : pip3 install pymysql, test après l'installation :

3.2 pymongo (exploiter MongoDB, clé-valeur )

Installer pip3 install pymongo

Vérification

3.3 redis (crawler distribué, maintenir la file d'attente d'exploration) Installation : installation pip3 redis

Vérification :

4.1Django (système de maintenance de robots distribués) pip3 install django

4.2jupyter ( bloc-notes s'exécutant sur la page Web, prend en charge le markdown, peut s'exécuter sur la page Web Code) installation pip3 install jupyter

Vérification : ouvrez CMD, jupyter notebook

peut créer des blocs-notes, des blocs de code et blocs Markdown directement sur la page Web, prise en charge de l'impression

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!