Pratique du robot d'exploration PHP : exploration des informations sur les cours MOOC

Avec le développement d'Internet, la technologie des robots d'exploration a joué un rôle de plus en plus important dans la collecte de données moderne, l'analyse des données et la prise de décision commerciale. Apprendre à utiliser la technologie des robots d'exploration améliorera considérablement l'efficacité et la précision de notre traitement des données. Dans cet article, nous utiliserons PHP pour écrire un robot permettant d'explorer les informations de cours sur le MOOC.

Les outils qui seront utilisés dans cet article sont les suivants :

• Langage de programmation PHP, version PHP 7.0
• Bibliothèque tierce Guzzle HTTP Client, utilisée pour envoyer des requêtes HTTP et recevoir des réponses HTTP
• Un simple MySQL base de données pour stocker nos informations de cours capturées

1. Préparation

Tout d'abord, nous devons installer la version PHP 7.0 dans l'environnement local. Le processus d'installation est omis.

Guzzle HTTP Client est une bibliothèque d'outils client HTTP couramment utilisée, nous pouvons utiliser Composer pour l'installer. Basculez vers un répertoire vide dans la ligne de commande, puis créez un nouveau fichier composer.json, ajoutez le contenu suivant :

{

"require": {
    "guzzlehttp/guzzle": "^6.3"
}

}

Ensuite, exécutez composer install dans le même répertoire, attendez la fin de l'exécution, nous Le client HTTP Guzzle est installé avec succès.

2. Analyser la structure du site Web cible

Avant de commencer à écrire du code, nous devons analyser la structure du site Web cible. Nous avons choisi le cours Python sur MOOC.com (www.imooc.com). Les informations que nous devons capturer incluent le nom du cours, le numéro du cours, la difficulté du cours, la durée du cours et le lien du cours.

Après avoir ouvert le site Web cible et effectué certaines opérations (comme la recherche de cours "Python"), nous pouvons visualiser le contenu de la réponse renvoyée par le site Web. Nous pouvons utiliser les outils de développement du navigateur pour visualiser le contenu de la réponse et la structure de la page Web.

On peut voir que la liste des cours Python sur MOOC est chargée dynamiquement via AJAX. Afin de faciliter l'exploration des données, nous pouvons rechercher directement l'URL et les paramètres de la requête AJAX, puis construire notre propre requête HTTP pour obtenir les données.

En examinant la requête XHR du site Web cible, nous pouvons constater que l'URL réellement demandée pour le cours Python est http://www.imooc.com/course/AjaxCourseMore?&page=1.

La page dans le paramètre de requête indique le numéro de page en cours d'accès. Nous pouvons envoyer une requête à l'URL via la méthode HTTP GET et l'analyser en fonction des résultats renvoyés.

3. Écrivez un programme de robot d'exploration

Dans l'étape précédente, nous avons obtenu l'URL de la liste des cours Python du site Web cible, il ne nous reste plus qu'à écrire du code PHP, à utiliser le client HTTP Guzzle pour envoyer des requêtes HTTP, puis. analyser et renvoyer les résultats.

Tout d'abord, nous devons présenter la bibliothèque client HTTP Guzzle. Ajoutez le code suivant en haut du fichier PHP :

require 'vendor/autoload.php';

Créez ensuite un objet client HTTP Guzzle :

$client = new GuzzleHttpClient(); l'objet Envoyer une requête HTTP :

$response = $client->request('GET', 'http://www.imooc.com/course/AjaxCourseMore?&page=1');

Dans le code ci-dessus, nous avons utilisé La méthode request() de l'objet client HTTP Guzzle spécifie que la méthode de requête est GET et que l'URL demandée est l'URL que nous avons obtenue à l'étape précédente.

Enfin, nous devons obtenir les informations de cours dont nous avons besoin à partir de la réponse HTTP. En inspectant le contenu de la réponse, nous pouvons voir que les informations sur le cours sont contenues dans une balise HTML avec l'attribut class course-card-container.

Nous pouvons utiliser la classe DOMDocument de PHP pour parcourir les balises HTML et analyser les balises qui remplissent les conditions.

L'implémentation finale du code est la suivante :

exige 'vendor/autoload.php';

utilise GuzzleHttpClient;

$client = new Client([

'base_uri' => 'http://www.imooc.com'

]);

$response = $client-> ;request ('GET', '/course/AjaxCourseMore?&page=1');

if ($response->getStatusCode() == 200) {

$dom = new DOMDocument();
@$dom->loadHTML($response->getBody());

$xpath = new DOMXPath($dom);

$items = $xpath->query("//div[@class='course-card-container']");

foreach ($items as $item) {
    $courseName = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->textContent);
    $courseId = trim($xpath->query(".//div[@class='clearfix']/a[@class='course-card'], $item)->item(0)->getAttribute('href'));
    $courseDifficulty = trim($xpath->query(".//p[@class='course-card-desc']", $item)->item(0)->textContent);
    $courseDuration = trim($xpath->query(".//div[@class='course-card-info']/span[@class='course-card-time']", $item)->item(0)->textContent);
    $courseLink = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->getAttribute('href'));

    // 将抓取到的数据存储到MySQL数据库中
    // ...

    echo "课程名称：" . $courseName . "

";

    echo "课程编号：" . $courseId . "

";

    echo "课程难度：" . $courseDifficulty . "

" ;

    echo "课程时长：" . $courseDuration . "

";

    echo "课程链接：" . $courseLink . "

";

}

}

Nous utilisons DOMDocument pour lire le contenu de la réponse HTML et utilisons DOMXPath pour parcourir les balises. Enfin, nous imprimons les informations capturées à l'écran

4. les données.

Maintenant, nous avons réussi à capturer les informations du cours Python et à les imprimer à l'écran. Cependant, imprimer les données à l'écran n'est pas pratique, nous devons enregistrer les données dans la base de données

. a créé une table pour stocker des informations sur les cours Python. La structure de la table est la suivante :

CREATE TABLE

) ENGINE=InnoDB DEFAULT CHARSET=utf8;python_courses (
id int(11) unsigned NOT NULL AUTO_INCREMENT,
course_name varchar(255) NOT NULL DEFAULT '',
course_id varchar(255) NOT NULL DEFAULT '',
course_difficulty varchar(255) NOT NULL DEFAULT '',
course_duration varchar(255) NOT NULL DEFAULT '',
course_link varchar(255) NOT NULL DEFAULT '',
PRIMARY KEY (id
Dans le code, nous utilisons PDO pour nous connecter à la base de données MySQL et l'utiliser. La méthode prepare() et la méthode execute() pour effectuer l'opération d'insertion. Le code final est le suivant :

require 'vendor/autoload.php';

utilisez GuzzleHttpClient;

$client = new Client([

'base_uri' => 'http://www.imooc.com'

]);

$ réponse = $client->request('GET', '/course/AjaxCourseMore?&page=1');

if ($response->getStatusCode() == 200) {

$dom = new DOMDocument();
@$dom->loadHTML($response->getBody());

$xpath = new DOMXPath($dom);

$items = $xpath->query("//div[@class='course-card-container']");

$dsn = 'mysql:host=localhost;dbname=test';
$username = 'root';
$password = '';
$pdo = new PDO($dsn, $username, $password, [PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION]);

$stmt = $pdo->prepare("INSERT INTO `python_courses` (`course_name`, `course_id`, `course_difficulty`, `course_duration`, `course_link`) VALUES (:course_name, :course_id, :course_difficulty, :course_duration, :course_link)");
foreach ($items as $item) {
    $courseName = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->textContent);
    $courseId = trim($xpath->query(".//div[@class='clearfix']/a[@class='course-card']", $item)->item(0)->getAttribute('href'));
    $courseDifficulty = trim($xpath->query(".//p[@class='course-card-desc']", $item)->item(0)->textContent);
    $courseDuration = trim($xpath->query(".//div[@class='course-card-info']/span[@class='course-card-time']", $item)->item(0)->textContent);
    $courseLink = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->getAttribute('href'));

    $stmt->bindParam(':course_name', $courseName);
    $stmt->bindParam(':course_id', $courseId);
    $stmt->bindParam(':course_difficulty', $courseDifficulty);
    $stmt->bindParam(':course_duration', $courseDuration);
    $stmt->bindParam(':course_link', $courseLink);
    $stmt->execute();
}

}

现在，我们已经成功的构建了一个简单的PHP爬虫，用于抓取慕课网上的Python课程信息。经过这个例子的介绍，你应该可以使用PHP编写你自己的爬虫程序，并获取到你需要的数据了。

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!