Pratique pratique du robot d'exploration : utilisez PHP pour explorer les informations de voyage Ctrip

Avec le développement continu de l'industrie du tourisme, les informations sur les voyages sont devenues très abondantes. Afin de permettre à chacun d'obtenir des informations de voyage plus complètes et plus précises, nous pouvons utiliser des robots d'exploration pour explorer les données sur les sites Web de voyage, les analyser et les traiter. Cet article explique comment utiliser PHP pour explorer les informations de voyage Ctrip.

1. Crawler Basics

Un robot d'exploration est un programme automatisé qui simule les utilisateurs visitant un site Web et obtient des données sur le site Web. Le robot d'exploration est généralement divisé en les étapes suivantes :

1. Initier une requête : le programme d'exploration lancera une requête HTTP vers le site Web cible et obtiendra le code HTML du site Web cible.
2. Parse HTML : utilisez un analyseur approprié pour analyser le code HTML et obtenir les données requises. Les analyseurs courants incluent les expressions régulières, les analyseurs XPath et DOM.
3. Stocker les données : stockez les données obtenues dans un fichier ou une base de données pour une analyse et un traitement ultérieurs.
4. Analyse du site Web cible

Avant d'écrire un robot d'exploration, vous devez d'abord analyser la structure et les données du site Web cible. Le site Web cible de ce robot est le site Web de voyage Ctrip. Nous devons analyser la structure de l'URL et le code HTML du site Web pour déterminer comment il est demandé et comment il est analysé.

2.1 Analyse de la structure des URL

La structure des URL du site Web de voyage de Ctrip est relativement simple et chaque produit de voyage a un numéro d'identification unique. Prenons l'exemple de la navigation sur le tourisme à Pékin. L'URL est : https://you.ctrip.com/sight/beijing1.html. Parmi eux, beijing1 représente le numéro d'identification du tourisme de Pékin.

2.2 Analyse du code HTML

Utilisez les outils de développement du navigateur Chrome pour afficher le code HTML de la page Web. Vous pouvez constater que les informations de voyage sur la page sont toutes incluses. une classe "list_mod2" dans le div. Cette division contient des informations détaillées sur chaque produit de voyage, notamment le nom du produit, son prix, ses avis, etc. Dans le programme d'exploration, nous devons utiliser l'analyseur DOM de PHP pour analyser ces informations.

3. Écriture du programme Crawler

Maintenant que nous avons compris la structure de l'URL et le code HTML du site Web cible, nous pouvons écrire un programme crawler pour obtenir des informations sur les voyages.

3.1 Lancer une requête HTTP

Tout d'abord, nous devons utiliser la bibliothèque cURL de PHP pour lancer une requête HTTP vers le site Web cible et obtenir le code HTML du site Web cible. Dans le code, nous utilisons une boucle, partant de ID=1, pour obtenir les informations détaillées de chaque produit de voyage en séquence.

//爬取ID号从1到n的旅游产品的详细信息
for($i=1;$i<=$n;$i++){
    $url = "https://you.ctrip.com/sight/beijing$i.html"; //目标网站URL
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $html = curl_exec($ch);
    curl_close($ch);
    }

3.2 Analyser le code HTML

Ensuite, nous utilisons l'analyseur DOM de PHP pour analyser le code HTML du site Web cible et obtenir les informations sur les produits de voyage dont nous avons besoin. Dans le code, nous utilisons des expressions XPath pour sélectionner le div avec la classe "list_mod2" et obtenir le nom du produit, le prix, l'évaluation et d'autres informations.

$doc = new DOMDocument();
$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$list_mod2 = $xpath->query('//*[@class="list_mod2"]'); //选择class为"list_mod2"的div
foreach($list_mod2 as $mod){
    $modImg = $xpath->query('a/img/@src', $mod)->item(0)->nodeValue; //获取产品图片URL
    $modTitle = $xpath->query('div/h2/a', $mod)->item(0)->nodeValue; //获取产品名称
    $modContent = $xpath->query('div/div/div/p/@title', $mod)->item(0)->nodeValue; //获取产品简介
    $modPrice = $xpath->query('div/div/span/em', $mod)->item(0)->nodeValue; //获取产品价格
    $modComment = $xpath->query('div/div/div/div/span[1]', $mod)->item(0)->nodeValue; //获取产品评价分数
    $modCommentNum = $xpath->query('div/div/div/div/span[2]', $mod)->item(0)->nodeValue; //获取产品评价人数
}

3.3 Stockage des données

Enfin, nous stockerons les informations obtenues sur les produits de voyage dans la base de données. Dans le code, nous utilisons l'extension PDO de PHP pour nous connecter à la base de données et insérer les informations produit obtenues dans la table de la base de données nommée "product_info".

//连接数据库
$dsn = 'mysql:host=localhost;port=3306;dbname=test;charset=utf8';
$username = 'root';
$password = '123456';
$options = array(PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION);
$dbh = new PDO($dsn, $username, $password, $options);

//将获取到的产品信息插入到数据库
$stmt = $dbh->prepare("INSERT INTO product_info(img_url, title, content, price, comment_score, comment_num) VALUES(?, ?, ?, ?, ?, ?)");
$stmt->bindParam(1, $modImg);
$stmt->bindParam(2, $modTitle);
$stmt->bindParam(3, $modContent);
$stmt->bindParam(4, $modPrice);
$stmt->bindParam(5, $modComment);
$stmt->bindParam(6, $modCommentNum);
$stmt->execute();

4. Summary

En utilisant PHP pour écrire un programme d'exploration, vous pouvez facilement récupérer les informations sur les produits de voyage du site Web de voyage Ctrip et les stocker dans dans la base de données. Dans le développement réel, nous pouvons également utiliser le multithreading, le proxy IP et d'autres technologies pour améliorer l'efficacité et la stabilité du programme d'exploration. Cependant, il convient de noter que lors de l'utilisation de programmes d'exploration, les politiques de droits d'auteur et de confidentialité du site Web cible doivent être respectées pour éviter toute violation et abus.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!