Créez un robot d'exploration Web efficace en utilisant PHP et Selenium

Avec l'avènement de l'ère de l'information, les sites Web sont considérés comme l'un des principaux moyens d'obtenir des informations. Cependant, il est très fastidieux d'obtenir manuellement des informations sur le site Web. Il existe donc un moyen d'explorer automatiquement les pages Web : les robots d'exploration Web. Cet article explique comment utiliser PHP et Selenium pour créer un robot d'exploration Web efficace afin de collecter automatiquement des informations.

Tout d’abord, vous devez installer PHP et Selenium. Selenium est un outil de test d'automatisation Web qui simule les opérations des utilisateurs sur les pages Web. Selenium peut interagir avec plusieurs langages, dont PHP. Pour les méthodes d'installation, veuillez vous référer à la documentation officielle.

La prochaine étape consiste à intégrer Selenium en PHP. Tout d’abord, installez la bibliothèque Selenium pour PHP. Il peut être installé via Composer :

composer require facebook/webdriver

Après l'installation, vous devez définir votre pilote web. Le navigateur Chrome est utilisé ici, mais Selenium prend en charge plusieurs navigateurs. Le code suivant peut être enregistré dans un fichier séparé :

use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverRemoteRemoteWebDriver;

require_once('vendor/autoload.php');

$host = 'http://localhost:4444/wd/hub';

$capabilities = DesiredCapabilities::chrome();
$capabilities->setCapability('goog:chromeOptions', ['args' => ['--headless']]);

$driver = RemoteWebDriver::create($host, $capabilities);

Analyse du code :

• Introduit les classes et fichiers nécessaires
• Définit l'adresse du pilote et les options du navigateur Chrome
• via RemoteWebDriver</ la classe code> crée une connexion avec le pilote <code>RemoteWebDriver类创建到驱动程序的连接

一旦连接到了驱动程序，你可以开始模拟用户的操作。例如，访问一个网站：

$driver->get('http://news.baidu.com');

这将打开百度新闻并获取所有的新闻链接：

$news_links = $driver->findElements(WebDriverBy::cssSelector('.c-title a'));
$links = [];
foreach ($news_links as $news_link) {
    $links[] = $news_link->getAttribute('href');
}

代码解析：

• 使用WebDriverBy::cssSelector通过CSS选择器方式获取所有的新闻链接
• 遍历每个链接，获取每个链接的URL

现在你获得了所有的新闻链接，你可以遍历它们依次爬取每个链接的内容：

foreach ($links as $link) {
    $driver->get($link);
    $news_title = $driver->findElement(WebDriverBy::cssSelector('.article-title'))->getText();
    $news_content = $driver->findElement(WebDriverBy::cssSelector('.article-content'))->getText();
    // 保存新闻标题和内容至数据库
}

代码解析：

• 通过WebDriverBy::cssSelector
• Une fois connecté au pilote, vous pouvez commencer à simuler les actions de l'utilisateur. Par exemple, visitez un site Web :
rrreee

rrreee

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!