Erstellen Sie einen effizienten Webcrawler mit PHP und Selenium

Mit dem Aufkommen des Informationszeitalters gelten Websites als eine der wichtigsten Möglichkeiten, Informationen zu erhalten. Da es jedoch sehr mühsam ist, manuell Informationen auf der Website abzurufen, gibt es eine Möglichkeit, Webseiten automatisch zu crawlen – Webcrawler. In diesem Artikel wird erläutert, wie Sie mithilfe von PHP und Selenium einen effizienten Webcrawler zum automatischen Sammeln von Informationen erstellen.

Zuerst müssen Sie PHP und Selenium installieren. Selenium ist ein Tool zum Testen der Webautomatisierung, das Benutzervorgänge auf Webseiten simuliert. Selenium kann mit mehreren Sprachen interagieren, einschließlich PHP. Informationen zu den Installationsmethoden finden Sie in der offiziellen Dokumentation.

Der nächste Schritt besteht darin, Selenium in PHP zu integrieren. Installieren Sie zunächst die Selenium-Bibliothek für PHP. Es kann über Composer installiert werden:

composer require facebook/webdriver

Nach der Installation müssen Sie Ihren Webtreiber definieren. Hier wird der Chrome-Browser verwendet, Selenium unterstützt jedoch mehrere Browser. Der folgende Code kann als separate Datei gespeichert werden:

use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverRemoteRemoteWebDriver;

require_once('vendor/autoload.php');

$host = 'http://localhost:4444/wd/hub';

$capabilities = DesiredCapabilities::chrome();
$capabilities->setCapability('goog:chromeOptions', ['args' => ['--headless']]);

$driver = RemoteWebDriver::create($host, $capabilities);

Code-Analyse:

• Führt die notwendigen Klassen und Dateien ein
• Definiert die Adresse des Treibers und die Optionen des Chrome-Browsers
• über RemoteWebDriver</ Code> Klasse stellt eine Verbindung zum Treiber her <code>RemoteWebDriver类创建到驱动程序的连接

一旦连接到了驱动程序，你可以开始模拟用户的操作。例如，访问一个网站：

$driver->get('http://news.baidu.com');

这将打开百度新闻并获取所有的新闻链接：

$news_links = $driver->findElements(WebDriverBy::cssSelector('.c-title a'));
$links = [];
foreach ($news_links as $news_link) {
    $links[] = $news_link->getAttribute('href');
}

代码解析：

• 使用WebDriverBy::cssSelector通过CSS选择器方式获取所有的新闻链接
• 遍历每个链接，获取每个链接的URL

现在你获得了所有的新闻链接，你可以遍历它们依次爬取每个链接的内容：

foreach ($links as $link) {
    $driver->get($link);
    $news_title = $driver->findElement(WebDriverBy::cssSelector('.article-title'))->getText();
    $news_content = $driver->findElement(WebDriverBy::cssSelector('.article-content'))->getText();
    // 保存新闻标题和内容至数据库
}

代码解析：

• 通过WebDriverBy::cssSelector
• Sobald Sie mit dem Treiber verbunden sind, können Sie mit der Simulation von Benutzeraktionen beginnen. Besuchen Sie beispielsweise eine Website:
rrreee

rrreee

Das obige ist der detaillierte Inhalt vonErstellen Sie einen effizienten Webcrawler mit PHP und Selenium. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!