如何使用PHP和Selenium高效擷取網路數據-php教程-PHP中文網

如何使用PHP和Selenium高效擷取網路數據

王林

發布： 2023-06-16 06:22:02

原創

784 人瀏覽過

隨著大數據時代的到來，採集網路資料的重要性越來越受到重視。而對於那些需要大量採集資料的項目來說，手動採集已經遠遠無法滿足需求。因此，自動化資料採集成為了必備的技能之一。

作為Web自動化測試工具的Selenium，也可以用於網路資料收集。在本文中，我將會介紹如何使用PHP和Selenium高效擷取網路資料。

安裝Selenium WebDriver

首先，需要安裝Selenium WebDriver。我們可以透過Selenium官方網站下載對應的WebDriver。在這裡，我們以Chrome瀏覽器為例，下載chromedriver並進行安裝。

安裝PHP WebDriver

接下來，安裝PHP WebDriver。可以透過Composer在專案中引入php-webdriver/php-webdriver庫來實現。如下圖所示：

composer require php-webdriver/php-webdriver

登入後複製

編寫PHP腳本

在安裝完必要的依賴之後，就可以開始編寫PHP腳本了。

首先，需要引入所需的類別和命名空間：

use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverRemoteRemoteWebDriver;
use FacebookWebDriverWebDriverBy;
use FacebookWebDriverWebDriverExpectedCondition;

登入後複製

然後，定義ChromeDriver的路徑和WebDriver：

$chromeDriverPath = '/path/to/chromedriver';
$host = 'http://localhost:4444/wd/hub';
$capabilities = DesiredCapabilities::chrome();
$options = new ChromeOptions();
$options->addArguments(['--disable-gpu', '--disable-extensions']);
$capabilities->setCapability(ChromeOptions::CAPABILITY, $options);
$driver = RemoteWebDriver::create($host, $capabilities);

登入後複製

定義完ChromeDriver路徑和WebDriver之後，就可以開始編寫資料採集的程式碼了。在這裡，我們以百度搜索為例：

// 打开百度首页
$driver->get('https://www.baidu.com');

// 在搜索框内输入关键词
$searchBox = $driver->findElement(WebDriverBy::id('kw'));
$searchBox->sendKeys('Selenium PHP');

// 点击搜索按钮
$searchButton = $driver->findElement(WebDriverBy::id('su'));
$searchButton->click();

// 等待搜索结果
$driver->wait()->until(
  WebDriverExpectedCondition::visibilityOfElementLocated(WebDriverBy::id('content_left'))
);

// 输出搜索结果
$searchResults = $driver->findElements(WebDriverBy::cssSelector('.result h3 a'));
foreach ($searchResults as $searchResult) {
  echo $searchResult->getText();
}

// 退出WebDriver
$driver->quit();

登入後複製

以上代碼實現了訪問百度首頁，輸入關鍵字後搜索，等待搜索結果完全加載後輸出結果，最後退出WebDriver的過程。