隨著網路的發展，爬蟲技術在現代化的資料收集、資料分析和商業決策當中已經扮演了越來越重要的角色。學會如何利用爬蟲技術，將會極大的提高我們處理資料的效率和準確性。在這篇文章中，我們將使用PHP編寫一個爬蟲，用於抓取慕課網路上的課程資訊。
本文將使用的工具如下：
#1.準備工作
首先，我們需要在本地環境中安裝PHP 7.0版本，安裝過程略為。
Guzzle HTTP Client是常用的HTTP客戶端工具庫，我們可以使用Composer來安裝。在命令列中切換到一個空白目錄下，然後創建一個新的composer.json文件，添加如下內容：
{
"require": {
"guzzlehttp/guzzle": "^6.3"
}}
然後在同級目錄下執行composer install，等待執行完成後，我們就成功安裝了Guzzle HTTP Client。
2.分析目標網站結構
在開始編寫程式碼之前，我們需要對目標網站的結構進行分析。我們選擇的是慕課網（www.imooc.com）的Python課程，我們需要抓取的資訊包括課程名稱、課程編號、課程難度、課程長度和課程連結。
開啟目標網站並進行一定的操作後（例如搜尋「Python」課程），我們可以查看到網站返回的回應內容。我們可以使用瀏覽器的開發工具來查看回應內容和網頁結構。
我們可以看到，在慕課網路上Python課程的清單是透過AJAX進行動態載入的。為了方便爬取數據，我們可以直接去找AJAX請求的URL和參數，然後建構自己的HTTP請求來取得數據。
透過查看目標網站的XHR請求，我們可以發現Python課程實際請求的URL是 http://www.imooc.com/course/AjaxCourseMore?&page=1。
請求參數中的page表示目前要存取的頁碼。我們可以透過HTTP GET方法向該URL發送請求，並根據返回結果進行解析。
3.寫爬蟲程式
在上一步我們已經取得了目標網站Python課程的清單URL，現在我們只需要寫PHP程式碼，使用Guzzle HTTP Client發送HTTP請求，然後解析返回結果即可。
首先，我們需要引入Guzzle HTTP Client函式庫。在PHP檔案的頂端加入以下程式碼：
require 'vendor/autoload.php';
然後建立一個Guzzle HTTP Client物件：
$client = new GuzzleHttpClient( );
接下來，我們可以使用該物件發送HTTP請求：
$response = $client->request('GET', 'http://www.imooc.com /course/AjaxCourseMore?&page=1');
上述程式碼中，我們使用了Guzzle HTTP Client物件的request()方法，指定請求的方式是GET，請求的URL是我們在上一步中取得到的URL。
最後，我們需要從HTTP回應中取得到我們需要的課程資訊。透過檢查回應內容，我們可以看到課程資訊包含在一個HTML標籤中，標籤的class屬性為course-card-container。
我們可以使用PHP的DOMDocument類別來遍歷HTML標籤，將符合條件的標籤解析出來。
最終的程式碼實作如下：
require 'vendor/autoload.php';
use GuzzleHttpClient;
$client = new Client([
'base_uri' => 'http://www.imooc.com'
]);
$response = $client->request('GET', '/course/AjaxCourseMore?&page=1');
#if ($ response->getStatusCode() == 200) {
$dom = new DOMDocument();
@$dom->loadHTML($response->getBody());
$xpath = new DOMXPath($dom);
$items = $xpath->query("//div[@class='course-card-container']");
foreach ($items as $item) {
$courseName = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->textContent);
$courseId = trim($xpath->query(".//div[@class='clearfix']/a[@class='course-card'], $item)->item(0)->getAttribute('href'));
$courseDifficulty = trim($xpath->query(".//p[@class='course-card-desc']", $item)->item(0)->textContent);
$courseDuration = trim($xpath->query(".//div[@class='course-card-info']/span[@class='course-card-time']", $item)->item(0)->textContent);
$courseLink = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->getAttribute('href'));
// 将抓取到的数据存储到MySQL数据库中
// ...
echo "课程名称：" . $courseName . "";
echo "课程编号：" . $courseId . "
";
echo "课程难度：" . $courseDifficulty . "
";
echo "课程时长：" . $courseDuration . "
";
echo "课程链接：" . $courseLink . "
";
}
}
我們使用DOMDocument讀取HTML回應內容，在使用DOMXPath遍歷標籤。最終，我們將抓取到的資訊列印到螢幕上。
4.儲存資料
現在我們已經成功的抓取到了Python課程的信息，並將資訊列印到了螢幕上。但是，將資料列印到螢幕上並不實用，我們需要將資料儲存到資料庫中。
在MySQL資料庫中，我們建立了一個表格來儲存Python課程的資訊。表格結構如下：
##CREATE TABLEpython_courses (
id int(11) unsigned NOT NULL AUTO_INCREMENT,
course_name varchar(255) NOT NULL DEFAULT '',
course_id# varchar(255) NOT NULL DEFAULT '',
course_difficulty varchar(255) NOT NULL DEFAULT '',
course_duration varchar(255) NOT NULL DEFAULT ''
course_link varchar(255) NOT NULL DEFAULT '', PRIMARY KEY (
id)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
'base_uri' => 'http://www.imooc.com'
if ($response->getStatusCode() == 200) {
$dom = new DOMDocument();
@$dom->loadHTML($response->getBody());
$xpath = new DOMXPath($dom);
$items = $xpath->query("//div[@class='course-card-container']");
$dsn = 'mysql:host=localhost;dbname=test';
$username = 'root';
$password = '';
$pdo = new PDO($dsn, $username, $password, [PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION]);
$stmt = $pdo->prepare("INSERT INTO `python_courses` (`course_name`, `course_id`, `course_difficulty`, `course_duration`, `course_link`) VALUES (:course_name, :course_id, :course_difficulty, :course_duration, :course_link)");
foreach ($items as $item) {
$courseName = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->textContent);
$courseId = trim($xpath->query(".//div[@class='clearfix']/a[@class='course-card']", $item)->item(0)->getAttribute('href'));
$courseDifficulty = trim($xpath->query(".//p[@class='course-card-desc']", $item)->item(0)->textContent);
$courseDuration = trim($xpath->query(".//div[@class='course-card-info']/span[@class='course-card-time']", $item)->item(0)->textContent);
$courseLink = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->getAttribute('href'));
$stmt->bindParam(':course_name', $courseName);
$stmt->bindParam(':course_id', $courseId);
$stmt->bindParam(':course_difficulty', $courseDifficulty);
$stmt->bindParam(':course_duration', $courseDuration);
$stmt->bindParam(':course_link', $courseLink);
$stmt->execute();
}}
现在，我们已经成功的构建了一个简单的PHP爬虫，用于抓取慕课网上的Python课程信息。经过这个例子的介绍，你应该可以使用PHP编写你自己的爬虫程序，并获取到你需要的数据了。
以上是PHP爬蟲實戰：抓取慕課網課程資訊的詳細內容。更多資訊請關注PHP中文網其他相關文章！
