用於監控網站變化的Python腳本-Python教學-PHP中文網

用於監控網站變化的Python腳本

在當今的數位時代，了解網站上的最新變化對於各種目的都至關重要，例如追蹤競爭對手網站上的更新、監控產品可用性或隨時了解重要信息。手動檢查網站是否有更改可能既耗時又低效。這就是自動化發揮作用的地方。

在這篇文章中，我們將探討如何建立 Python 腳本來監控網站變更。透過利用 Python 的強大功能和一些方便的程式庫，我們可以自動化檢索網站內容、與先前的版本進行比較並通知我們任何更改的過程。這使我們能夠保持主動並及時對我們監控的網站上的更新或修改做出反應。

設定環境

在開始編寫腳本來監控網站變更之前，我們需要設定 Python 環境並安裝必要的程式庫。請按照以下步驟開始 -

安裝 Python − 如果您尚未下載並安裝 Python，請在您的系統上下載並安裝。您可以造訪Python官方網站（https://www.python.org/）並下載與您的作業系統相容的最新版本。確保在安裝過程中選擇將 Python 新增至系統路徑的選項。
#建立新的 Python 虛擬環境（可選）−# 建議為此專案建立一個虛擬環境以保持依賴隔離。開啟終端機或命令提示符，導航至所需的項目目錄，然後執行以下命令：

python -m venv website-monitor-env

登入後複製

這將在您的專案目錄中建立一個名為「website-monitor-env」的新虛擬環境。

啟動虛擬環境 − 根據您的作業系統執行適當的命令來啟動虛擬環境：

對於 Windows −

website-monitor-env\Scripts\activate.bat

登入後複製

對於 macOS/Linux −

source website-monitor-env/bin/activate

登入後複製

您應該在命令提示字元或終端機中看到虛擬環境名稱，表示您正在虛擬環境中工作。

安裝所需的函式庫 − 啟動虛擬環境後，讓我們安裝必要的函式庫。在終端機或命令提示字元中，執行以下命令：

pip install requests beautifulsoup4

登入後複製

「requests」函式庫將幫助我們檢索網站內容，而「beautifulsoup4」將協助解析 HTML。

設定好 Python 環境並安裝所需的程式庫後，我們就可以開始建立網站更改監控腳本了。在下一節中，我們將介紹使用「requests」庫檢索網站內容的流程。

檢索網站內容

為了監控網站更改，我們需要檢索網站的當前內容並將其與先前儲存的版本進行比較。在本節中，我們將使用「requests」庫來取得網站內容。請依照以下步驟操作：

匯入必要的模組− 打開您的Python 腳本並先匯入所需的模組−

import requests
from bs4 import BeautifulSoup

登入後複製

「requests」模組將處理 HTTP 請求，而「bs4」模組中的「BeautifulSoup」類別將幫助我們解析 HTML 內容。

指定網站網址 − 決定您要監控的網站的網址。例如，我們使用 URL「https://example.com」進行示範。將其替換為您要監控的網站的實際 URL。

url = "https://example.com"

登入後複製

发送 GET 请求并检索内容− 使用“requests.get()”方法向网站 URL 发送 GET 请求并检索内容。将响应分配给变量以进行进一步处理。

response = requests.get(url)

登入後複製

检查响应状态−最好检查响应的状态以确保请求成功。我们将使用“response.status_code”属性，该属性应在请求成功时返回状态代码 200。

if response.status_code == 200:
    # Proceed with further processing
else:
    print("Failed to retrieve website content. Status code:", response.status_code)
    # Handle error or exit the script

登入後複製

检索网站内容后，您可以将其与之前保存的版本进行比较，以确定是否有任何更改。

保存并比较网站内容

一旦我们检索了网站内容，我们需要将其保存以供将来比较。在本节中，我们将讨论如何保存内容并将其与以前保存的版本进行比较。请按照以下步骤操作−

保存初始网站内容 − 检索网站内容后，将其保存到文件中以供将来比较。创建一个新文件并使用“write()”方法将内容写入其中。例如−

with open("website_content.txt", "w") as file:
    file.write(response.text)

登入後複製

这会将网站内容保存在当前目录中名为“website_content.txt”的文件中。

与之前的内容进行比较− 为了检测更改，我们需要将当前网站内容与之前保存的版本进行比较。从保存的文件中读取内容并将其与新内容进行比较。例如−

with open("website_content.txt", "r") as file:
    previous_content = file.read()

if response.text == previous_content:
    print("No changes detected.")
else:
    print("Website content has changed.")
    # Perform further actions for handling the changes

登入後複製

在这里，我们将响应中的新内容与从文件中读取的内容进行比较。如果它们匹配，则不会检测到任何更改。否则，我们会打印一条消息，表明网站内容已更改。

更新保存的内容 − 如果检测到更改，我们应该使用新版本更新保存的内容。这将确保下一次比较是针对最新内容进行的。使用与之前相同的文件写入逻辑来更新内容：

with open("website_content.txt", "w") as file:
    file.write(response.text)

登入後複製

通过覆盖文件，我们将新内容保存为最新版本。

通过执行以下步骤，您可以保存初始网站内容，将其与未来版本进行比较，并识别任何更改。在下一节中，我们将探讨如何使用 Python 脚本自动执行此过程。

自动化网站监控

每次我们想要监视网站的更改时手动运行脚本可能是乏味且不切实际的。在本节中，我们将讨论如何使用 Python 脚本和调度工具自动化网站监控过程。请按照以下步骤操作：

创建 Python 脚本− 打开您喜欢的 Python 编辑器或 IDE 并创建一个新的 Python 脚本文件。您可以将其命名为“website_monitor.py”。
导入必要的模块− 在脚本的开头，导入所需的模块，包括用于发出 HTTP 请求的“请求”和用于在请求之间添加延迟的“时间”。此外，导入您可能需要的任何其他模块，用于根据网站更改发送通知或执行其他操作。

import requests
import time
# Import other modules as needed

登入後複製

定义网站网址和监控间隔 − 通过将要监控的网站的 URL 分配给变量来设置它。另外，指定您要检查更改的时间间隔。此间隔可以以秒、分钟或任何其他合适的单位为单位。

website_url = "https://example.com"
monitoring_interval = 300  # Check every 5 minutes

登入後複製

创建监控函数− 定义一个封装监控逻辑的函数。该函数将负责发出 HTTP 请求、比较网站内容并根据更改执行任何所需的操作。

def monitor_website():
    while True:
        # Make the HTTP request to the website
        response = requests.get(website_url)

        # Compare the current content with the saved content
        with open("website_content.txt", "r") as file:
            previous_content = file.read()

        if response.text != previous_content:
            print("Website content has changed.")
            # Perform desired actions for handling the changes

        # Update the saved content
        with open("website_content.txt", "w") as file:
            file.write(response.text)

        # Wait for the specified interval before the next check
        time.sleep(monitoring_interval)

登入後複製