Skrip Python untuk memantau perubahan tapak web

Dalam era digital hari ini, mengetahui perubahan terkini pada tapak web anda adalah penting untuk pelbagai tujuan, seperti menjejak kemas kini pada tapak web pesaing anda, memantau ketersediaan produk atau sentiasa mendapat maklumat tentang maklumat penting. Semakan tapak web anda secara manual untuk perubahan boleh memakan masa dan tidak cekap. Di sinilah automasi dimainkan.

Dalam catatan blog ini, kami akan meneroka cara membuat skrip Python untuk memantau perubahan tapak web. Dengan memanfaatkan kuasa Python dan beberapa perpustakaan berguna, kami boleh mengautomasikan proses mendapatkan semula kandungan tapak web, membandingkannya dengan versi sebelumnya dan memberitahu kami tentang sebarang perubahan. Ini membolehkan kami kekal proaktif dan bertindak balas segera terhadap kemas kini atau pengubahsuaian pada tapak yang kami pantau.

Sediakan persekitaran

Sebelum kami mula menulis skrip untuk memantau perubahan tapak web, kami perlu menyediakan persekitaran Python dan memasang perpustakaan yang diperlukan. Ikuti langkah ini untuk bermula -

• Pasang Python − Muat turun dan pasang Python pada sistem anda jika anda belum melakukannya. Anda boleh melawati tapak web rasmi Python (https://www.python.org/) dan memuat turun versi terkini yang serasi dengan sistem pengendalian anda. Pastikan anda memilih pilihan untuk menambah Python pada laluan sistem anda semasa pemasangan.

• Buat persekitaran maya Python baharu (pilihan) − Adalah disyorkan untuk mencipta persekitaran maya untuk projek ini untuk memastikan kebergantungan diasingkan. Buka terminal atau gesaan arahan, navigasi ke direktori projek yang diingini, dan jalankan arahan berikut:

python -m venv website-monitor-env

Ini akan mewujudkan persekitaran maya baharu yang dipanggil "laman web-monitor-env" dalam direktori projek anda.

• Aktifkan Persekitaran Maya − Aktifkan persekitaran maya dengan menjalankan arahan yang sesuai berdasarkan sistem pengendalian anda:

Untuk Windows −

website-monitor-env\Scripts\activate.bat

Untuk macOS/Linux −

source website-monitor-env/bin/activate

Anda seharusnya melihat nama persekitaran maya dalam command prompt atau terminal, yang menunjukkan bahawa anda sedang bekerja dalam persekitaran maya.

• Pasang perpustakaan yang diperlukan − Selepas mengaktifkan persekitaran maya, mari pasang perpustakaan yang diperlukan. Dalam terminal atau command prompt, jalankan arahan berikut:

pip install requests beautifulsoup4

• Pustaka "permintaan" akan membantu kami mendapatkan semula kandungan tapak web, manakala "beautifulsoup4" akan membantu dalam menghuraikan HTML.

Selepas menyediakan persekitaran Python dan memasang perpustakaan yang diperlukan, kami boleh mula membina skrip pemantauan perubahan laman web. Dalam bahagian seterusnya, kami akan melalui proses mendapatkan semula kandungan tapak web menggunakan perpustakaan "permintaan".

Dapatkan kandungan laman web

Untuk memantau perubahan tapak web, kami perlu mendapatkan semula kandungan semasa tapak web dan membandingkannya dengan versi yang disimpan sebelum ini. Dalam bahagian ini, kami akan menggunakan perpustakaan "permintaan" untuk mendapatkan kandungan tapak web. Sila ikuti langkah berikut:

• Import modul yang diperlukan−Buka skrip Python anda dan import modul yang diperlukan dahulu−

import requests
from bs4 import BeautifulSoup

Modul "permintaan" akan mengendalikan permintaan HTTP, manakala kelas "BeautifulSoup" dalam modul "bs4" akan membantu kami menghuraikan kandungan HTML.

• Nyatakan URL laman web − Tentukan URL tapak web yang ingin anda pantau. Sebagai contoh, kami menggunakan URL "https://example.com" untuk tunjuk cara. Gantikannya dengan URL sebenar tapak web yang ingin anda pantau.

url = "https://example.com"

• 发送 GET 请求并检索内容− 使用“requests.get()”方法向网站 URL 发送 GET 请求并检索内容。将响应分配给变量以进行进一步处理。

response = requests.get(url)

• 检查响应状态−最好检查响应的状态以确保请求成功。我们将使用“response.status_code”属性，该属性应在请求成功时返回状态代码 200。

if response.status_code == 200:
    # Proceed with further processing
else:
    print("Failed to retrieve website content. Status code:", response.status_code)
    # Handle error or exit the script

检索网站内容后，您可以将其与之前保存的版本进行比较，以确定是否有任何更改。

保存并比较网站内容

一旦我们检索了网站内容，我们需要将其保存以供将来比较。在本节中，我们将讨论如何保存内容并将其与以前保存的版本进行比较。请按照以下步骤操作−

• 保存初始网站内容 − 检索网站内容后，将其保存到文件中以供将来比较。创建一个新文件并使用“write()”方法将内容写入其中。例如−

with open("website_content.txt", "w") as file:
    file.write(response.text)

这会将网站内容保存在当前目录中名为“website_content.txt”的文件中。

• 与之前的内容进行比较− 为了检测更改，我们需要将当前网站内容与之前保存的版本进行比较。从保存的文件中读取内容并将其与新内容进行比较。例如−

with open("website_content.txt", "r") as file:
    previous_content = file.read()

if response.text == previous_content:
    print("No changes detected.")
else:
    print("Website content has changed.")
    # Perform further actions for handling the changes

在这里，我们将响应中的新内容与从文件中读取的内容进行比较。如果它们匹配，则不会检测到任何更改。否则，我们会打印一条消息，表明网站内容已更改。

• 更新保存的内容 − 如果检测到更改，我们应该使用新版本更新保存的内容。这将确保下一次比较是针对最新内容进行的。使用与之前相同的文件写入逻辑来更新内容：

with open("website_content.txt", "w") as file:
    file.write(response.text)

通过覆盖文件，我们将新内容保存为最新版本。

通过执行以下步骤，您可以保存初始网站内容，将其与未来版本进行比较，并识别任何更改。在下一节中，我们将探讨如何使用 Python 脚本自动执行此过程。

自动化网站监控

每次我们想要监视网站的更改时手动运行脚本可能是乏味且不切实际的。在本节中，我们将讨论如何使用 Python 脚本和调度工具自动化网站监控过程。请按照以下步骤操作：

• 创建 Python 脚本− 打开您喜欢的 Python 编辑器或 IDE 并创建一个新的 Python 脚本文件。您可以将其命名为“website_monitor.py”。

• 导入必要的模块− 在脚本的开头，导入所需的模块，包括用于发出 HTTP 请求的“请求”和用于在请求之间添加延迟的“时间”。此外，导入您可能需要的任何其他模块，用于根据网站更改发送通知或执行其他操作。

import requests
import time
# Import other modules as needed

• 定义网站网址和监控间隔 − 通过将要监控的网站的 URL 分配给变量来设置它。另外，指定您要检查更改的时间间隔。此间隔可以以秒、分钟或任何其他合适的单位为单位。

website_url = "https://example.com"
monitoring_interval = 300  # Check every 5 minutes

• 创建监控函数− 定义一个封装监控逻辑的函数。该函数将负责发出 HTTP 请求、比较网站内容并根据更改执行任何所需的操作。

def monitor_website():
    while True:
        # Make the HTTP request to the website
        response = requests.get(website_url)

        # Compare the current content with the saved content
        with open("website_content.txt", "r") as file:
            previous_content = file.read()

        if response.text != previous_content:
            print("Website content has changed.")
            # Perform desired actions for handling the changes

        # Update the saved content
        with open("website_content.txt", "w") as file:
            file.write(response.text)

        # Wait for the specified interval before the next check
        time.sleep(monitoring_interval)

• 调用监控函数− 在脚本末尾添加对 monitor_website() 函数的调用以启动监控过程。

monitor_website()

• 保存脚本 − 将 Python 脚本文件保存在系统上的适当位置。

• 安排脚本 − 要自动化监控过程，您可以使用 cron（在基于 Unix 的系统上）或任务计划程序（在 Windows 上）等调度工具。设置计划以所需的时间间隔执行脚本，确保其在后台连续运行。

此脚本将定期检查网站内容的更改并相应地执行任何指定的操作。

结论

监控网站更改对于及时了解最新内容或检测可能影响您的业务或个人利益的任何修改至关重要。在本文中，我们探讨了如何创建 Python 脚本来监控网站更改。通过利用 Python 及其库的强大功能，我们可以自动化该过程并及时收到有关任何修改的通知。

我们首先了解网站监控的重要性及其带来的好处。然后，我们深入研究了构建监控脚本所需的步骤。我们学习了如何发出 HTTP 请求、比较网站内容以及根据更改执行操作。此外，我们还讨论了使用调度工具自动执行脚本的选项，确保无需人工干预即可持续监控。

Atas ialah kandungan terperinci Skrip Python untuk memantau perubahan tapak web. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!