Gunakan selenium untuk membaca halaman web yang memerlukan log masuk ahli

Adalah keperluan biasa untuk menggunakan selenium untuk menulis perangkak untuk membaca kandungan halaman web Walau bagaimanapun, anda mungkin menghadapi halaman web yang memerlukan anda log masuk ke akaun anda sebelum merangkak kandungan tersebut buku ialah contoh ini. Anda akan Melihat tetingkap sembang berikut:

Memandangkan kuki akan digunakan untuk merekod maklumat log masuk selepas log masuk ke akaun, untuk membaca halaman web sedemikian, kami boleh log masuk secara manual terlebih dahulu, dan kemudian mengeksport kuki ke fail. Kemudian, apabila menggunakan selenium untuk merangkak halaman web, tambah semula kuki yang dieksport, susun semula halaman web dan kandungan web boleh dibaca seperti biasa.

Eksport kuki

Sila gunakan selenium untuk membuka halaman web yang ingin anda baca dahulu. Berikut adalah blog sebagai contoh:

>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')

Pada masa ini, sila log masuk sebagai ahli mengikut prosedur biasa, dan kemudian pasang pemalam cookie_editor:

Sila ingat untuk beralih kembali ke halaman utama blog dan gunakan pemalam untuk mengeksport semua kuki dalam format JSON:

Ia akan menyalin kandungan kuki ke papan keratan, sila tampalkannya pada editor teks dan arkibkannya sendiri.

Tambah semula kuki

Kemudian tutup selenium dan buka semula:

>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')

Untuk menambah kuki, anda mesti berada di halaman web dalam domain yang sama dengan kuki, jadi jangan lupa untuk membuka blog terlebih dahulu untuk mengakses halaman web. Kemudian anda boleh membuka fail yang menyimpan kuki dan memuatkannya ke dalam kamus Python:

>>> import json
>>> with open('cookies.json') as f:
...     cookies = json.load(f)

Tambahkan semula kuki satu persatu:

>>> for cookie in cookies:
...     driver.add_cookie(cookie)

Pada ketika ini anda sepatutnya melihat ralat berikut:

Traceback (most recent call last):
  File "<stdin>", line 3, in <module>
  File "C:\Users\meebo\code\python\poetry_env\py310\.venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 670, in add_cookie
    assert cookie_dict["sameSite"] in ["Strict", "Lax", "None"]
AssertionError

Ini kerana dalam data yang dieksport oleh editor kuki, atribut sameSite menggunakan null untuk mewakili "no_restriction", yang bermaksud tiada sekatan dan ia mestilah tapak web yang sama, tetapi selenium hanya mengenali "Strict", "Lax ", "Tiada" Oleh itu, ketiga-tiga sekatan ini didiagnosis sebagai ralat. Kami mesti mengubah suai fail JSON secara manual dan menukar semua nilai atribut sameSite ​​kepada "Tiada" (perhatikan bahawa ia adalah rentetan). Sila pastikan juga domain itu bukan ".books.com." pemadaman kuki:

[
    {
        "domain": ".books.com.tw",
        "expirationDate": 1767941747.633402,
        "hostOnly": false,
        "httpOnly": false,
        "name": "_ga_TR763QQ559",
        "path": "/",
        "sameSite": null,
        "secure": false,
        "session": false,
        "storeId": null,
        "value": "GS1.1.1733381542.1.1.1733381747.0.0.0"
    },
    ...
    {
        "domain": ".books.com.tw",
        "expirationDate": 1748933733,
        "hostOnly": false,
        "httpOnly": false,
        "name": "__eoi",
        "path": "/",
        "sameSite": "no_restriction",
        "secure": true,
        "session": false,
        "storeId": null,
        "value": "ID=7f42c4647467b5fb:T=1733381733:RT=1733381733:S=AA-AfjbpJCe1kw2klEX0xW55n9CY"
    },
    ...
]

Selepas pengubahsuaian, muat semula dan tambah kuki dan tidak akan ada ralat.

Muat semula halaman web untuk membenarkan kuki berkuat kuasa

Selepas menambah kuki, skrin yang anda lihat masih skrin tidak log masuk:

Halaman mesti dimuat semula untuk kuki berkuat kuasa:

>>> driver.refresh()

Apa yang anda lihat ialah halaman untuk log masuk sebagai ahli:

Dengan cara ini, anda boleh menggunakan selenium untuk membaca halaman yang memerlukan log masuk ahli.

Perkara terakhir yang perlu diingatkan ialah kuki adalah sah Jika anda tidak boleh log masuk menggunakan kuki yang disimpan sebelum ini selepas tempoh masa, cuma ikut langkah di atas untuk mendapatkan kuki itu semula.

Atas ialah kandungan terperinci Gunakan selenium untuk membaca halaman web yang memerlukan log masuk ahli. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!