pembangunan bahagian belakang
Tutorial Python
Gunakan selenium untuk membaca halaman web yang memerlukan log masuk ahli
Gunakan selenium untuk membaca halaman web yang memerlukan log masuk ahli
Adalah keperluan biasa untuk menggunakan selenium untuk menulis perangkak untuk membaca kandungan halaman web Walau bagaimanapun, anda mungkin menghadapi halaman web yang memerlukan anda log masuk ke akaun anda sebelum merangkak kandungan tersebut buku ialah contoh ini. Anda akan Melihat tetingkap sembang berikut:
Memandangkan kuki akan digunakan untuk merekod maklumat log masuk selepas log masuk ke akaun, untuk membaca halaman web sedemikian, kami boleh log masuk secara manual terlebih dahulu, dan kemudian mengeksport kuki ke fail. Kemudian, apabila menggunakan selenium untuk merangkak halaman web, tambah semula kuki yang dieksport, susun semula halaman web dan kandungan web boleh dibaca seperti biasa.
Eksport kuki
Sila gunakan selenium untuk membuka halaman web yang ingin anda baca dahulu. Berikut adalah blog sebagai contoh:
>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')
Pada masa ini, sila log masuk sebagai ahli mengikut prosedur biasa, dan kemudian pasang pemalam cookie_editor:
Sila ingat untuk beralih kembali ke halaman utama blog dan gunakan pemalam untuk mengeksport semua kuki dalam format JSON:
Ia akan menyalin kandungan kuki ke papan keratan, sila tampalkannya pada editor teks dan arkibkannya sendiri.
Tambah semula kuki
Kemudian tutup selenium dan buka semula:
>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')
Untuk menambah kuki, anda mesti berada di halaman web dalam domain yang sama dengan kuki, jadi jangan lupa untuk membuka blog terlebih dahulu untuk mengakses halaman web. Kemudian anda boleh membuka fail yang menyimpan kuki dan memuatkannya ke dalam kamus Python:
>>> import json
>>> with open('cookies.json') as f:
... cookies = json.load(f)
Tambahkan semula kuki satu persatu:
>>> for cookie in cookies: ... driver.add_cookie(cookie)
Pada ketika ini anda sepatutnya melihat ralat berikut:
Traceback (most recent call last):
File "<stdin>", line 3, in <module>
File "C:\Users\meebo\code\python\poetry_env\py310\.venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 670, in add_cookie
assert cookie_dict["sameSite"] in ["Strict", "Lax", "None"]
AssertionError
Ini kerana dalam data yang dieksport oleh editor kuki, atribut sameSite menggunakan null untuk mewakili "no_restriction", yang bermaksud tiada sekatan dan ia mestilah tapak web yang sama, tetapi selenium hanya mengenali "Strict", "Lax ", "Tiada" Oleh itu, ketiga-tiga sekatan ini didiagnosis sebagai ralat. Kami mesti mengubah suai fail JSON secara manual dan menukar semua nilai atribut sameSite kepada "Tiada" (perhatikan bahawa ia adalah rentetan). Sila pastikan juga domain itu bukan ".books.com." pemadaman kuki:
[
{
"domain": ".books.com.tw",
"expirationDate": 1767941747.633402,
"hostOnly": false,
"httpOnly": false,
"name": "_ga_TR763QQ559",
"path": "/",
"sameSite": null,
"secure": false,
"session": false,
"storeId": null,
"value": "GS1.1.1733381542.1.1.1733381747.0.0.0"
},
...
{
"domain": ".books.com.tw",
"expirationDate": 1748933733,
"hostOnly": false,
"httpOnly": false,
"name": "__eoi",
"path": "/",
"sameSite": "no_restriction",
"secure": true,
"session": false,
"storeId": null,
"value": "ID=7f42c4647467b5fb:T=1733381733:RT=1733381733:S=AA-AfjbpJCe1kw2klEX0xW55n9CY"
},
...
]
Selepas pengubahsuaian, muat semula dan tambah kuki dan tidak akan ada ralat.
Muat semula halaman web untuk membenarkan kuki berkuat kuasa
Selepas menambah kuki, skrin yang anda lihat masih skrin tidak log masuk:
Halaman mesti dimuat semula untuk kuki berkuat kuasa:
>>> driver.refresh()
Apa yang anda lihat ialah halaman untuk log masuk sebagai ahli:
Dengan cara ini, anda boleh menggunakan selenium untuk membaca halaman yang memerlukan log masuk ahli.
Perkara terakhir yang perlu diingatkan ialah kuki adalah sah Jika anda tidak boleh log masuk menggunakan kuki yang disimpan sebelum ini selepas tempoh masa, cuma ikut langkah di atas untuk mendapatkan kuki itu semula.
Atas ialah kandungan terperinci Gunakan selenium untuk membaca halaman web yang memerlukan log masuk ahli. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undress AI Tool
Gambar buka pakaian secara percuma
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Clothoff.io
Penyingkiran pakaian AI
Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Python Httpx Async Contoh Pelanggan
Jul 29, 2025 am 01:08 AM
Gunakan httpx.asyncclient untuk memulakan permintaan HTTP asynchronous dengan cekap. 1. Asas mendapatkan permintaan menguruskan pelanggan melalui asyncwith dan gunakan AwaitClient.get untuk memulakan permintaan yang tidak menyekat; 2. Menggabungkan Asyncio.Gather untuk menggabungkan dengan asyncio.Gather dapat meningkatkan prestasi dengan ketara, dan jumlah masa adalah sama dengan permintaan yang paling lambat; 3. Menyokong pengepala adat, pengesahan, tetapan base_url dan masa tamat; 4. Boleh menghantar permintaan pos dan membawa data JSON; 5. Beri perhatian untuk mengelakkan pencampuran kod asynchronous segerak. Sokongan proksi perlu memberi perhatian kepada keserasian back-end, yang sesuai untuk crawler atau agregasi API dan senario lain.
Python Sambung ke SQL Server PyoDBC Contoh
Jul 30, 2025 am 02:53 AM
Pasang PYODBC: Gunakan perintah PipinstallPyoDBC untuk memasang perpustakaan; 2. Sambungkan SQLServer: Gunakan rentetan sambungan yang mengandungi pemacu, pelayan, pangkalan data, uid/pwd atau aman 3. Semak pemacu yang dipasang: Jalankan pyodbc.drivers () dan tapis nama pemacu yang mengandungi 'SQLServer' untuk memastikan nama pemacu yang betul digunakan seperti 'ODBCDriver17 untuk SQLServer'; 4. Parameter utama rentetan sambungan
SQLALCHEMY 2.0 Amaran dan Sambungan Tutup Panduan Penyelesaian Masalah Tutup
Aug 05, 2025 pm 07:57 PM
Artikel ini bertujuan untuk membantu pemula Sqlalchemy menyelesaikan peringatan "RemovedIn20warning" yang ditemui apabila menggunakan create_engine dan kesilapan penutupan "resourceclosederror" berikutnya. Artikel ini akan menerangkan punca amaran ini secara terperinci dan memberikan langkah -langkah tertentu dan contoh kod untuk menghapuskan amaran dan memperbaiki isu sambungan untuk memastikan anda dapat menanyakan dan mengendalikan pangkalan data dengan lancar.
Contoh Python Shutil Rmtree
Aug 01, 2025 am 05:47 AM
shutil.rmtree () adalah fungsi dalam python yang secara rekursif memadam seluruh pokok direktori. Ia boleh memadam folder yang ditentukan dan semua kandungan. 1. Penggunaan Asas: Gunakan shutil.rmtree (Path) untuk memadam direktori, dan anda perlu mengendalikan fileNotFoundError, PermissionError dan pengecualian lain. 2. Aplikasi Praktikal: Anda boleh membersihkan folder yang mengandungi subdirektori dan fail dalam satu klik, seperti data sementara atau direktori cache. 3. Nota: Operasi penghapusan tidak dipulihkan; FileNotFoundError dilemparkan apabila jalan tidak wujud; Ia mungkin gagal kerana kebenaran atau pekerjaan fail. 4.
Python untuk Etl Kejuruteraan Data ETL
Aug 02, 2025 am 08:48 AM
Python adalah alat yang cekap untuk melaksanakan proses ETL. 1. Pengekstrakan data: Data boleh diekstrak dari pangkalan data, API, fail dan sumber lain melalui panda, sqlalchemy, permintaan dan perpustakaan lain; 2. Penukaran Data: Gunakan panda untuk pembersihan, penukaran jenis, persatuan, pengagregatan dan operasi lain untuk memastikan kualiti data dan mengoptimumkan prestasi; 3. Pemuatan Data: Gunakan kaedah Pandas 'TO_SQL atau platform awan SDK untuk menulis data ke sistem sasaran, perhatikan kaedah menulis dan pemprosesan batch; 4. Cadangan Alat: Airflow, Dagster, Prefect digunakan untuk penjadualan dan pengurusan proses, menggabungkan penggera log dan persekitaran maya untuk meningkatkan kestabilan dan mengekalkan.
Bagaimana untuk melaksanakan pertanyaan SQL di Python?
Aug 02, 2025 am 01:56 AM
Pasang pemacu pangkalan data yang sepadan; 2. Gunakan Connect () untuk menyambung ke pangkalan data; 3. Buat objek kursor; 4. Gunakan melaksanakan () atau executemany () untuk melaksanakan SQL dan menggunakan pertanyaan parameter untuk mengelakkan suntikan; 5. Gunakan Fetchall (), dan sebagainya untuk mendapatkan hasil; 6. komit () diperlukan selepas pengubahsuaian; 7. Akhirnya, tutup sambungan atau gunakan pengurus konteks untuk mengendalikannya secara automatik; Proses lengkap memastikan operasi SQL selamat dan cekap.
Bagaimana untuk mengautomasikan kemasukan data dari Excel ke borang web dengan Python?
Aug 12, 2025 am 02:39 AM
Kaedah mengisi data Excel ke dalam bentuk web menggunakan Python adalah: pertama menggunakan panda untuk membaca data Excel, dan kemudian gunakan selenium untuk mengawal penyemak imbas untuk mengisi secara automatik dan menyerahkan borang; Langkah -langkah khusus termasuk memasang pandas, openpyxl dan perpustakaan selenium, memuat turun pemacu penyemak imbas yang sepadan, menggunakan pandas untuk membaca nama, e -mel, telefon dan medan lain dalam fail data.xlsx, melancarkan pelayar melalui selenium untuk membuka. Bentuk dan proses semua baris data dalam gelung.
Contoh Data Python Pandas Styling Contoh
Aug 04, 2025 pm 01:43 PM
Menggunakan Pandasstyling dalam Jupyternotebook boleh mencapai paparan DataFrame yang indah. 1. Gunakan sorotan_max dan sorotan_min untuk menyerlahkan nilai maksimum (hijau) dan nilai minimum (merah) bagi setiap lajur; 2. Tambah warna latar belakang kecerunan (seperti blues atau merah) ke lajur angka melalui latar belakang_gradient untuk memaparkan saiz data secara visual; 3. Fungsi tersuai color_score digabungkan dengan applyMap untuk menetapkan warna teks untuk selang pecahan yang berbeza (≥90 hijau, 80 ~ 89 oren, 60 ~ 79 merah,
