selenium - Tanya tentang alat perangkak Python
阿神
阿神 2017-06-28 09:22:20
0
1
1012

1) Apa yang saya ingin tangkap ialah peminat selebriti tertentu di Instagram
2) Laman PC Instagram menggunakan banyak rendering js
3) Saya tidak pernah menulis perangkak, dan bos akan memerlukan data esok

Saya sedang menggunakan BeautifulSoup, seleniumphantomjs

Demo kod mungkin

driver = webdriver.PhantomJS(self.browser)
driver.get(self.url)
driver.implicitly_wait(3)
element = driver.find_element_by_class_name("_s53mj")
element.click()
html =  driver.page_source
soup =  BeautifulSoup(html)

Masalahnya ialah:
1) Saya tidak tahu sama ada klik berjaya dilaksanakan, sama ada elemen klik betul, pemacu nampaknya tidak mempunyai nilai pulangan untuk rujukan saya
2) Walaupun klik berjaya, adakah ia hanya melaraskan kaedah klik( dalam js ), apa yang perlu saya lakukan jika sasaran tidak dicetuskan
3) Saya tidak tahu sama ada ia dipaparkan dahulupage_source, 还是 应该先 click Jika klik berjaya dilaksanakan, adakah ia tidak akan dikembalikan ke sumber

Ah, terima kasih semua tuan reptilia

阿神
阿神

闭关修行中......

membalas semua(1)
我想大声告诉你

Apa maksud anda? saya hairan. . .

Automasi selenium, klik boleh meniru klik pengguna, sama seperti anda mengklik halaman sendiri, semuanya dilakukan dalam pemacu pelayar maya.

Lihat logik perniagaan anda. . . Sebagai contoh, beberapa data perlu diklik untuk mendapatkan, jadi klik dahulu dan kemudian dapatkan kod sumber.

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan