1)我要抓的是 Instagram 某明星的粉絲
2)Instagram pc 站使用了大量的 js 渲染
3)沒寫過爬蟲,老闆明天就要數據
我目前使用的是BeautifulSoup, selenium 和phantomjs
程式碼 demo 大概是
driver = webdriver.PhantomJS(self.browser)
driver.get(self.url)
driver.implicitly_wait(3)
element = driver.find_element_by_class_name("_s53mj")
element.click()
html = driver.page_source
soup = BeautifulSoup(html)問題是:
1) 我不知道click 有沒有執行成功, click 的元素對不對, driver 好像沒有返回值給我參考
2) 即使click 成功了, 但是他是不是隻調了js裡的click() 方法,並沒有觸發target 怎麼辦
3)我不知道是先渲染page_source, 還是應該先click, 假設執行成功了click , 是不是也不會再source 裡回了
啊, 謝各位爬蟲大佬了
說的是什麼意思？百思不得其解啊。 。 。
selenium自動化，click能模仿使用者點擊，就跟你自己在頁面上點擊一樣，一切都在虛擬瀏覽器驅動中進行。
看你的業務邏輯啊。 。 。例如有些資料要點選才有，那就先click再取得原始碼。