网页爬虫 - Python+Selenium+PhantomJs爬虫,如何取得新打开页面的源码?
高洛峰
高洛峰 2017-04-18 10:21:55
0
2
813

我在做一个python爬虫,使用了selenium库和phantomjs浏览器。我在一个网页中触发了一个click事件打开了一个新的网页,然后我用browser.page_source得到的却是原来那个网页非新打开网页的源码,请问我该如何取得新打开页面的源码呢?

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

全部回覆(2)
黄舟

如果連結打開了一個新標籤頁的話,你的driver還是下預設使用的還是當前窗口,

Alternatively, you can pass a “window handle” to the “switch_to_window()” method. Knowing this, it’s possible to iterate over every open window like so:

for handle in driver.window_handles:
    driver.switch_to_window(handle)

例如,如果你的瀏覽器有幾個標籤頁,那麼window_handles就儲存了對應這幾個標籤頁對應的實例對象,所以如果你目前只開啟了一個網頁,那麼你新開啟的頁面就是window_handles[1 ]
轉換到那個頁面後,再取得原始碼。

Peter_Zhu

如果是在當前視窗打開,有可能因為新頁面還沒有加載完成,到時拿不到新頁面的url和數據,這裡可以使用等待,並設置一些條件,確保新頁面加載完成再進行操作,代碼如下:

from selenium.webdriver.support.ui import WebDriverWait
# 等待新页面生成
WebDriverWait(self.browser, 5).until(
    expected_conditions.presence_of_element_located((By.ID, "username")
    )
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板