html - Python爬虫,翻页数据怎么爬,URL不变
大家讲道理
大家讲道理 2017-04-18 10:31:18
0
4
861

网址:http://quote.eastmoney.com/ce...
我想爬所有页的名称数据,(这里只有两页),判断有没有下一页的条件该怎么写呢?
代码:

from selenium import webdriver
driver=webdriver.PhantomJS()

url='http://quote.eastmoney.com/center/list.html#28003684_0_2'
driver.get(url)
usoup = BeautifulSoup(driver.page_source, 'xml')
n=[]
while True:
     t=usoup.find('table',{'id':'fixed'})
     utable=t.find_all('a',{'target':'_blank'})
     for i in range(len(utable)):
          if i % 6 ==1:
             n.append(utable[i].text)
          if #停止条件怎么写:
            break
     driver.find_element_by_xpath(r'//*@id="pagenav"]/a[2]').click()
     usoup = BeautifulSoup(driver.page_source, 'xml')

后面这里就不会写了。。。

大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

全員に返信(4)
巴扎黑

各ページのエントリが 20 件未満である場合は、このページが最後のページであることを意味します。

いいねを押す +0
洪涛

ところで、このフォームには jsonp リターン インターフェイスがありませんか?なぜまだ登るのですか?

いいねを押す +0
PHPzhong

jsonp インターフェースを使用しているので、そのまま使用してください。

クロールする必要がある場合は、selenium + phantomjs のようなシミュレーション ページを使用して取得するしかありません。

いいねを押す +0
伊谢尔伦

http://nufm.dfcfw.com/EM_Fina...{rank:[(x)],pages:(pc)}&token=7bc05d0d4c3c22ef9fca8c2a912d779c&jsName=quote_123&_g=0.5385195357178545

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート