用python爬网站数据,为什么只爬到标签,爬不到标签内容呢
天蓬老师
天蓬老师 2017-04-18 09:59:03
0
1
439

我想爬电影票房的数据,网站是http://www.cbooo.cn/movieweek,我要爬网页最下面的【票房日期:2016-11-14至2016-11-20 单周票房:57271万 单周场次:1463995场 单周人次:1781万】这些数据,代码如下:

from bs4 import BeautifulSoup
import urllib.request


z = input("请输入网址:")
a = urllib.request.urlopen(z).read()

b = BeautifulSoup(a,"html.parser")

c = b.select("#content > p.alldate")

 
 
 
for i in c:
    print(i.get_text())
 

输出结果是
票房日期:
单月票房:万
单月场次:万场
单月人次:万

关键的数据没有啊,这是怎么回事呢,我最想要的是那些数据,怎么弄也没有,跪求解决办法

谢谢
谢谢
谢谢

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

全員に返信(1)
PHPzhong

必要なデータは ajax によって動的に生成され、HTML ソース コード内では見つからないため、js ツールを動的にロードできる必要があります。この
selenium+PhantomJS を使用して js コンテンツを実行できます。 , しかし、これは比較的遅いです。

ただし、クロールする必要がある Web サイトの場合は、ブラウザを使用してパケットをキャプチャし、Ajax リクエスト パスが

であることを確認します。

したがって、リクエストを直接開始できます。

リーリー

上記の phantomJS を使用する必要はありません。返された json 文字列には必要なデータが含まれており、必要なデータは最後の data2 にあることがわかります。

{

リーリー
いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート