用python爬网站数据,为什么只爬到标签,爬不到标签内容呢
天蓬老师
天蓬老师 2017-04-18 09:59:03
0
1
438

我想爬电影票房的数据,网站是http://www.cbooo.cn/movieweek,我要爬网页最下面的【票房日期:2016-11-14至2016-11-20 单周票房:57271万 单周场次:1463995场 单周人次:1781万】这些数据,代码如下:

from bs4 import BeautifulSoup
import urllib.request


z = input("请输入网址:")
a = urllib.request.urlopen(z).read()

b = BeautifulSoup(a,"html.parser")

c = b.select("#content > p.alldate")

 
 
 
for i in c:
    print(i.get_text())
 

输出结果是
票房日期:
单月票房:万
单月场次:万场
单月人次:万

关键的数据没有啊,这是怎么回事呢,我最想要的是那些数据,怎么弄也没有,跪求解决办法

谢谢
谢谢
谢谢

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

모든 응답(1)
PHPzhong

필요한 데이터는 ajax에 의해 동적으로 생성되고 html 소스 코드에서는 찾을 수 없기 때문에 js 도구를 동적으로 로드할 수 있어야 합니다.
selenium+PhantomJS 이를 사용하여 js 콘텐츠를 실행할 수 있습니다. , 그러나 이것은 상대적으로 느립니다.

그러나 크롤링해야 하는 웹사이트의 경우 브라우저를 사용하여 패킷을 캡처하고 Ajax 요청 경로가

인지 확인하세요.

요청을 직접 시작할 수 있습니다.

으아악

위의 phantomJS를 사용할 필요가 없습니다. 반환된 json 문자열에는 필요한 데이터가 포함되어 있으며 필요한 데이터는 마지막에 data2에 있는 것으로 나타났습니다.

{

으아악
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿