java - 用Jsoup抓取36氪网站的数据返回null
PHP中文网
PHP中文网 2017-04-18 10:23:55
0
2
627

一、问题描述
用Jsoup抓取36氪网站的这部分数据(下图),也就是<p id="app">里面的数据,总是返回null。

二、我的尝试
1、用id查找

2、用其中的一个类查找

3、打印整个document,结果如下图,好像这是一个空标签。

三、我的思考
当我点击<p id="app">这行代码时(谷歌的“检查”),发现右边的小窗口styles里面有句p{display:block;}。然后我在网站上找到类似的(下图:class="top_swing"),发现获取到的element也是空的。经过查阅,display:block代表元素以块状显示。所以我猜想是不是块状元素要用另外的方法获取,还是其它原因??用Jsoup怎么解决??

PHP中文网
PHP中文网

认证高级PHP讲师

모든 응답(2)
刘奇

해당 내용은 Javascript에 의해 동적으로 생성됩니다. Google 개발자 도구를 보지 말고 웹 페이지를 마우스 오른쪽 버튼으로 클릭하여 소스 코드를 보십시오.
볼 수 있습니다

으아악

Jsoup 등을 사용하면 html 콘텐츠만 크롤링할 수 있고, js로 생성된 콘텐츠는 크롤링할 수 없습니다.

PHPzhong

동적으로 생성된 js, 아마도 Angular.js

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿