python - 爬取某淘宝店铺所有宝贝遇到的问题?
天蓬老师
天蓬老师 2017-04-18 10:05:34
0
1
490
天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

모든 응답(1)
阿神

꼼꼼한 분석을 통해 드디어 알아냈습니다. 처음에는 Taobao가 크롤러를 제한하기 위해 이러한 숫자를 암호화하는 일부 알고리즘을 설정했다고 생각했지만 실제로는 그렇지 않았습니다.

먼저 jsonp152의 152는 요청이 전송되는 시간과 관련된 값이지만 우리에게 영향을 미치지 않습니다. 원하는 대로 숫자를 입력할 수 있습니다. 예를 들어 callback=jsonp122는 요청을 보낼 때 jsonp122("{data:...}")를 반환합니다.

둘째, "https://tianziyujushangcheng.taobao.com/search.htm"을 전송하여 반환된 페이지에서 12133771151이 추출됩니다.

일반적인 프로세스는 https://tianziyujushangcheng....을 보내는 것입니다. 그런 다음 브라우저는 반환된 페이지에서 일부 js 파일을 구문 분석한 다음 https://tianziyujushangcheng.... 요청을 보내 제품 정보를 검색합니다. . 따라서 매장 홈페이지를 직접 크롤링한다고 해서 특정 상품 정보를 크롤링할 수는 없습니다. 전체 네트워크 요청을 분석하여 이 xhr 요청을 찾아야 원하는 정보를 얻을 수 있습니다.

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿