python - pyspider 예약 크롤링 문제

크롤러를 작성하면서 코드에 마다 설정을 하고 21일에 한 번 크롤링을 해보니 오늘 결과가 업데이트되지 않고 마지막 크롤링 시간이 여전히 21일인 것을 발견했습니다. 매개변수 설정이 잘못되었나요?

我想大声告诉你 2017-05-18 10:53:29 0  2  979

python - scrapy는 실제로 항목을 입력하는 것보다 더 많은 페이지를 크롤링합니까?

{코드...} 스크래피를 사용하여 크롤링할 때 실제로 항목을 입력하는 것보다 더 많은 페이지를 방문하는 이유는 무엇입니까? 오랫동안 크롤링한 후 항목에 데이터가 많지 않은 문제를 해결할 수 있는 방법이 있습니까?

PHP中文网 2017-05-18 10:47:40 0  1  672

javascript - 페이지에 많은 데이터가 있는 경우 phantomjs를 사용하여 크롤링하면 페이지를 크롤링할 수 없는 이유는 무엇입니까?

Taobao 검색 페이지를 크롤링하고 싶습니다. js 렌더링으로 생성된 페이지이므로 phantomjs를 사용하여 크롤링하기로 선택했습니다. 그런데 가져오는 과정에서 문제가 발생했습니다. 검색 결과가 2개 이상인 경우 데이터를 얻을 수 없습니다. 하지만 스크린샷을 보면 데이터가 정상적으로 로드되고 있는 것으로 보입니다. 타오바오에는 제한이 있는지 모르겠네요...

習慣沉默 2017-07-05 10:50:52 0  1  913

Java에서 JS 처리 코드를 크롤링하는 방법

페이지 주소: http://acm.hdu.edu.cn/showpro... 크롤링 목표: 이 수식의 코드를 크롤링하려는 경우 Chrome에서 F12를 누르면 표시되는 코드: 그러나 크롤링된 코드는 다음과 같습니다. 다음: 이 코드는 올바른 수식을 표시하지 않습니다. 이 코드는 모두 js에 의해 생성된 것 같습니다.

为情所困 2017-05-17 10:04:18 0  2  643

python - Douyu 팔로어 수가 로딩 그림으로 표시됩니다. 팔로어 수를 크롤링하는 방법은 무엇입니까?

Douyu 팔로어 수를 크롤링하고 웹사이트가 로드된 후 {code...}를 표시합니다. 이런 종류의 데이터를 어떻게 크롤링해야 합니까?

巴扎黑 2017-07-05 10:34:08 0  1  993

nginx에서 악성 DDoS 크롤링을 방지하는 방법

우선, 나는 다른 사람이 내 웹사이트의 콘텐츠를 크롤링하는 것에 대해 반대하지 않습니다. 다른 사람의 크롤링을 반드시 엄격하게 제한할 필요는 없습니다. 그러나 일부 사람들의 크롤링에는 하나의 스크립트 또는 여러 스크립트를 사용하는 경우도 있습니다. 특정 웹사이트를 동시에 접속하는 서버의 내용은 DDOS와 다르지 않습니다. 내 서버에서 현재 이 문제가 발생하고 있습니다...

黄舟 2017-05-16 17:30:17 0  4  1080

Curl은 데이터를 찾기 위해 웹페이지를 크롤링합니다.

URL 링크가 https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1인 경우 웹페이지 정보를 크롤링하는 방법은 무엇입니까?

phpcn_u68041 2017-12-07 10:08:47 0  5  1221

PHP 소스 코드는 프록시 IP를 얻기 위해 인터페이스를 사용자 정의하여 어떻게 데이터를 크롤링합니까?

PHP 소스 코드는 프록시 IP를 얻기 위해 인터페이스를 사용자 정의하여 어떻게 데이터를 크롤링합니까? PHP 소스 코드는 프록시 IP를 얻기 위해 인터페이스를 사용자 정의하여 어떻게 데이터를 크롤링합니까?

chen 2022-11-04 23:36:05 0  0  580

python - 이미지 크롤링에 대해 질문이 있으십니까?

오늘날의 크롤러는 일반적으로 HTML에서 이미지를 구문 분석하지만 문제는 일부 이미지 경로가 JS로 작성된다는 것입니다. 이거 어떻게 올라가나요? 브라우저에서 f12 포인트를 열면 소스 내부의 사진을 볼 수 있다는 것을 알고 있습니다. 그런데 소스의 리소스를 크롤링하기 위해 크롤러를 어떻게 사용합니까?

我想大声告诉你 2017-06-28 09:25:40 0  2  1044

PHP는 웹페이지 데이터를 크롤링합니다.

Baidu 테이크아웃 가맹점의 웹페이지 https://wmpass.baidu.com/ucen...을 크롤링하는 것과 같은 몇 가지 요구 사항이 있지만 이 웹페이지는 모듈식 프런트 엔드 프레임워크를 사용하여 작성되었습니다. 소스 코드를 보면 볼 수만 있습니다. 일부 렌더링 전 소스 코드, 내가 가져오던 쿼리 목록은 페이지가 렌더링된 후가 아닙니다...

PHP中文网 2017-05-24 11:34:27 0  1  889

Python 다중 스레드 크롤링 파일, 시간 초과 및 재연결 설정 방법.

Python을 사용하여 데이터를 크롤링할 때 단일 프로세스에서 멀티스레드 크롤링을 활성화해야 합니다. 결국 집중적인 IO로 인해 여러 프로세스가 없습니다. 코드는 다음과 같습니다. {code...} 하지만 스레드의 요청이 값을 반환하지 않는 한 스레드는 계속 대기하고 쓰지 않으므로 메인 프로세스가 차단되지 않는 문제가 있을 것입니다...

黄舟 2017-05-18 11:02:31 0  1  840

node.js - 노드 크롤러, 크롤링 방지를 위해 IP 풀을 사용하는 방법은 무엇입니까?

문제는 이것이죠. 저는 이제 막 노드를 배우기 시작한 초보자입니다. 물론 이는 분명히 크롤러를 위한 것입니다. 그러다가 최근에 소설을 읽고 있는데 무료 소설 사이트에 광고가 너무 많아서 소설 전체를 크롤링하는 크롤러를 작성하려고 했습니다. 그런데 URL 요청이 너무 자주 발생해서 역전되었습니다. -크롤링되어 차단되었습니다..

为情所困 2017-06-05 11:13:33 0  1  1238

Python 크롤러 전문가 여러분, 이 웹사이트에서 크롤링 방지를 처리하는 방법을 살펴보고 알아보세요.

https://www.everysaving.co.uk는 Python을 통해 이 웹사이트의 데이터를 크롤링하지만 데이터를 반환할 수 없습니다! 크롤링을 위해 헤더와 프록시 IP를 추가했지만 작동하지 않았습니다. . .

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  776

javascript - 노드가 Weibo를 크롤링합니다.

저는 노드를 처음 접했고 Sina Weibo 댓글을 크롤링하는 크롤러를 작성하고 싶었지만 페이지가 JS에 의해 동적으로 생성되었으며 http 모듈을 사용하여 크롤링할 수 없다는 것을 발견하여 phantomjs를 사용하여 크롤링했습니다. 더 천천히, 거의 15분 정도 걸렸습니다. 너무 느리네요. 제가 잘못 쓴 것인지는 모르겠습니다.) 그래도 안 된다면 어떻게 해야 하는지 여쭤보고 싶습니다...

仅有的幸福 2017-06-30 10:00:08 0  1  1001

javascript - 슈퍼에이전트가 웹사이트를 크롤링할 때 리디렉션 문제

슈퍼에이전트를 사용하여 웹페이지를 크롤링했는데 리디렉션이 발생했습니다. 리디렉션된 웹페이지를 가져오는 방법은 무엇입니까? 37018 페이지로 이동하여 빈 응답이 501 페이지로 이동하게 되었습니다. 크롤링이 안되는 웹페이지를 테스트해본 결과 두 가지 상황을 발견했습니다...

迷茫 2017-05-31 10:38:19 0  1  858

웹 크롤링 중에는 HTML 요소를 찾을 수 없습니다. 이 요소는 사이트 검사 도구에 표시됩니다.

다음 URL에서 모든 테이블의 제목을 크롤링하려고 합니다: https://www.nature.com/articles/s41586-023-06192-4 웹사이트에서 이 HTML 요소를 찾을 수 있습니다: <bid="Tab1" data- test="table-caption">Table1CalculatedCt–M–Ctangles</b>이 제목을 크롤링할 수 없습니다.

P粉225961749 2023-09-19 12:41:46 0  1  602

python - Baidu 사진을 크롤링하고 차단하려면 스크래피 프레임워크를 사용하세요.

요청 주소 URL은 Firefox를 통해 얻은 json의 주소입니다. 브라우저로 열 수 있지만 scrapy로 크롤링할 때 금지되어 있습니다. https://image.baidu.com/search...

给我你的怀抱 2017-05-24 11:34:48 0  3  672

node.js - 노드 크롤러 크롤링 소설에 대한 질문

{code...} 다음은 제가 요청한 코드입니다. 다른 js에서 특정 챕터 목록을 크롤링하여 json에 작성했습니다. 여기서는 각 링크를 직접 요청합니다. {code...} 이와 마찬가지입니다. 한참을 올라간 뒤, 아무리 기다려도 아무런 움직임이 없었다면..

巴扎黑 2017-05-16 13:38:49 0  1  623

Python이 웹 페이지를 크롤링하고 요청이 왜곡됩니다.

**이전에 심판 문서에서 데이터를 크롤링한 결과, 이 기간 동안 크롤러를 다시 실행한 결과 웹페이지 데이터를 얻을 수 없는 것으로 나타났습니다. 검색 결과 요청 웹페이지의 소스 코드에서 잘못된 문자가 반환되는 것을 발견했습니다.* * (반환된 데이터의 일부는 다음과 같이 가로채어집니다. &lt;meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56 0  4  1262

laravel - Guzzle 소프트웨어를 사용하여 크롤링하는 방법, 로그인하는 방법은 무엇입니까?

저자는 관심을 갖고 laravel 프레임워크에서 Guzzle을 사용하여 내 홈페이지의 데이터를 크롤링했지만 얻은 페이지는 이 방법으로 작성하려고 시도했지만 작동하지 않습니다. {code...} 누군가가 나에게 말해 줄 수 있기를 바랍니다.

学习ing 2017-06-13 09:24:34 0  1  827