redis - Python 크롤러를 실행할 때 MySQL 버전은 5.7이며 항상 오류가 보고됩니다.

Python 크롤러를 실행할 때 MySQL 버전은 5.7이고 항상 {code...} 오류가 보고됩니다. 무엇이 문제인가요? 어떻게 해결하나요?

扔个三星炸死你 2017-06-12 09:19:42 0  2  940

html - 크롤링 시 "DNS 조회 실패"가 표시되지만 웹 페이지를 열면 문제가 없습니다. 무슨 일이 일어나고 있나요?

RT, Python을 사용하여 처음에는 모든 것이 정상이었습니다. 갑자기 웹 페이지가 잠시 기다린 후 정상으로 돌아왔습니다. 그러나 이때 다시 크롤링하면 "DNS 조회 실패"가 보고됩니다. . 여러 웹사이트를 시도했지만 웹페이지가 정상적으로 열리지 않습니다. 이유와 해결책을 알려주세요. 무릎을 꿇고 감사합니다! !

PHP中文网 2017-06-14 10:50:53 0  1  1258

웹 크롤러 - Python을 사용하여 Blog Park 블로그의 사진을 크롤링하는 방법은 무엇입니까?

Blog Park 블로그의 사진을 크롤링하기 위해 작은 코드를 작성했습니다. 이 코드는 일부 링크에 유효하지만 일부 링크는 크롤링되자마자 오류를 보고합니다. 이유는 무엇입니까? {code...} 그림과 같이 이미지가 올바르게 크롤링될 수 있습니다. URL을 {code...}로 변경하면 즉시 오류가 발생합니다. 해결해 주세요.

某草草 2017-05-18 10:45:39 0  1  935

웹 크롤러 - Python 크롤러 소개

이제 2학년이 되려고 하는데, 혼자서 파이썬을 공부해서 기본적인 문법도 알고 있어요. 크롤링을 배우고 싶은데 지식이 많이 필요한 것 같아요. 혹시 경험해 보시고 아시는 내용이나 파이썬 크롤링을 배우는 방법을 정리해 주실 수 있는 분 계신가요?

欧阳克 2017-07-05 10:34:11 0  3  1209

PHP 크롤러는 동적 크롤러 에이전트에 어떻게 액세스합니까?

PHP 크롤러는 크롤러 에이전트에 어떻게 액세스합니까? 이전에 Python을 사용했습니까? PHP와 동일한 액세스 방법입니까?

Laical 2020-03-13 17:10:19 0  0  1130

python - scrapy에서 CrawlSpider를 사용하면 URL을 일치시킬 수 없습니다

내 크롤러 코드는 다음과 같습니다. 규칙을 얻지 못했습니다. 문제가 무엇인지 모르겠습니다. {코드...} 실행 오류 알림: {코드...}

为情所困 2017-05-18 10:51:02 0  3  877

python - 이미지 크롤링에 대해 질문이 있으십니까?

오늘날의 크롤러는 일반적으로 HTML에서 이미지를 구문 분석하지만 문제는 일부 이미지 경로가 JS로 작성된다는 것입니다. 이거 어떻게 올라가나요? 브라우저에서 f12 포인트를 열면 소스 내부의 사진을 볼 수 있다는 것을 알고 있습니다. 그런데 소스의 리소스를 크롤링하기 위해 크롤러를 어떻게 사용합니까?

我想大声告诉你 2017-06-28 09:25:40 0  2  1056

javascript - 노드가 Weibo를 크롤링합니다.

저는 노드를 처음 접했고 Sina Weibo 댓글을 크롤링하는 크롤러를 작성하고 싶었지만 페이지가 JS에 의해 동적으로 생성되었으며 http 모듈을 사용하여 크롤링할 수 없다는 것을 발견하여 phantomjs를 사용하여 크롤링했습니다. 더 천천히, 거의 15분 정도 걸렸습니다. 너무 느리네요. 제가 잘못 쓴 것인지는 모르겠습니다.) 그래도 안 된다면 어떻게 해야 하는지 여쭤보고 싶습니다...

仅有的幸福 2017-06-30 10:00:08 0  1  1005

python - URL에 어떤 종류의 크롤링 방지 프로그램이 사용되는지 확인하는 방법

URL: https://www.nvshens.com/g/22377/. 브라우저에서 직접 웹사이트를 열고 이미지를 마우스 오른쪽 버튼으로 클릭하여 다운로드합니다. 그러면 내 크롤러에서 직접 요청한 이미지가 차단되었습니다. 헤더를 추가하고 IP 프록시를 설정했지만 여전히 작동하지 않습니다. 그런데 패킷 캡처를 보면 전혀 움직이지 않는 것 같은데...

ringa_lee 2017-06-12 09:27:51 0  4  1304

웹 크롤러 - python3.4.1 요청 모듈에서 'list' 개체에 'get' 속성이 없다는 오류를 보고함

Python을 사용하여 IP 주소를 크롤링하는 크롤러를 작성했기 때문에 에이전트를 작성하고 스레드 풀을 사용하여 IP 주소를 크롤링하는 10개의 스레드를 열었습니다. 그러나 오류 '목록' 개체에는 '속성이 없습니다. get'이 직접 보고되었습니다. 해결 방법을 알고 계시다면 코드를 게시해 주세요. bs4 가져오기에서...

世界只因有你 2017-06-12 09:24:16 0  3  3537

웹 크롤러 - Python 크롤러가 json 콘텐츠를 처리하는 방법

잘 안보이면 홈페이지 주소는 http://www.sse.com.cn/disclos... 빨간색 글씨가 필요한 내용인데 추출이 안되네요 방법 좀 알려주세요. 그것을 작동하십시오.

学习ing 2017-06-22 11:51:33 0  2  750

linux - 출시되거나 자동으로 온라인으로 전환될 수 있는 Python으로 작성된 코드가 있습니까? 아니면 준비 및 관리를 위한 시스템이 있습니까?

출시되거나 자동으로 실행될 수 있거나 준비 및 관리를 위한 시스템인 Python으로 작성된 코드가 있습니까? 비슷한 웹사이트를 만들고 싶은데 아이디어가 없네요. 관련 프로젝트를 추천해 주실 수 있나요? 먼저 공부하자...

大家讲道理 2017-05-16 13:31:07 0  5  721

python - csdn 크롤러 검토

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py 87-88행의 설명에 따르면 크롤러를 사용하여 다음 작업을 수행할 때 왜 이 링크로 변환해야 합니까? csdn 기사에 댓글이 어떻게 달렸나요? 웹페이지 코드를 봤는데 관련 링크가 없네요...

仅有的幸福 2017-05-18 10:53:42 0  2  889

Python으로 개발된 props 등의 구성 파일은 어떤 파일 형식으로 저장되나요?

Python으로 개발된 props 등의 구성 파일은 어떤 파일 형식으로 저장되나요?

phpcn_u1582 2017-05-18 10:49:39 0  1  673

파이썬은 x번째 열 데이터를 x번째 파일에 씁니다.

Python 크롤러는 총 65페이지의 데이터를 크롤링해야 하며, 각 데이터 페이지의 열 수는 불확실합니다. 이제 각 열의 데이터를 캡처할 수 있지만 열 개수가 확실하지 않아 작성된 파일 이름을 확인할 수 없습니다. 문제는 x번째 열 데이터를 x번째 파일에 쓰는 방법입니다. 즉, file=...을 동적으로 선택하는 방법입니다.

漂亮男人 2017-06-12 09:23:40 0  1  786

python - Alibaba 크롤러 소스 코드에 대한 애플리케이션 의심

1. 현재 문제: py 파일을 실행해도 아무 일도 일어나지 않습니다. 무엇이 문제입니까? 2. 저는 완전 초보자이고 py를 접한 적이 없으며 html+css의 기본만 배웠습니다. 그런데 회사의 프로젝트가 지역 공급자 정보를 수집해야 했기 때문에 py 크롤러를 생각하게 되었고, 어느 과학 괴짜의 웹사이트에서 크롤러를 발견하게 되었는데...

阿神 2017-06-22 11:51:27 0  1  1931

ThinkPHP5에서 simple_HTML_DOM 파일을 가져오는 방법

데이터를 얻기 위해 웹 크롤러를 만들고 싶습니다. 이제 simple_HTML_DOM.php 파일을 TP5에서 어떻게 사용해야 합니까? 파일 내용을 common.php에 직접 넣거나 어떻게 사용하나요?

NULL 2017-12-07 13:26:15 0  0  1208

Python - 웹 페이지 제목에 개행 문자가 포함되어 있습니다. 정규식을 사용하여 추출하는 방법은 무엇입니까?

Python을 CSDN용 웹 크롤러로 사용할 때 웹 페이지 제목을 크롤링할 때 CSDN에서는 항상 정규식 (?<=\<title\>).+?(?=\<)을 사용합니다. 아니요, CSDN 소스코드에 가서 살펴보니 제목이 새 줄로 표시되어 원래 정규식을 사용할 수 없었습니다.

女神的闺蜜爱上我 2017-06-22 11:51:43 0  2  1012

웹 크롤러 - Python 요청.크롤러 설정 프록시 IP 주소가 변경되지 않았습니다.

해당 작업에는 Amazon의 정보 크롤링이 필요하지만 Amazon의 크롤링 방지 기능이 너무 강력하여 동일한 IP 주소가 차단됩니다. Python 버전: 3.6, IDE: Pycharm 2017.1. 인터넷에서 많은 정보를 확인하고 요청 라이브러리의 매뉴얼을 읽었지만 코드는 다음과 같습니다. .

typecho 2017-06-12 09:24:11 0  1  1227

python - scrapy는 실제로 항목을 입력하는 것보다 더 많은 페이지를 크롤링합니까?

{코드...} 스크래피를 사용하여 크롤링할 때 실제로 항목을 입력하는 것보다 더 많은 페이지를 방문하는 이유는 무엇입니까? 오랫동안 크롤링한 후 항목에 데이터가 많지 않은 문제를 해결할 수 있는 방법이 있습니까?

PHP中文网 2017-05-18 10:47:40 0  1  687