html - 크롤링 시 "DNS 조회 실패"가 표시되지만 웹 페이지를 열면 문제가 없습니다. 무슨 일이 일어나고 있나요?
PHP中文网2017-06-14 10:50:53
0
1
1253
RT, Python을 사용하여 크롤링을 하면 처음에는 모든 것이 정상이었는데 갑자기 웹페이지가 멈췄습니다. 잠시 기다린 후 다시 정상으로 돌아왔습니다. 그런데 이때 다시 크롤링을 하면 "DNS 조회"가 보고됩니다. 실패했습니다. 많은 웹사이트와 웹페이지를 시도했지만 정상적으로 열립니다.
으아악
http는 주소의 일부가 아닌 프로토콜이므로 DNS 확인이 실패합니다.
예를 들어 Baidu의 웹사이트 주소를 구문 분석하려는 경우:
올바른 주소: www.baidu.com
잘못된 주소: http://www.baidu.com