84669인 학습
152542인 학습
20005인 학습
5487인 학습
7821인 학습
359900인 학습
3350인 학습
180660인 학습
48569인 학습
18603인 학습
40936인 학습
1549인 학습
1183인 학습
32909인 학습
스크래피를 이용해 히말라야 크롤링을 하고, PC 주소를 크롤링해 보면 응모 링크의 응답은 괜찮은데 후속 응답에는 모바일 주소가 보입니다. . . .
스파이더 코드는 다음과 같습니다.
콘솔 출력:
middlewares.RotateUserAgentMiddleware가 작성되어 효과적이며 출력 내용도 볼 수 있습니다.
크롤링 방지 메커니즘을 실행합니까?
헤더에 사용자 에이전트가 설정되어 있지 않기 때문일 것입니다
요청 헤더를 신중하게 구성하세요. 모바일 단말기인지 여부는 일반적으로 사용자 에이전트에 의존합니다.아무 것도 없이 데이터에 액세스할 수 있으며 이는 또한 대상 웹사이트가 안티 핫링크에 별로 주의를 기울이지 않는다는 것을 보여줍니다.
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
헤더에 사용자 에이전트가 설정되어 있지 않기 때문일 것입니다
요청 헤더를 신중하게 구성하세요. 모바일 단말기인지 여부는 일반적으로 사용자 에이전트에 의존합니다.
아무 것도 없이 데이터에 액세스할 수 있으며 이는 또한 대상 웹사이트가 안티 핫링크에 별로 주의를 기울이지 않는다는 것을 보여줍니다.