웹 크롤러 - Python 크롤러 소개

Question

이제 2학년이 되려고 하는데, 혼자서 파이썬을 공부해서 기본적인 문법도 알고 있어요. 크롤링을 배우고 싶은데 지식이 많이 필요한 것 같아요. 혹시 경험해 보시고 아시는 내용이나 파이썬 크롤링을 배우는 방법을 정리해 주실 수 있는 분 계신가요?

某草草 · Answer

크롤러 학습은 수요에 기반해야 합니다. 인터넷에는 농담, 아름다운 여성 사진 등을 크롤링하는 후배 크롤러가 너무 많습니다. 이러한 간단한 크롤러는 3일 안에 얻을 수 있습니다.

하지만 깊이 들어가면 매우 어렵고 관련된 측면도 많습니다.

시작하는 것은 어렵지 않습니다. 이것을 읽으세요--
Python 크롤러 학습 방법 [소개] https://zhuanlan.zhihu.com/p/...

仅有的幸福 · Answer

원칙적으로는 http 요청이고, 조금 더 있으면 세션과 쿠키, 조금 더 있으면 인증코드 인식입니다.
도구의 경우 요청 도구는 urllib2를 사용하거나 요청 라이브러리를 더 잘 사용할 수 있습니다. 요청이 들어와서 구문 분석해야 하는 경우 이는 beautifulsoup입니다.

Python 기본 튜토리얼 | 초보자 튜토리얼 http://www.runoob.com/python/...

뷰티플수프 4.2.0 문서 — 뷰티플수프 4.2.0 문서 https://www.crummy.com/softwa...

크롤러 성능: NodeJs VS Python - QueenKing - SegmentFault /a/11...

인증 코드 인식을 위해 KNN 사용 - QueenKing - SegmentFault /a/11...

伊谢尔伦 · Answer

중국어 매뉴얼이 있는 Python-Scrapy 크롤러 프레임워크를 참조할 수 있습니다.