JD.com에서 모든 휴대폰 정보를 크롤링할 때 다음과 같은 문제가 발생했습니다.
1 다음 그림과 같이 반환 값이 너무 많습니다.
2. 스파이더 코드는 다음과 같습니다.
scrapy 가져오기
from scrapy.http 가져오기 요청
from ueinfo.items 가져오기 UeinfoItem
class MrueSpider(scrapy.Spider):
으아악파이프라인의 코드는 다음과 같습니다:
pymysql 가져오기
클래스 UeinfoPipeline(객체):
으아악
def 닫기 방법이 잘못 정의되었습니다
이렇게 해야지
def close(셀프, 스파이더)
빈 내용으로 일부 값을 무시하는 경우
으아악를 사용하면 코드를 절약할 수 있습니다!