python - scrapy 如何組合2個不同頁面的資料,一併存儲

Question

1 例如有博客列表頁 a ,獲取文章列表2 博客內容詳情頁 b , 獲取文章正文3 如何依次獲取到文章 + 內容 到數據庫 ?4 當前問題主要是不知道如何組合2個不同頁面的數據

巴扎黑 · Answer

可以用request.meta來儲存額外的資訊, 例如


def parse_x1(self, response):
    extra = {}
    ...
    req = scrapy.Request(url2)
    req.callback = self.parse_x2
    ...
    req.meta['extra'] = extra 
    yield req
 
def parse_x2(self, response):
    item = {}
    extra = response.meta['extra']
    item.update(extra)
    ...
    
    yield item