Python – Wie man Daten von zwei verschiedenen Seiten in Scrapy kombiniert und zusammen speichert

Question

1 Zum Beispiel gibt es eine Blog-Listenseite a, um die Artikelliste abzurufen
2 Blog-Inhaltsdetailseite b, um den Artikeltext abzurufen
3 Wie bekomme ich die Artikel + Inhalte der Reihe nach in die Datenbank?
4 Der aktuelle Das Problem besteht hauptsächlich darin, dass ich nicht weiß, wie ich zwei verschiedene Daten kombinieren soll

巴扎黑 · Answer

可以用request.meta来存储额外的信息, 比如


def parse_x1(self, response):
    extra = {}
    ...
    req = scrapy.Request(url2)
    req.callback = self.parse_x2
    ...
    req.meta['extra'] = extra 
    yield req
 
def parse_x2(self, response):
    item = {}
    extra = response.meta['extra']
    item.update(extra)
    ...
    
    yield item