python - Bagaimana untuk menggabungkan data daripada dua halaman berbeza dalam scrapy dan menyimpannya bersama-sama-Soal Jawab Rangkaian PHP Cina

Artikel Topik pembelajaran Muat turun Soal Jawab Kamus Pengaturcaraan Permainan kemas kini terkini

简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)

python - Bagaimana untuk menggabungkan data daripada dua halaman berbeza dalam scrapy dan menyimpannya bersama-sama

女神的闺蜜爱上我 2017-06-12 09:25:36

794

1 Sebagai contoh, terdapat halaman senarai blog a, untuk mendapatkan senarai artikel
2 Halaman butiran kandungan blog b, untuk mendapatkan teks artikel
3 Bagaimana untuk mendapatkan artikel + kandungan ke pangkalan data mengikut urutan
4 Semasa? Masalahnya ialah saya tidak tahu bagaimana untuk menggabungkan dua halaman yang berbeza

女神的闺蜜爱上我

membalas semua (1)

巴扎黑2017-06-12 09:27:36 Tingkat 1

Anda boleh menggunakan request.meta untuk menyimpan maklumat tambahan, seperti

def parse_x1(self, response): extra = {} ... req = scrapy.Request(url2) req.callback = self.parse_x2 ... req.meta['extra'] = extra yield req def parse_x2(self, response): item = {} extra = response.meta['extra'] item.update(extra) ... yield item