Gunakan superagent untuk memulakan permintaan http Selepas mendapat respons, gunakan cheerio untuk menghuraikan teks Kemudian anda boleh menggunakan sintaks yang serupa dengan jQuery untuk mengendalikan Dom.
Mongodb boleh digunakan untuk penyimpanan data, dan mongoose boleh digunakan sebagai alat ORM yang sepadan.
Kos pembelajaran Python tidak terlalu tinggi, izinkan saya bercakap tentang pengalaman saya Pada mulanya saya menggunakan urllib, atau urllib2, dan mendapati bahawa saya sangat teruja untuk merangkak data Kemudian saya melihat halaman di mana Sambungan Ditutup , saya belajar tentang httplib2 dan kemudian melihat permintaan dan kini saya melihat scrapy
Merangkak ialah metafizik Saya rasa matlamat soalan itu bagus untuk menyemak arah aliran harga, tetapi saya rasa kita boleh menetapkan matlamat kecil dahulu dan merangkak Ensiklopedia Baidu~
Syorkan https://github.com/alsotang/n...
Rantai alat perangkak:
Gunakan superagent untuk memulakan permintaan http Selepas mendapat respons, gunakan cheerio untuk menghuraikan teks Kemudian anda boleh menggunakan sintaks yang serupa dengan jQuery untuk mengendalikan Dom.
Mongodb boleh digunakan untuk penyimpanan data, dan mongoose boleh digunakan sebagai alat ORM yang sepadan.
Contoh kod
https://github.com/zhanyouwei...
Bukankah kos pembelajaran Python diketahui paling rendah? ? Mudah untuk bermula dengan perangkak Python Terdapat banyak tutorial dalam talian
scrapy pasti berada di kedudukan pertama! ! !
Bermula dengan Node dengan tegas, anda boleh merujuk kepada pengalaman baru saya https://github.com/hanzichi/f...
Kos pembelajaran Python tidak terlalu tinggi, izinkan saya bercakap tentang pengalaman saya
Pada mulanya saya menggunakan urllib, atau urllib2, dan mendapati bahawa saya sangat teruja untuk merangkak data
Kemudian saya melihat halaman di mana Sambungan Ditutup , saya belajar tentang httplib2
dan kemudian melihat permintaan
dan kini saya melihat scrapy
Merangkak ialah metafizik Saya rasa matlamat soalan itu bagus untuk menyemak arah aliran harga, tetapi saya rasa kita boleh menetapkan matlamat kecil dahulu dan merangkak Ensiklopedia Baidu~
Perangkak nod hanya berharga 20
nodej
superagent + cheerio
nodejs
request
+cheerio
juga bagus.