Ich habe Superagent + Cheerio verwendet, um die Produkte von *Dong zu crawlen, aber die zurückgegebenen chinesischen verstümmelten Antwortheader lauten wie folgt:
Es wird von gzip komprimiert, aber es liegt auf der Hand, dass Superagent es standardmäßig dekomprimiert
*Ost Produktadresse https://item.jd.com/5025518.html
Ich habe den Produkttitel übernommen und die Ergebnisse sind wie folgt
Der Kerncode lautet wie folgt:
var url = 'https://list.jd.com/list.html?cat=670,671,672' //京东电脑 var totalData = [] // 存储总数据 superagent.get(url).end(function (err, res) { if (err) { return console.error(err) } var topicUrls = []; // 页面里面的所有url var $ = cheerio.load(res.text) // 拿到页面 $('#plist .gl-item').each(function (i, e) { $e = $(e) var href = 'https:' + $e.find('.p-img >a').attr('href') // 拿到所有url topicUrls.push(href) }) var ep = new eventproxy();// //异步调用结束后，执行某些操作 ep.after('topic_html', topicUrls.length, function (topics) { //接收res.text topics = topics.map(function (topicHtml) { var $ = cheerio.load(topicHtml, {decodeEntities: false}); return ({ title: $('.sku-name').text().trim() }); }); totalData.push(topics) console.log(totalData); }) topicUrls.forEach(function (e) { superagent.get(e).end(function (err, res) { ep.emit('topic_html', res.text); }) }) })
这并不是乱码啊，如果是乱码，所有的都乱了，应该是你编码的问题。
我直接用postman去请求了你那个地址，并没有出现你这种情况，所以我判断是你IDE或者文本编辑器的问题，将格式设为 utf-8 。