So implementieren Sie die Baidu-Index-Crawler-Funktion

Dieses Mal zeige ich Ihnen, wie Sie die Baidu-Index-Crawler-Funktion implementieren und welche Vorsichtsmaßnahmen für die Implementierung der Baidu-Index-Crawler-Funktion gelten. Hier sind praktische Fälle, werfen wir einen Blick darauf.

Ich habe zuvor einen einfallsreichen Artikel gelesen, in dem die Front-End-Anti-Crawling-Techniken verschiedener großer Hersteller vorgestellt wurden, aber wie in diesem Artikel gesagt wurde, gibt es keine 100%ige Anti-Crawling-Methode. Dieser Artikel stellt eine einfache Methode vor, um all diese Fronten zu umgehen -Ende der Anti-Crawler-Maßnahmen.

Der folgende Code verwendet Baidu Index als Beispiel. Der Code wurde in eine Baidu Index-Crawler-Knotenbibliothek gepackt: https://github.com/Coffcer/baidu-index-spider

Hinweis: Bitte missbrauchen Sie Crawler nicht, um anderen Ärger zu bereiten

Die Anti-Crawler-Strategie von Baidu Index

Beobachten Sie die Benutzeroberfläche von Baidu Index. Wenn Sie mit der Maus über einen bestimmten Tag fahren, werden zwei Anfragen ausgelöst und die Ergebnisse werden im schwebenden Feld angezeigt Es kann festgestellt werden, dass Baidu Index tatsächlich bestimmte Anti-Crawler-Strategien im Frontend implementiert hat. Wenn die Maus über das Diagramm bewegt wird, werden zwei Anfragen ausgelöst, eine Anfrage gibt ein Stück HTML zurück und eine Anfrage gibt ein generiertes Bild zurück. Der HTML-Code enthält keine tatsächlichen Werte, sondern legt die Breite und den

fest, um die entsprechenden Zeichen auf dem Bild anzuzeigen. Darüber hinaus enthält der Anforderungsparameter Parameter wie res und res1, die wir nicht simulieren können, sodass es schwierig ist, die Baidu-Indexdaten mit herkömmlichen simulierten Anforderungen oder HTML-Crawling-Methoden zu crawlen.

Wie man die Anti-Crawler-Methode von Baidu durchbricht, ist eigentlich sehr einfach, es ist nur egal, wie es Anti-Crawler ist. Wir müssen lediglich Benutzervorgänge simulieren, einen Screenshot der erforderlichen Werte erstellen und eine Bilderkennung durchführen. Die Schritte sind ungefähr:

Anmeldung simulieren
Öffnen Sie die Indexseite
Bewegen Sie die Maus zum angegebenen Datum
Warten Sie, bis die Anfrage beendet ist, und erfassen Sie den numerischen Teil des Bildes
Die Bilderkennung erhält den Wert
Durchlaufen Sie die Schritte 3 bis 5, um den Wert für jedes Datum zu erhalten
Diese Methode kann theoretisch den Inhalt jeder Website crawlen. Als nächstes werden wir den Crawler Schritt für Schritt implementieren. Die folgenden Bibliotheken werden verwendet:

1. Puppenspieler

   Browser-Bedienung simulieren

2. node-tesseract

   Ein Tesseract-Paket, das zur Bilderkennung verwendet wird

3. Jimp

   Bildzuschnitt

Puppeteer ist ein vom Google Chrome-Team entwickeltes Chrome-Automatisierungstool, das zur Steuerung von Chrome-Ausführungsbefehlen verwendet wird. Sie können Benutzervorgänge simulieren, automatisierte Tests, Crawler usw. durchführen. Die Verwendung ist sehr einfach. Es gibt viele Einführungs-Tutorials im Internet. Nach dem Lesen dieses Artikels können Sie wahrscheinlich wissen, wie man es verwendet.

API-Dokumentation: https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

Installation:

npm install --save puppeteer

npm config set PUPPETEER_DOWNLOAD_HOST=https://npm.taobao.org/mirrors
npm install --save puppeteer

// npm
npm install --save puppeteer --ignore-scripts
// node
puppeteer.launch({ executablePath: '/path/to/Chrome' });

Um das Layout übersichtlich zu halten, werden unten nur die Hauptteile aufgeführt. Die Teile des Codes, die den Selektor betreffen, werden durch ... ersetzt. Den vollständigen Code finden Sie im Github-Repository oben im Artikel.

Hier werden Benutzervorgänge, Klicks und Eingaben Schritt für Schritt simuliert. Es gibt keine Handhabung des Anmelde-

. Wenn Sie sich lokal bei Baidu angemeldet haben, benötigen Sie im Allgemeinen keinen Bestätigungscode.

// 启动浏览器，
// headless参数如果设置为true，Puppeteer将在后台操作你Chromium，换言之你将看不到浏览器的操作过程
// 设为false则相反，会在你电脑上打开浏览器，显示浏览器每一操作。
const browser = await puppeteer.launch({headless:false});
const page = await browser.newPage();
// 打开百度指数
await page.goto(BAIDU_INDEX_URL);
// 模拟登陆
await page.click('...');
await page.waitForSelecto('...');
// 输入百度账号密码然后登录
await page.type('...','username');
await page.type('...','password');
await page.click('...');
await page.waitForNavigation();
console.log(':white_check_mark: 登录成功');

需要将页面滚动到趋势图的区域，然后移动鼠标到某个日期上，等待请求结束，tooltip显示数值，再截图保存图片。

// 获取chart第一天的坐标
const position = await page.evaluate(() => {
 const $image = document.querySelector('...');
 const $area = document.querySelector('...');
 const areaRect = $area.getBoundingClientRect();
 const imageRect = $image.getBoundingClientRect();
 // 滚动到图表可视化区域
 window.scrollBy(0, areaRect.top);
 return { x: imageRect.x, y: 200 }；
});
// 移动鼠标，触发tooltip
await page.mouse.move(position.x, position.y);
await page.waitForSelector('...');
// 获取tooltip信息
const tooltipInfo = await page.evaluate(() => {
 const $tooltip = document.querySelector('...');
 const $title = $tooltip.querySelector('...');
 const $value = $tooltip.querySelector('...');
 const valueRect = $value.getBoundingClientRect();
 const padding = 5;
 return {
 title: $title.textContent.split(' ')[0],
 x: valueRect.x - padding,
 y: valueRect.y,
 width: valueRect.width + padding * 2,
 height: valueRect.height
 }
});

await page.screenshot({ path: imgPath });
// 对图片进行裁剪，只保留数字部分
const img = await jimp.read(imgPath);
await img.crop(tooltipInfo.x, tooltipInfo.y, tooltipInfo.width, tooltipInfo.height);
// 将图片放大一些，识别准确率会有提升
await img.scale(5);
await img.write(imgPath);

Tesseract.process(imgPath, (err, val) => {
if (err || val == null) {
 console.error(':x: 识别失败：' + imgPath);
 return;
}
console.log(val);

const recognition = require('./src/recognition');
const Spider = require('./src/spider');
module.exports = {
 async run (word, options, puppeteerOptions = { headless: true }) {
 const spider = new Spider({ 
 imgDir, 
 ...options 
 }, puppeteerOptions);
 // 抓取数据
 await spider.run(word);
 // 读取抓取到的截图，做图像识别
 const wordDir = path.resolve(imgDir, word);
 const imgNames = fs.readdirSync(wordDir);
 const result = [];
 imgNames = imgNames.filter(item => path.extname(item) === '.png');
 for (let i = 0; i < imgNames.length; i++) {
 const imgPath = path.resolve(wordDir, imgNames[i]);
 const val = await recognition.run(imgPath);
 result.push(val);
 }
 return result;
 }
}

Das obige ist der detaillierte Inhalt vonSo implementieren Sie die Baidu-Index-Crawler-Funktion. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!