Baidu a probablement un paramètre de type robot. Vous devez le dissimuler et définir un UA ou quelque chose comme ça Référence : http://www.4wei.cn/archives/396
Ce n'est pas un problème de type Snoopy. C'est parce que vous ne savez pas grand-chose sur les robots d'exploration. Puisqu’il existe des robots, il y aura bien sûr une technologie anti-crawler. Le plus simple est basé sur l'identifiant du navigateur ou le référent dans l'en-tête de la requête, etc. Les grands sites Web comme Baidu et Tencent ne voudront pas que nous explorions les données, ils ont donc dû prendre de nombreuses mesures préventives. Par conséquent, il est recommandé de comprendre les connaissances des robots d’exploration avant d’explorer les données.
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
Baidu a probablement un paramètre de type robot. Vous devez le dissimuler et définir un UA ou quelque chose comme ça
.Référence : http://www.4wei.cn/archives/396
Ce n'est pas un problème de type Snoopy. C'est parce que vous ne savez pas grand-chose sur les robots d'exploration. Puisqu’il existe des robots, il y aura bien sûr une technologie anti-crawler. Le plus simple est basé sur l'identifiant du navigateur ou le référent dans l'en-tête de la requête, etc. Les grands sites Web comme Baidu et Tencent ne voudront pas que nous explorions les données, ils ont donc dû prendre de nombreuses mesures préventives. Par conséquent, il est recommandé de comprendre les connaissances des robots d’exploration avant d’explorer les données.