Dans quelle mesure un robot Python peut-il apprendre à trouver un emploi ?

De nombreux amis m'ont demandé récemment : j'apprends les robots par moi-même. Jusqu'où puis-je apprendre pour trouver un emploi ?

Cet article parlera de ma propre expérience, des robots d'exploration et du travail, à titre de référence uniquement.

Dans quelle mesure vous avez appris

Pour l'instant, ciblons les ingénieurs juniors sur chenilles et énumérons-les brièvement :

(partie nécessaire)

Sélection de la langue : en général, vous devez connaître Python, Java et Golang

Familier avec la programmation multithread, la programmation réseau et le protocole HTTP

Avoir développé un programme complet projet de robot d'exploration (de préférence une expérience de robot d'exploration de site complet, cela sera mentionné ci-dessous)

Anti-crawling, cookies, pools IP, codes de vérification, etc.

Maîtrise de l'utilisation distribuée

Comprendre les files d'attente de messages, telles que RabbitMQ, Kafka, Redis, etc.

Avoir de l'expérience dans l'exploration de données, le traitement du langage naturel, la récupération d'informations, l'apprentissage automatique

Familialisé avec la collecte de données APP , agent intermédiaire

Traitement Big data (Hive/MR /Spark/Storm)

Base de données Mysql, redis, mongdb

Familial avec le fonctionnement de Git et le développement d'environnement Linux

Comprendre le code js, c'est vraiment important

Comment s'améliorer

Il suffit de regarder les tutoriels sur Zhihu pour commencer. En ce qui concerne Python, bien sûr, connaître les requêtes ne suffit pas. Vous devez également connaître Scrapy et pyspider Framework et scrapy_redis doit également comprendre les principes.

Comment construire un système distribué et comment résoudre les problèmes de mémoire et de vitesse.

Référence Quelle est la différence entre scrapy-redis et scrapy ?

Qu'est-ce que l'exploration d'un site complet ?

Le moyen le plus simple est de prendre le crochet comme exemple. Recherchez des mots-clés. Il y a 30 pages. que l'exploration des 30 pages marque la fin du site. Si le site Web est exploré, vous devriez trouver un moyen d'explorer toutes les données.

Quelle méthode pouvez-vous utiliser pour affiner la portée grâce au filtrage et prendre votre temps ?

En même temps, chaque poste aura également des postes recommandés, puis rédigera un robot pour collecter des recommandations.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!