Introduction aux trois composants principaux de hadoop

Les trois composants principaux de Hadoop sont : Hadoop Distributed File System (HDFS), MapReduce et Yet Another Resource Négociateur (YARN).

1. Hadoop Distributed File System (HDFS) :

   • HDFS est le système de fichiers distribué de Hadoop utilisé pour stocker des ensembles de données à grande échelle. Il divise les gros fichiers en plusieurs blocs de données et distribue et stocke ces blocs de données sur plusieurs nœuds du cluster. HDFS fournit des solutions de stockage de données haute capacité, haute fiabilité et haut débit et constitue la base du cadre informatique distribué Hadoop.

2. MapReduce :

   • MapReduce est le cadre informatique distribué de Hadoop pour le traitement parallèle d'ensembles de données à grande échelle. Il s'appuie sur le modèle de programmation fonctionnelle et décompose la tâche informatique en deux étapes : Mapper et Réduire. L'étape Map divise les données d'entrée en tâches indépendantes pour le traitement, tandis que l'étape Reduction combine les résultats des tâches Map dans la sortie finale. MapReduce offre des capacités de tolérance aux pannes, d'évolutivité et de traitement parallèle.

3. Encore un autre négociateur de ressources (YARN) :

   • YARN est le gestionnaire de ressources de Hadoop, responsable de la planification et de la gestion des ressources dans le cluster. Il peut allouer et gérer des ressources informatiques pour plusieurs applications, améliorant ainsi l'utilisation des ressources informatiques. YARN divise les ressources informatiques du cluster en plusieurs conteneurs et fournit des ressources appropriées pour différentes applications tout en surveillant et en gérant l'état d'exécution de chaque application.

Ces trois composants forment ensemble le cœur du cadre informatique distribué Hadoop, ce qui rend Hadoop efficace pour l'analyse de données hors ligne. Dans le cloud computing, Hadoop est associé à la technologie du big data et de la virtualisation pour fournir un support puissant au traitement des données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!