Maison Opération et maintenance Apache qu'est-ce qu'Apache Hadoop

qu'est-ce qu'Apache Hadoop

Jun 11, 2019 pm 03:02 PM
apache hadoop

Apache Hadoop est un framework permettant d'exécuter des applications sur de grands clusters construits sur du matériel à usage général. Il implémente le paradigme de programmation Map/Reduce, dans lequel les tâches informatiques sont divisées en petits morceaux (plusieurs fois) et exécutées sur différents nœuds.

qu'est-ce qu'Apache Hadoop

En outre, il fournit également un système de fichiers distribués (HDFS), dans lequel les données sont stockées sur des nœuds informatiques pour fournir une bande passante globale extrêmement élevée entre les centres de données.

Rôle de framework

Un nouveau choix pour la propriété du Big Data Apache Hadoop

Le DAS physique reste le meilleur stockage pour Apache Hadoop Media, car les entreprises professionnelles et commerciales de haut niveau concernées ont déterminé les supports de stockage grâce à la recherche et à la pratique. Cependant, le stockage de données Apache Hadoop basé sur HDFS pose de gros problèmes.

Tout d'abord, la solution par défaut consiste à copier, déplacer, puis sauvegarder toutes les données Apache Hadoop. HDFS est basé sur l'optimisation des E/S des gros blocs de données Apache Hadoop, ce qui permet de gagner du temps lors de l'interaction des données Apache Hadoop. Une utilisation ultérieure signifie généralement copier les données Apache Hadoop. Bien qu'il existe des instantanés locaux, ils ne sont pas totalement cohérents ni entièrement récupérables à ce moment-là.

Pour ces raisons et d'autres encore, les fournisseurs de stockage d'entreprise sont suffisamment intelligents pour apporter des modifications à HDFS, et certains experts en Big Data de type geek font que les calculs Apache Hadoop exploitent le stockage externe. Mais pour de nombreuses entreprises, Apache Hadoop offre un bon compromis : pas besoin de stockage nécessitant une maintenance élevée ni d'adaptation de nouvelles méthodes de maintenance du stockage, ce qui a un coût.

De nombreux fournisseurs Apache Hadoop fournissent des interfaces HDFS distantes aux clusters Apache Hadoop et constituent le premier choix des entreprises Apache Hadoop ayant un volume d'affaires important. Parce qu'ils seront dans isilon, toute autre protection des données Big Data d'Apache Hadoop, y compris la sécurité d'Apache Hadoop et d'autres problèmes. Un autre avantage est que les données stockées en externe sont souvent accessibles à partir d'autres magasins de protocoles Apache Hadoop, ce qui prend en charge les flux de travail et limite le transfert de données et les copies de données selon les besoins au sein de l'entreprise. Apache Hadoop traite également le Big Data selon ce principe, une architecture de référence Big Data, associée à une solution de stockage combinée, directement dans le cluster Apache Hadoop.

Il convient également de mentionner l’analyse big data virtualisée d’Apache Hadoop. En théorie, tous les nœuds de calcul et de stockage peuvent être virtualisés. VMware et RedHat/OpenStack proposent des solutions de virtualisation pour Hadoop. Cependant, presque tous les nœuds hôtes Apache Hadoop ne peuvent pas résoudre les problèmes de stockage d'entreprise. Il émule les aspects informatiques d'Apache Hadoop, permettant aux entreprises d'accélérer et de transférer des ensembles de données existants (SAN/NAS) sur sa superposition HDFS avec Apache Hadoop. De cette manière, l'analyse Big Data Apache Hadoop peut apporter toutes les modifications aux données d'un centre de données sans aucune modification, utilisant ainsi la nouvelle architecture de stockage Apache Hadoop et de nouveaux flux de données ou gestion des données.

La plupart des distributions Apache Hadoop partent du HDFS open source (stockage logiciel actuel du Big Data) proche d'Apache Hadoop. La différence est qu'Apache Hadoop adopte une approche différente. Il s’agit essentiellement du stockage dont l’entreprise Apache Hadoop a besoin pour créer sa propre couche de stockage compatible au-dessus d’Apache Hadoop HDFS. La version MAPR est entièrement capable de gérer la prise en charge des E/S pour la réplication d'instantanés, et Apache Hadoop est également compatible avec d'autres protocoles pris en charge de manière native, tels que NFS. Apache Hadoop est également très efficace et permet de fournir principalement des applications de business intelligence d'entreprise qui exécutent des solutions d'aide à la décision qui s'appuient sur le Big Data pour des informations historiques et en temps réel. Semblable à cette idée, IBM a publié l'API de stockage du système de calcul haute performance pour la distribution Apache Hadoop comme alternative à HDFS

Une autre solution intéressante pour Apache Hadoop qui peut aider à résoudre les problèmes de données. L'un d'entre eux est dataguise, une startup de sécurité des données qui peut protéger efficacement certaines adresses IP uniques des grands ensembles de données d'Apache Hadoop. Apache Hadoop peut automatiquement identifier et couvrir ou chiffrer globalement les informations sensibles dans un grand cluster de données. La science des données horizontales est une technologie émergente dans ce domaine. Si vous connectez vos fichiers de données à Apache Hadoop, peu importe où se trouvent les données, même HDFS, Apache Hadoop les stockera automatiquement. Le résultat fourni par le Big Data Apache Hadoop permet de créer rapidement des applications métier, en utilisant la source et l'emplacement des données pour collecter les informations requises par l'entreprise.

Si vous avez toujours été intéressé par la gestion Apache Hadoop ou le stockage des centres de données d'entreprise, c'est le bon moment pour mettre à jour vos connaissances sur le Big Data Apache Hadoop et si vous souhaitez suivre le Big Data Apache Hadoop. Si vous suivez les traces, vous ne devriez pas refuser l'application des nouvelles technologies d'Apache Hadoop.

Pour des articles plus techniques liés à Apache, veuillez visiter la colonne Tutoriel Apache pour apprendre !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Article chaud

Guide de construction d'Agnes Tachyon | Un joli Musume Derby
2 Il y a quelques semaines By Jack chen
Oguri Cap Build Guide | Un joli Musume Derby
2 Il y a quelques semaines By Jack chen
Péx: comment raviver les joueurs
4 Il y a quelques semaines By DDD
Guide de construction de Grass Wonder | Uma musume joli derby
1 Il y a quelques semaines By Jack chen
Pic comment émoter
3 Il y a quelques semaines By Jack chen

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Quelle est la différence entre les MPM du préfuyage, des travailleurs et des événements? Quelle est la différence entre les MPM du préfuyage, des travailleurs et des événements? Jun 20, 2025 am 12:01 AM

La sélection MPM d'ApacheHTTPServer dépend des exigences de performance et de la compatibilité des modules. 1.Les fonctionnent en mode multi-processus, avec une stabilité élevée mais une consommation de mémoire élevée, et convient aux scénarios où des modules non sécurisés sans semets tels que MOD_PHP sont utilisés; 2. Le travailleur adopte un modèle hybride multi-thread, avec une efficacité de mémoire plus élevée, et convient aux environnements où les modules sont en file et nécessitent un traitement simultané; 3. L'événement optimise la gestion des connexions basée sur les travailleurs, en particulier adapté aux architectures modernes avec un trafic élevé et un soutien aux opérations asynchrones. La sélection du MPM le plus approprié en fonction de l'application réelle peut équilibrer l'occupation des ressources et la stabilité du service.

Comment dépanner une erreur 'Connexion refusée'? Comment dépanner une erreur 'Connexion refusée'? Jul 11, 2025 am 02:06 AM

Lorsque vous rencontrez une erreur "Connection Réflégente", la signification la plus directe est que l'hôte ou le service cible que vous essayez de vous connecter pour rejeter explicitement votre demande. 1. Vérifiez si le service cible est en cours d'exécution, connectez-vous à la machine cible pour vérifier l'état du service à l'aide de SystemCTlStatus ou PSAUX, et démarrez manuellement s'il n'est pas démarré; 2. Confirmez si le port écoute correctement, utilisez la commande netstat ou ss pour vérifier si le service écoute le port correct, modifiez le fichier de configuration si nécessaire et redémarrez le service; 3. Le pare-feu et les paramètres du groupe de sécurité peuvent provoquer une connexion refusée, vérifier les règles de pare-feu local et la configuration du groupe de sécurité de la plate-forme cloud et fermer temporairement le pare-feu pendant les tests; 4. Les erreurs d'adresse IP ou de résolution DNS peuvent également causer des problèmes, utiliser un ping ou

Comment permettre à Keepalive d'accélérer mon site Web? Comment permettre à Keepalive d'accélérer mon site Web? Jul 08, 2025 am 01:15 AM

L'activation de Keepalive peut considérablement améliorer les performances du site Web, en particulier pour les pages qui chargent plusieurs ressources. Il réduit les frais généraux de connexion et accélère le chargement de la page en gardant le navigateur et la connexion du serveur ouvert. Si le site utilise un grand nombre de petits fichiers, a des visiteurs en double ou attache une importance à l'optimisation des performances, Keepalive doit être activé. Lors de la configuration, vous devez faire attention à la définition d'un délai d'expiration raisonnable et d'un nombre de demandes, et tester et vérifier son effet. Différents serveurs tels que Apache, Nginx, etc. ont tous des méthodes de configuration correspondantes, et vous devez prêter attention aux problèmes de compatibilité dans les environnements HTTP / 2.

Comment activer ou désactiver un module Apache à l'aide d'A2enMod / A2Dismod? Comment activer ou désactiver un module Apache à l'aide d'A2enMod / A2Dismod? Jun 24, 2025 am 12:01 AM

Le moyen le plus simple d'activer ou de désactiver les modules Apache est d'utiliser les commandes A2enMod et A2Dismod. 1.A2ENMOD Active les modules en créant un lien symbolique à partir de mods disponibles à des mods compatibles; 2.a2Dismod désactive les modules en supprimant ce lien; 3. Lors de l'activation des modules, vous devez exécuter Sudoa2enmod [nom du module] et redémarrer Apache; 4. Lors de la désactivation des modules, utilisez Sudoa2Dismod [nom du module] et redémarrez le service; 5. Faites attention à la précision et aux dépendances des noms du module pour éviter les erreurs de configuration; 6. Après modification, vous devez tester la configuration et nettoyer les anciennes références pour éviter les problèmes; 7. Ces commandes ne sont applicables qu'à Debian / Ubu

Comment modifier le port par défaut pour Apache de 80 à 8080? Comment modifier le port par défaut pour Apache de 80 à 8080? Jul 01, 2025 am 12:18 AM

Les étapes d'apache pour modifier le port par défaut en 8080 sont les suivantes: 1. Modifiez le fichier de configuration Apache (tel que /etc/apache2/ports.conf ou /etc/httpd/conf/httpd.conf) et modifiez l'écoute80 pour écouter8080; 2. Modifiez le port de balise dans toutes les configurations d'hôte virtuelles en 8080 pour s'assurer qu'elle est cohérente avec le port d'écoute; 3. Vérifiez et ouvrez le support du port 8080 par pare-feu (comme UFW et Firewalld); 4. Si Selinux ou Apparmor est activé, vous devez définir pour permettre à Apache d'utiliser des ports non standard; 5. Redémarrez le service Apache pour rendre la configuration prendre effet; 6. Accès du navigateur

Où est le fichier de configuration APache principal (httpd.conf ou apache2.conf)? Où est le fichier de configuration APache principal (httpd.conf ou apache2.conf)? Jul 01, 2025 am 12:17 AM

Le fichier de configuration apache principal dépend du système d'exploitation et de la méthode d'installation. Le système RedHat utilise généralement /etc/httpd/conf/httpd.conf, tandis que Debian / Ubuntu est /etc/apache2/apache2.conf. S'il est installé à partir du code source, il peut être /usr/local/apache2/conf/httpd.conf. Vous pouvez confirmer le chemin spécifique via la commande Apachectl-V ou PSAUX. 1. Les chemins des différents fichiers de configuration du système sont différents; 2. Vous pouvez confirmer l'utilisation actuelle des fichiers via les commandes; 3. Faites attention aux autorisations, à la syntaxe et aux services de surcharge lors de l'édition. Assurez-vous de tester et de surcharger Apache après le montage pour vous assurer qu'il prend effet.

Comment trouver les goulots d'étranglement des performances dans ma configuration Apache? Comment trouver les goulots d'étranglement des performances dans ma configuration Apache? Jun 30, 2025 am 12:53 AM

L'inspection d'étranglement des performances d'Apache doit commencer à partir de quatre aspects: mode MPM, analyse de journal, surveillance du statut de serveur et chargement du module. 1. Vérifiez et ajustez le mode MPM et définissez raisonnablement des paramètres tels que MaxRequestworkers en fonction de la mémoire; 2. Positionner les demandes lentes et les erreurs à haute fréquence via des journaux d'accès et d'erreur; 3. Activer la page du statut serveur pour surveiller l'état de la connexion et l'utilisation du processeur en temps réel; 4. Désactiver les modules de chargement inutiles pour réduire les frais généraux des ressources. Pendant l'optimisation, l'effet doit être ajusté l'élément par élément et observé pour garantir que la configuration correspond aux exigences de charge réelles.

Comment déboguer .htaccess réécrivez-vous les règles? Comment déboguer .htaccess réécrivez-vous les règles? Jul 02, 2025 am 12:10 AM

Pour déboguer .htaccess réécrire les règles, assurez-vous d'abord que le serveur le prend en charge et que mod_rewrite est activé; Deuxièmement, utilisez le journal pour suivre le processus de demande; Enfin, testez les règles un par un et faites attention aux pièges communs. Le dépannage de la configuration de l'environnement est la première étape. Les utilisateurs d'Apache doivent exécuter Sudoa2enModrewRite, modifier le perte overridenone à tous et redémarrer le service; Les utilisateurs d'hôtes virtuels peuvent tester si le fichier est lu en ajoutant du contenu de spam. Utilisez la directive Loglevel pour activer les journaux (tels que LogleveLalerTrewrite: Trace3) pour afficher le processus de réécriture détaillé, mais uniquement pour l'environnement de test. Lors du débogage des règles, toutes les règles doivent être commentées et ont permis une par une.

See all articles