Warum zeigt Hadoop eine Warnung „Native-Hadoop-Bibliothek' an und wie kann ich sie beheben?

Hadoop-Warnung „Native-Hadoop-Bibliothek kann nicht geladen werden“

Beim Konfigurieren von Hadoop 2.2.0 auf einem CentOS-Server können Benutzer auf Folgendes stoßen: Folgende Warnung beim Ausführen von start-dfs.sh oder stop-dfs.sh:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Dies Der Fehler ist darauf zurückzuführen, dass die native Hadoop-Bibliothek für eine andere Plattform (32-Bit) als die aktuelle Umgebung (64-Bit-CentOS) kompiliert wurde.

Umgebungsvariablen

Die Das Problem besteht weiterhin, obwohl die folgenden Umgebungsvariablen hinzugefügt wurden hadoop-env.sh:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/"
export HADOOP_COMMON_LIB_NATIVE_DIR="/usr/local/hadoop/lib/native/"

Lösung

Obwohl die Warnung keinen Einfluss auf die Funktionalität von Hadoop hat, kann sie durch eine Neukompilierung von libhadoop.so.1.0.0 beseitigt werden auf einem 64-Bit-System. Führen Sie unter Verwendung des Hadoop-Quellcodes die folgenden Schritte aus:

1. Laden Sie den Hadoop-Quellcode herunter.
2. Kompilieren Sie libhadoop.so.1.0.0 auf einem 64-Bit-System neu.
3. Ersetzen Sie die vorhandene 32-Bit-Version libhadoop.so.1.0.0 durch die neu kompilierte Version.

Spezifische Anweisungen zum Neukompilieren unter Ubuntu finden Sie unter:

• http://www.ercoppa.org/Linux-Compile-Hadoop-220-fix -Unable-to-load-native-hadoop-library.htm

Das obige ist der detaillierte Inhalt vonWarum zeigt Hadoop eine Warnung „Native-Hadoop-Bibliothek' an und wie kann ich sie beheben?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!