Detaillierte Installation und Konfiguration von hadoop2.7.2 unter Ubuntu15.10

Im Internet und in vielen Büchern gibt es viele Tutorials zur Hadoop-Installation unter Linux. Leser, die es ausprobiert haben, werden jedoch feststellen, dass selbst wenn sie diese Tutorials Schritt für Schritt befolgen, immer noch irgendwo ein Fehler auftritt. Der Hauptgrund sind Versionsprobleme. Insbesondere sind die Versionen in den Büchern im Allgemeinen älter, sodass es nicht empfohlen wird, den Tutorials in den Büchern zu folgen, sie können jedoch als Referenz verwendet werden. Im Folgenden wird der Installationsprozess beschrieben, den ich persönlich erlebt habe. Ich werde versuchen, die mir bekannten Prinzipien aufzuschreiben, sodass es selbst bei Problemen in einigen Schritten einfach ist, diese zu lösen, sobald Sie die Gründe kennen. Das einzige, worüber Sie sich Sorgen machen müssen, ist, dass Sie, wenn es Probleme gibt, immer noch nicht wissen, wo die Probleme liegen.

Die folgenden Codes werden alle in das Ubuntu-Eingabeaufforderungsfenster (Terminal) eingegeben:

1. Werkzeugvorbereitung:

1.1 Apt-get aktualisieren: Es ist praktisch, apt-get zu verwenden, um Software im Befehlszeilenfenster zu installieren.

sudo apt-get update

1.2 Installieren Sie vim: Konfigurationsdatei.

sudo apt-get installiere vim

Abhängig von der Ausgabe müssen Sie „Y“ eingeben, um fortzufahren.

2. Erstellen Sie einen Hadoop-Benutzer:

2.1 Hadoop-Benutzer hinzufügen: Erstellen Sie einen Hadoop-Benutzer und verwenden Sie /bin/bash als Shell

sudo useradd -m hadoop -s /bin/bash

2.2 Legen Sie das Passwort fest und geben Sie es nach Aufforderung zweimal ein:

sudo passwd hadoop

2.3 Fügen Sie dem Hadoop-Benutzer Administratorrechte hinzu:

sudo adduser hadoop sudo

3. Installieren Sie SSH und konfigurieren Sie die passwortfreie SSH-Anmeldung

Sowohl der Cluster- als auch der Einzelknotenmodus erfordern eine SSH-Anmeldung (ähnlich wie bei der Remote-Anmeldung können Sie sich bei einem Linux-Host anmelden und Befehle darauf ausführen). Ubuntu hat standardmäßig einen SSH-Client installiert. Darüber hinaus müssen Sie einen SSH-Server installieren:

sudo apt-get installiere OpenSSH-Server

Nach der Installation können Sie sich mit dem folgenden Befehl am Computer anmelden:

ssh lokaler Host

4. Installieren Sie die Java-Umgebung

4.1 JDK installieren:

sudo apt-get installiere openjdk-8-jre openjdk-8-jdk

4.2 JAVA_HOME konfigurieren

dpkg -L openjdk-8-jdk | grep '/bin/javac'

Dieser Befehl gibt einen Pfad aus. Entfernen Sie „/bin/javac“ vom Ende des Pfads und der verbleibende Pfad ist der richtige Pfad. Wenn der Ausgabepfad /usr/lib/jvm/java-8-openjdk/bin/javac ist, benötigen wir den Pfad /usr/lib/jvm/java-8-openjdk.

Wenn die Ausgabe hier falsch ist, woher erfahren wir dann die Adresse von JAVA_HOME? Es ist ganz einfach. Geben Sie einfach Folgendes ein:

java -verbose

Ausgabe: usr/lib/jvm/java-8-openjdk/jre/lib/rt.jar

Das vorherige usr/lib/jvm/java-8-openjdk ist die Adresse von JAVA_HOME.

Öffnen Sie dann die Datei /etc/profile mit dem Befehl sudo gedit /etc/profile:

sudo gedit /etc/profile

Fügen Sie dann am Ende der Datei die folgenden drei Zeilen hinzu:

exportiere JAVA_HOME=/usr/lib/jvm/java-8-openjdk
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

Drücken Sie dann zum Speichern Strg+S. Führen Sie anschließend den folgenden Code aus, damit die Änderungen wirksam werden:

$quelle ~/.bashrc

Wenn sich JAVA_HOME immer noch nicht ändert, kann es sein, dass die Datei nicht wirksam ist. Führen Sie

$Quelle /etc/Profil

Überprüfen Sie JAVA_HOME noch einmal und Sie sehen, dass es sich um den Pfad handelt, den wir in der Datei festgelegt haben.

Wenn die obigen Einstellungen korrekt sind, gibt $JAVA_HOME/bin/java -version die Java-Versionsinformationen aus und das Ausgabeergebnis ist dasselbe wie bei java -version, wie in der folgenden Abbildung dargestellt. Dann war die Konfiguration erfolgreich:

5. Installieren Sie Hadoop

5.1hadoop-Programm herunterladen: http://mirror.bit.edu.cn/apache/hadoop/common/

Es wird empfohlen, hadoop-2.xytar.gz unter „stable“ herunterzuladen.

5.2 Hadoop-Installation

Geben Sie den folgenden Befehl ein:

sudo tar -zxf ~/Downloads/hadoop-2.7.2.tar.gz -C /usr/local  
cd /usr/lokal/
sudo mv ./hadoop-2.7.2/ ./hadoop      
sudo chown -R hadoop ./hadoop

Hadoop steht nach der Dekomprimierung zur Nutzung bereit. Geben Sie den folgenden Befehl ein, um zu prüfen, ob Hadoop verfügbar ist. Bei Erfolg werden die Hadoop-Versionsinformationen angezeigt:

cd /usr/local/hadoop
./bin/hadoop version

5.3 Hadoop-Klickkonfiguration

Der Standardmodus von Hadoop ist der nicht verteilte Modus und kann ohne zusätzliche Konfiguration ausgeführt werden. Nicht verteilt bedeutet ein einzelner Java-Prozess, was für die Fehlerbehebung praktisch ist.

Die Konfiguration ist noch nicht abgeschlossen. Da ich in letzter Zeit sehr beschäftigt war, werde ich sie in ein paar Tagen konfigurieren, wenn ich etwas Zeit habe.

Zusammenfassen

Das Obige ist der vollständige Inhalt dieses Artikels. Ich hoffe, dass der Inhalt dieses Artikels einen gewissen Lernwert für Ihr Studium oder Ihre Arbeit hat. Vielen Dank für Ihre Unterstützung von 123WORDPRESS.COM. Wenn Sie mehr darüber erfahren möchten, schauen Sie sich bitte die folgenden Links an