VMware + Ubuntu18.04 Grafisches Tutorial zum Erstellen einer Hadoop-Clusterumgebung

Vorwort

Dieses Tutorial basiert auf dem Big-Data-Experiment der Schule. Während der Einrichtung des Tutorials machte der Blogger Screenshots seiner Befehlsausführungsergebnisse. Es dauerte fast drei Stunden, die Umgebung in der Bibliothek einzurichten und den Blog zu schreiben. Langes Blicken auf den Computer kann Ihre Augen schädigen. Achten Sie daher auf den Schutz Ihrer Augen und machen Sie Augenübungen. Ich hoffe, dass diejenigen, die etwas gelernt haben, mir einen Daumen hoch geben können!

VMware-Klon virtueller Maschinen (Vorbereitung, Klonen von 3 virtuellen Maschinen, einer Master- und zwei Knoten)

1. Fahren Sie zuerst das System in der virtuellen Maschine herunter
2. Klicken Sie mit der rechten Maustaste auf die virtuelle Maschine, klicken Sie auf „Verwalten“ und wählen Sie „Klonen“ aus.
   

3. Klicken Sie auf „Weiter“, wählen Sie „Vollständiger Klon“ und wählen Sie den Pfad.

1. Erstellen Sie einen Hadoop-Benutzer (ausgeführt auf Master, Knoten1, Knoten2)

Führen Sie die folgenden Befehle nacheinander aus

1. Erstellen Sie einen Hadoop-Benutzer

sudo useradd -m hadoop -s /bin/bash

Benutzerpasswort festlegen (zweimal eingeben)

sudo passwd hadoop

Hinzufügen von Berechtigungen

sudo adduser hadoop sudo

Wechseln Sie zum Hadoop-Benutzer (geben Sie hier das gerade festgelegte Hadoop-Passwort ein)

su hadoop

Bildschirmfotoanzeige ausführen (am Beispiel der Master-VM)

2. Apt-Download-Quelle aktualisieren (ausgeführt auf Master, Knoten1, Knoten2)

sudo apt-get update

Screenshot-Anzeige (am Beispiel des Masters)

3. Installieren Sie SSH und konfigurieren Sie die passwortfreie SSH-Anmeldung (ausgeführt auf Master, Knoten1 und Knoten2)

1. Installieren Sie SSH

sudo apt-get installiere OpenSSH-Server

2. Konfigurieren Sie die passwortfreie SSH-Anmeldung

ssh lokaler Host
Ausfahrt 
cd ~/.ssh/ 
ssh-keygen -t rsa #Gedrückt halten Enter cat ./id_rsa.pub >> ./authorized_keys

3. Passwortfreie Verifizierung

ssh lokaler Host
Ausfahrt 
cd ~/.ssh/ 
ssh-keygen -t rsa #Gedrückt halten Enter cat ./id_rsa.pub >> ./authorized_keys

Screenshot-Anzeige (am Beispiel des Masters)

4. Installieren Sie die Java-Umgebung (ausgeführt auf Master, Knoten1, Knoten2)

1. Laden Sie das JDK-Umgebungspaket herunter

sudo apt-get installiere default-jre default-jdk

2. Konfigurieren Sie Umgebungsvariablendateien

vim ~/.bashrc

3. Fügen Sie der ersten Zeile der Datei hinzu

export JAVA_HOME=/usr/lib/jvm/default-java

4,. Umgebungsvariablen wirksam machen

Quelle ~/.bashrc

5. Überprüfung

Java-Version

Screenshot-Anzeige (am Beispiel des Masters)

Ändern des Hostnamens (ausgeführt auf Master, Knoten1, Knoten2)

1. Löschen Sie den ursprünglichen Hostnamen in der Datei, schreiben Sie „Master“ in „Master“, schreiben Sie „Node1“, „Node2“ in „Node1“ … (ähnlich)

sudo vim /etc/Hostname

Starten Sie die drei Server neu

Neustart

Stellen Sie nach dem erfolgreichen Neustart erneut eine Verbindung zur Sitzung her und stellen Sie fest, dass sich der Hostname geändert hat

Screenshot-Anzeige (am Beispiel von node1)

IP-Zuordnung ändern (ausgeführt auf Master, Knoten1, Knoten2)

Zeigen Sie die IP-Adressen der einzelnen virtuellen Maschinen an

ifconfig -a

Wenn ein Fehler auftritt, laden Sie net-tools herunter und führen Sie es erneut aus, um zu sehen

sudo apt installiere Net-Tools

Wie in der Abbildung unten gezeigt, ist das rote Kästchen die IP-Adresse dieser virtuellen Maschine

Alle drei virtuellen Maschinen müssen ihre IP-Adressen gegenseitig zur Hosts-Datei hinzufügen.

sudo vim /etc/hosts

Nehmen Sie Master als Beispiel, um den Screenshot anzuzeigen

SSH-Passwortfreie Anmeldung bei anderen Knoten (wird auf dem Master ausgeführt)

Auf dem Master ausführen

cd ~/.ssh 
rm ./id_rsa* # Löschen Sie den zuvor generierten öffentlichen Schlüssel (sofern vorhanden)
ssh-keygen -t rsa # Drücken Sie weiterhin die Eingabetaste cat ./id_rsa.pub >> ./authorized_keys
scp ~/.ssh/id_rsa.pub hadoop@node1:/home/hadoop/
scp ~/.ssh/id_rsa.pub hadoop@node2:/home/hadoop/ 

Führen Sie auf Knoten1 und Knoten2 Folgendes aus:

cat ~/id_rsa.pub >> ~/.ssh/autorisierte_schlüssel
rm ~/id_rsa.pub # nach Gebrauch löschen 

Passwortfreie Anmeldung verifizieren

SSH-Knoten1
Ausfahrt
SSH-Knoten2
Ausfahrt

Nehmen Sie Master als Beispiel, um den Screenshot anzuzeigen

Installieren Sie hadoop3.2.1 (im Master ausgeführt)

Die Download-URLs einiger Mirrors sind ungültig, hier also die Download-Adressen der offiziellen Website.

Download-URL: hadoop3.2.1 Download-URL

Nach dem Download laden Sie es über VMware-Tools in das /home/hadoop des Masters hoch.

Entpacken

cd /home/hadoop
sudo tar -zxf hadoop-3.2.1.tar.gz -C /usr/local #Entpacken cd /usr/local/
sudo mv ./hadoop-3.2.1/ ./hadoop # Ändern Sie den Ordnernamen in hadoop
sudo chown -R hadoop ./hadoop # Dateiberechtigungen ändern

verifizieren

cd /usr/local/hadoop
./bin/hadoop version 

Konfigurieren Sie die Hadoop-Umgebung (dieser Schritt muss sehr sorgfältig durchgeführt werden)

Konfigurieren von Umgebungsvariablen

vim ~/.bashrc

Schreiben Sie in die erste Zeile

exportiere HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

Machen Sie die Konfiguration wirksam

Quelle ~/.bashrc

Erstellen Sie ein Dateiverzeichnis (zur Vorbereitung für das folgende XML)

cd /usr/local/hadoop
mkdir dfs
CD-DFS
mkdir Name Daten tmp
cd /usr/local/hadoop
mkdir tmp

Konfigurieren Sie Java-Umgebungsvariablen für Hadoop

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

Schreiben Sie die erste Zeile beider

export JAVA_HOME=/usr/lib/jvm/default-java

(Im Master) Knoten konfigurieren

cd /usr/local/hadoop/etc/hadoop

Löschen Sie den ursprünglichen lokalen Host. Da wir zwei Knoten haben, schreiben Sie die Namen dieser beiden Knoten in

Vim-Arbeiter

Knoten1
Knoten2

Konfigurieren Sie core-site.xml

vim core-site.xml

Da wir nur einen Namenode haben, verwenden wir fs.default.name statt fs.defaultFs

Zweitens stellen Sie sicher, dass das Verzeichnis /usr/local/hadoop/tmp existiert

<Konfiguration>
 <Eigenschaft>
 <name>fs.standardmäßiger.name</name>
 <Wert>hdfs://Master:9000</Wert>
 </Eigenschaft>
 
 <Eigenschaft>
 <name>hadoop.tmp.dir</name>
 <Wert>/usr/local/hadoop/tmp</Wert>
 </Eigenschaft>
</Konfiguration>

Konfigurieren Sie hdfs-site.xml

vim hdfs-site.xml

dfs.namenode.secondary.http-address Stellen Sie sicher, dass der Port nicht mit dem Port in core-site.xml identisch ist, da dies zu einer Belegung führen kann

Stellen Sie sicher, dass /usr/local/hadoop/dfs/name :/usr/local/hadoop/dfs/data vorhanden ist.

Da wir nur 2 Knoten haben, ist dfs.replication auf 2 eingestellt

<Konfiguration>
 <Eigenschaft>
 <name>dfs.namenode.secondary.http-Adresse</name>
 <Wert>Master:9001</Wert>
 </Eigenschaft>
 
 <Eigenschaft>
 <name>dfs.namenode.name.dir</name>
 <Wert>Datei:/usr/local/hadoop/dfs/name</Wert>
 </Eigenschaft>
 
 <Eigenschaft>
 <name>dfs.datanode.data.dir</name>
 <Wert>Datei:/usr/local/hadoop/dfs/data</Wert>
 </Eigenschaft>
 
 <Eigenschaft>
 <name>dfs.replikation</name>
 <Wert>2</Wert>
 </Eigenschaft>
</Konfiguration>

Konfigurieren Sie mapred-site.xml

vim mapred-site.xml

<Konfiguration>
 <Eigenschaft> 
 <name>mapreduce.framework.name</name>
 <value>Garn</value>
 </Eigenschaft>
</Konfiguration>

Konfigurieren Sie yarn-site.xml

vim yarn-site.xml

<Konfiguration>
 <Eigenschaft>
 <name>garn.resourcemanager.hostname</name>
 <Wert>Meister</Wert>
 </Eigenschaft>
 
 <Eigenschaft>
 <name>yarn.nodemanager.aux-services</name>
 <Wert>mapreduce_shuffle</Wert> 
 </Eigenschaft>
 
 <Eigenschaft>
 <name>yarn.nodemanager.vmem-check-enabled</name>
 <Wert>falsch</Wert>
 </Eigenschaft>
</Konfiguration>

Komprimieren Sie Hadoop

cd /usr/local
tar -zcf ~/hadoop.master.tar.gz ./hadoop #CD komprimieren ~

Nach Knoten1 kopieren

scp ./hadoop.master.tar.gz node1:/home/hadoop

Nach Knoten2 kopieren

scp ./hadoop.master.tar.gz node2:/home/hadoop

Dekomprimieren auf Knoten1 und Knoten2

sudo rm -r /usr/local/hadoop # Löschen Sie das Alte (falls es existiert)
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local #Entpacken sudo chown -R hadoop /usr/local/hadoop #Berechtigungen ändern

Beim ersten Start müssen Sie den NameNode auf dem Master-Knoten formatieren.

hdfs-Namensknoten -Format

(Hinweis: Wenn Sie den NameNode neu formatieren müssen, müssen Sie zuerst alle Dateien unter dem ursprünglichen NameNode und DataNode löschen! …

#Siehe Text oben, nicht direkt kopieren rm -rf $HADOOP_HOME/dfs/data/*
rm -rf $HADOOP_HOME/dfs/name/*

Start (wird auf dem Master ausgeführt)

start-all.sh
mr-jobhistory-daemon.sh startet Historyserver

Im Master wirkt sich Warnung nicht aus

jps

Screenshot-Anzeige ausführen

Hadoop-Cluster herunterfahren (wird auf dem Master ausgeführt)

stop-alles.sh
mr-jobhistory-daemon.sh stoppt Historyserver

Screenshot-Anzeige ausführen

Zusammenfassen

Das Einrichten der Umgebung ist ein relativ zeitaufwändiger Vorgang. Wenn Sie dies selbst tun, können viele Probleme auftreten, z. B. Unkenntnis der Linux-Befehle, verschiedene Fehler, inkonsistente Ausführungsergebnisse usw. Normalerweise finden Sie im Internet jedoch entsprechende Lösungen. Um neue Technologien zu erlernen, müssen Sie den Mut haben, Fehler zu machen und sie dann zu wiederholen. Dies wird Ihnen helfen, Ihren eigenen logischen Rahmen für die Problemlösung zu entwickeln und die Bildung Ihres Wissensrahmens zu verbessern. Komm schon!

Dies ist das Ende dieses grafischen Tutorials zum Erstellen einer Hadoop-Clusterumgebung mit VMware + Ubuntu 18.04. Weitere Informationen zum Erstellen eines Hadoop-Clusters mit VMware Ubuntu finden Sie in früheren Artikeln auf 123WORDPRESS.COM oder in den folgenden verwandten Artikeln. Ich hoffe, Sie werden 123WORDPRESS.COM auch in Zukunft unterstützen!