Detailliertes Tutorial zur Installation von CentOS, JDK und Hadoop auf VirtualBox

1. Voraussetzungen

1.1 Unterstützte Plattformen

GNU/Linux ist die Plattform, auf der das Produkt entwickelt wird und läuft. Hadoop wurde auf einem Clustersystem verifiziert, das aus 2000 GNU/Linux-Hosts besteht.
Also müssen wir zuerst das Linux-ISO-Installationspaket herunterladen und installieren. Informationen zur spezifischen Installation finden Sie in meinem vorherigen Blog:
Installation der virtuellen VirtualBox-Maschine und des CentOS-Systems [Details]

1.2 JDK- und Hadoop-Installationspakete

Sie können die von mir hochgeladenen Ressourcen auf der offiziellen Website herunterladen oder herunterladen. Die von mir verwendete spezifische Version ist in der folgenden Abbildung dargestellt:

Link: https://pan.baidu.com/s/1XTZfzl0t79Dtz0-jmQrQuQ Extraktionscode: pkwy

1.3 Installation der Tools Xshell 7 und Xftp 7

Die Hauptfunktion besteht darin, mit Xshell 7 verschiedene Vorgänge auf der virtuellen Maschine auszuführen und mit Xftp 7 die lokalen JDK- und Hadoop-Installationspakete auf die virtuelle Maschine zu übertragen

Beide Tools können von der offiziellen Website heruntergeladen werden. Wenn Sie sich für den persönlichen Gebrauch entscheiden, können Sie sie kostenlos herunterladen.

2. Spezifische Installationsschritte

2.1 Netzwerkkonfiguration

Es ist zu beachten, dass bei der Installation von CentOS und dem Einrichten der Netzwerkverbindungen im vorherigen Blog beide Gateways wie folgt geöffnet werden müssen:
Netzwerkeinrichtung vor dem Start

Klicken Sie dann auf Start. Wenn Sie mit den folgenden Schritten fortfahren, achten Sie darauf, beide Gateways einzuschalten und das zweite Netzwerk manuell zu konfigurieren.

Klicken Sie auf „Konfigurieren“, konfigurieren Sie IPv4 manuell, geben Sie die Adresse in das Feld ein und klicken Sie auf „Speichern“.

Klicken Sie nach der Installation von CentOS auf „Start“. Melden Sie sich im Terminal beim Root-Konto an und geben Sie den Befehl „ifconfig“ ein, um die Netzwerkkonfiguration zu überprüfen. Wenn sie nicht vorhanden ist, führen Sie den Befehl „yum install net-tools.x86_64“ aus. Wenn die Eingabeaufforderung „y/n“ angezeigt wird, wählen Sie „y“.

implementieren

vi /etc/sysconfig/network-scripts/ifcfg-enp0s8

Ändern Sie „onboot=no“ in „yes“
Klicken Sie auf die Einfügen-Taste (also die i-Taste auf der Tastatur), bewegen Sie sich nach oben und unten zu der Stelle, an der Sie die Änderung vornehmen möchten, drücken Sie Esc, um den Bearbeitungsmodus zu verlassen, und drücken Sie dann :wq, um zu speichern und zu beenden. Beachten Sie Folgendes:
Wie erwartet wurde das Netzwerk konfiguriert.
Starten Sie die virtuelle Maschine neu oder starten Sie den Netzwerkkartendienst neu

Neustart des Dienstnetzwerks

Geben Sie nach der Anmeldung den Befehl ifconfig erneut ein. Sie erhalten eine Rückmeldung. Notieren Sie die IP-Adresse in dem Feld, wie in der Abbildung gezeigt.

2.2 Xshell-Verbindung

Öffnen Sie Xshell, erstellen Sie eine neue Verbindung und schreiben Sie die IP-Adresse in das Feld unten, um lokal eine Verbindung mit der virtuellen Maschine herzustellen. Alle nachfolgenden Vorgänge auf der virtuellen Maschine können im Xshell-Terminal ausgeführt werden.

2.3 XFTP-Übertragung

Klicken Sie auf die Schaltfläche unten, um eine neue Dateiübertragung zu erstellen und Xftp automatisch für die Dateiübertragung aufzurufen

Erstellen Sie unter dem Stammordner auf der rechten Seite einen neuen Java-Unterordner, suchen Sie die lokale Datei, klicken Sie mit der rechten Maustaste auf „Übertragen“ und laden Sie dann die beiden komprimierten Pakete auf die virtuelle Maschine hoch.

2.4 JDK-Umgebungskonfiguration

Geben Sie den folgenden Befehl ein, um zu prüfen, ob JDK standardmäßig installiert ist. Wenn keine Rückmeldung vorliegt, bedeutet dies, dass es nicht installiert ist.

verwenden

> cd entsprechender Ordnerpfad

Wechseln Sie in den Unterordner „Java“.
Verwenden Sie den folgenden Befehl, um das komprimierte JDK-Paket zu dekomprimieren

Konfigurieren Sie Umgebungsvariablen über /etc/profile

[root@bogon ~]# vi /etc/profile

Wechseln Sie in den Bearbeitungsmodus (i), fügen Sie den folgenden Code hinzu, speichern Sie und beenden Sie den Vorgang (esc+:+wq)

#Fügen Sie abschließend den folgenden Inhalt hinzu. Achten Sie darauf, Ihren eigenen Pfad und die JDK-Version zu überprüfen. export JAVA_HOME=/root/java/jdk-16
exportiere JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

Damit die Datei /etc/profile sofort nach der Änderung wirksam wird, können Sie den folgenden Befehl verwenden:

[root@bogon ~]# Quelle /etc/Profil

Überprüfen Sie, ob die Installation erfolgreich war:

[root@bogon ~]# java -version 

2.5 SSH-Dienstkonfiguration

ssh muss installiert sein und sshd muss laufen, damit das Hadoop-Skript zur Verwaltung des Remote-Hadoop-Daemons verwendet werden kann. Überprüfen Sie, ob der ssh-Dienst installiert ist:

> [root@bogon ~]# rpm -qa|grep ssh

Wenn es installiert wurde, wird die entsprechende Version angezeigt

Falls es nicht installiert ist, installieren Sie es mit dem folgenden Befehl

[root@bogon ~]# yum installiere OpenSSH-Server

Aktivieren Sie den SSHD-Dienst

[root@bogon ~]# sudo service sshd start

Um zu vermeiden, dass Sie den SSHD-Dienst bei jedem Start von CentOS manuell starten müssen, können Sie den SSHD-Dienst zur Autostartliste hinzufügen und Folgendes eingeben:

[root@bogon ~]# systemctl aktiviere sshd.service

Sie können eingeben

[root@bogon ~]# systemctl list-unit-files | grep sshd

Überprüfen Sie, ob der SSHD-Dienst aktiviert ist.

2.6 Hadoop-Konfiguration

Um eine Hadoop-Distribution zu erhalten, laden Sie die neueste stabile Version von einem der Apache-Mirror-Server herunter.
Hier verwenden wir die stabile Version hadoop-1.0.3.tar.gz im Installationspaket
Dekomprimieren Sie die Datei hadoop-1.0.3.tar.gz im Java-Ordner genau wie bei der vorherigen Dekomprimierung von JDK. Der spezifische Vorgang besteht darin, das Terminal auf den Java-Pfad umzustellen und das komprimierte Paket mit dem folgenden Befehl zu dekomprimieren.

tar -zxvf hadoop-1.0.3.tar.gz

Die Dekomprimierungsergebnisse sind wie folgt

Versuchen Sie den folgenden Befehl:

[root@bogon java]# cd /root/java/hadoop-1.0.3
[root@bogon hadoop-1.0.3]# bin/hadoop

Die Nutzungsdokumentation des Hadoop-Skripts wird angezeigt

2.7 Hadoop-Standalone-Modus-Betriebsmethode

Standardmäßig ist Hadoop so konfiguriert, dass es als eigenständiger Java-Prozess im nicht verteilten Modus ausgeführt wird. Dies ist beim Debuggen sehr hilfreich.
Der folgende Befehl führt das Hadoop-Programm einmal aus und erhält die Ausgabe.

Das folgende Beispiel verwendet eine Kopie des entpackten conf-Verzeichnisses als Eingabe, sucht und zeigt Einträge an, die einem bestimmten regulären Ausdruck entsprechen, und schreibt die Ausgabe in das angegebene Ausgabeverzeichnis:

[root@bogon hadoop-1.0.3]# mkdir-Eingabe 
[root@bogon hadoop-1.0.3]# cp conf/*.xml Eingabe 
[root@bogon hadoop-1.0.3]# bin/hadoop jar hadoop-examples-1.0.3.jar grep Eingabe Ausgabe 'dfs[az.]+'
[root@bogon hadoop-1.0.3]# cat-Ausgabe/*

Das Folgende zeigt die Ergebnisse der Ausführung des Hadoop-Programms

Dies ist das Ende dieses Artikels mit dem ausführlichen Tutorial zur Installation von CentOS, JDK und Hadoop auf VirtualBox. Weitere Informationen zur Installation von JDK und Hadoop auf VirtualBox und CentOS finden Sie in früheren Artikeln auf 123WORDPRESS.COM oder in den folgenden verwandten Artikeln. Ich hoffe, Sie werden 123WORDPRESS.COM auch in Zukunft unterstützen!