VMware-Konfiguration von Hadoop zur Realisierung eines pseudoverteilten Grafik-Tutorials

2. Bereiten Sie die Linux-Netzwerkumgebung vor

1.0 Klicken Sie auf die VMware-Verknüpfung, klicken Sie mit der rechten Maustaste, um den Dateispeicherort zu öffnen -> doppelklicken Sie auf vmnetcfg.exe -> VMnet1-Host-Only -> ändern Sie die Subnetz-IP, um das Netzwerksegment festzulegen: 192.168.150.0 Subnetzmaske: 255.255.255.0 -> Übernehmen -> OK

Gehen Sie zurück zu Windows --> Öffnen Sie das Netzwerk- und Freigabecenter -> Ändern Sie die Adaptereinstellungen -> Klicken Sie mit der rechten Maustaste auf VMnet1 -> Eigenschaften -> Doppelklicken Sie auf IPv4 -> Legen Sie die Windows-IP fest: 192.168.150.110 Subnetzmaske: 255.255.255.0 -> Klicken Sie auf OK

In der Virtualisierungssoftware - Arbeitsplatz -> virtuelle Maschine auswählen -> Rechtsklick -> Einstellungen -> Netzwerkadapter -> Nur Host -> OK

3. Hostnamen konfigurieren

Hostnamen ändern (dauerhaft ändern)
Ändern Sie die Hosts-Datei

4. Ändern Sie die IP in CentOS

Ändern über die grafische Benutzeroberfläche von Linux (dringend empfohlen)

Rufen Sie die grafische Benutzeroberfläche von Linux auf -> klicken Sie mit der rechten Maustaste auf die beiden kleinen Computer in der oberen rechten Ecke -> klicken Sie auf Verbindungen bearbeiten -> wählen Sie das aktuelle Netzwerksystem eth0 -> klicken Sie auf die Schaltfläche Bearbeiten -> wählen Sie IPv4 -> wählen Sie Manuell als Methode -> klicken Sie auf die Schaltfläche Hinzufügen -> fügen Sie IP hinzu: 192.168.150.110 Subnetzmaske: 255.255.255.0 Gateway: 192.168.150.1 -> Übernehmen

5. Firewall dauerhaft ausschalten

Überprüfen Sie den Firewall-Status

Stoppen Sie die Firewall

Firewall dauerhaft ausschalten

6. JDK entpacken

Ändern Sie die Umgebungsvariablen und geben Sie sie als Quelle an

7. Hadoop entpacken

8. Konfigurationsdateien ändern (5)

Zuerst: hadoop-env.sh, unter /cloud/hadoop-2.8.5/etc/hadoop

Ändern Sie etwa Zeile 27. Um die Zeilennummer anzuzeigen, können Sie die Datei vi aufrufen, Esc drücken, einen Doppelpunkt eingeben, „set nu“ eingeben und die Eingabetaste drücken. Daraufhin wird die Zeilennummer angezeigt.

export JAVA_HOME=/usr/java/jdk1.8.0_181 

Zweitens: core-site.xml

<Konfiguration>
		<!-- Geben Sie die Kommunikationsadresse des HDFS-Boss (Namensknoten) an -->
		<Eigenschaft>
				<name>fs.defaultFS</name>
				<Wert>hdfs://itcast01:9000</Wert>
		</Eigenschaft>
		<!-- Geben Sie den Speicherpfad für die von Hadoop zur Laufzeit generierten Dateien an-->
		<Eigenschaft>
				<name>hadoop.tmp.dir</name>
				<Wert>/cloud/hadoop-2.8.5/tmp</Wert>
		</Eigenschaft>
	</Konfiguration> 

Drittens: mapred-site.xml.template muss umbenannt werden: mv mapred-site.xml.template mapred-site.xml

	<Konfiguration>
<!-- Benachrichtigen Sie das Framework MR, um YARN zu verwenden -->
<Eigenschaft>
		<name>mapreduce.framework.name</name>
		<value>Garn</value>
</Eigenschaft>
		</Konfiguration> 

Wenn Sie hier fertig sind, geben Sie den Namen der XML-Datei ein und ändern Sie ihn

mv mapred-site.xml.template mapred-site.xml

Viertens: hdfs-site.xml

	<Konfiguration>
<!-- Anzahl der HDFS-Replikate festlegen -->
<Eigenschaft>
		<name>dfs.replikation</name>
		<Wert>1</Wert>
</Eigenschaft>
		</Konfiguration> 

Fünftens: yarn-site.xml

	<Konfiguration>
<!-- Reducer erhält Daten über mapreduce_shuffle -->
<Eigenschaft>
	<name>yarn.nodemanager.aux-services</name>
	<Wert>mapreduce_shuffle</Wert>
</Eigenschaft>
		</Konfiguration> 

9. Fügen Sie Hadoop zu Umgebungsvariablen hinzu

vim /etc/profil

	export JAVA_HOME=/usr/java/jdk1.8.0_181
exportiere HADOOP_HOME=/cloud/hadoop-2.8.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
	
		Quelle /etc/Profil 

10. Formatieren Sie HDFS (Namensknoten), wenn Sie es zum ersten Mal verwenden (vergessen Sie, einen Screenshot zu machen).

Hadoop-Namensknoten -Format

11. Starten Sie Hadoop

Start start-all
Geben Sie ./start-all.sh in /cloud/hadoop/sbin/ ein.

Geben Sie dann weiterhin das Passwort ein und ja

12. Geben Sie jps ein, um zu überprüfen, ob die Konfiguration erfolgreich ist

In der roten Box befinden sich 6 Dinge, und keines davon darf fehlen, sonst ist etwas nicht richtig konfiguriert. Nach den Erfahrungen meiner Klassenkameraden ist entweder das Netzwerk nicht richtig konfiguriert oder die 5 oben genannten Konfigurationsdateien sind nicht richtig geschrieben. Wenn Sie sie nicht finden können, besteht die einfachste, gröbste, mühsamste, aber effektivste Methode darin, die Maschine von Anfang an zu installieren. Das ist mir auf Anhieb gelungen.

Geben Sie den Browser in Centos ein

Geben Sie die CentOS-IP-Portnummer 50070 im Browser ein, um das folgende Bild anzuzeigen

Geben Sie die Centos IP-Portnummer 8088 im Browser ein und das folgende Bild wird angezeigt, Erfolg

Das Obige ist der vollständige Inhalt dieses Artikels. Ich hoffe, er wird für jedermanns Studium hilfreich sein. Ich hoffe auch, dass jeder 123WORDPRESS.COM unterstützen wird.