Detaillierte Schritte zur Installation eines Hadoop-Clusters unter Linux

Detaillierte Schritte zur Installation eines Hadoop-Clusters unter Linux

1. Erstellen Sie ein Hadoop-Verzeichnis im usr-Verzeichnis, importieren Sie das Installationspaket in das Verzeichnis und dekomprimieren Sie die Datei

2. Rufen Sie die Datei vim /etc/profile auf und bearbeiten Sie die Konfigurationsdatei

#hadoop
exportiere HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
exportiere CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

3. Machen Sie die Datei wirksam

Quelle /etc/Profil

4. Geben Sie das Hadoop-Verzeichnis ein

cd /usr/hadoop/hadoop-2.6.0/etc/hadoop

5. Bearbeiten Sie die Konfigurationsdatei

(1) Geben Sie die Datei vim hadoop-env.sh ein und fügen Sie (den Speicherort der Java-JDK-Datei) hinzu.

export JAVA_HOME=/usr/java/jdk1.8.0_181

(2) Geben Sie vim core-site.xml ein (z1: die IP oder der Mapping-Name des Masterknotens (ändern Sie ihn in Ihren eigenen)).

<Konfiguration>
<Eigenschaft>
        <name>hadoop.tmp.dir</name>
        <Wert>Datei:/root/hadoop/tmp</Wert>
</Eigenschaft>
<!--Portnummer 9000-->
<Eigenschaft>
        <name>fs.standardmäßiger.name</name>
        <Wert>hdfs://z1:9000</Wert>
</Eigenschaft>
<!--Mülleimer-Mechanismus in wenigen Minuten einschalten-->
<Eigenschaft>
    <name>fs.trash.intervall</name>
    <Wert>10080</Wert>
</Eigenschaft>
<!--Puffergröße, tatsächliche Arbeit hängt von der Serverleistung ab-->
<Eigenschaft>
    <name>io.Datei.Puffer.Größei</name>
    <Wert>4096</Wert>
</Eigenschaft>
</Konfiguration>
                                                                                                                                                                  39,9 unten

(3) Hadoop hat keine Datei mapred-site.xml. Kopieren Sie die Datei hier und geben Sie dann mapred-site.xml ein

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

(z1: die IP oder der Mapping-Name des Masterknotens (ändern Sie ihn in Ihren eigenen))

<Konfiguration>
<Eigenschaft>
<!--Geben Sie Mapreduce für die Ausführung auf Yarn an-->
   <name>mapreduce.framework.name</name>
   <value>Garn</value>
 </Eigenschaft>
<!--Starten Sie den kleinen Taskmodus von MapReduce-->
<Eigenschaft>
      <name>mapred.job.ubertask.aktivieren</name>
      <Wert>wahr</Wert>
</Eigenschaft>
<Eigenschaft>
      <name>mapred.job.tracker</name>
      <Wert>z1:9001</Wert>
</Eigenschaft>
 
<Eigenschaft>
<name>mapreduce.jobhistory.adresse</name>
<Wert>CMaster:10020</Wert>
</Eigenschaft>
</Konfiguration>

(4) Geben Sie yarn-site.xml ein

vim yarn-site.xml

(z1: die IP oder der Mapping-Name des Masterknotens (ändern Sie ihn in Ihren eigenen))

<Konfiguration>
 
<!-- Sitespezifische YARN-Konfigurationseigenschaften -->
 
<!--Speicherort des Yarn-Masterknotens konfigurieren-->
<Eigenschaft>
        <name>garn.resourcemanager.hostname</name>
        <Wert>z1</Wert>
</Eigenschaft>
<Eigenschaft>
<!-- mapreduce, die Methode zum Abrufen von Daten bei der Ausführung von shuff1e.-->
<description>Die Adresse der Anwendungsmanagerschnittstelle im RM.</description>
     <name>Garn.Resourcemanager.Adresse</name>
     <Wert>z1:8032</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>garn.resourcemanager.scheduler.adresse</name>
  <Wert>z1:8030</Wert>
</Eigenschaft>
 
<Eigenschaft>
  <name>yarn.resourcemanager.webapp.adresse</name>
  <Wert>z1:8088</Wert>
</Eigenschaft>
 
<Eigenschaft>
  <name>yarn.resourcemanager.webapp.https.Adresse</name>
  <Wert>z1:8090</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>Garn.Resourcemanager.Resource-Tracker.Adresse</name>
  <Wert>z1:8031</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>yarn.resourcemanager.admin.adresse</name>
  <Wert>z1:8033</Wert>
</Eigenschaft>
<Eigenschaft><!--Die Art und Weise, wie Daten abgerufen werden, wenn MapReduce shuff1e ausführt, -->
  <name>yarn.nodemanager.aux-services</name>
  <Wert>mapreduce_shuffle</Wert>
</Eigenschaft>
<Eigenschaft>
<!--Speicher festlegen, Speicherzuordnung von Garn-->
  <name>yarn.scheduler.maximum-a11ocation-mb</name>
  <Wert>2024</Wert>
  <discription>Verfügbarer Speicher pro Knoten, Einheit: M, Standard: 8182 MB</discription>
</Eigenschaft>
<Eigenschaft>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <Wert>2,1</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>Garn.NodeManager.Ressource.Speicher-MB</name>
  <Wert>1024</Wert>
</Eigenschaft>
<Eigenschaft>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <Wert>falsch</Wert>
</Eigenschaft>
 
<Eigenschaft>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<Wert>org.apache.hadoop.mapred.ShuffleHandler</Wert>
</Eigenschaft>
 
 
</Konfiguration>

(5) Geben Sie hdfs-site.xml ein

vim hdfs-site.xml 

<Konfiguration>
<Eigenschaft>
        <name>dfs.namenode.name.dir</name>
        <Wert>Datei:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</Wert>
</Eigenschaft>
 <Eigenschaft>
        <name>dfs.datanode.data.dir</name>
        <Wert>Datei:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</Wert>
    </Eigenschaft>
<Eigenschaft>
<!--Anzahl der Kopien-->
<name>dfs.replikation</name>
<Wert>3</Wert>
</Eigenschaft>
<!--Berechtigungen für HDFS-Dateien festlegen-->
<Eigenschaft>
<name>dfs.Berechtigungen</name>
<Wert>falsch</Wert>
</Eigenschaft>
<!--Größe eines Dateisegments festlegen: 128 m-->
<Eigenschaft>
<name>dfs.bloksize</name>
<Wert>134217728</Wert>
</Eigenschaft>
</Konfiguration>

6. Geben Sie Slaves ein, um Masterknoten und Slaveknoten hinzuzufügen

Vim-Sklaven

Fügen Sie Ihren eigenen Master-Knoten und Slave-Knoten hinzu (meine sind z1, z2, z3)

7. Kopieren Sie jede Datei auf eine andere virtuelle Maschine

scp -r /etc/profile root@z2:/etc/profile #Verteilen Sie die Profildatei mit der Umgebungsvariable an den Knoten z2 scp -r /etc/profile root@z3:/etc/profile #Verteilen Sie die Profildatei mit der Umgebungsvariable an den Knoten z3 scp -r /usr/hadoop root@z2:/usr/ #Verteilen Sie die Hadoop-Datei an den Knoten z2 scp -r /usr/hadoop root@z3:/usr/ #Verteilen Sie die Hadoop-Datei an den Knoten z3

Die Umgebungsvariablen der beiden Slave-Knoten werden wirksam

Quelle /etc/Profil

8. Hadoop formatieren (nur im Masterknoten ausführen)

Überprüfen Sie zunächst, ob JPS Hadoop gestartet hat

Hadoop-Namensknoten -Format

Wenn „Beenden mit Status 0“ angezeigt wird, bedeutet dies, dass die Formatierung erfolgreich war.

9. Kehren Sie zum Hadoop-Verzeichnis zurück (nur auf dem Masterknoten ausführen)

cd /usr/hadoop/hadoop-2.6.0
sbin/start-all.sh startet Hadoop und arbeitet nur auf dem Masterknoten

Die Eingabe von JPS auf dem Masterknoten hat folgende Auswirkungen:

Die Auswirkung der JPS-Eingabe vom Knoten:

Dies ist das Ende dieses Artikels über die detaillierten Schritte zur Installation eines Hadoop-Clusters unter Linux. Weitere relevante Inhalte zur Installation eines Hadoop-Clusters unter Linux finden Sie in früheren Artikeln auf 123WORDPRESS.COM oder in den verwandten Artikeln weiter unten. Ich hoffe, dass jeder 123WORDPRESS.COM in Zukunft unterstützen wird!

Das könnte Sie auch interessieren:
  • Installations- und Einrichtungsprozess von Hadoop 2.7.3 unter Linux
  • Detaillierte grafische Erläuterung der Hadoop-Installation und -Konfiguration basierend auf Linux7
  • So installieren Sie die Standalone-Version von Spark in einer Linux-Umgebung ohne Verwendung von Hadoop
  • Schritte zum Erstellen des Hadoop-Dienstes in Centos7 unter Linux
  • Detaillierte Schritte zum Installieren und Konfigurieren eines Hadoop-Clusters unter Linux
  • Gemeinsame Erläuterung der Schritte zum Erstellen einer Hadoop-Umgebung unter Linux
  • Detaillierte Erläuterung der Installation eines echten verteilten Hadoop-Clusters auf einem Linux-System

<<:  JavaScript zur Implementierung eines Sprachwarteschlangensystems

>>:  Füllen Sie die Suchfunktion auf der HTML-Seite aus

Artikel empfehlen

So laden Sie Excel-Stream-Dateien herunter und legen den Download-Dateinamen in Vue fest

Inhaltsverzeichnis Überblick 1. Download über URL...

Vue implementiert eine einfache Notizblockfunktion

In diesem Artikelbeispiel wird der spezifische Co...

Eine kurze Diskussion zum Thema Ziehen und Sortieren von Elementen in Tabellen

In letzter Zeit stoße ich bei der Verwendung von ...

Analyse der vernachlässigten DOCTYPE-Beschreibung

Doctype ist einer davon: <!DOCTYPE HTML PUBLIC ...

Implementierungscode zum Betreiben einer MySQL-Datenbank in Golang

Vorwort Golang stellt das Datenbank-/SQL-Paket fü...

Freigabe der Schritte zum SVN-Dienstsicherungsvorgang

Schritte zur Sicherung des SVN-Dienstes 1. Quells...

So installieren Sie den Zookeeper-Dienst auf einem Linux-System

1. Erstellen Sie den Ordner /usr/local/services/z...

Drei Beispiele für Node.js-Methoden zum Abrufen von Formulardaten

Vorwort Nodejs ist eine serverseitige Sprache. Wä...

Detaillierte Erläuterung der Platzhalter für die Webentwicklung in JS-Zeichenfolgenverkettung und der Conlose-Objekt-API

Inhaltsverzeichnis Platzhalter-Ersetzung Konsolen...

Umfassende Analyse von Prototypen, Prototypobjekten und Prototypketten in js

Inhaltsverzeichnis Prototypen verstehen Prototypo...

Klasse in Front-End-JavaScript

Inhaltsverzeichnis 1. Klasse 1.1 Konstruktor() 1....

Nginx-Konfiguration basierend auf mehreren Domänennamen, Ports und virtuellen IP-Hosts

1. Typeinführung 1.1 Domänenbasiertes virtuelles ...

Beispiele für optimistisches und pessimistisches Sperren in MySQL

Die Aufgabe der Parallelitätskontrolle in einem D...

Installationsschritte für das grafische MySQL-Verwaltungstool Navicat

Inhaltsverzeichnis Vorwort 1. Stellen Sie das Ins...

Untersuchung und Korrektur des seltsamen Verhaltens von parseInt() in js

Hintergrund: Ich frage mich, ob Ihnen aufgefallen...