1. Big Data und Hadoop Um Big Data zu studieren und mehr darüber zu erfahren, müssen wir natürlich mit Hadoop beginnen. Hadoop ist keine einfache Software, sondern ein Ökosystem, das aus einer Reihe von Software besteht. Seine Kernideen stammen aus drei ursprünglich von Google veröffentlichten Dokumenten, die später als Open Source implementiert wurden. Die Entsprechung zwischen der Implementierung von Google und der Implementierung von Hadoop kann ungefähr wie folgt aussehen: Google Map/Reduce <---> Hadoop MapReduce Google GFS <---> Hadoop HDFS Google BigTable <---> Hadoop HBase Alle Komponenten des Hadoop-Ökosystems laufen in einer Linux-Umgebung, daher müssen wir natürlich zuerst eine Linux-Umgebung erstellen. Darüber hinaus kann Hadoop aufgrund seiner verteilten Natur „große“ Datenmengen verarbeiten. Es kann verteiltes Rechnen zum Aufbau von Serverclustern nutzen und ist bei Bedarf erweiterbar. Zu Lernzwecken verwenden wir zunächst eine virtuelle Maschine, um eine Linux-Umgebung auf einem lokalen Computer aufzubauen. Um eine Clusterumgebung zu modellieren, können wir mehrere weitere virtuelle Maschinen erstellen. Um mit diesem Tool spielen zu können, müssen Sie mehrere virtuelle Maschinen erstellen. Der Arbeitsspeicher Ihres Computers sollte mindestens 8 GB betragen. Denn zum Ausführen von Hadoop sind im Allgemeinen 2 GB für eine virtuelle Maschine erforderlich. Das Öffnen von 3 virtuellen Maschinen nimmt viel Arbeitsspeicher in Anspruch. Allerdings habe ich in der Anfangsphase aus Lerngründen jeder virtuellen Maschine nur 1 GB Speicher zugewiesen und konnte dies später anpassen, wenn es nicht ausreichte. 2. Warum VirtualBox wählen? Wenn es um virtuelle Maschinen geht, denkt man zuerst an die berühmte VMware. VMware ist eine alte Software für virtuelle Maschinen und es gibt zahlreiche Online-Tutorials. Der Grund, warum ich mich für VirtualBox entschieden habe, war hauptsächlich das Lizenzproblem. Ich habe nur ein MacBook Pro und möchte nicht zu viel Zeit mit Softwarelizenzen verbringen, deshalb habe ich mich für die kostenlose VirtualBox entschieden. Der Installationsvorgang von VirtualBox ist unauffällig, es handelt sich nur um Routinevorgänge, daher werde ich nicht ins Detail gehen. 3. Installieren Sie CentOS in der virtuellen Maschine Wie bereits erwähnt, ist mein Hauptcomputer ein MacBook Pro. Der Einfachheit halber habe ich Parallel Desktop verwendet, um einen Windows-Computer zu virtualisieren, aber ich werde es hier nicht erwähnen. Ich habe CentOS als Linux-System gewählt. Laden Sie zunächst die ISO-Datei des Systems von der offiziellen CentOS-Website herunter. Erstellen Sie eine neue virtuelle Maschine in VirtualBox, wählen Sie Linux als Typ und wählen Sie eine beliebige Version. Ich sehe CentOS nicht darin, aber Sie können jede beliebige Version auswählen. Beachten Sie, dass Sie am besten einen Ordner auswählen, in dem die Dateien der virtuellen Maschine gespeichert sind, da die Dateien der virtuellen Maschine mit der Installation weiterer Dinge immer größer werden können. Die Festplatte meines Computers ist fast voll, also habe ich eine externe Festplatte angeschlossen und die Dateien der virtuellen Maschine darauf gespeichert. Ich kann sie anschließen, wenn ich sie brauche. Obwohl es nicht praktisch ist, muss ich damit vorliebnehmen. Andere Parameter können auf den Standardwerten belassen werden. Nachdem die virtuelle Maschine erfolgreich erstellt wurde, klicken Sie auf „Einstellungen“, wechseln Sie zu „Speicher“ und wählen Sie die heruntergeladene CentOS-System-ISO-Datei im optischen Laufwerk aus. Nachdem die virtuelle Maschine gestartet wurde, können Sie mit der CentOS-Installation beginnen. Über die Installation des CentOS7-Betriebssystems muss nicht gesprochen werden. Es hat eine grafische Oberfläche und ist nicht schwierig. 4. Bei der Konfiguration der Netzwerkumgebung sind Probleme aufgetreten Ich muss über die Netzwerkeinstellungen sprechen, nachdem Linux erfolgreich installiert wurde. Dabei bin ich auf viele Probleme gestoßen. Ich hoffe, meine Netzwerkumgebung ist so. Zunächst hoffen wir, dass die virtuelle Linux-Maschine eine Verbindung zum Internet herstellen kann, sodass das Herunterladen aller Komponenten in Zukunft bequem ist. Zweitens hoffe ich, vom Hostcomputer, also dem MacBook, auf die virtuelle Linux-Maschine zugreifen zu können, sodass ich mich per SSH anmelden kann. Das standardmäßige kleine Fenster von VirtualBox ist wirklich klein und schwindelerregend. Obwohl es vergrößert werden kann, ist es bequemer, es unter dem Host zu betreiben, sodass Sie sich immer noch per SSH vom MacBook aus anmelden müssen. Beachten Sie jedoch, dass CentOS direkt nach der Installation keine Verbindung zum Internet herstellen kann und entsprechende Einstellungen erforderlich sind. 4.1 Die virtuelle Linux-Maschine stellt eine Verbindung zum Internet her Standardmäßig können die Netzwerkeinstellungen der virtuellen Maschine „Network Address Translation NAT“ auswählen und die virtuelle Maschine erstellt ein NAT-Netzwerk. Das Netzwerk ist nach der Installation der virtuellen Maschine standardmäßig nicht eingeschaltet, sodass keine Verbindung zum Internet hergestellt werden kann. Sie müssen die virtuelle Maschine starten und nach der Anmeldung die Netzwerkkonfiguration ändern. vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 Ändern Sie ONBOOT auf „Ja“, damit das Netzwerk nach dem Start von Linux gestartet werden kann. Nachdem Sie Änderungen vorgenommen haben, drücken Sie ESC und dann :wq, um zu beenden und zu speichern. Sie müssen den Netzwerkdienst nicht neu starten, damit die Änderungen wirksam werden. Sie können dies jetzt mit dem Befehl „ip addr“ überprüfen. Sie werden sehen, dass das Netzwerk bereits über eine IP-Adresse verfügt. Meine lautet beispielsweise 10.0.2.15. Wie in der Abbildung gezeigt: Wenn Sie jetzt 4.2 Zugriff auf die virtuelle Linux-Maschine vom Host-MacBook aus Darüber hinaus kann die Adresse vom Host-MacBook nicht angepingt werden, was bedeutet, dass der Host nicht auf die virtuelle Maschine zugreifen kann. Damit das Host-MacBook und die virtuelle Linux-Maschine miteinander kommunizieren können, müssen sich die beiden Maschinen im selben Netzwerksegment befinden. Öffnen Sie im Menü „Verwaltung“ in VirtualBox den „Host Network Manager“ und erstellen Sie einen. Wie in der Abbildung gezeigt, wird eine virtuelle Netzwerkkarte 192.168.56.1 erstellt. Wenn Sie zu diesem Zeitpunkt den Befehl ifconfig im MacBook-Terminal verwenden, werden Sie feststellen, dass eine zusätzliche vboxnet0-Netzwerkkarte mit der IP-Adresse 192.168.56.1 vorhanden ist.
Anschließend müssen Sie in den entsprechenden Einstellungen der virtuellen Maschine in VirtualBox eine Netzwerkkarte hinzufügen. 2. Wählen Sie „Host-Only-Netzwerk“. Der Schnittstellenname lautet wie zuvor vboxnet0. Melden Sie sich dann bei der virtuellen Maschine an und überprüfen Sie mit dem Befehl „ip addr“. Sie finden eine zusätzliche Netzwerkkarte enp0s8. Kopieren Sie die Datei aus enp0s3 und bearbeiten Sie diese Datei. Ändern Sie sie diesmal in die feste IP-Adresse. cp /etc/sysconfig/network-scripts/ifcfg-enp0s3 /etc/sysconfig/network-scripts/ifconfig-enp0s8 Anschließend startet man das Netzwerk neu mit "systemctl restart network". Nun kann man vom Host-Macbook aus auf die virtuelle Maschine zugreifen. 4.3 Linux-Firewall ausschalten Aus den obigen Einstellungen können wir ersehen, dass die IP-Adresse des Host-MacBook 192.168.56.1 lautet und die statische Adresse der virtuellen Linux-Maschine auf 192.168.56.100 eingestellt ist. Jetzt befinden wir uns im selben Netzwerksegment und sollten uns gegenseitig anpingen können. Wenn Sie keinen Ping senden können, liegt wahrscheinlich ein Problem mit der Firewall vor. Schalten Sie zunächst die Firewall auf Ihrem MacBook aus. Stellen Sie dann sicher, dass auch die Firewall der virtuellen Linux-Maschine ausgeschaltet ist. Die Firewall ist standardmäßig eingeschaltet. Überprüfen Sie den SSH-Dienst, er sollte standardmäßig geöffnet sein Sie sollten jetzt in der Lage sein, vom Mac-Terminal aus per SSH auf Linux zuzugreifen. Zusammenfassen Oben ist die Methode, die ich Ihnen vorgestellt habe, um mit VirtualBox eine lokale virtuelle Maschinenumgebung auf dem Mac zu erstellen. Ich hoffe, sie wird Ihnen hilfreich sein. Wenn Sie Fragen haben, hinterlassen Sie mir bitte eine Nachricht und ich werde Ihnen rechtzeitig antworten. Ich möchte auch allen für ihre Unterstützung der Website 123WORDPRESS.COM danken! Wenn Sie diesen Artikel hilfreich finden, können Sie ihn gerne abdrucken und dabei bitte die Quelle angeben. Vielen Dank! Das könnte Sie auch interessieren:
|
<<: Tutorial-Diagramm zur Installation des MySQL-Dienstes über MySQL Installer unter Windows
>>: JavaScript implementiert die asynchrone Übermittlung von Formulardaten
1. Funktion : Ermöglicht der übergeordneten Kompo...
Vorwort Vor Kurzem habe ich begonnen, Robot Frame...
Es gibt drei Möglichkeiten, Farben in HTML darzust...
In CSS ist Text eines der häufigsten Dinge, mit d...
1. Hintergrund Schaltflächen werden sehr häufig v...
Finden Sie das Problem Als ich mich kürzlich über...
Vorwort In der letzten Ausgabe haben wir Ihnen Li...
Vorwort Ich bin es gewohnt, Less/Sass zu schreibe...
Wirkung demo.html <html> <Kopf> <m...
1. Neuer und alter Domain-Namenssprung Anwendungs...
1. Python 3 herunterladen wget https://www.python...
Wie wir alle wissen, sind Binlog-Protokolle für M...
Wir wissen, dass die Eigenschaften des Auswahltags...
Name Charakter Name Charakter Information Nachric...
In diesem Artikelbeispiel wird der spezifische Co...