So installieren Sie die Standalone-Version von Spark in einer Linux-Umgebung ohne Verwendung von Hadoop

So installieren Sie die Standalone-Version von Spark in einer Linux-Umgebung ohne Verwendung von Hadoop

Das Thema Big Data wird immer wichtiger und wer mit mehreren Big Data-Komponenten nicht vertraut ist, hat nicht einmal ein Schlagwort, mit dem er angeben kann. Zumindest sollten Sie Hadoop, HDFS, MapReduce, Yarn, Kafka, Spark, Zookeeper und Neo4j beherrschen. Das sind wichtige Fähigkeiten, um sich zu präsentieren.

Im Internet gibt es viele ausführliche Einführungen zu Spark. Suchen Sie einfach danach. Lassen Sie uns als Nächstes über die Installation und kurze Verwendung der Standalone-Version von Spark sprechen.

0. JDK installieren. Da ich JDK bereits auf meinem Rechner habe, kann ich diesen Schritt überspringen. JDK ist bereits ein Klischee, es ist aber selbstverständlich, dass es bei der Verwendung von Java/Scala unverzichtbar ist.

ubuntu@VM-0-15-ubuntu:~$ java -version
OpenJDK-Version „1.8.0_151“
OpenJDK-Laufzeitumgebung (Build 1.8.0_151-8u151-b12-0ubuntu0.16.04.2-b12)
OpenJDK 64-Bit-Server-VM (Build 25.151-b12, gemischter Modus)
ubuntu@VM-0-15-ubuntu:~$

1. Sie müssen Hadoop nicht unbedingt installieren, Sie müssen nur eine bestimmte Spark-Version auswählen. Sie müssen Scala nicht herunterladen, da Spark standardmäßig mit einer Scala-Shell geliefert wird. Gehen Sie zum Herunterladen auf die offizielle Spark-Website. In einer Umgebung ohne Hadoop können Sie Folgendes auswählen: spark-2.2.1-bin-hadoop2.7 und es dann wie folgt entpacken:

ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc$ ll
insgesamt 196436
drwxrwxr-x 3 Ubuntu Ubuntu 4096 2. Februar 19:57 ./
drwxrwxr-x 9 Ubuntu Ubuntu 4096 2. Februar 19:54 ../
drwxrwxr-x 13 Ubuntu Ubuntu 4096 2. Februar 19:58 Spark-2.2.1-bin-hadoop2.7/
-rw-r--r-- 1 Ubuntu Ubuntu 200934340 2. Februar 19:53 Spark-2.2.1-bin-hadoop2.7.tgz

2. Spark hat Python- und Scala-Versionen. Als Nächstes werde ich die Scala-Version der Shell wie folgt verwenden:

ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ bin/spark-shell 
Verwenden des Standard-Log4j-Profils von Spark: org/apache/spark/log4j-defaults.properties
Festlegen der Standardprotokollebene auf „WARN“.
Um die Protokollierungsebene anzupassen, verwenden Sie sc.setLogLevel(newLevel). Verwenden Sie für SparkR setLogLevel(newLevel).
18/02/02 20:12:16 WARNUNG NativeCodeLoader: Native-Hadoop-Bibliothek für Ihre Plattform kann nicht geladen werden... ggf. werden integrierte Java-Klassen verwendet
18/02/02 20:12:16 WARN Utils: Ihr Hostname, localhost, wird in eine Loopback-Adresse aufgelöst: 127.0.0.1; stattdessen wird 172.17.0.15 verwendet (auf Schnittstelle eth0)
18/02/02 20:12:16 WARN Utils: Setzen Sie SPARK_LOCAL_IP, wenn Sie an eine andere Adresse binden müssen
Spark-Kontext-Web-Benutzeroberfläche verfügbar unter http://172.17.0.15:4040
Spark-Kontext verfügbar als „sc“ (Master = local[*], App-ID = local-1517573538209).
Spark-Sitzung als „Spark“ verfügbar.
Willkommen bei
   ____ __
   / __/__ ___ _____/ /__
  _\ \/ _ \/ _ `/ __/ '_/
  /___/ .__/\_,_/_/ /_/\_\ Version 2.2.1
   /_/
Verwende Scala Version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_151)
Geben Sie Ausdrücke ein, um sie auswerten zu lassen.
Geben Sie :help ein, um weitere Informationen zu erhalten.
scala>

So führen Sie einfache Vorgänge aus:

scala> val Zeilen = sc.textFile("README.md")
Zeilen: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] bei textFile bei <console>:24
scala> Zeilen.Anzahl()
res0: Lang = 103
scala> Zeilen.zuerst()
res1: Zeichenfolge = # Apache Spark
scala>: beenden
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ 
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ 
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$  
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ wc -l README.md 
103 README.md
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ head -n 1 README.md 
# Apache Spark
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$

Werfen wir einen Blick auf die visuelle Webseite. Unter Windows geben Sie Folgendes ein: http://ip:4040

OK, dieser Artikel ist nur eine einfache Installation, wir werden Spark später noch ausführlicher vorstellen.

Zusammenfassen

Das Obige ist der vollständige Inhalt dieses Artikels. Ich hoffe, dass der Inhalt dieses Artikels einen gewissen Lernwert für Ihr Studium oder Ihre Arbeit hat. Vielen Dank für Ihre Unterstützung von 123WORDPRESS.COM. Wenn Sie mehr darüber erfahren möchten, schauen Sie sich bitte die folgenden Links an

Das könnte Sie auch interessieren:
  • Detaillierte Schritte zur Installation eines Hadoop-Clusters unter Linux
  • Installations- und Einrichtungsprozess von Hadoop 2.7.3 unter Linux
  • Detaillierte grafische Erläuterung der Hadoop-Installation und -Konfiguration basierend auf Linux7
  • Schritte zum Erstellen des Hadoop-Dienstes in Centos7 unter Linux
  • Detaillierte Schritte zum Installieren und Konfigurieren eines Hadoop-Clusters unter Linux
  • Gemeinsame Erläuterung der Schritte zum Erstellen einer Hadoop-Umgebung unter Linux
  • Detaillierte Erläuterung der Installation eines echten verteilten Hadoop-Clusters auf einem Linux-System

<<:  Fallstricke bei der Installation der dekomprimierten Version von MySQL 5.7.20 (empfohlen)

>>:  Beispielcode zur Implementierung der Schnittstellensignatur mit Vue+Springboot

Artikel empfehlen

JavaScript zur Implementierung der mobilen Signaturfunktion

In diesem Artikel wird der spezifische JavaScript...

Tipps zum Gestalten der Fotovorschau-Navigation auf Webseiten

<br />Navigation bezieht sich nicht nur auf ...

Lösungen für MySQL OOM (Speicherüberlauf)

OOM steht für „Out Of Memory“, was so viel bedeut...

Detaillierte Erklärung der React-Ereignisbindung

1. Was ist In react Anwendungen werden Ereignisna...

Fallstudie zu den SQL ROW_NUMBER()- und OVER()-Methoden

Syntaxformat: row_number() über (Partition durch ...

So lösen Sie das Problem „Nginx 503-Dienst vorübergehend nicht verfügbar“

In letzter Zeit tritt nach dem Aktualisieren der ...

Schritte zur Installation von cuda10.1 unter Ubuntu 20.04 (grafisches Tutorial)

Vorbereitung vor der Installation Der Hauptzweck ...

Detailliertes Beispiel der Sortierfunktion field() in MySQL

Vorwort In unserem täglichen Entwicklungsprozess ...

JavaScript-Plugin-Kapselung für Tabellenwechsel

In diesem Artikel wird der Kapselungscode von Jav...