So installieren Sie die Standalone-Version von Spark in einer Linux-Umgebung ohne Verwendung von Hadoop

So installieren Sie die Standalone-Version von Spark in einer Linux-Umgebung ohne Verwendung von Hadoop

Das Thema Big Data wird immer wichtiger und wer mit mehreren Big Data-Komponenten nicht vertraut ist, hat nicht einmal ein Schlagwort, mit dem er angeben kann. Zumindest sollten Sie Hadoop, HDFS, MapReduce, Yarn, Kafka, Spark, Zookeeper und Neo4j beherrschen. Das sind wichtige Fähigkeiten, um sich zu präsentieren.

Im Internet gibt es viele ausführliche Einführungen zu Spark. Suchen Sie einfach danach. Lassen Sie uns als Nächstes über die Installation und kurze Verwendung der Standalone-Version von Spark sprechen.

0. JDK installieren. Da ich JDK bereits auf meinem Rechner habe, kann ich diesen Schritt überspringen. JDK ist bereits ein Klischee, es ist aber selbstverständlich, dass es bei der Verwendung von Java/Scala unverzichtbar ist.

ubuntu@VM-0-15-ubuntu:~$ java -version
OpenJDK-Version „1.8.0_151“
OpenJDK-Laufzeitumgebung (Build 1.8.0_151-8u151-b12-0ubuntu0.16.04.2-b12)
OpenJDK 64-Bit-Server-VM (Build 25.151-b12, gemischter Modus)
ubuntu@VM-0-15-ubuntu:~$

1. Sie müssen Hadoop nicht unbedingt installieren, Sie müssen nur eine bestimmte Spark-Version auswählen. Sie müssen Scala nicht herunterladen, da Spark standardmäßig mit einer Scala-Shell geliefert wird. Gehen Sie zum Herunterladen auf die offizielle Spark-Website. In einer Umgebung ohne Hadoop können Sie Folgendes auswählen: spark-2.2.1-bin-hadoop2.7 und es dann wie folgt entpacken:

ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc$ ll
insgesamt 196436
drwxrwxr-x 3 Ubuntu Ubuntu 4096 2. Februar 19:57 ./
drwxrwxr-x 9 Ubuntu Ubuntu 4096 2. Februar 19:54 ../
drwxrwxr-x 13 Ubuntu Ubuntu 4096 2. Februar 19:58 Spark-2.2.1-bin-hadoop2.7/
-rw-r--r-- 1 Ubuntu Ubuntu 200934340 2. Februar 19:53 Spark-2.2.1-bin-hadoop2.7.tgz

2. Spark hat Python- und Scala-Versionen. Als Nächstes werde ich die Scala-Version der Shell wie folgt verwenden:

ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ bin/spark-shell 
Verwenden des Standard-Log4j-Profils von Spark: org/apache/spark/log4j-defaults.properties
Festlegen der Standardprotokollebene auf „WARN“.
Um die Protokollierungsebene anzupassen, verwenden Sie sc.setLogLevel(newLevel). Verwenden Sie für SparkR setLogLevel(newLevel).
18/02/02 20:12:16 WARNUNG NativeCodeLoader: Native-Hadoop-Bibliothek für Ihre Plattform kann nicht geladen werden... ggf. werden integrierte Java-Klassen verwendet
18/02/02 20:12:16 WARN Utils: Ihr Hostname, localhost, wird in eine Loopback-Adresse aufgelöst: 127.0.0.1; stattdessen wird 172.17.0.15 verwendet (auf Schnittstelle eth0)
18/02/02 20:12:16 WARN Utils: Setzen Sie SPARK_LOCAL_IP, wenn Sie an eine andere Adresse binden müssen
Spark-Kontext-Web-Benutzeroberfläche verfügbar unter http://172.17.0.15:4040
Spark-Kontext verfügbar als „sc“ (Master = local[*], App-ID = local-1517573538209).
Spark-Sitzung als „Spark“ verfügbar.
Willkommen bei
   ____ __
   / __/__ ___ _____/ /__
  _\ \/ _ \/ _ `/ __/ '_/
  /___/ .__/\_,_/_/ /_/\_\ Version 2.2.1
   /_/
Verwende Scala Version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_151)
Geben Sie Ausdrücke ein, um sie auswerten zu lassen.
Geben Sie :help ein, um weitere Informationen zu erhalten.
scala>

So führen Sie einfache Vorgänge aus:

scala> val Zeilen = sc.textFile("README.md")
Zeilen: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] bei textFile bei <console>:24
scala> Zeilen.Anzahl()
res0: Lang = 103
scala> Zeilen.zuerst()
res1: Zeichenfolge = # Apache Spark
scala>: beenden
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ 
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ 
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$  
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ wc -l README.md 
103 README.md
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$ head -n 1 README.md 
# Apache Spark
ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1-bin-hadoop2.7$

Werfen wir einen Blick auf die visuelle Webseite. Unter Windows geben Sie Folgendes ein: http://ip:4040

OK, dieser Artikel ist nur eine einfache Installation, wir werden Spark später noch ausführlicher vorstellen.

Zusammenfassen

Das Obige ist der vollständige Inhalt dieses Artikels. Ich hoffe, dass der Inhalt dieses Artikels einen gewissen Lernwert für Ihr Studium oder Ihre Arbeit hat. Vielen Dank für Ihre Unterstützung von 123WORDPRESS.COM. Wenn Sie mehr darüber erfahren möchten, schauen Sie sich bitte die folgenden Links an

Das könnte Sie auch interessieren:
  • Detaillierte Schritte zur Installation eines Hadoop-Clusters unter Linux
  • Installations- und Einrichtungsprozess von Hadoop 2.7.3 unter Linux
  • Detaillierte grafische Erläuterung der Hadoop-Installation und -Konfiguration basierend auf Linux7
  • Schritte zum Erstellen des Hadoop-Dienstes in Centos7 unter Linux
  • Detaillierte Schritte zum Installieren und Konfigurieren eines Hadoop-Clusters unter Linux
  • Gemeinsame Erläuterung der Schritte zum Erstellen einer Hadoop-Umgebung unter Linux
  • Detaillierte Erläuterung der Installation eines echten verteilten Hadoop-Clusters auf einem Linux-System

<<:  Fallstricke bei der Installation der dekomprimierten Version von MySQL 5.7.20 (empfohlen)

>>:  Beispielcode zur Implementierung der Schnittstellensignatur mit Vue+Springboot

Artikel empfehlen

JavaScript implementiert eine bidirektionale verknüpfte Listenprozessanalyse

Inhaltsverzeichnis 1. Was ist eine doppelt verknü...

So fahren Sie nginx herunter/starten es neu

Schließung Dienst Nginx stoppen systemctl stoppt ...

Das WeChat-Applet wählt die Bildsteuerung

In diesem Artikelbeispiel wird der spezifische Co...

So betreiben Sie eine MySql-Datenbank mit Gorm

1. Festlegen der Groß-/Kleinschreibung von Felder...

Lösen Sie das Problem „Rand: oberer Kollaps“ in CCS

Die HTML-Struktur ist wie folgt: Die CCS-Struktur...

Implementierung einer coolen 3D-Würfeltransformationsanimation in CSS3

Ich liebe das Programmieren, es macht mich glückl...

Lernen Sie schnell die MySQL-Grundlagen

Inhaltsverzeichnis SQL verstehen SELECT verstehen...

Es ist ganz einfach zu verstehen, was Node.js ist

Inhaltsverzeichnis Offizielle Einführung in Node....

Einführung in das Layout des HTML-Seitenquellcodes_Powernode Java Academy

Einführung in das Layout des HTML-Seitenquellcode...

Detaillierte Erklärung der Mixin-Verwendung in Vue

Inhaltsverzeichnis Vorwort 1. Was sind Mixins? 2....

WeChat-Applet implementiert Sortierfunktion basierend auf Datum und Uhrzeit

Ich habe vor kurzem ein kleines Programmierprojek...