Detaillierter Prozess zur Installation von Presto und zum Verbinden von Hive in Docker

1. Einleitung

Presto ist eine Open-Source-SQL-Abfrage-Engine mit verteilter Verarbeitung zum Ausführen interaktiver analytischer Abfragen für Datenquellen im Gigabyte- bis Petabyte-Bereich. Mit Presto können Sie Daten überall dort abfragen, wo sie gespeichert sind, einschließlich Hive, Cassandra, relationalen Datenbanken und sogar proprietären Datenspeichern. Eine einzelne Presto-Abfrage kann Daten aus mehreren Quellen kombinieren und so eine Analyse in Ihrem gesamten Unternehmen ermöglichen.

2. Herunterladen und installieren

1) Laden Sie das Bild herunter

Docker zieht Starburstdata/Presto

2) Laden Sie das Client-JAR herunter

Da es sich bei dem abgerufenen Image um einen Server handelt und dieser nicht über den Befehl „presto-cli“ verfügt, müssen Sie „presto-cli-0.260.1-executable.jar“ herunterladen und das heruntergeladene JAR-Paket anschließend in das Linux-System abrufen.

Nachdem der Download abgeschlossen ist, führen Sie den Container aus:

#Die Portnummer ist 8080, bitte ändern Sie sie selbst, der Name ist presto
docker run -d -p 8080:8080 --name presto starburstdata/presto

Kopieren Sie das Client-JAR-Paket in das Bin-Verzeichnis im Container:

docker cp [Linux-Pfad, in dem sich das Client-JAR-Paket befindet] [Containername]:/bin

Gehen Sie in das Verzeichnis der Hadoop-Konfigurationsdateien und kopieren Sie core-site.xml und hdfs-site.xml in den Container

cd ${HADOOP_HOME}/etc/hadoop
docker cp core-site.xml presto:/usr/lib/presto/etc/
docker cp core-site.xml presto:/usr/lib/presto/etc/

Geben Sie den Container ein (die folgenden nicht markierten Vorgänge werden alle im Container ausgeführt):

#Geben Sie den Container als Root-Benutzer ein, um nicht autorisierte Dateivorgänge zu verhindern docker exec --user=root -it presto /bin/bash

Benennen Sie das Client-JAR-Paket um und erteilen Sie Ausführungsberechtigungen:

CD-Behälter
mv presto-cli-0.260.1-executable.jar presto-cli
chmod a+x presto-cli

3. Konfigurationsdatei

Geben Sie das Konfigurationsdateiverzeichnis ein und erstellen Sie die Hive-Konfigurationsdatei:

cd /usr/lib/presto/etc/catalog
vi hive.eigenschaften

hive.eigenschaften:

#Verbindungsname, fester Connector.name=hive-hadoop2
#hive-Metadaten-URI, zu finden in hive-site.xml, bitte ändern Sie die IP und den Port selbst hive.metastore.uri=thrift://192.168.10.51:9083
#Hive-Konfigurationsressourcen core-site.xml und hdfs-site.xml, bitte ändern Sie sie entsprechend dem Konfigurationsdateipfad in Ihrem Cluster, getrennt durch Kommas hive.config.resources=/usr/lib/presto/etc/core-site.xml,/usr/lib/presto/etc/hdfs-site.xml

wqSpeichern und beenden

Starten Sie den Container neu (auf der Linux-Befehlszeile):

Docker-Neustart Presto

4. Testen Sie die Verbindung

Geben Sie den Container ein:

#Geben Sie den Container als Root-Benutzer ein, um nicht autorisierte Dateivorgänge zu verhindern docker exec --user=root -it presto /bin/bash
#Geben Sie das Bin-Verzeichnis ein cd bin
#Führen Sie das Befehlszeilenskript aus und testen Sie die Hive-Verbindung. Stellen Sie eine Verbindung zur Hive-Konfigurationsdatei her. Die Datenbank ist standardmäßig
./presto-cli --server localhost:8080 --catalog hive --schema default
presto>Tabellen anzeigen;

Dies ist das Ende dieses Artikels über den detaillierten Prozess der Installation von Presto auf Docker zur Verbindung mit Hive. Weitere Informationen zur Installation von Presto auf Docker finden Sie in früheren Artikeln auf 123WORDPRESS.COM oder in den folgenden verwandten Artikeln. Ich hoffe, Sie werden 123WORDPRESS.COM auch in Zukunft unterstützen!