Installieren Sie Kafka unter Linux

# Installationsbefehl rpm -ivh jdk-8u261-linux-x64.rpm 

# Bearbeiten Sie die Konfigurationsdatei, das Bin-Verzeichnis von jdk, in die Datei /etc/profile, die für die Shells aller Benutzer gültig ist vim /etc/profile
# Wirksam werden Quelle /etc/profile 

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64
export PATH=$PATH:$JAVA_HOME/bin 

# Java-Version überprüfen 

# Entpacken Sie zk in das angegebene Verzeichnis tar -zxf zookeeper-3.4.14.tar.gz -C /opt 

# Geben Sie das conf-Konfigurationsverzeichnis ein cd /opt/zookeeper-3.4.14/conf
# Kopieren Sie zoo_sample.cfg und nennen Sie es zoo.cfg
cp zoo_sample.cfg zoo.cfg
# Bearbeiten Sie die Datei zoo.cfg vim zoo.cfg
dataDir=/var/riemann/zookeeper/data 

export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/var/riemann/zookeeper/log

Quelle /etc/Profil

zkServer.sh starten 

tar -zxf kafka_2.12-1.0.2.tgz -C /opt 

vim /etc/profil

exportiere KAFKA=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA/bin

Quelle /etc/Profil

vi /opt/kafka_2.12-1.0.2/config/server.properties 

log.dirs=/var/riemann/kafka/kafka-logs

mkdir -p /var/riemann/kafka/kafka-logs

kafka-server-start.sh ../config/server.properties 

kafka-server-start.sh -daemon config/server.properties

ps -ef | grep kafka 

kafka-server-stop.sh

[root@master1 bin]# kafka-topics.sh
Erstellen, löschen, beschreiben oder ändern Sie ein Thema.
Option Beschreibung                            
------ -----------                            
--alter Anzahl der Partitionen ändern,        
                                           Replikatzuweisung und/oder           
                                           Konfiguration für das Thema.         
--config <String: name=value> Eine Themenkonfigurationsüberschreibung für die 
                                           Thema wird erstellt oder geändert.   
                                           Nachfolgend finden Sie eine Liste gültiger         
                                           Konfigurationen:                      
                                         	Bereinigungsrichtlinie                        
                                         	Komprimierungstyp                      
                                         	löschen.Aufbewahrung.ms                   
                                         	Datei.Löschen.Verzögerung.ms                  
                                         	Nachrichten leeren                        
                                         	spülen.ms                              
                                         	Follower.Replikation.gedrosselt.       
                                           Repliken                             
                                         	Index.Intervall.Bytes                  
                                         	Führer.Replikation.gedrosselte.Replikate 
                                         	max.Nachricht.Bytes                     
                                         	Nachricht.Format.Version                
                                         	Nachricht.Zeitstempel.Differenz.max.ms   
                                         	Nachricht.Zeitstempel.Typ                
                                         	Mindestreinigungs-/Schmutzverhältnis             
                                         	min.compaction.lag.ms                 
                                         	min.insync.Replikate                   
                                         	vorbelegen                           
                                         	Aufbewahrung.Bytes                       
                                         	Aufbewahrung.ms                          
                                         	segment.bytes                         
                                         	segment.index.bytes                   
                                         	segment.jitter.ms                     
                                         	segment.ms                            
                                         	unrein.Führer.Wahl.ermöglichen        
                                         Vollständige Informationen finden Sie in der Kafka-Dokumentation.   
                                           Details zum Thema Konfigurationen.        
--create Neues Thema erstellen.                    
--delete Thema löschen                         
--delete-config <String: name> Eine Themenkonfigurationsüberschreibung, die   
                                           für ein bestehendes Thema entfernt (siehe   
                                           die Liste der Konfigurationen unter dem 
                                           --config-Option).                    
--describe Listendetails zu den angegebenen Themen.     
--disable-rack-aware Rack-bewusste Replikatzuweisung deaktivieren  
--force Unterdrückt Konsoleneingabeaufforderungen               
--help Nutzungsinformationen drucken.               
--if-exists wenn beim Ändern oder Löschen gesetzt       
                                           Themen, die Aktion wird nur ausgeführt 
                                           wenn das Thema existiert                  
--if-not-exists Wenn beim Erstellen von Themen festgelegt,       
                                           Die Aktion wird nur ausgeführt, wenn      
                                           Thema existiert noch nicht         
--list Alle verfügbaren Themen auflisten.             
--partitions <Integer: Anzahl der Partitionen> Die Anzahl der Partitionen für das Thema 
                                           erstellt oder geändert werden (WARNUNG:   
                                           Wenn Partitionen für einen    
                                           Thema, das einen Schlüssel hat, die Partition  
                                           Logik oder Reihenfolge der Nachrichten    
                                           wird betroffen sein                     
--replica-assignment <String: Eine Liste der manuellen Partition-zu-Broker   
  broker_id_for_part1_replica1 : Zuweisungen für das Thema      
  broker_id_for_part1_replica2, erstellt oder geändert.                  
  Broker-ID für Teil2-Replikat1:                                                
  Broker-ID für Teil2_Replikat2, ...>                                           
--replication-factor <Integer: Der Replikationsfaktor für jede        
  Replikationsfaktor> Partition im erstellten Thema.
--topic <String: topic> Das zu erstellende, zu ändernde oder       
                                           beschreiben. Kann auch eine reguläre akzeptieren  
                                           Ausdruck außer für die Option --create
--topics-with-overrides wenn nur bei der Beschreibung von Themen gesetzt    
                                           Themen anzeigen, die überschrieben wurden     
                                           Konfigurationen                              
--unavailable-partitions wenn nur bei der Beschreibung von Themen gesetzt    
                                           Partitionen anzeigen, deren Leader nicht ist  
                                           verfügbar                            
--under-replicated-partitions wenn nur bei der Beschreibung von Themen gesetzt    
                                           unter replizierten Partitionen anzeigen     
--zookeeper <String: urls> ERFORDERLICH: Die Verbindungszeichenfolge für    
                                           die Zookeeper-Verbindung im Formular 
                                           Host:Port. Mehrere URLs können      
                                           gegeben, um ein Failover zu ermöglichen.            
[root@master1 bin]# 

# Vorhandene Themen auflisten [root@master1 ~]# kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# Erstellen Sie ein Thema, das eine Partition enthält, die die Leader-Partition ist und keine Follower-Partitionsreplikate hat.
[root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_test --partitions 1 --replication-factor 1
# Partitionsinformationen anzeigen [root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# Detaillierte Informationen zum angegebenen Thema anzeigen [root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_test 
# Löschen Sie das angegebene Thema [root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_test 

# Consumer aktivieren [root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_test 
# Starten Sie den Consumer-Modus 2 und konsumieren Sie von Anfang an, nicht entsprechend dem Offset [root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_test --from-beginning

# Öffnen Sie den Produzenten [root@node1 ~]# kafka-console-producer.sh --topic topic_test --broker-list localhost:9020