Detaillierte Erklärung zur Synchronisierung von Daten von MySQL mit Elasticsearch

cd /logstash-6.4.2/bin
./logstash-plugin installiere logstash-input-jdbc

Wählen Sie * aus t_Mitarbeiter

cd logstash-6.4.2
# Überprüfen Sie, ob die Syntax der Konfigurationsdatei korrekt ist. bin/logstash -f config/jdbc.conf --config.test_and_exit
# Starten Sie bin/logstash -f config/jdbc.conf --config.reload.automatic

PUT Oktopus
GET octopus/_search

ROW: Zeichnet jede Datenzeile auf, die geändert wurde, aber das Protokollvolumen ist zu groß. STATEMENT: Zeichnet jede SQL-Anweisung auf, die die Daten ändert, wodurch das Protokollvolumen reduziert wird. Allerdings ist die SQL-Anweisung bei Verwendung von Funktionen oder Triggern anfällig für Master-Slave-Inkonsistenzen. MIXED: Kombiniert die Vorteile von ROW und STATEMENT und wählt die Verwendung von ROW oder STATEMENT zum Aufzeichnen von Protokollen entsprechend der spezifischen SQL-Anweisung, die Datenoperationen ausführt.

ZEITSTEMPEL EINSTELLEN=1527917394/*!*/;
    BEGINNEN
    /*!*/;
    # bei 3751
    #180602 13:29:54 Server-ID 1 end_log_pos 3819 CRC32 0x8dabdf01 Table_map: `webservice`.`building` zugeordnet zu Nummer 74
    # bei 3819
    #180602 13:29:54 Server-ID 1 end_log_pos 3949 CRC32 0x59a8ed85 Update_rows: Tabellen-ID 74 Flags: STMT_END_F
    
    BINLOG '
    UisSWxMBAAAARAAAAOsOAAAAAEoAAAAAAAAEACndlYnNlcnZpY2UACGJ1aWxkaW5nAAYIDwEPEREG
    wACAAQAAAAHfq40=
    UisSWx8BAAAAggAAAG0PAAAAAEoAAAAAAAEAAgAG///A1gcAAAAAAAALYnVpbGRpbmctMTAADwB3
    UkRNbjNLYlV5d1k3ajVbD64WWw+uFsDWBwAAAAAAAAtidWlsZGluZy0xMAEPAHdSRE1uM0tiVXl3
    WTdqNVsPrhZbD64Whe2oWQ==
    '/*!*/;
    ### UPDATE `webservice`.`building`
    ###WO
    ### @1=2006 /* LONGINT meta=0 nullable=0 is_null=0 */
    ### @2='building-10' /* VARSTRING(192) meta=192 nullable=0 is_null=0 */
    ### @3=0 /* TINYINT meta=0 nullable=0 is_null=0 */
    ### @4='wRDMn3KbUywY7j5' /* VARSTRING(384) meta=384 nullable=0 is_null=0 */
    ### @5=1527754262 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
    ### @6=1527754262 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
    ### SATZ
    ### @1=2006 /* LONGINT meta=0 nullable=0 is_null=0 */
    ### @2='building-10' /* VARSTRING(192) meta=192 nullable=0 is_null=0 */
    ### @3=1 /* TINYINT meta=0 nullable=0 is_null=0 */
    ### @4='wRDMn3KbUywY7j5' /* VARSTRING(384) meta=384 nullable=0 is_null=0 */
    ### @5=1527754262 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
    ### @6=1527754262 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
    # bei 3949
    #180602 13:29:54 Server-ID 1 end_log_pos 3980 CRC32 0x58226b8f Xid = 182
    BEGEHEN /*!*/;

ZEITSTEMPEL FESTLEGEN=1527919329/*!*/;
    Aktualisieren Sie den Gebäudesatz Status = 1, wobei Id = 2000
    /*!*/;
    # bei 688
    #180602 14:02:09 Server-ID 1 end_log_pos 719 CRC32 0x4c550a7d Xid = 200
    BEGEHEN /*!*/;

# Binlog anzeigen modemysql> Variablen wie „%binlog_format%“ anzeigen;
 
# Binlog ändern modemysql> set global binlog_format='ROW';
 
# Prüfen Sie, ob Binlog aktiviert ist mysql> Variablen wie „log_bin“ anzeigen;
 
# Binlog aktivieren
Ändern Sie die Datei my.cnf log-bin = mysql-bin

# Installieren Sie go
sudo apt-get installiere go
 
# Installieren Sie godep
Gehen Sie zu github.com/tools/godep
 
# Holen Sie sich das Plugin go-mysql-elasticsearch unter github.com/siddontang/go-mysql-elasticsearch
 
# Installieren Sie das Plugin go-mysql-elasticsearch cd go/src/github.com/siddontang/go-mysql-elasticsearch
machen

# MySQL-Adresse, Benutzer und Passwort
# Der Benutzer muss über Replikationsberechtigungen in MySQL verfügen.
my_addr = "127.0.0.1:3306" # Grundlegende MySQL-Einstellungen, die synchronisiert werden müssen my_user = "root"
mein_Passwort = "root"
 
# Elasticsearch-Adresse
es_addr = "127.0.0.1:9200" # Lokale Elasticsearch-Konfiguration # Pfad zum Speichern von Daten, wie master.info, und zum Dumpen von MySQL-Daten 
data_dir = "./var" # Datenspeicher-URL
# Die folgende Konfiguration wird als Standard gespeichert# Innere HTTP-Statusadresse
stat_addr = "127.0.0.1:12800"
 
# Pseudo-Server-ID wie ein Slave 
server_id = 1001
 
#mysql oder mariadb
Geschmack = "mysql"
#mysqldump Ausführungspfad
mysqldump = "mysqldump"
 
#MySQL-Datenquelle
[[Quelle]]
schema = "test" //Der entsprechende Datenbankname, wenn Elasticsearch mit MySQL synchronisiert wird. # Nur die folgenden Tabellen werden mit Elasticsearch synchronisiert.
# Um mehrere Tabellen in der Testdatenbank zu synchronisieren. Bei einigen Projekten, die den Mechanismus zur Tabellenpartitionierung verwenden, können wir zum Abgleichen Platzhalter verwenden. Beispielsweise kann t_[0-9]{4} den Tabellen t_0000 bis t_9999 entsprechen.
Tabellen = ["t", "t_[0-9]{4}", "tfield", "tfilter"]  
 
# Nachfolgend finden Sie die Zuordnung von Sonderregeln
# Für eine Tabelle müssen wir den Typ des ES-Index angeben, mit dem ihre Daten synchronisiert werden sollen. Wenn nicht angegeben, verwenden wir standardmäßig den Schemanamen als ES-Index und -Typ
[[Regel]]
schema = "test" //Datenbanknametable = "t" //Tabellennameindex = "test" //Entsprechender Indexnametype = "t" //Entsprechender Typname# Synchronisiere alle Tabellen, die dem Format t_[0-9]{4} entsprechen, mit dem ES mit Indextest und Typ t. Natürlich müssen diese Tabellen sicherstellen, dass das # Schema konsistent ist [[Regel]]
schema = "test"
Tabelle = "t_[0-9]{4}"
Index = "Test"
Typ = "t"
 
# Für die Tabelle tfilter synchronisieren wir nur die ID- und Name-Spalten, die anderen werden nicht synchronisiert filter = ["id", "name"]
# Die Spalten-ID der Tabelle tfield wird auf es_id abgebildet, und Tags werden auf es_tags abgebildet.
# Liste Dieses Feld teilt Ihnen explizit mit, dass die entsprechenden Spaltendaten in den ES-Array-Typ konvertiert werden müssen. Dies wird jetzt häufig für MySQLs varchar # und andere Typen verwendet. Wir können Daten wie „a, b, c“ speichern und dann hoffen, sie beim Synchronisieren mit ES in ein Listenformat wie [a, b, c] konvertieren zu können.
 
[Regel.Feld]
# Spalte „id“ dem ES-Feld „es_id“ zuordnen
id="es_id"
# Ordnen Sie die Spalte „tags“ dem ES-Feld „es_tags“ mit dem Array-Typ zu 
tags="es_tags,list"
# Spalte „Schlüsselwörter“ mit Array-Typ zu ES zuordnen
Schlüsselwörter=",Liste"

cd go/src/github.com/siddontang/go-mysql-elasticsearch
bin/go-mysql-elasticsearch -config=./etc/river.toml

[root@autofelix /]# vi /etc/profile
exportiere JDBC_IMPORTER_HOME=/elasticsearch-jdbc-2.3.2.0

[root@autofelix /]# Quelle /etc/Profil

[root@autofelix /]# ll /odbc_es/
drwxr-xr-x 2 root root 4096 16. Juni 03:11 Protokolle
-rwxrwxrwx 1 root root 542 16. Juni 04:03 mysql_import_es.sh

[root@autofelix odbc_es]# cat mysql_import_es.sh
'#!/bin/sh
bin=$JDBC_IMPORTER_HOME/bin
lib=$JDBC_IMPORTER_HOME/lib
echo '{
"Typ": "jdbc",
"jdbc": {
"elasticsearch.autodiscover":true,
"elasticsearch.cluster":"my-application", #Clustername, siehe: /usr/local/elasticsearch/config/elasticsearch.yml
"url":"jdbc:mysql://10.8.5.101:3306/test", #MySQL-Datenbankadresse "Benutzer":"root", #MySQL-Benutzername "Passwort":"123456", #MySQL-Passwort "sql":"select * from cc",
"elastische Suche" : {
  "Host": "10.8.5.101",
  "Hafen" : 9300
},
"index" : "meinindex", #neuer Index
"Typ" : "meinTyp" #neuer Typ
}
}'| java \
  -cp "${lib}/*" \
  -Dlog4j.configurationFile=${bin}/log4j2.xml \
  org.xbib.tools.Runner \
  org.xbib.tools.JDBCImporter

[root@autofelix odbc_es]# chmod a+x mysql_import_es.sh

[root@autofelix odbc_es]# ./mysql_import_es.sh