Vergleichende Analyse von MySQL Binlog-Protokollverarbeitungstools

Kanal

Positionierung: Basierend auf der inkrementellen Protokollanalyse der Datenbank bietet es inkrementelle Datenabonnements und -nutzung und unterstützt derzeit hauptsächlich MySQL.

Prinzip:

• Canal simuliert das interaktive Protokoll des MySQL-Slaves, gibt sich als MySQL-Slave aus und sendet das Dump-Protokoll an den MySQL-Master
• Der MySQL-Master empfängt die Dump-Anforderung und beginnt mit dem Weiterleiten des Binärprotokolls an den Slave (Kanal).
• Canal analysiert binäre Log-Objekte (ursprünglich Byte-Streams)

Der gesamte Parserprozess lässt sich grob in mehrere Schritte unterteilen:

• Die Verbindung ermittelt den Speicherort der letzten erfolgreichen Analyse (beim ersten Start wird der ursprüngliche Speicherort oder der Binärprotokollspeicherort der aktuellen Datenbank ermittelt).
• Verbindung wird hergestellt, Befehl BINLOG_DUMP wird ausgeführt
• Mysql beginnt mit dem Pushen des Binärprotokolls
• Das empfangene Binärprotokoll wird vom Binlog-Parser analysiert und einige spezifische Informationen werden hinzugefügt.
• Die Übergabe an das EventSink-Modul zur Datenspeicherung ist ein blockierender Vorgang, bis die Speicherung erfolgreich ist
• Nach erfolgreicher Speicherung wird der Binärlog-Speicherort regelmäßig aufgezeichnet

• Datenfilterung: Unterstützt Platzhalterfiltermodus, Tabellennamen, Feldinhalte usw.
• Datenrouting/-verteilung: Lösen Sie das 1:n-Problem (ein Parser entspricht mehreren Speichern)
• Datenzusammenführung: Lösung von n:1 (mehrere Parser entsprechen einem Geschäft)
• Datenverarbeitung: Weitere Verarbeitung vor dem Betreten des Shops, wie z.B. Beitritt
  

Maxwell

Canal wird mit Java entwickelt und ist in Server und Client unterteilt. Es verfügt über viele abgeleitete Anwendungen, eine stabile Leistung und leistungsstarke Funktionen. Canal erfordert, dass Sie Ihren eigenen Client schreiben, um die von Canal analysierten Daten zu nutzen.

Der Vorteil von Maxwell gegenüber Canal besteht in der einfachen Handhabung. Datenänderungen werden direkt als JSON-Strings ausgegeben, ohne dass ein Client geschrieben werden muss.

Datenbus

Databus ist ein Änderungserfassungssystem mit geringer Latenz, das zu einem integralen Bestandteil der Datenverarbeitungs-Pipeline von LinkedIn geworden ist. Databus erfüllt die grundlegenden Anforderungen für die zuverlässige Erfassung, das Streaming und die Verarbeitung wichtiger Datenänderungen. Databus bietet die folgenden Funktionen:

• Isolierung zwischen Quellen und Verbrauchern
• Garantierte auftragsgerechte und mindestens einmalige Lieferung mit hoher Verfügbarkeit
• Beginnen Sie mit der Nutzung an jedem beliebigen Punkt im Änderungsstrom, einschließlich vollständiger Bootstrapping-Funktionen für die gesamten Daten.
• Partitionsverbrauch
• Beibehaltung der Quellkonsistenz

Datenübertragungsdienst (DTS) von Alibaba Cloud

Data Transmission Service (DTS) ist ein von Alibaba Cloud bereitgestellter Datenflussdienst, der die Dateninteraktion zwischen mehreren Datenquellen wie RDBMS (relationale Datenbank), NoSQL und OLAP unterstützt. DTS bietet eine Vielzahl von Datenübertragungsfunktionen wie Datenmigration, Echtzeit-Datenabonnement und Echtzeit-Datensynchronisierung. Es kann mehrere Geschäftsanwendungsszenarien realisieren, wie z. B. Datenmigration ohne Dienstunterbrechung, Datennotfallwiederherstellung an verschiedenen Standorten, Multi-Active an verschiedenen Standorten (Unitisierung), grenzüberschreitende Datensynchronisierung, Echtzeit-Data Warehouse, Abfrageberichtsumleitung, Cache-Update, asynchrone Nachrichtenbenachrichtigung usw., um Ihnen beim Aufbau einer hochsicheren, skalierbaren und hochverfügbaren Datenarchitektur zu helfen.

Vorteile: Der Datenübertragungsdienst DTS unterstützt die Datenübertragung zwischen mehreren Datenquellen wie RDBMS, NoSQL und OLAP. Es bietet mehrere Methoden zur Datenübertragung wie Datenmigration, Echtzeit-Datenabonnement und Echtzeit-Datensynchronisierung. Im Vergleich zu Datenflusstools von Drittanbietern bietet der Data Transmission Service (DTS) vielfältigere, leistungsstärkere, hochsichere und zuverlässige Übertragungsverbindungen. Gleichzeitig bietet er viele praktische Funktionen, die die Erstellung und Verwaltung von Übertragungsverbindungen erheblich erleichtern.

Mein persönliches Verständnis: Es handelt sich um eine Nachrichtenwarteschlange, die die gepackten SQL-Objekte an Sie weiterleitet, und Sie können selbst einen Dienst zum Parsen dieser SQL-Objekte erstellen.

Eliminieren Sie die teuren Bereitstellungs- und Wartungskosten. DTS ist an Alibaba Cloud RDS (Online-Relationale Datenbank), DRDS und andere Produkte angepasst und löst Abonnement-Hochverfügbarkeitsprobleme in Szenarien wie Binlog-Protokollrecycling, Master-Slave-Umschaltung und VPC-Netzwerkumschaltung. Gleichzeitig wird eine gezielte Leistungsoptimierung für RDS durchgeführt. Es wird aus Stabilitäts-, Leistungs- und Kostengründen empfohlen.

Oben finden Sie den detaillierten Inhalt der vergleichenden Analyse der MySQL Binlog-Protokollverarbeitungstools. Weitere Informationen zu MySQL Binlog-Protokollverarbeitungstools finden Sie in den anderen verwandten Artikeln auf 123WORDPRESS.COM!