So bereinigen Sie schnell Milliarden von Daten in einer MySQL-Datenbank

Heute habe ich eine Festplattenalarm-Ausnahme erhalten. Die 50G-Festplatte wurde gesprengt. Der Analyse- und Lösungsprozess ist wie folgt:

1. Rufen Sie den Linux-Server auf und überprüfen Sie den von jeder Datenbank im MySQL-Ordner belegten Speicherplatz

Haben Sie gesehen, dass allein „Olderdb“ 25 GB beansprucht?

2. Melden Sie sich mit SQLyog bei der MySQL-Datenbank an und überprüfen Sie den von jeder Tabelle in der Datenbank belegten Speicherplatz

SELECT CONCAT(Tabellenschema,'.',Tabellenname) AS 'aaa',  
  table_rows AS 'Anzahl der Zeilen',  
  CONCAT(ROUND(Datenlänge/(1024*1024*1024),6),' G') AS 'Datengröße',  
  CONCAT(ROUND(index_length/(1024*1024*1024),6),' G') AS 'Indexgröße' ,  
  CONCAT(ROUND((Datenlänge+Indexlänge)/(1024*1024*1024),6),' G') AS'Gesamt' 
VON information_schema.TABLES  
WHERE table_schema LIKE 'ältereDB';

3. Abfrage des Primärschlüsselindex

INDEX AUS ORBIT ANZEIGEN

Übernehmen Sie eine Strategie

Voraussetzung: Aktuell müssen 80% der Daten gelöscht werden

① Anweisung löschen

Wir wissen, dass die Löschgeschwindigkeit der Löschanweisung proportional zur Anzahl der Indizes ist. Die Anzahl der Indizes in dieser Tabelle ist bereits sehr groß und die Datenmenge ist sehr groß. Wenn zum Löschen eine herkömmliche Löschanweisung verwendet wird, dauert dies definitiv mehrere Tage.

Durch das Löschen mit der Anweisung „Delete“ wird kein Speicherplatz freigegeben, es wird also auf jeden Fall ein Alarm angezeigt, daher ist diese Methode nicht ratsam.

② Tabelle löschen

Erstellen Sie eine neue Tabelle mit gleicher Struktur und nennen Sie sie „cc“, tragen Sie die zu speichernden Daten in diese Tabelle ein und löschen Sie anschließend die alte Tabelle.

Die SQL-Anweisung lautet wie folgt:

Erstellen Sie eine neue Tabelle basierend auf der alten Tabelle

TABELLE ERSTELLEN cc WIE orbit;

Daten einfügen (Millionen von Daten müssen stapelweise eingefügt werden, am besten 300.000-400.000 auf einmal, schließlich ist die Datenverarbeitungskapazität von MySQL begrenzt)

Abfrage nach Datum und Einfügen (täglich werden etwa 300.000 Datenpunkte generiert, daher wird die Datumseinfügung verwendet)

INSERT INTO cc SELECT * FROM orbit WHERE xttime > '2018-04-16 00:00:00' AND xttime<='2018-04-17 00:00:00';

Die Ergebnisse sind wie folgt:

Es ist ersichtlich, dass die Verarbeitung der über 500.000 Daten weniger als 5 Minuten dauerte, was relativ schnell ist.

Nach der Bereinigung wird der Datentabellenplatz freigegeben

Dann lassen Sie die alte Tabelle fallen

DROP TABLE-Umlaufbahn

Es dauerte nur etwa 3 Sekunden.

Benennen Sie die neue Tabelle in „cc“ um.

ALTER TABLE cc RENAME TO orbit

Zusammenfassen

Das Obige ist meine Einführung, wie man schnell Milliarden von Daten in einer MySQL-Datenbank bereinigt. Ich hoffe, es wird Ihnen helfen. Wenn Sie Fragen haben, hinterlassen Sie mir bitte eine Nachricht und ich werde Ihnen rechtzeitig antworten. Ich möchte auch allen für ihre Unterstützung der Website 123WORDPRESS.COM danken!