Implementierung der Deduplizierung von Dateiinhalten sowie von Schnittmengen und Unterschieden in Linux

1. Datendeduplizierung

Bei der täglichen Arbeit kann es zu Datenduplizierung kommen, wenn Sie Hive oder Impala zum Abfragen und Exportieren verwenden, Sie die Abfrage aber nicht erneut ausführen möchten (die Abfragezeit ist etwas lang und der exportierte Dateiinhalt ist groß). Daher denken Sie darüber nach, Linux-Befehle zu verwenden, um doppelte Daten aus dem Dateiinhalt zu entfernen.

Nachfolgend sehen Sie ein Beispiel:

Sie können sehen, dass aaa.txx 3 doppelte Daten hat

Ich möchte die redundanten Daten entfernen und nur eine behalten

sortiere aaa.txt | uniq > bbb.txt

Entfernen Sie doppelte Daten aus der Datei aaa.txt und geben Sie sie in bbb.txt aus.

Sie können sehen, dass in der Datei bbb.txt nur ein Datenelement gespeichert ist

2. Datenschnittmenge, -vereinigung und -differenz

1) Schnittmenge (entspricht user_2019 inner join user_2020 on user_2019.user_no=user_2020.user_no)

sort user_2019.txt user_2020.txt | uniq -d

2) Union (entspricht user_2019.user_no union user_2020.user_no)

sort user_2019.txt user_2020.txt | uniq

3) Unterschied

Benutzer_2019.txt-Benutzer_2020.txt

sortieren user_2019.txt user_2020.txt user_2020.txt | uniq -u

Benutzer_2020.txt – Benutzer_2019.txt:

sortieren user_2020.txt user_2019.txt user_2019.txt | uniq -u

Das Obige ist der vollständige Inhalt dieses Artikels. Ich hoffe, er wird für jedermanns Studium hilfreich sein. Ich hoffe auch, dass jeder 123WORDPRESS.COM unterstützen wird.