Was sind die neuen Funktionen von Apache Spark 2.4, das 2018 veröffentlicht wird?

Dieser Artikel stammt vom Apache Spark Meetup, das am 19. September 2018 bei Adobe Systems Inc. stattfand.

Die kommende Version von Apache Spark 2.4 ist die fünfte in der 2.x-Reihe. Dieser Artikel bietet einen Überblick über die wichtigsten Funktionen und Verbesserungen in Apache Spark 2.4.

• Das neue Planungsmodell (Barrier Scheduling) ermöglicht es Benutzern, verteiltes Deep-Learning-Training ordnungsgemäß in Spark-Phasen einzubetten, um den verteilten Trainings-Workflow zu vereinfachen.
• 35 höherwertige Funktionen für Array-/Map-Operationen in Spark SQL hinzugefügt.
• Eine neue native AVRO-Datenquelle basierend auf dem Spark-Avro-Modul von Databricks wurde hinzugefügt.
• PySpark führt außerdem einen Eager-Evaluation-Modus für alle Vorgänge zum Lehren und Debuggen ein.
• Spark auf K8S unterstützt PySpark und R und unterstützt den Client-Modus.
• Verschiedene Verbesserungen für strukturiertes Streaming. Beispielsweise zustandsbehaftete Operatoren bei kontinuierlicher Verarbeitung.
• Verschiedene Leistungsverbesserungen an integrierten Datenquellen. Beispielsweise das Beschneiden verschachtelter Schemata in Parquet.
• Unterstützung für Scala 2.12.

Klicken Sie auf Shishuo.com, um diese PPT herunterzuladen.

Zusammenfassen

Oben habe ich Ihnen die neuen Funktionen von Apache Spark 2.4 vorgestellt, das 2018 auf den Markt kommt. Ich hoffe, es wird Ihnen helfen. Wenn Sie Fragen haben, hinterlassen Sie mir bitte eine Nachricht und ich werde Ihnen rechtzeitig antworten. Ich möchte auch allen für ihre Unterstützung der Website 123WORDPRESS.COM danken!