Apache Spark Schulung
Grundlagen, Einführung & Praxis von Spark
Spark, oder auch Apache Spark, ist ein generisches System um schnelle und große Datenverarbeitungen zu realisieren. Durch Datenparallelität bei der Verarbeitung sind komplexe Batch-Berechnungen verteilt modellierbar. Das Spark Modell erlaubt gleichzeitig eine Stream Verarbeitung von Daten, um so beispielsweise Reporting in Echtzeit zu ermöglichen.
Schulungsziel
Sie lernen in dieser Schulung die Grundlagen von Apache Spark anhand von Theorie und praktischen Übungen kennen, um anschließend in der Lage zu sein, Apache Spark in eigenen Analysen oder Programmen einzusetzen.
Neben einer grundlegenden Einführung in Stream- und Batchbasierte Datenverarbeitung und die konkrete Anwendung bei Spark lernen Sie auch Spark mit bestehenden Datenbanken zu verbinden. Skalierungsmöglichkeiten von Apache Spark werden ebenso behandelt, wie Optionen zur optimalen Modellierung der Abfragen und Cluster Topologie.
Nach diesem Spark Seminar sind Sie in der Lage Apache Spark einzurichten, eigene Abfragen zu erstellen und mit Java in Ihren Anwendungen zu nutzen.
Grundlage für diese Schulung ist Apache Spark 2.0.
Zielgruppe
Software-Entwickler, die Apache Spark als Analysesystem nutzen oder in eigene Anwendungen integrieren möchten.
Vorkenntnisse |
SQL Grundlagen, Programmierkenntnisse |
Dauer |
3 Tage |
Themen
Folgende Themen werden in dieser Schulung behandelt:
-
Spark Grundlagen
-
Resilient Distributed Datasets (RDD) Datenstruktur
-
Map-Reduce Konzept
-
Architekturen mit Apache Spark, Stream, Batch und Mikro-Batch, Sliding-Window
-
-
Überblick Spark APIs
-
Spark Context
-
Transformationen
-
Aktionen
-
-
Abfragen formulieren mit Spark SQL
-
Spark Frontend Zeppelin
-
-
Typische Anwendungsfälle von Spark, Abgrenzung
-
Spark Cluster Architektur
-
Spark Standalone
-
Clustering mit Mesos
-
Clustering mit Hadoop/YARN
-
-
Erweiterte Konzepte
-
Überblick über das Apache Spark Ökosystem
-
Integration mit Kafka
-
Integration mit Cassandra
-
Vergleich Apache Storm und Apache Spark
-
-
Machine Learning
-
Machine Learning mittels der Spark MLlib
-
-
Betriebsaspekte