Kafka Streams
Entwicklung von Anwendungen zur Echtzeit-Datenstromverarbeitung: Grundlagen, Architektur & Praxis
Kafka ist eine mächtige Plattform, die sich immer größerer Beliebtheit erfreut. Herausstechende Eigenschaften der Plattform sind:
-
Verarbeitung großer Datenmengen in Echtzeit
-
Horizontale Skalierbarkeit bei gleichzeitigem Erhalt der Nachrichtenreihenfolge
-
Entkopplung von Sender und Empfänger durch die dauerhafte Speicherung der Nachrichten
-
Starke Garantien bezüglich Replizierung und Ausfallsicherheit
Um die Kerntechnologie Apache Kafka hat sich ein großes Ökosystem verschiedenster Anwendungen und Technologien entwickelt, die auf der Messaging-Middleware aufbauen und deren Stärken und Fähigkeiten nutzen.
Kafka Streams ermöglicht eine zustandsbehaftete Verarbeitung von Datenströmen in Echtzeit. Dabei kann die Anwendung in einer funktionalen DSL oder über eine imperative Low-Level-API programmiert werden. Da Kafka Streams Zustand aufbauen kann, können im Unterschied zu Kafka Connect komplexe Transformationen, wie das Zusammenführen von Datenströmen und die Aggregation von Nachrichteninhalten aus aufeinander folgenden Nachrichten, durchgeführt werden. Kafka Streams stellt somit eine leichtgewichtige Alternative zu Technologien wie z.B. Apache Flink, Spark Streaming und Apache Samza dar.
Schulungsziel
In dieser Schulung lernen Sie, wie Sie mit Kafka Streams skalierbare, fehlertolerante Echtzeit-Datenstromverarbeitung implementieren. Sie lernen:
-
wie Kafka Streams funktioniert und wodurch es sich von alternativen Technologien unterscheidet
-
wie Sie mit Zeitfenstern Zustand aufbauen und wie man mit Out-of-Order Daten umgeht
-
wie man Daten aus verschiedenen Topics über ein JOIN zusammenführt
-
wie Sie die berechneten Ergebnisse der verteilten API über interaktive Queries per REST bereitstellen
Nach der Teilnahme an dieser Schulung sind Sie in der Lage, Kafka Streams Anwendungen über die funktionale DSL und die imperative Low-Level-API zu programmieren und wissen, wann welcher Ansatz gewählt werden sollte. Sie können Daten in Echtzeit verarbeiten und aggregieren und wissen, wie Sie Daten aus verschiedenen Topics zusammenführen oder einen lokalen Key/Value-Store für Look-Ups aufbauen. Sie wissen, wie man verteilte Anwendungen aufbaut, die die berechneten Ergebnisse über interaktive Queries für andere Anwendungen bereitstellen.
Zielgruppe
-
Entwickler, die Anwendungen für die Verarbeitung von Datenströmen in Echtzeit implementieren wollen
-
Architekten, die Projekte planen/begleiten, die Datenströme in Echtzeit verarbeiten
Vorkenntnisse |
Kafka Schulung: Entwicklung von Producer-/Consumer-Anwendungen mit Java (oder vergleichbares Vorwissen), Vorkenntnisse Linux/Shell (hilfreich), Docker/Docker-Compose (hilfreich) |
Dauer |
2 Tage |
Ort |
Inhouse / Online / offene Schulung |
Sprache |
Deutsch, Englisch auf Anfrage |
Anzahl Teilnehmer |
Empfohlen: Inhouse bis zu 8 TN / Online bis zu 6 TN |
Themen
-
Verarbeitung von Datenströmen
-
Einsatzgebiete / Abgrenzung zu Alternativen
-
Zeit & Zustand
-
Dualität von Datenströmen und Tabellen
-
Zeitfenster
-
-
Die Architektur von Kafka Streams
-
Prozessor-Topologien
-
Parallelisierung und Thread-Modell
-
Processor API vs. Streams DSL
-
-
Erste Schritte mit der Streams DSL
-
Serialisierung / Deserialisierung
-
Dualität von Tabellen und Datenströmen
-
-
Aggregationen
-
Zustandslose vs. zustandsbehaftete Transformationen
-
Zustand und State-Stores
-
Vermeiden von unnötigen Repartitionierungen
-
-
Windowing
-
Aggregationen über Zeitfenster
-
Joins
-
Globaler vs. lokaler Zustand
-
-
Fortgeschrittene Themen
-
Umgang mit Out-of-Order Daten
-
Exactly-Once und Seiteneffekte
-
Interaktive Queries
-
Die imperative API
-
Testen von Kafka-Streams-Anwendungen
-