Observability mit dem LGTM-Stack
Logs, Metriken und Traces mit Loki, Grafana, Tempo, Mimir und Alloy auf Kubernetes
Der LGTM-Stack besteht aus Loki für Logs, Grafana für Visualisierung, Tempo für Traces und Mimir für Metriken. Die Komponenten werden von Grafana Labs als Open Source unter der AGPL-3.0 entwickelt und sind auf horizontale Skalierung und Mandantenfähigkeit ausgelegt. Daten werden in Object Storage wie S3 abgelegt, der Zustand der Dienste liegt in wenigen, austauschbaren Komponenten.
Als Collector für alle Signale dient Grafana Alloy, eine Distribution des OpenTelemetry Collectors. Anwendungen liefern Metriken, Logs und Traces über OpenTelemetry, Grafana verbindet die Signale, zum Beispiel vom Trace zu den passenden Logs.
Die Schulung behandelt den Betrieb auf Kubernetes mit den Helm Charts von Grafana Labs und dem Grafana Operator.
Eine leichtgewichtige Alternative mit weniger Komponenten behandelt die Schulung Observability mit VictoriaLogs und VictoriaMetrics.
Die Grundlagen von Metriken, PromQL und Alertmanager vertieft die Prometheus Schulung.
Schulungsziel
Die Schulung versetzt Teilnehmer in die Lage, eine Observability-Plattform für Logs, Metriken und Traces mit dem LGTM-Stack auf Kubernetes aufzubauen und zu betreiben.
Teilnehmer installieren Loki, Mimir und Tempo mit Object Storage, sammeln Signale mit Alloy und OpenTelemetry und verwalten Grafana, Datenquellen und Dashboards als Code. Darauf aufbauend werden Abfragen mit LogQL, PromQL und TraceQL, die Verknüpfung der Signale, Alerting sowie Skalierung, Mandanten und Kosten behandelt.
Nach Abschluss der Schulung kennen Sie die Architektur der einzelnen Komponenten und können beurteilen, welche Betriebsart zu den eigenen Datenmengen passt.
Zielgruppe
Systemadministratoren, DevOps- und Plattform-Teams, die Logs, Metriken und Traces auf Kubernetes zentral erfassen und auswerten möchten.
Vorkenntnisse |
Grundkenntnisse im Umgang mit Kubernetes und |
Dauer |
3 Tage |
Ort |
Inhouse bei Ihnen oder als offene Schulung |
Sprache |
Deutsch, Englisch auf Anfrage |
Anzahl Teilnehmer |
Empfohlen: Maximal 8 |
Themen
Folgende Themen werden in dieser Schulung behandelt:
-
Einführung
-
Metriken, Logs und Traces: was wofür
-
Die Komponenten des LGTM-Stacks und ihr Zusammenspiel
-
Gemeinsame Architektur: Distributor, Ingester, Querier, Compactor und Object Storage
-
Betriebsarten: monolithisch und als Microservices
-
Abgrenzung zu Prometheus und zu VictoriaMetrics und VictoriaLogs
-
-
Installation auf Kubernetes
-
Helm Charts für Loki, Mimir und Tempo
-
Object Storage mit S3 oder einer S3-kompatiblen Lösung
-
Helm Chart
k8s-monitoringfür die Erfassung im Cluster -
Grafana Operator: Grafana, Datenquellen und Dashboards als Ressourcen
-
-
Signale erfassen mit Grafana Alloy
-
Konfiguration mit Komponenten und Pipelines
-
Kubernetes-Metriken und Container-Logs
-
Übernahme vorhandener ServiceMonitor- und PodMonitor-Ressourcen
-
OpenTelemetry: OTLP, Instrumentierung und Zero-Code-Instrumentierung
-
Anwendungen anbinden, zum Beispiel Spring Boot mit Micrometer und OpenTelemetry
-
-
Metriken mit Mimir
-
Remote Write und OTLP
-
Abfragen mit PromQL
-
Recording Rules
-
Kardinalität und Limits
-
-
Logs mit Loki
-
Labels, Streams und strukturierte Metadaten
-
Abfragen mit LogQL: Filter, Parser und Metriken aus Logs
-
Labels sinnvoll wählen
-
Retention und Löschen von Daten
-
-
Traces mit Tempo
-
Spans, Trace-Kontext und Sampling
-
Abfragen mit TraceQL
-
Metriken aus Traces
-
-
Grafana
-
Dashboards, Variablen und fertige Dashboards für Kubernetes
-
Explore und Drilldown
-
Signale verknüpfen: Exemplars, Trace to Logs und Trace to Metrics
-
Dashboards und Datenquellen als Code
-
-
Alerting
-
Grafana Alerting und der Mimir Ruler
-
Alerting Rules auf Metriken und Logs
-
Alertmanager: Routing, Gruppierung, Stille und Benachrichtigungen
-
Sinnvolle Alerts statt Alarmflut
-
-
Betrieb
-
Mandanten mit
X-Scope-OrgIDund Zugriffsschutz -
Skalierung der einzelnen Komponenten
-
Caches, Limits und Kosten für Object Storage
-
Upgrades
-
Den Stack selbst überwachen
-
-
Ausblick
-
Profiling mit Pyroscope
-
Migration von Prometheus
-