OpenSearch Schulung: Betrieb
OpenSearch Cluster installieren, absichern, überwachen und betreiben
OpenSearch ist eine quelloffene Such- und Analyseplattform unter der Apache-2.0-Lizenz. Sie ist 2021 aus Elasticsearch 7.10 hervorgegangen und wird heute von der OpenSearch Software Foundation unter dem Dach der Linux Foundation weiterentwickelt. Zum Projekt gehören OpenSearch Dashboards für Visualisierung und Verwaltung sowie Plugins für Sicherheit, Index-Verwaltung, Alerting und Vektorsuche.
Ein OpenSearch Cluster verteilt Daten über Shards auf mehrere Nodes und repliziert sie. Für einen stabilen Betrieb kommt es auf die passende Aufteilung von Rollen, Shards und Speicher an, auf eine durchgängige Absicherung und auf eine Überwachung, die Probleme früh zeigt.
Die Schulung behandelt den Betrieb mit Docker und auf Kubernetes mit dem OpenSearch Kubernetes Operator.
Wie wir OpenSearch für die Volltext- und Vektorsuche in Transkripten von Telefonkonferenzen einsetzen, beschreibt der Beitrag Telefonkonferenzen mit FreeSWITCH auf Kubernetes.
Diese Schulung richtet sich an den Betrieb. Für die Nutzung von OpenSearch in eigenen Anwendungen gibt es die OpenSearch Schulung: Entwicklung.
Schulungsziel
Die Schulung versetzt Teilnehmer in die Lage, OpenSearch Cluster eigenständig aufzubauen und zu betreiben.
Teilnehmer installieren OpenSearch und OpenSearch Dashboards mit Docker und auf Kubernetes, konfigurieren Betriebssystem, Speicher und Cluster und verwalten Indizes mit Aliasen, Templates und Index State Management. Darauf aufbauend werden die Betriebsthemen behandelt: Cluster-Zustand und Fehlersuche, Snapshots, Kapazitätsplanung und Benchmarking, Monitoring mit Prometheus, Upgrades und Security.
Nach Abschluss der Schulung können Sie einen Cluster für die eigenen Datenmengen und Verfügbarkeitsanforderungen planen und im Alltag verantworten.
Zielgruppe
Systemadministratoren, DevOps- und Plattform-Teams, die OpenSearch betreiben oder von Elasticsearch auf OpenSearch umstellen möchten.
Vorkenntnisse |
Sicherer Umgang mit Unix/Linux Kommandozeile, Grundlagen HTTP und JSON. Kenntnisse in Docker und Kubernetes sind hilfreich. |
Dauer |
3 Tage |
Ort |
Inhouse bei Ihnen oder als offene Schulung |
Sprache |
Deutsch, Englisch auf Anfrage |
Anzahl Teilnehmer |
Empfohlen: Maximal 8 |
Themen
Folgende Themen werden in dieser Schulung behandelt:
-
Einführung
-
Einordnung im Spektrum der Datenbanken
-
OpenSearch und Elasticsearch
-
Architektur, Node-Typen und Ökosystem
-
Wie Objekte und Arrays als Felder gespeichert werden
-
-
Installation
-
Installationsarten und Betriebssystem-Tuning
-
Single-Node- und Multi-Node-Cluster mit Docker
-
Betrieb auf Kubernetes mit dem OpenSearch Kubernetes Operator und seinen CRDs
-
Alternative: Helm Charts
-
Plugins installieren und verwalten
-
OpenSearch Dashboards
-
-
Konfiguration
-
Betriebssystem:
vm.max_map_countund offene Dateien -
Heap-Größe, Memory Lock und Ressourcen
-
Node-Pools mit dem Operator
-
Konfiguration in Container-Umgebungen
-
Cluster-Settings: persistent und transient
-
Index-Settings
-
Keystore für Zugangsdaten
-
-
Indizes
-
Segmente, Ablauf einer Suche und Zugriff auf Dokumente
-
Shards, Replicas und Refresh
-
Index-Operationen: Anlegen, Öffnen und Schließen, Shrink und Split
-
Reindex, auch aus einem externen Cluster
-
Aliase, Filtered Aliases und Write Index
-
Index Templates und Component Templates
-
Rollover und Data Streams
-
Index State Management: Hot-Warm-Cold-Architekturen
-
-
Cluster-Health
-
Cluster- und Node-APIs
-
Cluster Health und die Bedeutung der Ampelfarben
-
Cluster State, Cluster Stats und Pending Tasks
-
Shard Allocation und Allocation Awareness nach Node-Attributen
-
-
Fehlersuche
-
Shard-Allocation debuggen mit der Allocation Explain API
-
Ursachen für fehlende Shards
-
Verzögerte Allocation und mehr Replicas als Nodes
-
Disk Watermarks
-
Slow Logs und Hot Threads
-
Circuit Breaker und Speicherprobleme
-
Typische Fehlerbilder im Betrieb
-
-
Backup und Wiederherstellung
-
Snapshot Repositories in S3, auch über den Operator
-
Snapshots manuell und mit Snapshot Policies
-
Wiederherstellung, Umbenennen von Indizes und Restore in ein neues Cluster
-
Sicherung und Wiederherstellung mit elasticsearch-dump
-
-
Kapazitätsplanung und Performance
-
Größe und Anzahl von Shards
-
Heap, Page Cache und Speicherbedarf
-
Speicherbedarf von Vektorindizes
-
Benchmarking mit OpenSearch Benchmark
-
Teure Abfragen finden mit Query Insights
-
-
Monitoring
-
Metriken mit dem Prometheus Exporter Plugin
-
Performance Analyzer
-
Konfiguration über den Operator
-
Alerts und Dashboards
-
Alerting Plugin für Cluster-Zustände
-
-
Upgrade
-
Checkliste vor dem Upgrade
-
Rolling Upgrade, auch mit dem Operator
-
Snapshot und Restore in ein neues Cluster
-
Migration Assistant und Remote Reindex
-
-
Security
-
Verschlüsselung und Zertifikatsmanagement, auch mit externen Zertifikaten
-
Authentifizierung, zum Beispiel über LDAP, OpenID Connect oder SAML
-
Zugriffskontrolle mit Rollen
-
Berechtigungen auf Dokument- und Feldebene
-
Mandanten in OpenSearch Dashboards
-
Security-Konfiguration und Benutzer über den Operator
-
Audit Log
-
-
Ausblick: Machine Learning
-
ML-Modelle registrieren und nutzen
-
Vektorsuche und semantische Suche
-