Lokale KI betreiben
On-Premises-LLMs auf Kubernetes: sensible Daten, air-gapped Umgebungen, Sicherheit und Compliance
Nicht jede Organisation kann oder darf KI-Dienste in der Cloud nutzen. Sensible Daten, regulatorische Vorgaben, Souveränitätsanforderungen und air-gapped Umgebungen verlangen den Betrieb von Sprachmodellen im eigenen Haus.
Diese Schulung vermittelt, wie Sie Open-Weight-Modelle selbst hosten, auf Kubernetes betreiben und in sicherheitskritischen und abgeschotteten Umgebungen absichern. Der Schwerpunkt liegt auf Betrieb, Sicherheit und Compliance, nicht auf der Anwendungsentwicklung.
Schulungsziel
Sie lernen, lokale KI produktionsreif und regelkonform zu betreiben. Sie können geeignete Modelle und Serving-Stacks auswählen, sie auf Kubernetes deployen, in air-gapped Umgebungen bereitstellen und die nötigen Sicherheits- und Compliance-Anforderungen umsetzen.
Nach dieser Schulung können Sie:
-
Open-Weight-Modelle auswählen und Hardware sowie Kapazität dimensionieren
-
Serving-Stacks (llama.cpp, vLLM, Ollama, TGI) betreiben und über OpenAI-kompatible APIs anbinden
-
lokale KI auf Kubernetes deployen, inklusive GPU-Scheduling und Skalierung
-
Modelle und Abhängigkeiten in air-gapped Umgebungen bereitstellen und aktualisieren
-
den Betrieb absichern: Netzisolation, Authentifizierung, Secrets, Audit
-
RAG vollständig on-premises umsetzen
-
agentische Workflows mit lokalen Modellen und einem passenden Harness umsetzen und ihre Grenzen einschätzen
-
den Betrieb überwachen (Metriken, Tracing, GPU-Monitoring)
-
regulatorische Anforderungen (DSGVO, EU AI Act, BSI-Bezug) erfüllen und dokumentieren
Zielgruppe
DevOps- und Platform-Engineers, Kubernetes-Betreiber, Security-Engineers und Architektinnen, die KI in regulierten, sensiblen oder abgeschotteten Umgebungen betreiben.
Vorkenntnisse |
Erfahrung im Betrieb von Containern und Kubernetes; Grundkenntnisse in IT-Sicherheit. KI-Vorkenntnisse sind nicht erforderlich |
Dauer |
3 Tage |
Anzahl Teilnehmer |
Empfohlen: bis 8, maximal: 10 |
Eine kompakte zweitägige Variante mit Schwerpunkt Betrieb und Deployment ist möglich; die vertiefte Behandlung von air-gapped Bereitstellung und Compliance entfällt dann oder wird gekürzt.
Für Hands-on-Übungen wird eine GPU-fähige Umgebung benötigt. Diese stellen wir bei Bedarf bereit.
Themen
Folgende Themen werden in dieser Schulung behandelt:
-
Warum lokale KI
-
Datenschutz, Souveränität und Regulatorik
-
Sicherheitskritische und air-gapped Szenarien
-
Lokaler Betrieb im Vergleich zu Cloud-Diensten
-
-
Modelle und Hardware
-
Open-Weight-Modelle und ihre Einsatzgebiete
-
Quantisierung und ihre Kompromisse
-
GPU- und CPU-Sizing, Durchsatz und Latenz
-
Kapazitäts- und Kostenplanung
-
-
Serving-Stacks
-
llama.cpp, vLLM, Ollama und TGI im Vergleich
-
OpenAI-kompatible APIs
-
Batching, Kontextlängen und Performance
-
-
Deployment auf Kubernetes
-
Container-Images und Modell-Storage
-
GPU-Scheduling und Node-Pools
-
Skalierung und Verfügbarkeit
-
Konfiguration und Rollouts
-
-
Betrieb in air-gapped Umgebungen
-
Offline-Bereitstellung von Modellen und Abhängigkeiten
-
Interne Registries und Mirrors
-
Update- und Patch-Prozesse ohne Internetzugang
-
Integritäts- und Lieferkettenprüfung der Modellgewichte
-
-
Sicherheit
-
Netzisolation und Segmentierung
-
Authentifizierung und Autorisierung (z. B. mit Keycloak)
-
Secrets-Management
-
Prompt Injection und Daten-Exfiltration
-
Logging, Audit und Nachvollziehbarkeit
-
-
RAG on-premises
-
Lokale Vektordatenbanken
-
Embeddings und Daten im Haus halten
-
Datenklassifizierung und Zugriffskontrolle
-
-
Agentische KI mit lokalen Modellen
-
Eignung lokaler Modelle für Tool- und Function-Calling
-
Auswahl eines passenden Agent-Harness
-
Grenzen lokaler Modelle in agentischen Abläufen
-
MCP-Server und Werkzeuge im abgeschotteten Betrieb
-
-
Observability
-
Metriken und Tracing
-
GPU- und Modell-Monitoring mit Prometheus und Grafana
-
Alerting und Kapazitätsüberwachung
-
-
Compliance und Souveränität
-
DSGVO und EU AI Act im Betrieb
-
Bezug zum BSI-Grundschutz
-
Dokumentation und Nachweise
-
Den Betrieb auf Kubernetes vertiefen unsere Kubernetes Schulung und die Absicherung über Keycloak. Für die Produktionsreife einer konkreten Umgebung unterstützt unser Production Readiness Review für Kubernetes.