Wir haben unsere Telefonanlage auf Kubernetes umgezogen. Dabei kam eine Funktion hinzu, die im Alltag schnell unverzichtbar wurde: Telefonkonferenzen werden transkribiert, zusammengefasst und durchsuchbar. Jeder Teilnehmer wird auf einer eigenen Spur aufgezeichnet, Whisper erstellt daraus das Transkript und ein lokales Sprachmodell das Protokoll mit Entscheidungen und Aufgaben. Gesucht wird in OpenSearch per Volltext und nach Bedeutung, so findet man auch Gespräche, in denen ein Begriff nicht wörtlich gefallen ist.

Alle Daten bleiben dabei im eigenen Cluster, auch die KI-Modelle laufen auf eigener Hardware. Dieser Beitrag beschreibt den Aufbau und die Punkte, an denen wir nachjustieren mussten. Zum Schluss geht es darum, was vor einer Aufzeichnung rechtlich zu beachten ist.