Vor kurzem habe ich mit einem Ingenieurbüro gesprochen, das in Sachen KI wirklich weit vorne ist.
Eigene KI-Infrastruktur auf eigener Hardware. Ein Chatbot, der das gesamte Firmenwissen durchsuchbar macht. Eine selbstgebaute Automatisierung, fest in die tägliche Arbeit integriert.
Ich wollte wissen, welches Modell läuft, welche Hardware das trägt.
Die Antwort: »Das hat alles einer gemacht. Die genauen Details kenne ich nicht.«
Nicht weil das Team nachlässig ist. Sondern weil derjenige, der es aufgebaut hat, einfach der Beste darin war — und niemand es für nötig hielt, das System zu dokumentieren, solange es lief.
Das ist die andere Seite von Schatten-KI, über die kaum jemand spricht. Nicht zu wenig KI-Kompetenz im Haus. Zu viel Kompetenz an einer einzigen Stelle, ohne Absicherung drumherum.
Was passiert, wenn diese eine Person zwei Wochen Urlaub macht und das System einen Fehler wirft? Wer weiß dann, welches Modell läuft, welche Daten es verarbeitet, welche Rechte es hat?
Niemand fragt das, solange es funktioniert. Genau deshalb taucht es in keinem Risikobericht auf.
Eine gute KI-Lösung im Haus zu haben ist die halbe Miete. Die andere Hälfte ist, dass mehr als eine Person weiß, was sie tut, womit sie läuft und was passiert, wenn sie ausfällt.
Bei einem System und einer Person im Kopf ist das ein Risiko, mit dem man leben kann. Bei mehreren internen KI-Systemen, die über Jahre gewachsen sind, ist es ein blinder Fleck, der irgendwann zum Vorfall wird — meist genau dann, wenn die Person, die alles weiß, gerade nicht greifbar ist.
Die fortschrittlichsten KI-Setups, die ich sehe, sind oft die am wenigsten abgesicherten.
Weil sie an einer einzigen Person hängen.
Wüsste bei euch mehr als eine Person, wie eure interne KI-Lösung läuft — und was passiert, wenn sie es nicht mehr könnte?