Blog
Warum klassisches IT-Wissen bei KI-Angeboten nicht mehr trägt
Ein Taschenrechner liefert bei 17 mal 23 immer 391. Heute, morgen und im Jahr 2030.
Ein Wetterbericht sagt dagegen: siebzig Prozent Regen. Und niemand hält ihn deshalb für wertlos, nur weil er sich nicht auf den Einzelfall festlegt.
Klassische Software ist der Taschenrechner, KI steht dem Wetterbericht näher. Die öffentliche Beschaffung hat über Jahrzehnte fast nur Taschenrechner abgenommen, und ihre Prüfroutinen sind darauf gebaut. Genau da liegt das Problem.
Was sich beim Prüfen ändert
Klassische Programme arbeiten deterministisch: gleiche Eingabe, gleiche Ausgabe, jedes Mal. KI-Systeme arbeiten mit Wahrscheinlichkeiten, also stochastisch. Dieselbe Eingabe kann zu unterschiedlichen Ergebnissen führen, und selbst bei stabilen Ergebnissen bleibt die Frage, wie oft sie stimmen.
Die folgende Gegenüberstellung beruht auf Praxiserfahrung, nicht auf einer Systemprüfung. Im Einzelfall kann ein Hersteller sein Modell so einstellen, dass es nahezu gleich antwortet, garantieren kann er das aber selten.
| Prüffrage | Klassische Software | KI-Komponente |
|---|---|---|
| Was messe ich? | Einzelfall: Soll gegen Ist | Trefferquote über eine Testmenge |
| Wie lautet die Abnahmeaussage? | „Die Funktion ist vorhanden und fehlerfrei.“ | „Die Qualität liegt bei Datensatz Y über Schwelle X.“ |
| Was bewirkt ein Update? | Ein Fehler ist behoben oder nicht | Das Verhalten kann sich insgesamt verschieben |
| Wie fordere ich es in der Leistungsbeschreibung? | „Das System muss …“ | Mindestquote, Messverfahren, Testdaten |
Die Konsequenz ist unbequem.
Wer KI mit den Testfällen der Altsoftware abnimmt, prüft die falsche Eigenschaft, und ein grüner Test sagt dann nur, dass dieser eine Fall gerade funktioniert hat.
Heißt stochastisch: nicht prüfbar?
Frage: Wenn das Ergebnis schwankt, kann ich dann überhaupt vergleichbar werten?
Antwort: Ja, aber anders. Sie prüfen nicht den Einzelfall, sondern eine Menge. Dafür legen Sie vor der Angebotsabgabe einen Aufgabenkatalog mit realistischen, anonymisierten Fällen fest, dazu Metriken und Schwellenwerte. Kriterien, Unterkriterien und Gewichtung müssen den Unternehmen vorab bekannt sein, und ich empfehle, auch Metriken und Schwellen offenzulegen.
Ein Beispiel macht den Unterschied greifbar. „Das System muss gesprochene Sprache korrekt erkennen“ lässt sich nicht prüfen, denn „korrekt“ ist ein Wunsch und kein Maß. „Die Wortfehlerrate liegt auf dem Testsatz Y höchstens bei X Prozent, gemessen nach Verfahren Z“ lässt sich prüfen, wiederholen und vergleichen. Welche Folgen ein Verfehlen der Schwelle hat, regelt später der Vertrag, und je klarer die Schwelle formuliert ist, desto weniger Streit gibt es über die Frage, ob sie erreicht wurde.
Schreiben Sie für KI-Funktionen kein „fehlerfrei“ in die Leistungsbeschreibung. Das ist nicht erfüllbar und lädt die Bieter zu Risikoaufschlägen ein. Verlangen Sie Quote, Messverfahren und Testdatensatz.
Was bedeutet das für Abnahmen?
Eine Abnahme gilt für einen Stand.
Bei klassischer Software ist das der installierte Programmstand. Bei KI ist es ein Modell, dessen Verhalten sich mit einem Update im Ganzen ändern kann, ohne dass eine einzige Zeile Ihrer Anforderungen verletzt wird.
Deshalb gehören in das Betriebskonzept die Drift-Erkennung – also die Messung, ob die Qualität mit der Zeit nachlässt – und ein Verfahren, nach dem erneut gemessen wird. Das sind Anforderungen an den Betrieb und keine Sonderwünsche. Welche Metriken Sie dafür nehmen, bleibt eine fachliche Entscheidung. Wer sie nicht treffen kann, steht wieder vor der Kompetenzfrage.
Noch ein Wort zur Bedarfsermittlung. Prüfen Sie früh, ob Sie wirklich „eine KI“ beschaffen oder Software mit KI-Anteil. Die Antwort ändert die Prüftiefe – und sie steht auch in den Fragen aus der Praxis gleich an zweiter Stelle.
Und noch ein Gedanke: Bei Ihrer letzten Abnahme – haben Sie eine Funktion abgenommen oder eine Trefferquote? Und wüssten Sie, bei welchem Wert Sie die Abnahme verweigern?