Leitfaden zur KI-Produktionsreife
Entscheiden Sie über den Produktiveinsatz des vollständigen Systems.
Bringen Sie fachliche Auftraggebende, Prüfverantwortliche und Betriebsteams für eine konkrete Konfiguration zusammen. Prüfen Sie die Aufgabe, ihre Abhängigkeiten und die Personen, die bei Handlungsbedarf reagieren.
Was sollte ein Team vor der Inbetriebnahme eines KI-Workflows prüfen?
Prüfen Sie repräsentative Aufgabenergebnisse, Informations- und Zugriffsgrenzen, angebundene Aktionen, Fehlerbehandlung, Kapazität und Kosten. Bestätigen Sie die bereitgestellte Konfiguration, Betriebsverantwortliche sowie den Monitoring- und Wiederherstellungsplan. Dokumentieren Sie Nachweise, offene Punkte und die Abnahmeentscheidung. Ein Modellergebnis allein belegt nicht, dass der vollständige Geschäftsworkflow einsatzbereit ist.
Erstellen Sie ein gemeinsames Protokoll der Freigabeprüfung.
Benennen Sie für jeden Bereich eine verantwortliche Person, verlinken Sie die Nachweise, dokumentieren Sie ungelöste Punkte und halten Sie eine Abnahmeentscheidung fest. Die folgenden Zeilen zeigen, was zusammenzutragen ist. Sie berichten nicht über bereits abgeschlossene Tests.
Aufgabe und fachliche Qualität
Verantwortlich: fachliche Auftraggebende. Nachweise: geprüfte repräsentative Fälle. Offener Punkt: nicht erfüllte Abnahmekriterien. Entscheidung: abnehmen, den Umfang begrenzen oder zurückstellen.
Informationen und Aktionen
Verantwortlich: Daten- und Systemverantwortliche. Nachweise: Quellen-, Berechtigungs- und Aktionstests. Offener Punkt: fehlgeschlagene Grenz- oder Abschlussprüfung. Entscheidung: den getesteten Umfang freigeben oder zurückstellen.
Zuverlässigkeit und betriebliche Eignung
Verantwortlich: technische Leitung. Nachweise: Ergebnisse zu Abhängigkeitsausfällen, Arbeitslast und Kosten. Offener Punkt: ungetestete Grenze oder Störung. Entscheidung: den Betriebsrahmen akzeptieren oder zurückstellen.
Betrieb und Wiederherstellung
Verantwortlich: Servicebetrieb. Nachweise: Benachrichtigungen sowie Eskalations- und Wiederherstellungsübungen. Offener Punkt: fehlende Verantwortung oder nicht belegter Wiederherstellungsschritt. Entscheidung: den Plan freigeben oder zurückstellen.
Freigabe und spätere Änderungen
Verantwortlich: freigabeberechtigte Person. Nachweise: Konfiguration, Testversionen und Änderungsprozess. Offener Punkt: fehlende Genehmigung oder fehlendes Regressionsergebnis. Entscheidung: die benannte Version freigeben oder zurückstellen.
Testen Sie die Aufgaben, auf die sich Menschen tatsächlich verlassen werden.
Nutzen Sie repräsentative Fälle und definieren Sie vor dem Test das erwartete Ergebnis. Berücksichtigen Sie normale Arbeit, fehlende Informationen, Ausnahmen und Aktionen, die das System ablehnen muss. Prüfen Sie den entstandenen Geschäftsdatensatz, wenn die Aufgabe ein anderes System verändert.
Beispielaufgabe: einen Serviceantwortentwurf zur menschlichen Prüfung vorbereiten. Testen Sie die folgenden Situationen anhand des Briefings.
- Eine vollständige Anfrage: Der Entwurf verwendet die relevante Richtlinie und den passenden Geschäftsdatensatz.
- Fehlende Informationen: Der Entwurf benennt die Lücke, statt eine Tatsache zu erfinden.
- Zugriffsbeschränkte Informationen: Das System legt keinen Datensatz außerhalb des erlaubten Umfangs offen.
- Eine nicht verfügbare Abhängigkeit: Der Fehler gelangt in den vorgesehenen Prüfprozess.
- Eine wiederholte Anfrage: Der konfigurierte Prozess vermeidet eine unbeabsichtigte doppelte Aktion.
Prüfen Sie Qualität getrennt von Aktivität.
Monitoring kann zeigen, dass eine Anfrage ausgeführt wurde, wie lange sie dauerte und welche Ressourcen sie nutzte. Evaluierung fragt, ob das Ergebnis die fachlichen Kriterien erfüllte. Prüfen Sie beides: Auch eine abgeschlossene Ausführung kann einen schlechten Entwurf oder eine falsche Aktion hervorbringen.
Vergleichen Sie Ergebnisse mit dem Ausgangsstand, bewahren Sie die getestete Konfiguration auf und beziehen Sie Fachleute ein, wo Urteilskraft nötig ist. Legen Sie Qualitäts-, Arbeitslast- und Kostenschwellen für diese Aufgabe fest, statt ein allgemeingültiges Ziel zu übernehmen.
Erproben Sie die Reaktion auf ein Problem.
Benennen Sie, wer auf Benachrichtigungen reagiert, unvollständige Arbeit untersucht, Änderungen genehmigt und den Dienst wiederherstellt. Gehen Sie den Ausfall einer Abhängigkeit und die vorgesehene Wiederherstellung durch, einschließlich der Verantwortlichkeiten anderer Anbieter oder Ihres eigenen Teams.
Führen Sie Tests und Prüfungen auch nach der Bereitstellung fort. Das AI Risk Management Framework von NIST verknüpft Evaluierung und Monitoring mit verantwortlichen Rollen, der Reaktion auf Vorfälle und dem Änderungsmanagement.
Dokumentieren Sie eine Entscheidung mit klaren Grenzen.
Genehmigen Sie eine benannte Konfiguration für einen definierten Umfang oder dokumentieren Sie, was die Freigabe verhindert. Weisen Sie jedem ungelösten Punkt eine verantwortliche Person und einen nächsten Schritt zu. Bewahren Sie die Nachweise zusammen mit der Entscheidung auf, damit spätere Änderungen an Modellen, Wissen, Tools oder Workflows die passende Prüfung auslösen können.
Fragen und Antworten
Sie ist ein Teil der Nachweise. Testen Sie Wissen, Tools, Berechtigungen, Workflow-Abschluss, Bereitstellung und Betriebsverantwortlichkeiten als vollständiges System.
Nein. Dies ist ein Planungs- und Abnahmeprotokoll für einen bestimmten Workflow. Es bescheinigt keine Rechtskonformität und ersetzt keine erforderlichen Prüfungen.
Ihr Betriebsmodell sollte vor der Entscheidung die verantwortliche freigabeberechtigte Person sowie die erforderlichen fachlichen, technischen und weiteren Prüfverantwortlichen benennen.
Prüfen Sie relevante Fälle nach Änderungen an Modellen, Prompts, Wissen, Tools, Workflows oder Betriebsbedingungen. Nutzen Sie Erkenntnisse aus der Produktion, um den Testsatz zu aktualisieren.