Leitfaden · Beobachtung nach dem Inverkehrbringen
Stand: 6. Oktober 2026 · KI-VO in der Fassung der VO (EU) 2026/1744
Post-Market-Monitoring nach Art. 72 KI-VO: Plan, Metriken, Eskalation
Ein Hochrisiko-KI-System ist mit der Konformitätsbewertung nicht fertig. Art. 72 verlangt, dass Anbieter die Leistung im Betrieb systematisch beobachten – auf Grundlage eines dokumentierten Plans. Betreiber überwachen nach Art. 26 Abs. 5 und liefern Rückmeldungen. Dieser Leitfaden zeigt, wie beides zusammenpasst.
Pflichten Anbieter und Betreiber getrennt · Planinhalt als Empfehlung, bis das Kommissionsmuster vorliegt · Metriken und Beispiel-Schwellen je Systemtyp · Plan-Builder mit Textexport
Runtime-Signale
KI-System → Integrationen / Ereignisse
Quellprofil
GRAFANA · KI-basierte Bewerbungsanalyse
/ingestion/connectors/grafana/alerts
Signatur
HMAC-SHA256 geprüft
x-simpleact-signature
- PROCESSED3
- RECEIVED1
- DUPLICATE1
- FAILED1
- DEAD_LETTER1
Eingegangene Ereignisse
- 09:4209:42GrafanaMonitoring-SignalHIGHKI-basierte BewerbungsanalysePROCESSED
- 09:1509:15MLflowModellregister-EintragKI-basierte BewerbungsanalysePROCESSED
- 08:5708:57GitHub ActionsRelease-EreignisService-Chatbot „Lia"PROCESSED
- 08:3108:31PrometheusMonitoring-SignalKI-basierte BewerbungsanalyseDUPLICATE
- 08:1008:10DatadogMonitoring-SignalService-Chatbot „Lia"FAILEDVersuch 2/3
- 07:5807:58GitLab CIRelease-EreignisMarketing-Texte GeneratorRECEIVED
- 07:2207:22DatadogMonitoring-SignalService-Chatbot „Lia"DEAD_LETTERVersuch 3/3
Go-Live Gate: Kritische Runtime-Signale aufgelöst – 1 offen
Demodaten. Jede Übernahme wird im Audit-Trail als maschinelle Änderung vermerkt.
Kurzantwort
Anbieter von Hochrisiko-KI-Systemen müssen nach Art. 72 KI-VO ein System zur Beobachtung nach dem Inverkehrbringen einrichten und dokumentieren. Es beruht auf einem Plan, der Teil der technischen Dokumentation ist, und erhebt Leistungsdaten über die gesamte Lebensdauer. Betreiber überwachen den Betrieb nach Art. 26 Abs. 5 anhand der Betriebsanleitung und informieren den Anbieter über Auffälligkeiten.
Worum es geht
Monitoring ist die Fortsetzung der Konformitätsbewertung im Betrieb
Die Konformitätsbewertung prüft ein Hochrisiko-KI-System zu einem bestimmten Zeitpunkt mit bestimmten Daten. Im Betrieb ändern sich beide: Die Eingabedaten verschieben sich, Nutzer verwenden das System anders als geplant, Modelle werden nachtrainiert, angebundene Dienste wechseln ihre Version. Die KI-VO reagiert darauf mit der Beobachtung nach dem Inverkehrbringen. Art. 3 Nr. 25 beschreibt sie als alle Tätigkeiten, mit denen Anbieter Erfahrungen aus der Verwendung sammeln und überprüfen, um festzustellen, ob unverzüglich Korrektur- oder Präventivmaßnahmen nötig sind.
Diese Zielrichtung ist wichtiger als jede Kennzahl: Monitoring im Sinne der Verordnung ist kein Berichtswesen, sondern ein Frühwarnsystem mit Entscheidungsweg. Ein Dashboard, das niemand auswertet, erfüllt den Zweck nicht. Ein schlichtes, aber regelmäßig ausgewertetes Set aus Logs, Rückmeldungen und wenigen gut gewählten Metriken dagegen schon eher – vorausgesetzt, es ist dokumentiert, wer bei welcher Abweichung was entscheidet.
Für die Praxis im Mittelstand ist die Rollenfrage entscheidend. Wer ein Hochrisiko-KI-System entwickelt und unter eigenem Namen in Verkehr bringt, ist Anbieter und braucht den Plan nach Art. 72. Wer ein zugekauftes System in eigener Verantwortung einsetzt, ist Betreiber und überwacht nach Art. 26 Abs. 5 – mit eigenen Pflichten zur Information des Anbieters und der Behörde. Beide Seiten brauchen einander: Ohne Betreiberdaten fehlt dem Anbieter das Bild aus dem Feld, ohne Anbieterinformationen fehlt dem Betreiber der Maßstab.
Rechtsgrundlage
Die Normen hinter dem Post-Market-Monitoring
Art. 72 steht nicht allein. Risikomanagement, Protokollierung, Qualitätsmanagement, Korrekturmaßnahmen und Betreiberpflichten greifen ineinander. Die Tabelle ordnet die Vorschriften nach Inhalt, Adressat und praktischer Folge.
Tabelle seitlich scrollen →
| Norm | Inhalt | Adressat | Was das praktisch heißt |
|---|---|---|---|
| Art. 3 Nr. 25 | Definition: alle Tätigkeiten der Anbieter, um Erfahrungen mit der Verwendung zu sammeln und zu überprüfen und festzustellen, ob unverzüglich Korrektur- oder Präventivmaßnahmen nötig sind. | Anbieter | Jede Metrik braucht eine Entscheidungsfolge. Was keine Maßnahme auslösen kann, gehört nicht in den Kern des Plans. |
| Art. 72 Abs. 1–2 | System einrichten und dokumentieren, verhältnismäßig zu Technik und Risiken; Leistungsdaten – auch von Betreibern oder aus anderen Quellen – über die gesamte Lebensdauer aktiv und systematisch erheben, dokumentieren, analysieren; fortdauernde Einhaltung von Kapitel III Abschnitt 2 bewerten; ggf. Interaktion mit anderen KI-Systemen analysieren. | Anbieter | Datenquellen je System benennen, Betreiberrückmeldungen vertraglich ermöglichen. Sensible operative Daten von Strafverfolgungsbehörden sind ausgenommen. |
| Art. 72 Abs. 3, Anhang IV Nr. 9 | Das System beruht auf einem Plan; der Plan ist Teil der technischen Dokumentation. Die Kommission legt Leitlinien einschließlich eines Musters für den Plan vor. | Anbieter | Bis das Muster vorliegt, mit einer eigenen, nachvollziehbaren Gliederung arbeiten und diese später abgleichen. |
| Art. 72 Abs. 4 | Bei Produkten nach Anhang I Abschnitt A mit bestehendem Beobachtungssystem und bei Anhang-III-Nr.-5-Systemen regulierter Finanzinstitute können die Elemente in vorhandene Systeme und Pläne integriert werden, sofern ein gleichwertiges Schutzniveau erreicht wird. | Anbieter regulierter Produkte, Finanzinstitute | Kein Parallelprozess nötig: Den KI-Teil in die bestehende Marktbeobachtung oder Governance einhängen. |
| Art. 9 Abs. 2 Buchst. c | Das Risikomanagement bewertet weitere Risiken auf Grundlage der Daten aus dem System nach Art. 72. | Anbieter | Monitoring-Ergebnisse fließen in das Risikoregister zurück; neue Risiken werden dort bewertet und mit Maßnahmen versehen. |
| Art. 12 Abs. 2 | Protokollierung muss Ereignisse erfassen, die für Risikosituationen und wesentliche Änderungen, für die Beobachtung nach Art. 72 und für die Betreiberüberwachung nach Art. 26 Abs. 5 relevant sind. | Anbieter (Systemgestaltung) | Logs so gestalten, dass die Metriken des Plans daraus ableitbar sind – nicht erst nachträglich suchen, was fehlt. |
| Art. 19, Art. 26 Abs. 6 | Automatisch erzeugte Protokolle aufbewahren, soweit sie der eigenen Kontrolle unterliegen: der Zweckbestimmung angemessen, mindestens sechs Monate, sofern anderes Recht nichts anderes bestimmt. | Anbieter, Betreiber | Aufbewahrungsdauer mit dem Löschkonzept abstimmen; personenbezogene Logs brauchen eine DSGVO-Begründung für die Dauer. |
| Art. 17 Abs. 1 Buchst. h, i; Abs. 2 | Das Qualitätsmanagementsystem umfasst die Einrichtung und Durchführung der Beobachtung nach Art. 72 und Verfahren zur Meldung schwerwiegender Vorfälle; Umfang verhältnismäßig zur Größe der Organisation. | Anbieter | Den Plan als gelenktes QMS-Dokument führen: Version, Freigabe, Verantwortliche, Review-Zyklus. |
| Art. 20 | Bei Grund zur Annahme einer Nichtkonformität unverzüglich Korrekturmaßnahmen, ggf. Rücknahme, Deaktivierung oder Rückruf; Information von Händlern und ggf. Betreibern. Bei Risiko nach Art. 79 Abs. 1: Ursachenuntersuchung und Information der Marktüberwachungsbehörden. | Anbieter | Im Plan festlegen, welche Schwellenüberschreitung eine Prüfung auf Korrekturmaßnahmen auslöst – und wer sie anordnet. |
| Art. 26 Abs. 5 | Betreiber überwachen den Betrieb anhand der Betriebsanleitung und informieren ggf. den Anbieter nach Art. 72; bei Risiko nach Art. 79 Abs. 1 Information von Anbieter oder Händler und Behörde sowie Aussetzen; bei schwerwiegendem Vorfall zuerst Anbieter, dann Einführer oder Händler und Behörden. | Betreiber | Meldeweg zum Anbieter mit Kontakt und Reaktionszeit vertraglich festhalten; Kriterien für das Aussetzen vorab definieren. |
| Art. 73 Abs. 2–4 | Meldung schwerwiegender Vorfälle an die Marktüberwachungsbehörde: spätestens 15 Tage nach Kenntnis; bei weitverbreitetem Verstoß oder kritischer Infrastruktur spätestens 2 Tage; bei Tod spätestens 10 Tage. | Anbieter (Betreiber, wenn Anbieter nicht erreichbar) | Das Monitoring liefert die Feststellung, die die Frist in Gang setzt. Der Meldeprozess selbst gehört in das Incident-Verfahren. |
| Art. 3 Nr. 23, Art. 43 Abs. 4, Art. 25 Abs. 1 | Wesentliche Veränderung: nicht vorgesehen oder geplant und mit Auswirkung auf die Anforderungen oder die Zweckbestimmung. Folge: neue Konformitätsbewertung; vorab festgelegte Änderungen weiterlernender Systeme gelten nicht als wesentlich. Wer wesentlich verändert, kann zum Anbieter werden. | Anbieter, Betreiber, Dritte | Monitoring prüft jede Modell- und Datenänderung gegen die vorab festgelegten Änderungen in Anhang IV Nr. 2 Buchst. f. |
Wortlaut geprüft am 6. Oktober 2026 auf ai-act-law.eu (konsolidierte Fassung nach VO (EU) 2026/1744). Maßgeblich ist der im Amtsblatt veröffentlichte Text.
So läuft es ab
Vom Inventar zum gelebten Überwachungsplan in acht Schritten
Die Reihenfolge ist eine Empfehlung. Sie setzt voraus, dass Inventar und Risikoeinstufung stehen – ohne diese Grundlage lässt sich nicht sagen, welches System überhaupt einen Plan braucht.
- 1
Systeme und Rolle bestimmen
Aus dem KI-Inventar die Hochrisiko-Systeme herausfiltern und je System festhalten, ob Sie Anbieter oder Betreiber sind. Eigenentwicklungen, umetikettierte Produkte und stark angepasste Systeme genau prüfen – hier entsteht die Anbieterrolle oft unbemerkt.
- Wer
- Compliance, Produktverantwortung
- Ergebnis
- Liste der Systeme mit Rolle und Risikoklasse
- Basis
- Art. 3 Nr. 3/4, Art. 6, Art. 25
- 2
Referenzwerte festlegen
Aus Validierung und Betriebsanleitung die Werte übernehmen, an denen der Betrieb gemessen wird: Genauigkeitsmaße und ihre Metriken, Leistung für bestimmte Personengruppen, bekannte Leistungsgrenzen. Ohne Referenz ist keine Abweichung feststellbar.
- Wer
- Daten- und ML-Team
- Ergebnis
- Referenzwert je Metrik mit Herkunft
- Basis
- Art. 13 Abs. 3 Buchst. b, Art. 15 Abs. 3
- 3
Datenquellen anbinden
Festlegen, woher die Erkenntnisse kommen: automatisch erzeugte Logs, Rückmeldungen der Betreiber, Beschwerden Betroffener, technische Überwachungswerkzeuge. Für jede Quelle klären, wer Zugriff hat und wie lange Daten liegen dürfen.
- Wer
- IT-Betrieb, Datenschutz
- Ergebnis
- Datenquellenliste mit Zugriff und Aufbewahrung
- Basis
- Art. 72 Abs. 2, Art. 12, Art. 19
- 4
Metriken, Schwellen und Stufen definieren
Wenige, aussagekräftige Metriken wählen und je Metrik eine Schwelle mit Eskalationsstufe festlegen. Die Schwelle ergibt sich aus Referenzwert und Risiko – nicht aus Branchenzahlen.
- Wer
- ML-Team mit Fachbereich
- Ergebnis
- Metrikkatalog mit Schwellen und Stufen
- Basis
- Art. 72 Abs. 2, Art. 9 Abs. 2 Buchst. c
- 5
Plan freigeben und ablegen
EntscheidungDen Plan als Dokument der technischen Dokumentation freigeben, mit Version, Verantwortlichen und Review-Termin. Ab hier ist er Prüfgrundlage – auch für die Behörde.
- Wer
- Qualitätsmanagement, Geschäftsleitung
- Ergebnis
- Freigegebener Plan in der technischen Dokumentation
- Basis
- Art. 72 Abs. 3, Anhang IV Nr. 9, Art. 17 Abs. 1 Buchst. h
- 6
Laufend auswerten und eskalieren
Automatische Alarme laufen dauerhaft, die fachliche Auswertung im festgelegten Rhythmus. Jede Schwellenüberschreitung wird als Vorgang mit Ergebnis dokumentiert – auch wenn sich der Verdacht nicht bestätigt.
- Wer
- Plan-Verantwortliche Person
- Ergebnis
- Auswertungsprotokolle, Vorgänge, Maßnahmen
- Basis
- Art. 72 Abs. 2, Art. 20
- 7
Vorfälle und Veränderungen entscheiden
EntscheidungZwei Fragen nach jeder relevanten Auffälligkeit: Liegt ein schwerwiegender Vorfall vor, der gemeldet werden muss? Und hat sich das System so verändert, dass eine neue Konformitätsbewertung nötig wird?
- Wer
- Compliance, Recht, Produktverantwortung
- Ergebnis
- Dokumentierte Melde- und Änderungsentscheidung
- Basis
- Art. 73, Art. 3 Nr. 23, Art. 43 Abs. 4
- 8
Plan überprüfen
Mindestens jährlich und nach jedem größeren Ereignis prüfen, ob Metriken, Schwellen und Quellen noch passen. Sobald das Kommissionsmuster vorliegt, die Gliederung damit abgleichen.
- Wer
- Plan-Verantwortliche Person, QM
- Ergebnis
- Neue Planversion mit Änderungsvermerk
- Basis
- Art. 9 Abs. 2, Art. 72 Abs. 3
Für Betreiber verkürzt sich die Kette: Schritt 1 bis 3 und 6 sind auch für sie sinnvoll, die Freigabe eines Plans nach Art. 72 und die Konformitätsfrage liegen beim Anbieter – solange der Betreiber nicht selbst zum Anbieter wird.
Rollen
Anbieter und Betreiber: wer was überwacht
Beide Rollen überwachen, aber mit unterschiedlichem Ziel. Der Anbieter bewertet, ob sein Produkt weiter die Anforderungen erfüllt. Der Betreiber prüft, ob der Einsatz in seinem Haus der Betriebsanleitung entspricht und ob Risiken auftreten.
Ein häufiger Irrtum lautet: „Wir kaufen nur ein, also müssen wir nichts überwachen.“ Art. 26 Abs. 5 verpflichtet Betreiber ausdrücklich zur Überwachung des Betriebs. Sie ist schlanker als die Anbieterpflicht, aber nicht verhandelbar. Praktisch bedeutet das: Die Aufsichtspersonen nach Art. 26 Abs. 2 brauchen einen klaren Weg, Auffälligkeiten zu melden, und jemand muss diese Meldungen sammeln und an den Anbieter weitergeben.
Umgekehrt kann der Anbieter seine Pflicht nicht ohne die Betreiber erfüllen. Art. 72 Abs. 2 nennt die von Betreibern bereitgestellten Daten ausdrücklich als Quelle. Wir empfehlen, im Vertrag festzuhalten, welche Daten der Betreiber in welcher Form liefert, wie Rückmeldungen übermittelt werden und wie schnell der Anbieter reagiert. Damit wird aus einer allgemeinen Kooperationserwartung ein überprüfbarer Prozess.
Tabelle seitlich scrollen →
| Thema | Anbieter | Betreiber |
|---|---|---|
| Rechtsgrundlage | Art. 72, ergänzt durch Art. 9, 12, 17, 19, 20 | Art. 26 Abs. 5 und 6, ergänzt durch Art. 26 Abs. 2 und 4 |
| Ziel | Fortdauernde Einhaltung der Anforderungen aus Kapitel III Abschnitt 2 bewerten | Betrieb gemäß Betriebsanleitung sicherstellen, Risiken erkennen |
| Datenbasis | Leistungsdaten über die gesamte Lebensdauer, auch von Betreibern und aus anderen Quellen | Eigene Beobachtung, Logs unter eigener Kontrolle, Hinweise der Aufsichtspersonen |
| Dokument | Plan zur Beobachtung nach dem Inverkehrbringen als Teil der technischen Dokumentation | Kein Plan nach Art. 72 vorgeschrieben; dokumentierte Überwachung empfehlenswert |
| Logs | Aufbewahren, soweit unter Kontrolle, mindestens sechs Monate (Art. 19) | Aufbewahren, soweit unter Kontrolle, mindestens sechs Monate (Art. 26 Abs. 6) |
| Auffälligkeit | Analyse, ggf. Korrekturmaßnahmen und Information nach Art. 20 | Anbieter informieren (Art. 26 Abs. 5 Satz 1) |
| Risiko nach Art. 79 Abs. 1 | Ursachenuntersuchung, Information der Marktüberwachungsbehörden (Art. 20 Abs. 2) | Unverzüglich Anbieter oder Händler und Behörde informieren, Verwendung aussetzen |
| Schwerwiegender Vorfall | Meldung nach Art. 73 an die Marktüberwachungsbehörde | Unverzüglich zuerst Anbieter, dann Einführer oder Händler und Behörden; Anbieter nicht erreichbar: Art. 73 entsprechend |
| Änderungen am System | Prüfung auf wesentliche Veränderung, ggf. neue Konformitätsbewertung (Art. 43 Abs. 4) | Eigene wesentliche Veränderung macht zum Anbieter (Art. 25 Abs. 1 Buchst. b) |
Der Plan
Was in den Überwachungsplan gehört – eine Gliederung als Empfehlung
Die Verordnung schreibt den Plan vor, aber keine Gliederung. Das Muster der Kommission nach Art. 72 Abs. 3 steht noch aus. Die folgenden acht Abschnitte haben sich als Arbeitsstruktur bewährt und lassen sich später auf das Muster abbilden.
Art. 72 Abs. 1
Zweck und Umfang
Welches System, welche Version, welche Zweckbestimmung, welche Einsatzorte. Auch: was ausdrücklich nicht abgedeckt ist, etwa Betreiber, die eigene Anpassungen vornehmen.Art. 72 Abs. 2
Datenquellen
Logs, Betreiberrückmeldungen, Beschwerden, technische Überwachung, Hinweise aus dem Support. Je Quelle: Format, Zugriff, Aufbewahrung, Datenschutzgrundlage.Art. 13, Art. 15
Metriken und Referenzwerte
Wenige Kennzahlen mit klarer Herkunft des Referenzwerts aus Validierung oder Betriebsanleitung. Leistung für Personengruppen gesondert, wenn das System auf Menschen angewandt wird.Art. 20
Schwellen und Eskalation
Je Metrik eine Schwelle und eine Stufe: beobachten, prüfen, eingreifen, melden. Dazu, wer auf jeder Stufe entscheidet und in welcher Zeit.Art. 72 Abs. 2
Rhythmus
Was automatisch und laufend geprüft wird, was in festen Abständen fachlich ausgewertet wird und welche Ereignisse eine Sonderauswertung auslösen.Art. 17 Abs. 1 Buchst. m
Verantwortliche
Eine Person, die den Plan verantwortet, und benannte Rollen für Metriken, Beschwerden, Meldeentscheidung und Freigabe von Korrekturmaßnahmen – mit Vertretung.Anhang IV Nr. 9
Dokumentation und Ablage
Wo Auswertungen, Vorgänge und Entscheidungen liegen, wie lange, und wie sie mit technischer Dokumentation, Risikoregister und QMS verknüpft sind.Art. 9 Abs. 2
Review und Änderungen
Wann der Plan selbst überprüft wird, wie Änderungen freigegeben werden und wie Modell- oder Datenänderungen gegen die vorab festgelegten Änderungen geprüft werden.
Diese Gliederung ist eine redaktionelle Empfehlung, keine amtliche Vorgabe. Sobald die Kommission Leitlinien und Muster veröffentlicht, sollten bestehende Pläne damit abgeglichen werden.
Interaktiv
Überwachungsplan-Builder nach Art. 72
Wählen Sie Rolle, Systemtyp, Datenquellen und Prüfrhythmus. Der Builder erstellt einen gegliederten Entwurf mit Artikelbezügen, den Sie als Text kopieren und in Ihre Dokumentation übernehmen können. Für Betreiber entsteht stattdessen ein Entwurf für die Überwachung nach Art. 26 Abs. 5. Alle Angaben sind Empfehlungen, keine Rechtsberatung.
Plan-Entwurf
Beobachtung nach dem Inverkehrbringen (Art. 72)
Plan zur Beobachtung nach dem Inverkehrbringen – Entwurf
Entwurf und Empfehlung, keine Rechtsberatung. Gliederung vorläufig, bis das Muster der Kommission nach Art. 72 Abs. 3 KI-VO vorliegt.
1.Zweck und Umfang
Bezug: Art. 3 Nr. 25, Art. 72 Abs. 1
- System: [Name, Version, Zweckbestimmung] – Systemtyp: Klassifikation / Scoring.
- Ziel: Erfahrungen aus der Verwendung sammeln und prüfen, um unverzüglich nötige Korrektur- oder Präventivmaßnahmen zu erkennen und die fortdauernde Einhaltung von Kapitel III Abschnitt 2 zu bewerten.
- Geltungsbereich: alle Betreiber und Einsatzorte; Ausnahmen ausdrücklich benennen.
- Hinweis: Bei Systemen, die über Menschen entscheiden oder Entscheidungen vorbereiten, die Leistung nach Personengruppen gesondert ausweisen.
2.Datenquellen
Bezug: Art. 72 Abs. 2, Art. 12 Abs. 2
- Automatisch erzeugte Logs: Felder festlegen, aus denen sich die Metriken ableiten lassen; Zugriff und Aufbewahrung dokumentieren.
- Monitoring-Werkzeug: technische Alarme für Verfügbarkeit, Drift und Fehlerraten; Alarme als Vorgänge übernehmen.
3.Metriken und Beispiel-Schwellen
Bezug: Art. 72 Abs. 2, Art. 9 Abs. 2 Buchst. c, Art. 13 Abs. 3 Buchst. b, Art. 15
- Genauigkeit oder AUC gegen Referenzwert der Validierung – Beispiel-Schwelle: Rückgang um mehr als 3 Prozentpunkte → Stufe „prüfen“.
- Fehlerraten nach Personengruppen – Beispiel-Schwelle: Abstand der Falsch-Positiv-Raten über 5 Prozentpunkte → Stufe „prüfen“.
- Daten-Drift der wichtigsten Merkmale – Beispiel-Schwelle: deutliche Verschiebung gegenüber Trainingsverteilung über zwei Auswertungen.
- Override-Quote der menschlichen Aufsicht – Beispiel-Schwelle: Verdoppelung oder Absinken gegen null gegenüber dem Basismonat.
- Widersprüche und Beschwerden mit Hinweis auf Benachteiligung – jede einzeln prüfen.
- Alle Schwellen sind Beispiele. Maßgeblich sind die eigenen Referenzwerte aus Validierung und Betriebsanleitung.
4.Rhythmus
Bezug: Art. 72 Abs. 2 (aktiv und systematisch)
- Fachliche Auswertung monatlich; automatische Alarme laufend; Quartalsbericht an Geschäftsleitung bzw. QM.
- Sonderauswertung bei: neuer Modell- oder Systemversion, Schwellenüberschreitung der Stufe 3, Häufung von Beschwerden, Änderung des Einsatzkontexts.
5.Verantwortliche
Bezug: Art. 17 Abs. 1 Buchst. m
- Plan-Verantwortliche Person (Produkt- oder Systemverantwortung) mit Vertretung.
- Daten- und ML-Team: Metriken, Schwellen, Ursachenanalyse.
- Support und Kundenservice: Erfassung und Kennzeichnung von Beschwerden.
- Compliance bzw. Recht: Entscheidung über Meldepflicht und wesentliche Veränderung.
- Qualitätsmanagement: Freigabe des Plans und von Korrekturmaßnahmen.
6.Eskalation und Fristen
Bezug: Art. 20, Art. 73 Abs. 2–6
- Stufe 1 – beobachten: Vermerk, verstärkte Beobachtung bis zur nächsten Auswertung.
- Stufe 2 – prüfen: Ursachenanalyse innerhalb weniger Arbeitstage (Empfehlung), Risikoregister aktualisieren.
- Stufe 3 – eingreifen: Korrekturmaßnahmen, ggf. Rücknahme, Deaktivierung oder Rückruf; Händler und Betreiber informieren; bei Risiko nach Art. 79 Abs. 1 Ursachenuntersuchung und Information der Marktüberwachungsbehörde (Art. 20).
- Stufe 4 – melden: schwerwiegender Vorfall nach Art. 3 Nr. 49 an die Marktüberwachungsbehörde des Mitgliedstaats, in dem er stattfand – spätestens 15 Tage nach Kenntnis; bei weitverbreitetem Verstoß oder kritischer Infrastruktur spätestens 2 Tage; bei Tod spätestens 10 Tage. Unvollständiger Erstbericht zulässig.
- Vor Unterrichtung der Behörden keine Veränderung am System, die die spätere Ursachenbewertung beeinflussen könnte (Art. 73 Abs. 6).
7.Dokumentation und Ablage
Bezug: Art. 72 Abs. 3, Anhang IV Nr. 9, Art. 18, Art. 19
- Plan als Teil der technischen Dokumentation (Anhang IV Nr. 9) mit Version und Freigabe.
- Auswertungsprotokolle, Vorgänge und Entscheidungen mit Begründung – auch verworfene Verdachtsfälle.
- Technische Dokumentation und QMS-Unterlagen 10 Jahre bereithalten (Art. 18); Logs mindestens sechs Monate (Art. 19).
- Verknüpfung mit Risikoregister, Änderungsmanagement und Vorfallakte.
8.Review
Bezug: Art. 9 Abs. 2, Art. 3 Nr. 23, Art. 43 Abs. 4
- Plan mindestens jährlich und nach jedem Vorfall der Stufe 3 oder 4 überprüfen.
- Jede Modell- oder Datenänderung gegen die vorab festgelegten Änderungen (Anhang IV Nr. 2 Buchst. f) prüfen; bei wesentlicher Veränderung neue Konformitätsbewertung.
- Gliederung mit dem Muster der Kommission abgleichen, sobald es vorliegt.
Lücken im Entwurf
- Keine Betreiberrückmeldungen: Art. 72 Abs. 2 nennt von Betreibern bereitgestellte Daten ausdrücklich. Empfehlung: Rückkanal vertraglich einrichten.
- Keine Beschwerden als Quelle: Hinweise von Betroffenen sind oft das erste Signal für Benachteiligung. Empfehlung: Kanal ergänzen.
Dieser Entwurf ist eine Arbeitshilfe der Redaktion SimpleAct und keine Rechtsberatung. Schwellen und Fristen der Eskalationsstufen 1 bis 3 sind Empfehlungen; verbindlich sind die Fristen aus Art. 73.
Metriken
Welche Metriken je Systemtyp sinnvoll sind
Es gibt keine gesetzliche Metrikliste. Maßstab ist, was die fortdauernde Einhaltung von Genauigkeit, Robustheit, Cybersicherheit, menschlicher Aufsicht und Datenqualität belegt. Die Schwellen in der Tabelle sind Beispiele und müssen an die eigenen Referenzwerte angepasst werden.
Zwei Metriken verdienen besondere Aufmerksamkeit, weil sie in vielen Plänen fehlen. Erstens die Fehlerraten nach Personengruppen: Eine Gesamtgenauigkeit kann stabil bleiben, während sich die Leistung für eine Gruppe deutlich verschlechtert. Wo das System auf Menschen angewandt wird, verlangt die Betriebsanleitung nach Art. 13 Abs. 3 Buchst. b Angaben zur Leistung für bestimmte Personengruppen – diese Angaben sind der natürliche Referenzwert.
Zweitens die Override-Quote: der Anteil der Fälle, in denen die menschliche Aufsicht die Empfehlung des Systems verwirft. Steigt sie stark, ist das ein Hinweis auf nachlassende Qualität. Fällt sie gegen null, kann das auf Automatisierungsgläubigkeit hindeuten – also auf eine Aufsicht, die nur noch abnickt. Beides ist ein Monitoring-Befund, kein reines Personalthema.
Für generative Systeme gilt eine Besonderheit: Klassische Genauigkeitsmaße greifen oft nicht. Bewährt haben sich regelmäßige Stichproben mit festen Bewertungskriterien und die Pflicht, jeden Wechsel des zugrunde liegenden Modells als Ereignis zu behandeln. Ob ein LLM-Assistent überhaupt hochriskant ist, hängt vom Einsatzzweck ab, etwa einem Anwendungsbereich nach Anhang III – nicht von der Technik.
Tabelle seitlich scrollen →
| Systemtyp (Beispiel) | Typische Metriken | Beispiel-Schwelle (Empfehlung) | Typische Quelle |
|---|---|---|---|
| Klassifikation und Scoring, z. B. Bewerbervorauswahl oder Kreditwürdigkeit | Genauigkeit oder AUC gegen Referenz; Fehlerraten nach Personengruppen; Daten-Drift der wichtigsten Merkmale; Override-Quote der menschlichen Aufsicht; Widersprüche | Rückgang der Genauigkeit um mehr als 3 Prozentpunkte; Abstand der Falsch-Positiv-Raten zwischen Gruppen über 5 Prozentpunkte; Override-Quote doppelt so hoch wie im Basismonat | Logs, Stichproben mit nachträglich bekanntem Ergebnis, Aufsichtsentscheidungen |
| Generative KI, z. B. LLM-Assistent in einem Hochrisiko-Prozess | Fehlerquote in Stichproben; Anteil blockierter oder nachträglich korrigierter Ausgaben; Eskalationen an Menschen; Wechsel der Modellversion; Beschwerden | Fehlerquote in der Stichprobe über dem Wert der Validierung; jeder Versionswechsel des Basismodells löst eine Prüfung aus | Logs, Stichprobenprüfung, Release-Ereignisse, Support |
| Bild und Biometrie, z. B. Identitätsabgleich | Falsch-Positiv- und Falsch-Negativ-Rate, nach Gruppen; Qualität der Eingabebilder; Bestätigungsquote durch Prüfpersonen | Anstieg der Falsch-Positiv-Rate über den in der Betriebsanleitung genannten Wert; Anteil unbrauchbarer Eingaben über 10 % | Logs, Prüfprotokolle, technische Überwachung |
| Prognose, z. B. Bedarfs- oder Lastprognose | Prognosefehler gegen Ist-Werte; Drift der Eingangsgrößen; Anteil manueller Korrekturen; Ausfälle und verspätete Läufe | Mittlerer Prognosefehler über dem Validierungswert für zwei Perioden in Folge; jeder ausgefallene Lauf in kritischen Zeitfenstern | Ist-Daten, technische Überwachung, Betriebsprotokolle |
| Alle Typen | Verfügbarkeit und Ausfälle; Sicherheitsereignisse; Beschwerden und Hinweise; Nutzung außerhalb der Zweckbestimmung | Jede Beschwerde mit Hinweis auf Benachteiligung wird einzeln geprüft; Nutzung außerhalb der Zweckbestimmung immer Stufe „prüfen“ | Support, Beschwerdekanal, Betreiberrückmeldungen |
Schwellen und Eskalation
Von der Abweichung zur Entscheidung: vier Stufen
Eine Schwelle ohne Folge ist Dekoration. Wir empfehlen, jeder Metrik eine Eskalationsstufe zuzuordnen und für jede Stufe festzulegen, wer innerhalb welcher Zeit entscheidet. Die Zeiten in der Tabelle sind Beispiele; die gesetzlichen Fristen stehen in der letzten Zeile.
Wichtig ist die Trennung zwischen automatischem Alarm und fachlicher Bewertung. Ein Alarm aus dem Monitoring-Werkzeug ist ein Anlass, keine Entscheidung. Die Entscheidung, ob eine Stufe 3 oder 4 vorliegt, trifft ein Mensch mit dokumentierter Begründung. Genau diese Begründung fragt eine Behörde später nach – nicht die Rohdaten des Alarms.
Ebenso wichtig: Auch Fehlalarme gehören in die Dokumentation. Ein Plan, der zeigt, dass Auffälligkeiten geprüft und begründet verworfen wurden, belegt ein funktionierendes System. Ein Plan ohne einen einzigen Vorgang über zwölf Monate wirft dagegen die Frage auf, ob überhaupt jemand hinsieht.
Tabelle seitlich scrollen →
| Stufe | Auslöser (Beispiel) | Reaktion (Empfehlung) | Rechtsbezug |
|---|---|---|---|
| 1 – Beobachten | Metrik nähert sich der Schwelle, einzelne Beschwerde ohne Muster | Vermerk, verstärkte Beobachtung bis zur nächsten Auswertung | Art. 72 Abs. 2 |
| 2 – Prüfen | Schwelle überschritten, Häufung ähnlicher Rückmeldungen, Nutzung außerhalb der Zweckbestimmung | Ursachenanalyse innerhalb weniger Arbeitstage, Ergebnis dokumentieren, Risikoregister aktualisieren | Art. 9 Abs. 2 Buchst. c |
| 3 – Eingreifen | Nichtkonformität wahrscheinlich oder Risiko für Gesundheit, Sicherheit oder Grundrechte | Korrekturmaßnahme, ggf. Rücknahme oder Deaktivierung; Händler und Betreiber informieren; bei Risiko nach Art. 79 Abs. 1 Marktüberwachungsbehörde | Art. 20; Art. 26 Abs. 5 für Betreiber |
| 4 – Melden | Schwerwiegender Vorfall im Sinne von Art. 3 Nr. 49 | Meldeverfahren starten; System nicht so verändern, dass die spätere Ursachenbewertung beeinflusst wird, bevor die Behörden unterrichtet sind | Art. 73: spätestens 15 Tage; 2 Tage bei weitverbreitetem Verstoß oder kritischer Infrastruktur; 10 Tage bei Tod |
Schnittstelle zu Art. 73
Wann aus Monitoring eine Meldung wird
Das Monitoring ist in den meisten Fällen der Ort, an dem ein schwerwiegender Vorfall zuerst sichtbar wird: als Ausreißer in einer Metrik, als Beschwerde, als Meldung eines Betreibers. Die Fristen nach Art. 73 laufen ab Kenntnis. Die Meldung muss unmittelbar erfolgen, nachdem der Anbieter den kausalen Zusammenhang zwischen KI-System und Vorfall oder die naheliegende Wahrscheinlichkeit eines solchen Zusammenhangs festgestellt hat – spätestens 15 Tage nach Kenntnis, in den Sonderfällen 2 oder 10 Tage. Ein unvollständiger Erstbericht ist zulässig.
Für den Plan heißt das: Er muss sicherstellen, dass relevante Hinweise nicht in einem Postfach liegen bleiben. Wir empfehlen, im Plan festzulegen, dass jede Auffälligkeit der Stufe 3 sofort auch auf Meldepflicht geprüft wird, und wer diese Prüfung vornimmt. Für Betreiber gilt zusätzlich: Ein schwerwiegender Vorfall geht unverzüglich zuerst an den Anbieter; ist dieser nicht erreichbar, gilt Art. 73 entsprechend.
Die Einzelheiten – Meldeinhalt, zuständige Behörde, Zusammenspiel mit Meldungen nach DSGVO oder NIS2-Umsetzung, Untersuchung nach Art. 73 Abs. 6 – behandelt unser Leitfaden zum Incident-Management. In Deutschland ist nach dem KI-MIG grundsätzlich die Bundesnetzagentur zuständige Marktüberwachungsbehörde, für bestimmte Finanztätigkeiten die BaFin.
Weiterführend: der Leitfaden „Incident-Management nach Art. 73“, verlinkt am Ende dieser Seite.
Wesentliche Veränderung
Wenn das Monitoring zeigt: Das System ist nicht mehr dasselbe
Neben Vorfällen kann das Monitoring einen zweiten, oft übersehenen Befund liefern: Das System hat sich so verändert, dass die ursprüngliche Konformitätsbewertung es nicht mehr abdeckt. Art. 3 Nr. 23 definiert die wesentliche Veränderung als Veränderung nach dem Inverkehrbringen, die in der ursprünglichen Konformitätsbewertung nicht vorgesehen oder geplant war und die Einhaltung der Anforderungen beeinträchtigt oder die Zweckbestimmung ändert. Art. 43 Abs. 4 verlangt dann ein neues Konformitätsbewertungsverfahren.
Für weiterlernende Systeme gibt es eine wichtige Ausnahme: Änderungen, die der Anbieter zum Zeitpunkt der ursprünglichen Konformitätsbewertung vorab festgelegt und in der technischen Dokumentation nach Anhang IV Nr. 2 Buchst. f beschrieben hat, gelten nicht als wesentliche Veränderung. Das Monitoring ist das Werkzeug, mit dem sich belegen lässt, dass ein System innerhalb dieses vorab beschriebenen Korridors geblieben ist.
Für Betreiber hat der Befund eine eigene Tragweite. Wer ein Hochrisiko-KI-System wesentlich verändert, sodass es hochriskant bleibt, gilt nach Art. 25 Abs. 1 Buchst. b als Anbieter – mit allen Pflichten aus Art. 16, einschließlich des eigenen Plans nach Art. 72. Eigenes Nachtrainieren, der Austausch von Komponenten oder ein neuer Einsatzzweck sollten deshalb vorab geprüft werden.
- Jede neue Modellversion als Ereignis erfassen und mit den vorab festgelegten Änderungen abgleichen.
- Veränderungen der Zweckbestimmung oder des Einsatzkontexts gesondert prüfen – sie sind keine technischen Updates.
- Bei Zweifeln die Prüfung und ihr Ergebnis dokumentieren, auch wenn keine wesentliche Veränderung vorliegt.
- Betreiber: Anpassungen am System vor Umsetzung mit dem Anbieter und der eigenen Compliance abstimmen.
Einordnung
Ab wann das Thema praktisch relevant wird
Art. 72 und Art. 73 knüpfen an Hochrisiko-KI-Systeme an. Durch die Änderungsverordnung (EU) 2026/1744 gelten die Hochrisiko-Anforderungen aus Kapitel III Abschnitte 1 bis 3 für Systeme nach Anhang III ab dem 2. Dezember 2027 und für Systeme nach Anhang I ab dem 2. August 2028. Ab diesen Daten werden Plan und Überwachung praktisch relevant. Wer bis dahin Systeme in Verkehr bringt, sollte den Plan aber nicht erst am Stichtag schreiben: Er setzt Logs, Referenzwerte und Verträge mit Betreibern voraus, die sich nicht kurzfristig nachrüsten lassen.
Für kleine und mittlere Unternehmen sowie kleine Mid-Caps erlaubt Art. 17 Abs. 2 ein verhältnismäßiges Qualitätsmanagement. Auch Art. 72 Abs. 1 verlangt ein System, das im Verhältnis zur Technik und zu den Risiken steht. Ein überschaubarer Plan mit wenigen Metriken, klaren Zuständigkeiten und tatsächlicher Auswertung ist besser als ein umfangreiches Dokument, das niemand pflegt.
Für Systeme, die nicht hochriskant sind, schreibt die KI-VO kein Post-Market-Monitoring vor. Wir empfehlen trotzdem eine leichte Form der Überwachung – etwa für einen Service-Chatbot –, weil sich Einsatzzwecke verschieben und weil Beschwerden und Fehlfunktionen ohnehin bearbeitet werden müssen.
Typische Fehler
Woran Überwachungspläne in der Praxis scheitern
- Metriken ohne Referenzwert: Es wird gemessen, aber niemand kann sagen, ab wann der Wert schlecht ist.
- Schwellen ohne Zuständigkeit: Der Alarm geht an eine Sammeladresse, die niemand verantwortet.
- Nur Technik, keine Menschen: Beschwerden, Support-Tickets und Hinweise der Aufsichtspersonen fehlen als Quelle.
- Keine Gruppenbetrachtung: Gesamtwerte verdecken eine Verschlechterung für einzelne Personengruppen.
- Logs unbrauchbar: Die Protokolle enthalten nicht die Felder, aus denen sich die Metriken ableiten lassen.
- Betreiber ohne Rückkanal: Der Vertrag regelt Lizenz und Haftung, aber nicht, wie Auffälligkeiten den Anbieter erreichen.
- Modellwechsel unbemerkt: Ein Update des zugrunde liegenden Modells wird nicht als Ereignis behandelt.
- Plan einmal geschrieben, nie überprüft: Version und Review-Termin fehlen, der Plan beschreibt ein System, das es so nicht mehr gibt.
SimpleAct
Signale aus Ihren Werkzeugen als Nachweis im System
Gemessen wird dort, wo Ihr Team ohnehin arbeitet. SimpleAct übernimmt Alarme und Release-Ereignisse aus diesen Werkzeugen und ordnet sie dem jeweiligen KI-System zu – damit Auswertung, Entscheidung und Nachweis an einem Ort liegen.
- Konnektoren für Grafana, Prometheus und Datadog (Monitoring-Signale), MLflow (Modellregister-Einträge), GitHub Actions und GitLab CI (Release-Ereignisse)
- Generische Endpunkte für Werkzeuge ohne fertigen Konnektor
- Quellprofil je KI-System mit HMAC-SHA256-Signaturprüfung und Doppelerkennung über die externe Ereignis-ID
- Ereignisstatus RECEIVED, PROCESSED, DUPLICATE, FAILED, DEAD_LETTER; bis zu drei Versuche, Wiederholung auf Knopfdruck
- Observability-Profile im Assurance-Bereich: Überwachungsart, Metrikkatalog, Alarmschwellen, Quellsystem, Bereitschaftsrolle
- Validierungssuiten mit Metrikschwellen und Auslösern für eine Neuvalidierung; Release-Orchestrierung mit Rollback-Bereitschaft
- Incident Management mit Schweregraden LOW bis CRITICAL und Re-Assessment-Trigger; die Meldung an die Behörde erfolgt außerhalb der Plattform
- Go-Live Gate mit dem Check „Kritische Runtime-Signale aufgelöst“ für Signale der Schwere HIGH oder CRITICAL
Laut Produktdokumentation ist die Ereignis-Übernahme (Runtime-Signale) im Professional-Plan als Teil von Incident Management enthalten. SimpleAct ersetzt weder Ihr Monitoring-Werkzeug noch die fachliche Bewertung.
Open-Source Framework
simpleact-incident-management
Offenes Verfahren für Marktbeobachtung nach Art. 72 und Vorfallmeldung nach Art. 73 AI Act, mit zwei getrennten Fristen.
FAQ
Häufige Fragen zum Post-Market-Monitoring
Noch Fragen? Wir helfen gerne weiter. E-Mail schreiben · 7 Tage testen (Kreditkarte nötig)
Quellen und Stand
Stand: · Redaktion SimpleAct
- VO (EU) 2024/1689 (KI-VO), EUR-Lex
- VO (EU) 2026/1744 (Digital Omnibus), EUR-Lex
- Art. 72 KI-VO – Beobachtung nach dem Inverkehrbringen
- Art. 73 KI-VO – Meldung schwerwiegender Vorfälle
- Art. 26 KI-VO – Pflichten der Betreiber
- Art. 9 KI-VO – Risikomanagementsystem
- Art. 12 KI-VO – Aufzeichnungspflichten
- Art. 17 KI-VO – Qualitätsmanagementsystem
- Art. 20 KI-VO – Korrekturmaßnahmen
- Art. 43 KI-VO – Konformitätsbewertung
- Anhang IV KI-VO – Technische Dokumentation
- KI-Marktüberwachungs- und Innovationsförderungsgesetz (KI-MIG)
Dieser Leitfaden dient der allgemeinen Information und ist keine Rechtsberatung. Beispiele und Schwellen sind redaktionelle Empfehlungen. Für die Bewertung Ihres konkreten Systems ziehen Sie bitte fachkundige Beratung hinzu.
Änderungen
- 2026-10-06 – Seite neu aufgebaut: Fokus auf Art. 72 mit Abgrenzung Anbieter/Betreiber, Planinhalt, Metriken je Systemtyp, Eskalationsstufen, wesentliche Veränderung, Geltung nach VO (EU) 2026/1744 und Plan-Builder.
- 2026-04-03 – Erstveröffentlichung.
Monitoring-Signale dem richtigen KI-System zuordnen
Sehen Sie in einer Demo, wie Alarme und Releases aus Ihren Werkzeugen als Nachweise im System ankommen – oder testen Sie SimpleAct selbst.