Zum Inhalt springen
SimpleAct Logo

Leitfaden · Beobachtung nach dem Inverkehrbringen

Stand: 6. Oktober 2026 · KI-VO in der Fassung der VO (EU) 2026/1744

Post-Market-Monitoring nach Art. 72 KI-VO: Plan, Metriken, Eskalation

Ein Hochrisiko-KI-System ist mit der Konformitätsbewertung nicht fertig. Art. 72 verlangt, dass Anbieter die Leistung im Betrieb systematisch beobachten – auf Grundlage eines dokumentierten Plans. Betreiber überwachen nach Art. 26 Abs. 5 und liefern Rückmeldungen. Dieser Leitfaden zeigt, wie beides zusammenpasst.

Pflichten Anbieter und Betreiber getrennt · Planinhalt als Empfehlung, bis das Kommissionsmuster vorliegt · Metriken und Beispiel-Schwellen je Systemtyp · Plan-Builder mit Textexport

app.simpleact.de

Runtime-Signale

KI-System → Integrationen / Ereignisse

A

Quellprofil

GRAFANA · KI-basierte Bewerbungsanalyse

/ingestion/connectors/grafana/alerts

Signatur

HMAC-SHA256 geprüft

x-simpleact-signature

  • PROCESSED3
  • RECEIVED1
  • DUPLICATE1
  • FAILED1
  • DEAD_LETTER1

Eingegangene Ereignisse

  • 09:42GrafanaMonitoring-SignalHIGHPROCESSED
  • 09:15MLflowModellregister-EintragPROCESSED
  • 08:57GitHub ActionsRelease-EreignisPROCESSED
  • 08:31PrometheusMonitoring-SignalDUPLICATE
  • 08:10DatadogMonitoring-SignalFAILEDVersuch 2/3
  • 07:58GitLab CIRelease-EreignisRECEIVED
  • 07:22DatadogMonitoring-SignalDEAD_LETTERVersuch 3/3
Erneut verarbeiten

Go-Live Gate: Kritische Runtime-Signale aufgelöst – 1 offen

Demodaten. Jede Übernahme wird im Audit-Trail als maschinelle Änderung vermerkt.

Kurzantwort

Anbieter von Hochrisiko-KI-Systemen müssen nach Art. 72 KI-VO ein System zur Beobachtung nach dem Inverkehrbringen einrichten und dokumentieren. Es beruht auf einem Plan, der Teil der technischen Dokumentation ist, und erhebt Leistungsdaten über die gesamte Lebensdauer. Betreiber überwachen den Betrieb nach Art. 26 Abs. 5 anhand der Betriebsanleitung und informieren den Anbieter über Auffälligkeiten.

Worum es geht

Monitoring ist die Fortsetzung der Konformitätsbewertung im Betrieb

Die Konformitätsbewertung prüft ein Hochrisiko-KI-System zu einem bestimmten Zeitpunkt mit bestimmten Daten. Im Betrieb ändern sich beide: Die Eingabedaten verschieben sich, Nutzer verwenden das System anders als geplant, Modelle werden nachtrainiert, angebundene Dienste wechseln ihre Version. Die KI-VO reagiert darauf mit der Beobachtung nach dem Inverkehrbringen. Art. 3 Nr. 25 beschreibt sie als alle Tätigkeiten, mit denen Anbieter Erfahrungen aus der Verwendung sammeln und überprüfen, um festzustellen, ob unverzüglich Korrektur- oder Präventivmaßnahmen nötig sind.

Diese Zielrichtung ist wichtiger als jede Kennzahl: Monitoring im Sinne der Verordnung ist kein Berichtswesen, sondern ein Frühwarnsystem mit Entscheidungsweg. Ein Dashboard, das niemand auswertet, erfüllt den Zweck nicht. Ein schlichtes, aber regelmäßig ausgewertetes Set aus Logs, Rückmeldungen und wenigen gut gewählten Metriken dagegen schon eher – vorausgesetzt, es ist dokumentiert, wer bei welcher Abweichung was entscheidet.

Für die Praxis im Mittelstand ist die Rollenfrage entscheidend. Wer ein Hochrisiko-KI-System entwickelt und unter eigenem Namen in Verkehr bringt, ist Anbieter und braucht den Plan nach Art. 72. Wer ein zugekauftes System in eigener Verantwortung einsetzt, ist Betreiber und überwacht nach Art. 26 Abs. 5 – mit eigenen Pflichten zur Information des Anbieters und der Behörde. Beide Seiten brauchen einander: Ohne Betreiberdaten fehlt dem Anbieter das Bild aus dem Feld, ohne Anbieterinformationen fehlt dem Betreiber der Maßstab.

Rechtsgrundlage

Die Normen hinter dem Post-Market-Monitoring

Art. 72 steht nicht allein. Risikomanagement, Protokollierung, Qualitätsmanagement, Korrekturmaßnahmen und Betreiberpflichten greifen ineinander. Die Tabelle ordnet die Vorschriften nach Inhalt, Adressat und praktischer Folge.

Tabelle seitlich scrollen →

Die Normen hinter dem Post-Market-Monitoring
NormInhaltAdressatWas das praktisch heißt
Art. 3 Nr. 25Definition: alle Tätigkeiten der Anbieter, um Erfahrungen mit der Verwendung zu sammeln und zu überprüfen und festzustellen, ob unverzüglich Korrektur- oder Präventivmaßnahmen nötig sind.AnbieterJede Metrik braucht eine Entscheidungsfolge. Was keine Maßnahme auslösen kann, gehört nicht in den Kern des Plans.
Art. 72 Abs. 1–2System einrichten und dokumentieren, verhältnismäßig zu Technik und Risiken; Leistungsdaten – auch von Betreibern oder aus anderen Quellen – über die gesamte Lebensdauer aktiv und systematisch erheben, dokumentieren, analysieren; fortdauernde Einhaltung von Kapitel III Abschnitt 2 bewerten; ggf. Interaktion mit anderen KI-Systemen analysieren.AnbieterDatenquellen je System benennen, Betreiberrückmeldungen vertraglich ermöglichen. Sensible operative Daten von Strafverfolgungsbehörden sind ausgenommen.
Art. 72 Abs. 3, Anhang IV Nr. 9Das System beruht auf einem Plan; der Plan ist Teil der technischen Dokumentation. Die Kommission legt Leitlinien einschließlich eines Musters für den Plan vor.AnbieterBis das Muster vorliegt, mit einer eigenen, nachvollziehbaren Gliederung arbeiten und diese später abgleichen.
Art. 72 Abs. 4Bei Produkten nach Anhang I Abschnitt A mit bestehendem Beobachtungssystem und bei Anhang-III-Nr.-5-Systemen regulierter Finanzinstitute können die Elemente in vorhandene Systeme und Pläne integriert werden, sofern ein gleichwertiges Schutzniveau erreicht wird.Anbieter regulierter Produkte, FinanzinstituteKein Parallelprozess nötig: Den KI-Teil in die bestehende Marktbeobachtung oder Governance einhängen.
Art. 9 Abs. 2 Buchst. cDas Risikomanagement bewertet weitere Risiken auf Grundlage der Daten aus dem System nach Art. 72.AnbieterMonitoring-Ergebnisse fließen in das Risikoregister zurück; neue Risiken werden dort bewertet und mit Maßnahmen versehen.
Art. 12 Abs. 2Protokollierung muss Ereignisse erfassen, die für Risikosituationen und wesentliche Änderungen, für die Beobachtung nach Art. 72 und für die Betreiberüberwachung nach Art. 26 Abs. 5 relevant sind.Anbieter (Systemgestaltung)Logs so gestalten, dass die Metriken des Plans daraus ableitbar sind – nicht erst nachträglich suchen, was fehlt.
Art. 19, Art. 26 Abs. 6Automatisch erzeugte Protokolle aufbewahren, soweit sie der eigenen Kontrolle unterliegen: der Zweckbestimmung angemessen, mindestens sechs Monate, sofern anderes Recht nichts anderes bestimmt.Anbieter, BetreiberAufbewahrungsdauer mit dem Löschkonzept abstimmen; personenbezogene Logs brauchen eine DSGVO-Begründung für die Dauer.
Art. 17 Abs. 1 Buchst. h, i; Abs. 2Das Qualitätsmanagementsystem umfasst die Einrichtung und Durchführung der Beobachtung nach Art. 72 und Verfahren zur Meldung schwerwiegender Vorfälle; Umfang verhältnismäßig zur Größe der Organisation.AnbieterDen Plan als gelenktes QMS-Dokument führen: Version, Freigabe, Verantwortliche, Review-Zyklus.
Art. 20Bei Grund zur Annahme einer Nichtkonformität unverzüglich Korrekturmaßnahmen, ggf. Rücknahme, Deaktivierung oder Rückruf; Information von Händlern und ggf. Betreibern. Bei Risiko nach Art. 79 Abs. 1: Ursachenuntersuchung und Information der Marktüberwachungsbehörden.AnbieterIm Plan festlegen, welche Schwellenüberschreitung eine Prüfung auf Korrekturmaßnahmen auslöst – und wer sie anordnet.
Art. 26 Abs. 5Betreiber überwachen den Betrieb anhand der Betriebsanleitung und informieren ggf. den Anbieter nach Art. 72; bei Risiko nach Art. 79 Abs. 1 Information von Anbieter oder Händler und Behörde sowie Aussetzen; bei schwerwiegendem Vorfall zuerst Anbieter, dann Einführer oder Händler und Behörden.BetreiberMeldeweg zum Anbieter mit Kontakt und Reaktionszeit vertraglich festhalten; Kriterien für das Aussetzen vorab definieren.
Art. 73 Abs. 2–4Meldung schwerwiegender Vorfälle an die Marktüberwachungsbehörde: spätestens 15 Tage nach Kenntnis; bei weitverbreitetem Verstoß oder kritischer Infrastruktur spätestens 2 Tage; bei Tod spätestens 10 Tage.Anbieter (Betreiber, wenn Anbieter nicht erreichbar)Das Monitoring liefert die Feststellung, die die Frist in Gang setzt. Der Meldeprozess selbst gehört in das Incident-Verfahren.
Art. 3 Nr. 23, Art. 43 Abs. 4, Art. 25 Abs. 1Wesentliche Veränderung: nicht vorgesehen oder geplant und mit Auswirkung auf die Anforderungen oder die Zweckbestimmung. Folge: neue Konformitätsbewertung; vorab festgelegte Änderungen weiterlernender Systeme gelten nicht als wesentlich. Wer wesentlich verändert, kann zum Anbieter werden.Anbieter, Betreiber, DritteMonitoring prüft jede Modell- und Datenänderung gegen die vorab festgelegten Änderungen in Anhang IV Nr. 2 Buchst. f.

Wortlaut geprüft am 6. Oktober 2026 auf ai-act-law.eu (konsolidierte Fassung nach VO (EU) 2026/1744). Maßgeblich ist der im Amtsblatt veröffentlichte Text.

So läuft es ab

Vom Inventar zum gelebten Überwachungsplan in acht Schritten

Die Reihenfolge ist eine Empfehlung. Sie setzt voraus, dass Inventar und Risikoeinstufung stehen – ohne diese Grundlage lässt sich nicht sagen, welches System überhaupt einen Plan braucht.

  1. 1

    Systeme und Rolle bestimmen

    Aus dem KI-Inventar die Hochrisiko-Systeme herausfiltern und je System festhalten, ob Sie Anbieter oder Betreiber sind. Eigenentwicklungen, umetikettierte Produkte und stark angepasste Systeme genau prüfen – hier entsteht die Anbieterrolle oft unbemerkt.

    Wer
    Compliance, Produktverantwortung
    Ergebnis
    Liste der Systeme mit Rolle und Risikoklasse
    Basis
    Art. 3 Nr. 3/4, Art. 6, Art. 25
  2. 2

    Referenzwerte festlegen

    Aus Validierung und Betriebsanleitung die Werte übernehmen, an denen der Betrieb gemessen wird: Genauigkeitsmaße und ihre Metriken, Leistung für bestimmte Personengruppen, bekannte Leistungsgrenzen. Ohne Referenz ist keine Abweichung feststellbar.

    Wer
    Daten- und ML-Team
    Ergebnis
    Referenzwert je Metrik mit Herkunft
    Basis
    Art. 13 Abs. 3 Buchst. b, Art. 15 Abs. 3
  3. 3

    Datenquellen anbinden

    Festlegen, woher die Erkenntnisse kommen: automatisch erzeugte Logs, Rückmeldungen der Betreiber, Beschwerden Betroffener, technische Überwachungswerkzeuge. Für jede Quelle klären, wer Zugriff hat und wie lange Daten liegen dürfen.

    Wer
    IT-Betrieb, Datenschutz
    Ergebnis
    Datenquellenliste mit Zugriff und Aufbewahrung
    Basis
    Art. 72 Abs. 2, Art. 12, Art. 19
  4. 4

    Metriken, Schwellen und Stufen definieren

    Wenige, aussagekräftige Metriken wählen und je Metrik eine Schwelle mit Eskalationsstufe festlegen. Die Schwelle ergibt sich aus Referenzwert und Risiko – nicht aus Branchenzahlen.

    Wer
    ML-Team mit Fachbereich
    Ergebnis
    Metrikkatalog mit Schwellen und Stufen
    Basis
    Art. 72 Abs. 2, Art. 9 Abs. 2 Buchst. c
  5. 5

    Plan freigeben und ablegen

    Entscheidung

    Den Plan als Dokument der technischen Dokumentation freigeben, mit Version, Verantwortlichen und Review-Termin. Ab hier ist er Prüfgrundlage – auch für die Behörde.

    Wer
    Qualitätsmanagement, Geschäftsleitung
    Ergebnis
    Freigegebener Plan in der technischen Dokumentation
    Basis
    Art. 72 Abs. 3, Anhang IV Nr. 9, Art. 17 Abs. 1 Buchst. h
  6. 6

    Laufend auswerten und eskalieren

    Automatische Alarme laufen dauerhaft, die fachliche Auswertung im festgelegten Rhythmus. Jede Schwellenüberschreitung wird als Vorgang mit Ergebnis dokumentiert – auch wenn sich der Verdacht nicht bestätigt.

    Wer
    Plan-Verantwortliche Person
    Ergebnis
    Auswertungsprotokolle, Vorgänge, Maßnahmen
    Basis
    Art. 72 Abs. 2, Art. 20
  7. 7

    Vorfälle und Veränderungen entscheiden

    Entscheidung

    Zwei Fragen nach jeder relevanten Auffälligkeit: Liegt ein schwerwiegender Vorfall vor, der gemeldet werden muss? Und hat sich das System so verändert, dass eine neue Konformitätsbewertung nötig wird?

    Wer
    Compliance, Recht, Produktverantwortung
    Ergebnis
    Dokumentierte Melde- und Änderungsentscheidung
    Basis
    Art. 73, Art. 3 Nr. 23, Art. 43 Abs. 4
  8. 8

    Plan überprüfen

    Mindestens jährlich und nach jedem größeren Ereignis prüfen, ob Metriken, Schwellen und Quellen noch passen. Sobald das Kommissionsmuster vorliegt, die Gliederung damit abgleichen.

    Wer
    Plan-Verantwortliche Person, QM
    Ergebnis
    Neue Planversion mit Änderungsvermerk
    Basis
    Art. 9 Abs. 2, Art. 72 Abs. 3

Für Betreiber verkürzt sich die Kette: Schritt 1 bis 3 und 6 sind auch für sie sinnvoll, die Freigabe eines Plans nach Art. 72 und die Konformitätsfrage liegen beim Anbieter – solange der Betreiber nicht selbst zum Anbieter wird.

Rollen

Anbieter und Betreiber: wer was überwacht

Beide Rollen überwachen, aber mit unterschiedlichem Ziel. Der Anbieter bewertet, ob sein Produkt weiter die Anforderungen erfüllt. Der Betreiber prüft, ob der Einsatz in seinem Haus der Betriebsanleitung entspricht und ob Risiken auftreten.

Ein häufiger Irrtum lautet: „Wir kaufen nur ein, also müssen wir nichts überwachen.“ Art. 26 Abs. 5 verpflichtet Betreiber ausdrücklich zur Überwachung des Betriebs. Sie ist schlanker als die Anbieterpflicht, aber nicht verhandelbar. Praktisch bedeutet das: Die Aufsichtspersonen nach Art. 26 Abs. 2 brauchen einen klaren Weg, Auffälligkeiten zu melden, und jemand muss diese Meldungen sammeln und an den Anbieter weitergeben.

Umgekehrt kann der Anbieter seine Pflicht nicht ohne die Betreiber erfüllen. Art. 72 Abs. 2 nennt die von Betreibern bereitgestellten Daten ausdrücklich als Quelle. Wir empfehlen, im Vertrag festzuhalten, welche Daten der Betreiber in welcher Form liefert, wie Rückmeldungen übermittelt werden und wie schnell der Anbieter reagiert. Damit wird aus einer allgemeinen Kooperationserwartung ein überprüfbarer Prozess.

Tabelle seitlich scrollen →

Vergleich der Überwachungspflichten von Anbieter und Betreiber
ThemaAnbieterBetreiber
RechtsgrundlageArt. 72, ergänzt durch Art. 9, 12, 17, 19, 20Art. 26 Abs. 5 und 6, ergänzt durch Art. 26 Abs. 2 und 4
ZielFortdauernde Einhaltung der Anforderungen aus Kapitel III Abschnitt 2 bewertenBetrieb gemäß Betriebsanleitung sicherstellen, Risiken erkennen
DatenbasisLeistungsdaten über die gesamte Lebensdauer, auch von Betreibern und aus anderen QuellenEigene Beobachtung, Logs unter eigener Kontrolle, Hinweise der Aufsichtspersonen
DokumentPlan zur Beobachtung nach dem Inverkehrbringen als Teil der technischen DokumentationKein Plan nach Art. 72 vorgeschrieben; dokumentierte Überwachung empfehlenswert
LogsAufbewahren, soweit unter Kontrolle, mindestens sechs Monate (Art. 19)Aufbewahren, soweit unter Kontrolle, mindestens sechs Monate (Art. 26 Abs. 6)
AuffälligkeitAnalyse, ggf. Korrekturmaßnahmen und Information nach Art. 20Anbieter informieren (Art. 26 Abs. 5 Satz 1)
Risiko nach Art. 79 Abs. 1Ursachenuntersuchung, Information der Marktüberwachungsbehörden (Art. 20 Abs. 2)Unverzüglich Anbieter oder Händler und Behörde informieren, Verwendung aussetzen
Schwerwiegender VorfallMeldung nach Art. 73 an die MarktüberwachungsbehördeUnverzüglich zuerst Anbieter, dann Einführer oder Händler und Behörden; Anbieter nicht erreichbar: Art. 73 entsprechend
Änderungen am SystemPrüfung auf wesentliche Veränderung, ggf. neue Konformitätsbewertung (Art. 43 Abs. 4)Eigene wesentliche Veränderung macht zum Anbieter (Art. 25 Abs. 1 Buchst. b)

Der Plan

Was in den Überwachungsplan gehört – eine Gliederung als Empfehlung

Die Verordnung schreibt den Plan vor, aber keine Gliederung. Das Muster der Kommission nach Art. 72 Abs. 3 steht noch aus. Die folgenden acht Abschnitte haben sich als Arbeitsstruktur bewährt und lassen sich später auf das Muster abbilden.

  • Art. 72 Abs. 1

    Zweck und Umfang

    Welches System, welche Version, welche Zweckbestimmung, welche Einsatzorte. Auch: was ausdrücklich nicht abgedeckt ist, etwa Betreiber, die eigene Anpassungen vornehmen.
  • Art. 72 Abs. 2

    Datenquellen

    Logs, Betreiberrückmeldungen, Beschwerden, technische Überwachung, Hinweise aus dem Support. Je Quelle: Format, Zugriff, Aufbewahrung, Datenschutzgrundlage.
  • Art. 13, Art. 15

    Metriken und Referenzwerte

    Wenige Kennzahlen mit klarer Herkunft des Referenzwerts aus Validierung oder Betriebsanleitung. Leistung für Personengruppen gesondert, wenn das System auf Menschen angewandt wird.
  • Art. 20

    Schwellen und Eskalation

    Je Metrik eine Schwelle und eine Stufe: beobachten, prüfen, eingreifen, melden. Dazu, wer auf jeder Stufe entscheidet und in welcher Zeit.
  • Art. 72 Abs. 2

    Rhythmus

    Was automatisch und laufend geprüft wird, was in festen Abständen fachlich ausgewertet wird und welche Ereignisse eine Sonderauswertung auslösen.
  • Art. 17 Abs. 1 Buchst. m

    Verantwortliche

    Eine Person, die den Plan verantwortet, und benannte Rollen für Metriken, Beschwerden, Meldeentscheidung und Freigabe von Korrekturmaßnahmen – mit Vertretung.
  • Anhang IV Nr. 9

    Dokumentation und Ablage

    Wo Auswertungen, Vorgänge und Entscheidungen liegen, wie lange, und wie sie mit technischer Dokumentation, Risikoregister und QMS verknüpft sind.
  • Art. 9 Abs. 2

    Review und Änderungen

    Wann der Plan selbst überprüft wird, wie Änderungen freigegeben werden und wie Modell- oder Datenänderungen gegen die vorab festgelegten Änderungen geprüft werden.

Diese Gliederung ist eine redaktionelle Empfehlung, keine amtliche Vorgabe. Sobald die Kommission Leitlinien und Muster veröffentlicht, sollten bestehende Pläne damit abgeglichen werden.

Interaktiv

Überwachungsplan-Builder nach Art. 72

Wählen Sie Rolle, Systemtyp, Datenquellen und Prüfrhythmus. Der Builder erstellt einen gegliederten Entwurf mit Artikelbezügen, den Sie als Text kopieren und in Ihre Dokumentation übernehmen können. Für Betreiber entsteht stattdessen ein Entwurf für die Überwachung nach Art. 26 Abs. 5. Alle Angaben sind Empfehlungen, keine Rechtsberatung.

1. Ihre Rolle für dieses System
2. Systemtyp
3. Verfügbare Datenquellen · Mehrfachauswahl
4. Fachliche Auswertung
app.simpleact.de

Plan-Entwurf

Beobachtung nach dem Inverkehrbringen (Art. 72)

A
Entwurf

Plan zur Beobachtung nach dem Inverkehrbringen – Entwurf

Entwurf und Empfehlung, keine Rechtsberatung. Gliederung vorläufig, bis das Muster der Kommission nach Art. 72 Abs. 3 KI-VO vorliegt.

1.Zweck und Umfang

Bezug: Art. 3 Nr. 25, Art. 72 Abs. 1

  • System: [Name, Version, Zweckbestimmung] – Systemtyp: Klassifikation / Scoring.
  • Ziel: Erfahrungen aus der Verwendung sammeln und prüfen, um unverzüglich nötige Korrektur- oder Präventivmaßnahmen zu erkennen und die fortdauernde Einhaltung von Kapitel III Abschnitt 2 zu bewerten.
  • Geltungsbereich: alle Betreiber und Einsatzorte; Ausnahmen ausdrücklich benennen.
  • Hinweis: Bei Systemen, die über Menschen entscheiden oder Entscheidungen vorbereiten, die Leistung nach Personengruppen gesondert ausweisen.

2.Datenquellen

Bezug: Art. 72 Abs. 2, Art. 12 Abs. 2

  • Automatisch erzeugte Logs: Felder festlegen, aus denen sich die Metriken ableiten lassen; Zugriff und Aufbewahrung dokumentieren.
  • Monitoring-Werkzeug: technische Alarme für Verfügbarkeit, Drift und Fehlerraten; Alarme als Vorgänge übernehmen.

3.Metriken und Beispiel-Schwellen

Bezug: Art. 72 Abs. 2, Art. 9 Abs. 2 Buchst. c, Art. 13 Abs. 3 Buchst. b, Art. 15

  • Genauigkeit oder AUC gegen Referenzwert der Validierung – Beispiel-Schwelle: Rückgang um mehr als 3 Prozentpunkte → Stufe „prüfen“.
  • Fehlerraten nach Personengruppen – Beispiel-Schwelle: Abstand der Falsch-Positiv-Raten über 5 Prozentpunkte → Stufe „prüfen“.
  • Daten-Drift der wichtigsten Merkmale – Beispiel-Schwelle: deutliche Verschiebung gegenüber Trainingsverteilung über zwei Auswertungen.
  • Override-Quote der menschlichen Aufsicht – Beispiel-Schwelle: Verdoppelung oder Absinken gegen null gegenüber dem Basismonat.
  • Widersprüche und Beschwerden mit Hinweis auf Benachteiligung – jede einzeln prüfen.
  • Alle Schwellen sind Beispiele. Maßgeblich sind die eigenen Referenzwerte aus Validierung und Betriebsanleitung.

4.Rhythmus

Bezug: Art. 72 Abs. 2 (aktiv und systematisch)

  • Fachliche Auswertung monatlich; automatische Alarme laufend; Quartalsbericht an Geschäftsleitung bzw. QM.
  • Sonderauswertung bei: neuer Modell- oder Systemversion, Schwellenüberschreitung der Stufe 3, Häufung von Beschwerden, Änderung des Einsatzkontexts.

5.Verantwortliche

Bezug: Art. 17 Abs. 1 Buchst. m

  • Plan-Verantwortliche Person (Produkt- oder Systemverantwortung) mit Vertretung.
  • Daten- und ML-Team: Metriken, Schwellen, Ursachenanalyse.
  • Support und Kundenservice: Erfassung und Kennzeichnung von Beschwerden.
  • Compliance bzw. Recht: Entscheidung über Meldepflicht und wesentliche Veränderung.
  • Qualitätsmanagement: Freigabe des Plans und von Korrekturmaßnahmen.

6.Eskalation und Fristen

Bezug: Art. 20, Art. 73 Abs. 2–6

  • Stufe 1 – beobachten: Vermerk, verstärkte Beobachtung bis zur nächsten Auswertung.
  • Stufe 2 – prüfen: Ursachenanalyse innerhalb weniger Arbeitstage (Empfehlung), Risikoregister aktualisieren.
  • Stufe 3 – eingreifen: Korrekturmaßnahmen, ggf. Rücknahme, Deaktivierung oder Rückruf; Händler und Betreiber informieren; bei Risiko nach Art. 79 Abs. 1 Ursachenuntersuchung und Information der Marktüberwachungsbehörde (Art. 20).
  • Stufe 4 – melden: schwerwiegender Vorfall nach Art. 3 Nr. 49 an die Marktüberwachungsbehörde des Mitgliedstaats, in dem er stattfand – spätestens 15 Tage nach Kenntnis; bei weitverbreitetem Verstoß oder kritischer Infrastruktur spätestens 2 Tage; bei Tod spätestens 10 Tage. Unvollständiger Erstbericht zulässig.
  • Vor Unterrichtung der Behörden keine Veränderung am System, die die spätere Ursachenbewertung beeinflussen könnte (Art. 73 Abs. 6).

7.Dokumentation und Ablage

Bezug: Art. 72 Abs. 3, Anhang IV Nr. 9, Art. 18, Art. 19

  • Plan als Teil der technischen Dokumentation (Anhang IV Nr. 9) mit Version und Freigabe.
  • Auswertungsprotokolle, Vorgänge und Entscheidungen mit Begründung – auch verworfene Verdachtsfälle.
  • Technische Dokumentation und QMS-Unterlagen 10 Jahre bereithalten (Art. 18); Logs mindestens sechs Monate (Art. 19).
  • Verknüpfung mit Risikoregister, Änderungsmanagement und Vorfallakte.

8.Review

Bezug: Art. 9 Abs. 2, Art. 3 Nr. 23, Art. 43 Abs. 4

  • Plan mindestens jährlich und nach jedem Vorfall der Stufe 3 oder 4 überprüfen.
  • Jede Modell- oder Datenänderung gegen die vorab festgelegten Änderungen (Anhang IV Nr. 2 Buchst. f) prüfen; bei wesentlicher Veränderung neue Konformitätsbewertung.
  • Gliederung mit dem Muster der Kommission abgleichen, sobald es vorliegt.

Lücken im Entwurf

  • Keine Betreiberrückmeldungen: Art. 72 Abs. 2 nennt von Betreibern bereitgestellte Daten ausdrücklich. Empfehlung: Rückkanal vertraglich einrichten.
  • Keine Beschwerden als Quelle: Hinweise von Betroffenen sind oft das erste Signal für Benachteiligung. Empfehlung: Kanal ergänzen.

Dieser Entwurf ist eine Arbeitshilfe der Redaktion SimpleAct und keine Rechtsberatung. Schwellen und Fristen der Eskalationsstufen 1 bis 3 sind Empfehlungen; verbindlich sind die Fristen aus Art. 73.

Metriken

Welche Metriken je Systemtyp sinnvoll sind

Es gibt keine gesetzliche Metrikliste. Maßstab ist, was die fortdauernde Einhaltung von Genauigkeit, Robustheit, Cybersicherheit, menschlicher Aufsicht und Datenqualität belegt. Die Schwellen in der Tabelle sind Beispiele und müssen an die eigenen Referenzwerte angepasst werden.

Zwei Metriken verdienen besondere Aufmerksamkeit, weil sie in vielen Plänen fehlen. Erstens die Fehlerraten nach Personengruppen: Eine Gesamtgenauigkeit kann stabil bleiben, während sich die Leistung für eine Gruppe deutlich verschlechtert. Wo das System auf Menschen angewandt wird, verlangt die Betriebsanleitung nach Art. 13 Abs. 3 Buchst. b Angaben zur Leistung für bestimmte Personengruppen – diese Angaben sind der natürliche Referenzwert.

Zweitens die Override-Quote: der Anteil der Fälle, in denen die menschliche Aufsicht die Empfehlung des Systems verwirft. Steigt sie stark, ist das ein Hinweis auf nachlassende Qualität. Fällt sie gegen null, kann das auf Automatisierungsgläubigkeit hindeuten – also auf eine Aufsicht, die nur noch abnickt. Beides ist ein Monitoring-Befund, kein reines Personalthema.

Für generative Systeme gilt eine Besonderheit: Klassische Genauigkeitsmaße greifen oft nicht. Bewährt haben sich regelmäßige Stichproben mit festen Bewertungskriterien und die Pflicht, jeden Wechsel des zugrunde liegenden Modells als Ereignis zu behandeln. Ob ein LLM-Assistent überhaupt hochriskant ist, hängt vom Einsatzzweck ab, etwa einem Anwendungsbereich nach Anhang III – nicht von der Technik.

Tabelle seitlich scrollen →

Beispielhafte Metriken und Schwellen nach Systemtyp
Systemtyp (Beispiel)Typische MetrikenBeispiel-Schwelle (Empfehlung)Typische Quelle
Klassifikation und Scoring, z. B. Bewerbervorauswahl oder KreditwürdigkeitGenauigkeit oder AUC gegen Referenz; Fehlerraten nach Personengruppen; Daten-Drift der wichtigsten Merkmale; Override-Quote der menschlichen Aufsicht; WidersprücheRückgang der Genauigkeit um mehr als 3 Prozentpunkte; Abstand der Falsch-Positiv-Raten zwischen Gruppen über 5 Prozentpunkte; Override-Quote doppelt so hoch wie im BasismonatLogs, Stichproben mit nachträglich bekanntem Ergebnis, Aufsichtsentscheidungen
Generative KI, z. B. LLM-Assistent in einem Hochrisiko-ProzessFehlerquote in Stichproben; Anteil blockierter oder nachträglich korrigierter Ausgaben; Eskalationen an Menschen; Wechsel der Modellversion; BeschwerdenFehlerquote in der Stichprobe über dem Wert der Validierung; jeder Versionswechsel des Basismodells löst eine Prüfung ausLogs, Stichprobenprüfung, Release-Ereignisse, Support
Bild und Biometrie, z. B. IdentitätsabgleichFalsch-Positiv- und Falsch-Negativ-Rate, nach Gruppen; Qualität der Eingabebilder; Bestätigungsquote durch PrüfpersonenAnstieg der Falsch-Positiv-Rate über den in der Betriebsanleitung genannten Wert; Anteil unbrauchbarer Eingaben über 10 %Logs, Prüfprotokolle, technische Überwachung
Prognose, z. B. Bedarfs- oder LastprognosePrognosefehler gegen Ist-Werte; Drift der Eingangsgrößen; Anteil manueller Korrekturen; Ausfälle und verspätete LäufeMittlerer Prognosefehler über dem Validierungswert für zwei Perioden in Folge; jeder ausgefallene Lauf in kritischen ZeitfensternIst-Daten, technische Überwachung, Betriebsprotokolle
Alle TypenVerfügbarkeit und Ausfälle; Sicherheitsereignisse; Beschwerden und Hinweise; Nutzung außerhalb der ZweckbestimmungJede Beschwerde mit Hinweis auf Benachteiligung wird einzeln geprüft; Nutzung außerhalb der Zweckbestimmung immer Stufe „prüfen“Support, Beschwerdekanal, Betreiberrückmeldungen

Schwellen und Eskalation

Von der Abweichung zur Entscheidung: vier Stufen

Eine Schwelle ohne Folge ist Dekoration. Wir empfehlen, jeder Metrik eine Eskalationsstufe zuzuordnen und für jede Stufe festzulegen, wer innerhalb welcher Zeit entscheidet. Die Zeiten in der Tabelle sind Beispiele; die gesetzlichen Fristen stehen in der letzten Zeile.

Wichtig ist die Trennung zwischen automatischem Alarm und fachlicher Bewertung. Ein Alarm aus dem Monitoring-Werkzeug ist ein Anlass, keine Entscheidung. Die Entscheidung, ob eine Stufe 3 oder 4 vorliegt, trifft ein Mensch mit dokumentierter Begründung. Genau diese Begründung fragt eine Behörde später nach – nicht die Rohdaten des Alarms.

Ebenso wichtig: Auch Fehlalarme gehören in die Dokumentation. Ein Plan, der zeigt, dass Auffälligkeiten geprüft und begründet verworfen wurden, belegt ein funktionierendes System. Ein Plan ohne einen einzigen Vorgang über zwölf Monate wirft dagegen die Frage auf, ob überhaupt jemand hinsieht.

Tabelle seitlich scrollen →

Eskalationsstufen im Überwachungsplan
StufeAuslöser (Beispiel)Reaktion (Empfehlung)Rechtsbezug
1 – BeobachtenMetrik nähert sich der Schwelle, einzelne Beschwerde ohne MusterVermerk, verstärkte Beobachtung bis zur nächsten AuswertungArt. 72 Abs. 2
2 – PrüfenSchwelle überschritten, Häufung ähnlicher Rückmeldungen, Nutzung außerhalb der ZweckbestimmungUrsachenanalyse innerhalb weniger Arbeitstage, Ergebnis dokumentieren, Risikoregister aktualisierenArt. 9 Abs. 2 Buchst. c
3 – EingreifenNichtkonformität wahrscheinlich oder Risiko für Gesundheit, Sicherheit oder GrundrechteKorrekturmaßnahme, ggf. Rücknahme oder Deaktivierung; Händler und Betreiber informieren; bei Risiko nach Art. 79 Abs. 1 MarktüberwachungsbehördeArt. 20; Art. 26 Abs. 5 für Betreiber
4 – MeldenSchwerwiegender Vorfall im Sinne von Art. 3 Nr. 49Meldeverfahren starten; System nicht so verändern, dass die spätere Ursachenbewertung beeinflusst wird, bevor die Behörden unterrichtet sindArt. 73: spätestens 15 Tage; 2 Tage bei weitverbreitetem Verstoß oder kritischer Infrastruktur; 10 Tage bei Tod

Schnittstelle zu Art. 73

Wann aus Monitoring eine Meldung wird

Das Monitoring ist in den meisten Fällen der Ort, an dem ein schwerwiegender Vorfall zuerst sichtbar wird: als Ausreißer in einer Metrik, als Beschwerde, als Meldung eines Betreibers. Die Fristen nach Art. 73 laufen ab Kenntnis. Die Meldung muss unmittelbar erfolgen, nachdem der Anbieter den kausalen Zusammenhang zwischen KI-System und Vorfall oder die naheliegende Wahrscheinlichkeit eines solchen Zusammenhangs festgestellt hat – spätestens 15 Tage nach Kenntnis, in den Sonderfällen 2 oder 10 Tage. Ein unvollständiger Erstbericht ist zulässig.

Für den Plan heißt das: Er muss sicherstellen, dass relevante Hinweise nicht in einem Postfach liegen bleiben. Wir empfehlen, im Plan festzulegen, dass jede Auffälligkeit der Stufe 3 sofort auch auf Meldepflicht geprüft wird, und wer diese Prüfung vornimmt. Für Betreiber gilt zusätzlich: Ein schwerwiegender Vorfall geht unverzüglich zuerst an den Anbieter; ist dieser nicht erreichbar, gilt Art. 73 entsprechend.

Die Einzelheiten – Meldeinhalt, zuständige Behörde, Zusammenspiel mit Meldungen nach DSGVO oder NIS2-Umsetzung, Untersuchung nach Art. 73 Abs. 6 – behandelt unser Leitfaden zum Incident-Management. In Deutschland ist nach dem KI-MIG grundsätzlich die Bundesnetzagentur zuständige Marktüberwachungsbehörde, für bestimmte Finanztätigkeiten die BaFin.

Weiterführend: der Leitfaden „Incident-Management nach Art. 73“, verlinkt am Ende dieser Seite.

Wesentliche Veränderung

Wenn das Monitoring zeigt: Das System ist nicht mehr dasselbe

Neben Vorfällen kann das Monitoring einen zweiten, oft übersehenen Befund liefern: Das System hat sich so verändert, dass die ursprüngliche Konformitätsbewertung es nicht mehr abdeckt. Art. 3 Nr. 23 definiert die wesentliche Veränderung als Veränderung nach dem Inverkehrbringen, die in der ursprünglichen Konformitätsbewertung nicht vorgesehen oder geplant war und die Einhaltung der Anforderungen beeinträchtigt oder die Zweckbestimmung ändert. Art. 43 Abs. 4 verlangt dann ein neues Konformitätsbewertungsverfahren.

Für weiterlernende Systeme gibt es eine wichtige Ausnahme: Änderungen, die der Anbieter zum Zeitpunkt der ursprünglichen Konformitätsbewertung vorab festgelegt und in der technischen Dokumentation nach Anhang IV Nr. 2 Buchst. f beschrieben hat, gelten nicht als wesentliche Veränderung. Das Monitoring ist das Werkzeug, mit dem sich belegen lässt, dass ein System innerhalb dieses vorab beschriebenen Korridors geblieben ist.

Für Betreiber hat der Befund eine eigene Tragweite. Wer ein Hochrisiko-KI-System wesentlich verändert, sodass es hochriskant bleibt, gilt nach Art. 25 Abs. 1 Buchst. b als Anbieter – mit allen Pflichten aus Art. 16, einschließlich des eigenen Plans nach Art. 72. Eigenes Nachtrainieren, der Austausch von Komponenten oder ein neuer Einsatzzweck sollten deshalb vorab geprüft werden.

  • Jede neue Modellversion als Ereignis erfassen und mit den vorab festgelegten Änderungen abgleichen.
  • Veränderungen der Zweckbestimmung oder des Einsatzkontexts gesondert prüfen – sie sind keine technischen Updates.
  • Bei Zweifeln die Prüfung und ihr Ergebnis dokumentieren, auch wenn keine wesentliche Veränderung vorliegt.
  • Betreiber: Anpassungen am System vor Umsetzung mit dem Anbieter und der eigenen Compliance abstimmen.

Einordnung

Ab wann das Thema praktisch relevant wird

Art. 72 und Art. 73 knüpfen an Hochrisiko-KI-Systeme an. Durch die Änderungsverordnung (EU) 2026/1744 gelten die Hochrisiko-Anforderungen aus Kapitel III Abschnitte 1 bis 3 für Systeme nach Anhang III ab dem 2. Dezember 2027 und für Systeme nach Anhang I ab dem 2. August 2028. Ab diesen Daten werden Plan und Überwachung praktisch relevant. Wer bis dahin Systeme in Verkehr bringt, sollte den Plan aber nicht erst am Stichtag schreiben: Er setzt Logs, Referenzwerte und Verträge mit Betreibern voraus, die sich nicht kurzfristig nachrüsten lassen.

Für kleine und mittlere Unternehmen sowie kleine Mid-Caps erlaubt Art. 17 Abs. 2 ein verhältnismäßiges Qualitätsmanagement. Auch Art. 72 Abs. 1 verlangt ein System, das im Verhältnis zur Technik und zu den Risiken steht. Ein überschaubarer Plan mit wenigen Metriken, klaren Zuständigkeiten und tatsächlicher Auswertung ist besser als ein umfangreiches Dokument, das niemand pflegt.

Für Systeme, die nicht hochriskant sind, schreibt die KI-VO kein Post-Market-Monitoring vor. Wir empfehlen trotzdem eine leichte Form der Überwachung – etwa für einen Service-Chatbot –, weil sich Einsatzzwecke verschieben und weil Beschwerden und Fehlfunktionen ohnehin bearbeitet werden müssen.

Typische Fehler

Woran Überwachungspläne in der Praxis scheitern

  • Metriken ohne Referenzwert: Es wird gemessen, aber niemand kann sagen, ab wann der Wert schlecht ist.
  • Schwellen ohne Zuständigkeit: Der Alarm geht an eine Sammeladresse, die niemand verantwortet.
  • Nur Technik, keine Menschen: Beschwerden, Support-Tickets und Hinweise der Aufsichtspersonen fehlen als Quelle.
  • Keine Gruppenbetrachtung: Gesamtwerte verdecken eine Verschlechterung für einzelne Personengruppen.
  • Logs unbrauchbar: Die Protokolle enthalten nicht die Felder, aus denen sich die Metriken ableiten lassen.
  • Betreiber ohne Rückkanal: Der Vertrag regelt Lizenz und Haftung, aber nicht, wie Auffälligkeiten den Anbieter erreichen.
  • Modellwechsel unbemerkt: Ein Update des zugrunde liegenden Modells wird nicht als Ereignis behandelt.
  • Plan einmal geschrieben, nie überprüft: Version und Review-Termin fehlen, der Plan beschreibt ein System, das es so nicht mehr gibt.

SimpleAct

Signale aus Ihren Werkzeugen als Nachweis im System

Gemessen wird dort, wo Ihr Team ohnehin arbeitet. SimpleAct übernimmt Alarme und Release-Ereignisse aus diesen Werkzeugen und ordnet sie dem jeweiligen KI-System zu – damit Auswertung, Entscheidung und Nachweis an einem Ort liegen.

  • Konnektoren für Grafana, Prometheus und Datadog (Monitoring-Signale), MLflow (Modellregister-Einträge), GitHub Actions und GitLab CI (Release-Ereignisse)
  • Generische Endpunkte für Werkzeuge ohne fertigen Konnektor
  • Quellprofil je KI-System mit HMAC-SHA256-Signaturprüfung und Doppelerkennung über die externe Ereignis-ID
  • Ereignisstatus RECEIVED, PROCESSED, DUPLICATE, FAILED, DEAD_LETTER; bis zu drei Versuche, Wiederholung auf Knopfdruck
  • Observability-Profile im Assurance-Bereich: Überwachungsart, Metrikkatalog, Alarmschwellen, Quellsystem, Bereitschaftsrolle
  • Validierungssuiten mit Metrikschwellen und Auslösern für eine Neuvalidierung; Release-Orchestrierung mit Rollback-Bereitschaft
  • Incident Management mit Schweregraden LOW bis CRITICAL und Re-Assessment-Trigger; die Meldung an die Behörde erfolgt außerhalb der Plattform
  • Go-Live Gate mit dem Check „Kritische Runtime-Signale aufgelöst“ für Signale der Schwere HIGH oder CRITICAL

Laut Produktdokumentation ist die Ereignis-Übernahme (Runtime-Signale) im Professional-Plan als Teil von Incident Management enthalten. SimpleAct ersetzt weder Ihr Monitoring-Werkzeug noch die fachliche Bewertung.

Open-Source Framework

simpleact-incident-management

Offenes Verfahren für Marktbeobachtung nach Art. 72 und Vorfallmeldung nach Art. 73 AI Act, mit zwei getrennten Fristen.

Auf GitHub ansehen

FAQ

Häufige Fragen zum Post-Market-Monitoring

Gemeint ist die Beobachtung nach dem Inverkehrbringen nach Art. 72 KI-VO. Anbieter von Hochrisiko-KI-Systemen sammeln und prüfen Erfahrungen aus der Verwendung, um festzustellen, ob Korrektur- oder Präventivmaßnahmen nötig sind, und um zu bewerten, ob das System die Anforderungen weiter erfüllt (Art. 3 Nr. 25, Art. 72 Abs. 2).
Nein, der Plan nach Art. 72 ist eine Anbieterpflicht. Betreiber müssen aber nach Art. 26 Abs. 5 den Betrieb anhand der Betriebsanleitung überwachen und den Anbieter informieren. Ein dokumentiertes Überwachungskonzept empfehlen wir trotzdem. Wer ein System wesentlich verändert, kann nach Art. 25 selbst zum Anbieter werden.
Art. 72 Abs. 3 sieht vor, dass die Kommission Leitlinien einschließlich eines Musters für den Plan annimmt. Bis dieses Muster vorliegt, empfehlen wir eine eigene, nachvollziehbare Gliederung – etwa die acht Abschnitte aus diesem Leitfaden – und einen späteren Abgleich.
Der Plan ist Teil der technischen Dokumentation nach Anhang IV Nr. 9. Anbieter halten die technische Dokumentation nach Art. 18 zehn Jahre ab Inverkehrbringen oder Inbetriebnahme für die Behörden bereit. Zusätzlich gehört der Plan in das Qualitätsmanagementsystem (Art. 17 Abs. 1 Buchst. h).
Keine konkreten. Maßstab ist die fortdauernde Einhaltung der Anforderungen aus Kapitel III Abschnitt 2, etwa Genauigkeit, Robustheit und Cybersicherheit (Art. 15) und menschliche Aufsicht (Art. 14). Bewährt haben sich Genauigkeit gegen Referenzwert, Fehlerraten nach Personengruppen, Drift, Override-Quote, Beschwerden und Ausfälle.
Anbieter (Art. 19) und Betreiber (Art. 26 Abs. 6) bewahren automatisch erzeugte Protokolle, soweit sie ihrer Kontrolle unterliegen, für einen der Zweckbestimmung angemessenen Zeitraum von mindestens sechs Monaten auf – sofern anderes Recht, insbesondere Datenschutzrecht, nichts anderes bestimmt.
Das Monitoring ist meist der Ort, an dem ein schwerwiegender Vorfall erkannt wird. Ab Kenntnis laufen die Fristen nach Art. 73: spätestens 15 Tage, bei weitverbreitetem Verstoß oder kritischer Infrastruktur spätestens 2 Tage, bei Tod spätestens 10 Tage. Details zum Meldeverfahren stehen im Leitfaden Incident-Management.
Art. 72 knüpft an Hochrisiko-KI-Systeme an. Nach der Änderung durch VO (EU) 2026/1744 gelten die Hochrisiko-Anforderungen für Anhang-III-Systeme ab dem 2. Dezember 2027 und für Anhang-I-Systeme ab dem 2. August 2028. Ab dann wird das Monitoring praktisch relevant; vorbereiten sollte man es früher.
Nein. Art. 72 Abs. 1 verlangt ein System, das im Verhältnis zur Technik und zu den Risiken steht, und Art. 17 Abs. 2 erlaubt ein verhältnismäßiges Qualitätsmanagement für KMU und kleine Mid-Caps. Entscheidend ist, dass der Plan tatsächlich ausgewertet wird und Zuständigkeiten klar sind.
Ja, wenn es eine wesentliche Veränderung nach Art. 3 Nr. 23 ist (Art. 43 Abs. 4). Bei weiterlernenden Systemen gelten Änderungen, die der Anbieter vorab festgelegt und in Anhang IV Nr. 2 Buchst. f beschrieben hat, nicht als wesentlich. Das Monitoring belegt, ob ein System in diesem Rahmen bleibt.

Noch Fragen? Wir helfen gerne weiter. E-Mail schreiben · 7 Tage testen (Kreditkarte nötig)

Quellen und Stand

Stand: · Redaktion SimpleAct

Dieser Leitfaden dient der allgemeinen Information und ist keine Rechtsberatung. Beispiele und Schwellen sind redaktionelle Empfehlungen. Für die Bewertung Ihres konkreten Systems ziehen Sie bitte fachkundige Beratung hinzu.

Änderungen

  • 2026-10-06 – Seite neu aufgebaut: Fokus auf Art. 72 mit Abgrenzung Anbieter/Betreiber, Planinhalt, Metriken je Systemtyp, Eskalationsstufen, wesentliche Veränderung, Geltung nach VO (EU) 2026/1744 und Plan-Builder.
  • 2026-04-03 – Erstveröffentlichung.

Monitoring-Signale dem richtigen KI-System zuordnen

Sehen Sie in einer Demo, wie Alarme und Releases aus Ihren Werkzeugen als Nachweise im System ankommen – oder testen Sie SimpleAct selbst.