KI-Regulierung & Governance
Industrie-KI tritt in die regulierte Ära ein. Der EU AI Act (Verordnung (EU) 2024/1689) stuft jedes System nach Risiko ein und legt datierte, bezifferte Pflichten fest; ISO/IEC 42001 liefert das Managementsystem zur Konformität. Für einen Ingenieur drei konkrete Fragen: Ist mein System "hochriskant"? Welche Pflichten, nach Artikel? Und darf KI in eine Sicherheitsfunktion?
Die maßgeblichen Texte
Verordnung (EU) 2024/1689
Erster umfassender, risikobasierter Rahmen. Im ABl. am 12.07.2024 veröffentlicht, in Kraft seit 01.08.2024. Produktansatz: Pflichten bei Anbieter und Betreiber.
KI-Managementsystem (AIMS)
2023 veröffentlicht, zertifizierbar. High-Level-Struktur wie ISO 9001/27001 (Kapitel 4-10) + Anhang A: 38 Controls. Das praktische "Wie" der Konformität.
Risiko & Folgenabschätzung
23894: KI-Risikomanagement, an ISO 31000 angelehnt. 42005: KI-System-Folgenabschätzung. 5338: Lebenszyklus. 22989: Referenzbegriffe.
US-freiwilliger Rahmen
Vier Funktionen — Govern, Map, Measure, Manage. Unverbindlich, aber weit verbreitet; praktische Brücke zum EU AI Act für internationale Konzerne.
Der Anwendungszeitplan
Die Verordnung kommt nicht auf einen Schlag: Pflichten treten gestaffelt in Kraft. Das für die Industrie wichtigste Datum ist August 2027 — das der Maschinen-Sicherheitsbauteile.
| Datum | Was anwendbar wird |
|---|---|
| 01. Aug. 2024 | Verordnung tritt in Kraft. |
| 02. Feb. 2025 | Verbotene Praktiken gelten + KI-Kompetenzpflicht für Personal. |
| 02. Aug. 2025 | Allzweck-KI (GPAI), Governance, notifizierende Behörden, Sanktionsregime. |
| 02. Aug. 2026 | Allgemeine Anwendung: Hochrisikosysteme nach Anhang III + Transparenzpflichten. |
| 02. Aug. 2027 | Hochrisiko-"Sicherheitsbauteil" regulierter Produkte (Anhang I: Maschinen, Medizinprodukte…). |
Die Risikopyramide — wo Industrie-KI landet
| Stufe | Industriebeispiele | Pflichten |
|---|---|---|
| Inakzeptabel | Social Scoring, unterschwellige Manipulation, Emotionserkennung am Arbeitsplatz. | Verboten. Emotionserkennung von Bedienern untersagt (außer Sicherheit/Medizin). |
| Hoch | KI-Sicherheitsbauteil einer Maschine (Maschinen-VO 2023/1230); Betrieb kritischer Infrastruktur (Strom, Wasser, Gas). | Starke Pflichten (Art. 8-15), QMS, Konformitätsbewertung, CE-Kennzeichnung, EU-DB-Registrierung. |
| Begrenzt | Chatbots, Copilots, generative KI für Text/Bild. | Transparenz: Nutzer über KI-Interaktion informieren, generierte Inhalte kennzeichnen. |
| Minimal | Prädiktive Instandhaltung, Qualitätsvision, Prozessoptimierung — die meisten Industriefälle. | Keine spezifische Pflicht. Gute Praxis (ISO 42001) empfohlen. |
Merksatz: Die große Mehrheit industrieller Anwendungen (prädiktiv, Vision, Optimierung) ist minimal riskant. Erst KI, die auf eine Sicherheitsfunktion wirkt oder kritische Infrastruktur steuert, wird hochriskant und löst die CE-Kennzeichnung aus.
Hochrisikosystem: Pflichten, nach Artikel
| Artikel | Pflicht | Im Klartext |
|---|---|---|
| Art. 9 | Risikomanagement | Kontinuierlicher Prozess über den Lebenszyklus: identifizieren, schätzen, mindern, Restrisiken akzeptabel. |
| Art. 10 | Daten & Governance | Trainings-/Validierungs-/Testdaten relevant, repräsentativ, möglichst fehlerfrei; Bias-Erkennung und -Minderung. |
| Art. 11 | Technische Dokumentation | Vollständige Akte (Anhang IV), die Konformität nachweist, aktuell vor Inverkehrbringen. |
| Art. 12 | Protokollierung | Automatische Ereignisprotokollierung über die Lebensdauer für Rückverfolgbarkeit und Post-Market-Monitoring. |
| Art. 13 | Transparenz | Klare Anweisungen für den Betreiber: Fähigkeiten, Grenzen, erwartete Leistung, erforderliche Aufsicht. |
| Art. 14 | Menschliche Aufsicht | Gestaltung, die einem Menschen Verstehen, Überwachen, Eingreifen und Stoppen ermöglicht ("Stop-Button"). |
| Art. 15 | Genauigkeit, Robustheit, Cyber | Erklärtes Genauigkeitsniveau, Resilienz gegen Fehler und Angriffe (Data Poisoning, adversarial), Redundanz. |
Hinzu: Qualitätsmanagementsystem (Art. 17), Konformitätsbewertung (Art. 43), EU-Erklärung und CE-Kennzeichnung (Art. 47-48), EU-DB-Registrierung (Art. 49). Betreiberseitig: anweisungskonforme Nutzung, Aufsicht, Log-Aufbewahrung und Grundrechte-Folgenabschätzung (FRIA, Art. 27) für einige.
KI & funktionale Sicherheit: die eigentliche Frage
Darf ein lernendes Modell in eine sicherheitsgerichtete Funktion (SIF)? Heute nein — nicht direkt. IEC 61508 und IEC 61511 beruhen auf Determinismus, Testabdeckung und nachweisbarer Freiheit von systematischen Fehlern — Eigenschaften, die ein trainiertes neuronales Netz nicht liefert. Bewährte Praxis hält KI aus der Sicherheitsschleife: sie berät, alarmiert, optimiert — doch das SIS, das die Notabschaltung auslöst, bleibt deterministisch, fest verdrahtet oder zertifizierte Logik, unabhängig vom Modell.
Das Thema ist nicht abgeschlossen: ISO/IEC TR 5469 ("Functional safety and AI systems") kartiert, wie und wo KI je nach Rolle eingreifen darf. Und der regulatorische Bezug ist direkt — Software, die eine Maschinen-Sicherheitsfunktion erfüllt, KI eingeschlossen, ist ein Sicherheitsbauteil nach der Maschinen-VO (EU) 2023/1230 (anwendbar 20.01.2027), was sie im EU AI Act "hochriskant" macht: doppelte Konformität.
Was in der Praxis zu tun ist
- KI-Register führen — Inventar der eingesetzten Modelle, Nutzung, Daten, Anbieter, Risikostufe. Man steuert nur, was man kennt.
- Jedes System einstufen — das Risiko bestimmt alles Weitere; die Einstufungsentscheidung dokumentieren (minimal / begrenzt / hoch).
- Daten & Modelle dokumentieren — Model Cards, Datensatzblätter, Versionierung: Herkunft, Repräsentativität, Bias, Leistung und Grenzen.
- Menschliche Aufsicht sicherstellen — ein Mensch muss verstehen, überwachen und übersteuern können. KI unterstützt, entscheidet keine Sicherheitshandlung allein.
- Protokollieren & Post-Market überwachen — Ereignisprotokolle, Drift-Überwachung, Meldung schwerer Vorfälle: übergreifende Anforderung von EU AI Act / ISO 42001 / NIST.
ISO/IEC 42001: ein Managementsystem, kein Ordner
42001 übernimmt die High-Level-Struktur von ISO 9001 und 27001 (Kapitel 4-10: Kontext, Führung, Planung, Unterstützung, Betrieb, Bewertung, Verbesserung) und ergänzt einen Anhang A mit 38 KI-spezifischen Controls — Politik, Rollen, Ressourcen, Folgenabschätzung, Datenmanagement, Lebenszyklus, Information der interessierten Parteien, Drittanbieter. Wer bereits ein QMS oder ISMS betreibt, erkennt die PDCA-Logik. Die EU-AI-Act-Konformität liefert die rechtliche Pflicht; 42001 die auditierbare, zertifizierbare Methode dorthin — gestützt von ISO/IEC 23894 (Risiko), 42005 (Folgenabschätzung) und 5338 (Lebenszyklus).
Sanktionen
| Verstoß | Höchststrafe (der höhere Wert) |
|---|---|
| Verbotene Praktiken | bis 35 Mio. € oder 7 % des Weltumsatzes |
| Verstoß gegen sonstige Pflichten | bis 15 Mio. € oder 3 % |
| Falsche Angaben gegenüber Behörden | bis 7,5 Mio. € oder 1 % |
Für KMU und Start-ups gilt der niedrigere der beiden Beträge (Festbetrag oder Prozentsatz).
Harmonisierte Normen & Konformitätsvermutung
Wie beim klassischen CE-Zeichen begründet die Einhaltung einer harmonisierten Norm eine Konformitätsvermutung mit dem EU AI Act. Das Komitee CEN-CENELEC JTC 21 erarbeitet diese Normen (im Auftrag der Kommission), stark gestützt auf die Arbeit von ISO/IEC SC 42. Für den Ingenieur ist die Strategie klar: ISO/IEC 42001 und ihre Familie heute zu befolgen, bereitet die harmonisierte Konformität von morgen vor.