EU AI Act: Neue Regulierungen für den KI Einsatz

Der EU AI ACT fordert von Unternehmen, dass KI-Anwendungen nicht missbräuchlich genutzt werden. Um die neuen gesetzlichen Anforderungen an Transparenz, Risikomanagement und Dokumentation erfüllen zu können, müssen bestehende Kontrollstrukturen erweitert werden. Betroffen sind auch der operative SAP-Betrieb und die IT-Organisation. Die neuen Regelungen gelten in weiten Teilen ab August 2026.

Der im Mai 2024 vom EU-Rat verabschiedete EU AI Act schafft einen einheitlichen Rahmen für den Einsatz von Künstlicher Intelligenz in der Europäischen Union. Die bisher weltweit einzigartige KI-Regulierung geht in weiten Teilen im August 2026 in Deutschland „live“.
Die KI-Verordnung verändert damit schrittweise die Compliance‑Pflichten für den KI‑Einsatz auch im Finanz‑ und Rechnungswesen sowie die Prüfungsagenda der Internen Revision:

• neue Pflichten zur Inventarisierung & Risikoklassifizierung von KI-Anwendungen
• erhöhte Transparenz‑ und Dokumentationsanforderungen
• sowie weitergehende Audit‑ und Governance‑Aufgaben

1. Risikoklassifizierung als neue Kontrollinstanz

   Das IKS muss Prozesse beinhalten, die jedes eingesetzte KI-System einer der vier Risikoklassen (unacceptable, high, limited, minimal) zuordnen. Besonders bei Hochrisiko-KI-Systemen (z. B. in der Personalrekrutierung oder Kreditprüfung) sind die Anforderungen an das IKS am höchsten.

2. Implementierung eines KI-Risikomanagements

   Für Hochrisiko-Systeme schreibt die Verordnung ein dediziertes Risikomanagementsystem vor. Dies umfasst:

   • Die systematische Identifizierung und Analyse von Risiken für Gesundheit, Sicherheit und Grundrechte.
   • Die Festlegung von Minderungsmaßnahmen, die regelmäßig auf ihre Wirksamkeit geprüft werden müssen.
   • Erweiterte Dokumentations- und Protokollierungspflichten: Das IKS muss sicherstellen, dass technische Dokumentationen stets aktuell sind und KI-Systeme ihre Vorgänge automatisch protokollieren (Logging), um eine Rückverfolgbarkeit zu gewährleisten.
   • Daten Governance: Interne Kontrollen müssen künftig auch die Qualität der Trainings- und Testdaten überwachen, um Bias (Voreingenommenheit) und Fehler in der KI-Ausgabe zu minimieren.

3. Menschliche Aufsicht (Human Oversight) 

   Kontrollmechanismen müssen sicherstellen, dass KI-Entscheidungen durch Menschen überprüft und bei Bedarf korrigiert oder gestoppt werden können.

• KI‑gestützte Kreditbewertungen werden möglicherweise als hochrisikorelevant eingestuft. Dies führt zu verpflichtenden Risikoanalysen, Bias‑Tests und Dokumentation.
• Die Nachvollziehbarkeit von Trainingsdaten, Modell‑Dokumentation und Erklärbarkeit gegenüber Aufsichten und Betroffenen sind gefordert. Buchungs‑ und Bewertungsprozesse müssen dabei auditierbar bleiben.
• Die Verarbeitung personenbezogener Daten in KI‑Modellen erhöht die DSGVO‑Risiken. Diskriminierungsgefahren (Bias) erfordern ein kontinuierliches Monitoring sowie gezielte Gegenmaßnahmen.
• Prüfer müssen technische Dokumentation, Risikoanalysen und Testprotokolle einsehen können.
• Externe Audits werden wahrscheinlicher. „Ungeliebte“ Disziplinen, wie Audit Trail Dokumentation bekommen eine höherwertige Bedeutung

Im Change- und Release-Management steigen die Anforderungen an die dokumentierte Validierung, da jede KI-Modell-Änderung in SAP Systemen Testprotokolle und Freigaben benötigt. 

Third Party Risiken für eingekaufte Modelle und/oder Cloud Agenten (z. B. SAP Partner Modelle) erfordern vertragliche Zusicherungen zur Datenherkunft und Modell Transparenz. Vom EU AI Act sind möglicherweise die folgenden SAP KI-Anwendungen betroffen:

 

• SAP Business AI (Joule, Agenten): rollenbasierte KI-Assistenten und vorgefertigte KI-Szenarien für HR, Procurement, Accounting Accruals Agent, Cash Management Agent
• SAP AI Core & AI Launchpad: Infrastruktur für Training, Deployment, LifecycleManagement und Monitoring eigener MLModelle auf der SAP BTP.
• Generative AI Hub / Generative AI Funktionen: Integration generativer Modelle für Text‑/Berichtserstellung, Zusammenfassungen und semantische Suche (z. B. in Joule).
• Embedded AI in SAP S/4HANA: vorkonfigurierte KI-Szenarien (z. B. automatische Rechnungsverarbeitung, Klassifikation, Cash Forecasting).
• SAP BTP AI Services (z. B. Dokumentenklassifikation, OCR, Tabular Models): wiederverwendbare Services für Datenextraktion und Vorhersagen.
• SAP Analytics Cloud (KI-Funktionen wie „Just Ask“) und Predictive Services: Analyse und Erklärbarkeitsfunktionen für Finanzreports.
• Intelligent Scenario Lifecycle Management (ISLM) / Joule Studio / Build Tools: Tools für Entwicklung, Governance und Lifecycle von KI‑Use‑Cases in SAP.