Ein Blick auf die neue BaFin-Orientierungshilfe zu künstlicher Intelligenz

Mit dem Digital Operational Resilience Act (DORA) und dem KI-Gesetz der Europäischen Union (AI Act) liegen gleich zwei Rahmenwerke vor, die Finanzinstitute bei der Nutzung von künstlicher Intelligenz berücksichtigen müssen. Und doch fehlen in beiden klare Empfehlungen und Hilfestellungen für Verantwortliche in Banken, Versicherungen und Co.

Die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) hat jetzt eine Orientierungshilfe zu IKT-Risiken beim Einsatz von KI in Finanzunternehmen veröffentlicht – sie geht der Frage nach, wie Marktteilnehmer IKT-Risiken durch KI-Systeme managen können. Wir haben sie uns genau angesehen und zeigen hier die wichtigsten Punkte auf.

DORA verfolgt einen technologieneutralen Ansatz und behandelt KI-Systeme nicht als eigenständige Kategorie – DORA ordnet sie vielmehr unter dem weit gefassten Begriff der Netzwerk- und Informationssysteme ein. Ein KI-System wird dabei als Kombination aus Hard- und Software sowie der zugrunde liegenden IKT-Infrastruktur verstanden.

Im Vordergrund stehen bei DORA somit die aus dem Betrieb resultierenden IKT-Risiken und nicht Eigenschaften wie Autonomie oder Lernfähigkeit, denen im EU AI Act eine zentrale Rolle zukommt.

Die regulatorische Konsequenz dieses Ansatzes ist klar: KI-Systeme sind wie andere IKT-Assets vollständig in den IKT-Risikomanagementrahmen nach DORA zu integrieren.

Das gilt unabhängig davon, ob es sich um selbst entwickelte Modelle, zugekaufte Softwarelösungen oder cloudbasierte KI-Dienste handelt.

Gleichzeitig erhöht der EU AI Act für Finanzunternehmen insbesondere für Anwendungsfälle mit potenziell weitreichenden Auswirkungen auf Kunden oder Marktintegrität den regulatorischen Druck. Viele KI-Einsätze im Finanzsektor, etwa im Kredit-Scoring, der Bonitätsbewertung oder im Underwriting, sollen laut der KI-Verordnung als Hochrisiko-KI-Systeme eingestuft werden.

Gerade dort, wo KI-Leistungen kritische oder wichtige Funktionen unterstützen, greifen die DORA und der EU AI Act ineinander: DORA adressiert die operative Resilienz und Ausfallsicherheit dieser Systeme, während der EU AI Act darauf hinwirkt, dass ihre Entscheidungen nachvollziehbar, diskriminierungsfrei und unter angemessener menschlicher Kontrolle erfolgen.

Welchen Schwerpunkt wählt also die KI-Orientierungshilfe der BaFin? Sie nimmt bewusst eine lebenszyklusorientierte Perspektive auf KI-Systeme ein. Risiken sollen nicht isoliert betrachtet werden, sondern entlang aller Phasen des KI-Lebenszyklus – von der Datenbeschaffung über die Modellentwicklung und Bereitstellung bis hin zum laufenden Betrieb und zur Stilllegung.

Ziel ist es, Schwachstellen frühzeitig zu identifizieren und über den gesamten Lebenszyklus hinweg angemessen zu steuern. Mit ihrer Orientierungshilfe verortet die BaFin den Einsatz von KI klar im bestehenden Rahmen des IKT-Risikomanagements nach DORA. KI-Systeme sind demnach systematisch in die etablierten Prozesse zur Risikoidentifikation, Prävention, Überwachung sowie Reaktion und Wiederherstellung einzubetten.

Der geforderte Rahmen schafft eine solide Grundlage für den sicheren Betrieb von KI und soll regelmäßig – mindestens einmal im Jahr – überprüft und weiterentwickelt werden.

Ein wirksames IKT-Risikomanagement für KI beginnt auf strategischer Ebene. Die BaFin betont die Bedeutung klarer Governance-Strukturen und eindeutig definierter Verantwortlichkeiten. Insbesondere wenn KI-Systeme kritische oder wichtige Funktionen unterstützen, sollten Institute eine eigene KI-Strategie formulieren, die den Einsatz, die Ziele und die Risikotragfähigkeit adressiert.

Darüber hinaus fordert DORA ebenso wie der EU AI Act den gezielten Aufbau von bedarfsorientierten KI-Kompetenzen innerhalb der Organisation. Das gilt ausdrücklich auch für das Leitungsorgan, dessen Mitglieder über ausreichende Kenntnisse verfügen müssen, um KI-bezogene IKT-Risiken zu verstehen, zu bewerten und angemessen zu überwachen. KI wird damit zu einem Thema der Gesamtunternehmenssteuerung – und ist nicht allein eines der IT- oder Fachbereiche.

Während die Orientierungshilfe den Fokus dabei auf die Steuerung von IKT-Risiken legt, erweitert der EU AI Act diese Perspektive um Aspekte wie menschliche Aufsicht, Transparenz und den Schutz vor diskriminierenden Effekten. Beide Ansätze ergänzen sich und verdeutlichen, dass KI-Governance künftig sowohl technisch-operativ als auch inhaltlich-ethisch gedacht werden muss.

Die Orientierungshilfe der BaFin überträgt die allgemeinen Sicherheits- und Resilienzanforderungen von DORA konsequent auf KI-Systeme. Dazu zählen technische Maßnahmen zur System- und Netzwerksicherheit wie Firewalls, Intrusion-Detection- und -Prevention-Systeme, Zero-Trust-Architekturen sowie Schutzmechanismen gegen DDoS- und API-basierte Angriffe.

Besondere Bedeutung kommt der kontinuierlichen Überwachung von KI-Systemen zu. Anomalien, Sicherheitsvorfälle oder Leistungsabweichungen sollen frühzeitig erkannt werden. Ergänzend werden regelmäßige Resilienztests gefordert, die je nach Kritikalität der Leistung auch erweiterte Testszenarien umfassen sollten.

KI-Systeme sind zudem in das IKT-Geschäftsfortführungsmanagement einzubeziehen, einschließlich getesteter Wiederherstellungs- und Notfallpläne.

Die Qualität der eingesetzten Daten ist die zentrale Grundlage für die Leistungsfähigkeit und Sicherheit von KI-Systemen. Auch wenn DORA keine konkreten Vorgaben zur Datenqualität formuliert, macht die BaFin-Orientierungshilfe deutlich, dass geeignete, valide und aktuelle Trainings- und Betriebsdaten eine wesentliche Voraussetzung für einen verlässlichen KI-Einsatz darstellen.

Ergänzend fordert DORA von Finanzunternehmen eine systematische Klassifikation ihrer Daten hinsichtlich Vertraulichkeit, Integrität und Verfügbarkeit. Für KI-Systeme bedeutet das insbesondere den Einsatz robuster Schutzmechanismen wie Verschlüsselung, professionelles Schlüsselmanagement sowie die Absicherung von Datenübertragungen zwischen beteiligten Systemkomponenten.

Dabei greift die Orientierungshilfe auch die vom EU AI Act aufgegriffenen Modellrisiken auf. Dazu zählen unter anderem Modelldrift, die unbeabsichtigte Verzerrung von Ergebnissen (Bias) sowie gezielte Manipulationen von Modellen oder Trainingsdaten (zum Beispiel adversariale Angriffe).

Ein zentrales Querschnittsthema der Orientierungshilfe ist die Dokumentation. KI-Systeme sind als Informations- und IKT-Assets vollständig zu erfassen, zu klassifizieren und zu dokumentieren. Abhängig von der Kritikalität des Systems ist eine lückenlose Protokollierung von KI-Entscheidungen, Modellversionen, Trainingsdaten und relevanten Systemereignissen erforderlich.

Der EU AI Act spezifiziert diese Anforderungen mit formalen Compliance-Elementen. Für Hochrisiko-KI-Systeme sind unter anderem technische Unterlagen, EU-Konformitätserklärungen und CE-Kennzeichnungen vorgesehen, welche die BaFin in der Orientierungshilfe nicht betrachtet hat.

Diese Dokumentation dient nicht nur der internen Steuerung, sondern auch der Nachvollziehbarkeit gegenüber Aufsicht und Prüfern. Zudem sind Maßnahmen zur Risikobehandlung, Testergebnisse und Änderungen an KI-Systemen nachvollziehbar festzuhalten und regelmäßig zu überprüfen.

Für Finanzinstitute bedeutet die Orientierungshilfe vor allem eines: KI kann nicht isoliert oder allein innovationsgetrieben eingeführt werden. Der Einsatz von KI erfordert, wie bereits in der DORA vorgesehen, eine enge Verzahnung von Fachbereichen, IT, Informationssicherheit, Datenschutz, Risikomanagement und Governance-Funktionen.

Bestehende Prozesse des IKT-Risikomanagements müssen erweitert und teilweise spezifiziert werden, um KI-spezifische Risiken angemessen abzudecken. Besonders herausfordernd ist das in komplexen IT-Landschaften und bei cloudbasierten KI-Lösungen, bei denen Drittparteien eine zentrale Rolle spielen.

Hier steigen die Anforderungen an Vertragsgestaltung, Überwachung, Auditfähigkeit und Exit-Strategien erheblich. Gleichzeitig erfordert der regulatorische Anspruch einen kulturellen Wandel: KI muss als potenziell kritischer Produktionsfaktor verstanden und entsprechend gesteuert werden.

Die BaFin-Orientierungshilfe macht deutlich, dass Unternehmen im Finanzsektor sowohl DORA als auch den AI Act genau auswerten und befolgen müssen. Die BaFin gibt dabei nun Hilfestellung.

DORA setzt ambitionierte Ziele mit Blick auf Sicherheit, Resilienz und Governance, die auch für KI-Systeme uneingeschränkt gelten.

Gleichzeitig zeigt der Blick auf den EU AI Act, dass der regulatorische Rahmen für KI bewusst breiter angelegt ist: Während die BaFin den Fokus auf operative Stabilität legt, erweitert die KI-Verordnung diesen Ansatz um rechtliche, ethische und gesellschaftliche Aspekte.

Somit dürfen Finanzinstitute sich nicht nur auf die BaFin-Orientierungshilfe verlassen. Erst das Zusammenspiel von DORA, BaFin-Orientierungshilfe und EU AI Act schafft einen ganzheitlichen Ordnungsrahmen für den nachhaltigen Einsatz von KI im Finanzsektor.

Ein professionell aufgesetztes Governance-, Risiko- und Kontrollframework für KI stärkt Vertrauen bei Aufsicht, Kunden und Partnern, beschleunigt die Skalierbarkeit innovativer Anwendungsfälle und reduziert langfristig operative Risiken. Wer Regulierung als Enabler versteht und nicht als Bremse, positioniert sich nachhaltig als verlässlicher und zukunftsfähiger Akteur im KI-getriebenen Finanzmarkt.