AI Act und generative KI: Was Unternehmen jetzt wissen sollten

Generative KI erschafft beeindruckende Texte, Bilder und sogar Musikstücke und Filme. Sie imitiert Stimmen und erstellt Bilder mit Gesichtern echter Personen. Oftmals sind die Ergebnisse nicht von menschengemachten Werken und echten Fotografien zu unterscheiden. Allerdings: Die großen Möglichkeiten bringen auch große Gefahren mit sich. Mit sogenannten Deepfakes können Menschen manipuliert, Tatsachen verfälscht und Persönlichkeitsrechte verletzt werden. Der EU-Gesetzgeber hat sich daher zur Regulierung künstlicher Intelligenz entschlossen, um die Sicherheit von KI-Systemen und KI-Modellen zu erhöhen und das Vertrauen der Nutzenden zu stärken. Der EU AI Act gilt als weltweit erstes KI-Gesetz und wird 20 Tage nach der Veröffentlichung im Amtsblatt der EU in Kraft treten.

Hier finden Sie einen Überblick, was in Bezug auf generative KI und zu beachten ist und wie Unternehmen sich vorbereiten sollten.

Den AI Act muss jedes Unternehmen beachten, das KI in Verkehr bringt, anbietet oder nutzt und das einen Bezug zur EU hat, sei es, weil es dort ansässig ist oder weil die KI-Systeme dort genutzt werden können. Praktisch wird über kurz oder lang jedes Unternehmen in der EU betroffen sein und auch zahlreiche Unternehmen außerhalb der EU. Im Einzelnen verpflichtet sind:

• Anbieter, die KI-Systeme in der EU in Verkehr bringen oder in Betrieb nehmen
• Außerhalb der EU ansässige Anbieter, wenn die von KI erzeugten Ergebnisse in der EU verwendet werden können oder zur Verwendung in der EU bestimmt sind
• Jeder in der EU ansässige Anbieter von KI-Systemen
• Jeder Einführer oder Händler, der KI-Systeme in Verkehr bringt oder sie in der EU bereitstellt
• Produkthersteller, die Produkte mit KI-Systemen innerhalb der EU in Verkehr bringen oder in Betrieb nehmen
• Nutzende von KI-Produkten und -Diensten innerhalb der EU

Ausgenommen sind Systeme, die von Behörden genutzt werden, sowie Systeme für militärische oder wissenschaftliche Zwecke.

Der AI Act verfolgt einen risikobasierten Ansatz. Hierfür teilt er KI-Systeme in Risikoklassen ein. Maßgeblich ist nicht die Technik selbst, sondern die Art der Anwendung. Je nach Risiko gelten strengere oder weniger strenge Anforderungen. Künstliche Intelligenz, die ein unannehmbares Risiko mit sich bringt, ist verboten. Hochrisikosysteme sind Systeme, die die Sicherheit oder Grundrechte gefährden. Welche Pflichten jeweils für ein KI-System gelten, hängt vom individuellen Anwendungsbereich ab. Das gilt auch für generative KI.

Der AI Act sieht für KI-Systeme in Art. 50 Transparenzpflichten vor:

• Natürliche Personen müssen informiert werden, dass sie mit einem KI-System interagieren.
• Wenn künstliche Intelligenz in einer nicht verbotenen Weise zur Emotionserkennung oder biometrischen Identifizierung bei natürlichen Personen eingesetzt wird, müssen diese darüber informiert werden.
• Deepfake-Inhalte müssen als Inhalte offengelegt werden, die künstlich erzeugt oder manipuliert wurden.

Wird die generative KI aufgrund ihrer Anwendung als Hochrisiko-KI-System eingestuft, gelten sehr strenge regulatorische Anforderungen:

• Das Unternehmen muss ein angemessenes Risikomanagement-System über den gesamten Lebenszyklus der KI gewährleisten.
• Angemessene Daten-Governance- und Datenverwaltungsverfahren müssen sichergestellt werden.
• Unternehmen müssen die Einhaltung der Pflichten technisch dokumentieren.
• Ereignisse sind zu protokollieren.
• Hochrisikosituationen müssen aufgezeichnet und nachverfolgt werden.
• Zu protokollieren sind auch Verwendung, Daten und Mitarbeiterkennung.
• Hochrisiko-KI-Systeme sind in der EU-Datenbank zu registrieren.

Der AI Act sah zunächst nur Regeln für KI-Systeme vor, also Anwendungen mit einem speziellen Einsatzgebiet. Später im Laufe des Gesetzgebungsprozesses kamen dann auch Vorschriften für KI-Modelle hinzu, genauer für sogenannte General Purpose AI- (GPAI) Modelle. Das sind KI-Modelle, die eine große Bandbreite verschiedener Aufgaben erledigen können und nicht auf einzelne Anwendungen spezialisiert sind.

GPAI-Modelle werden mit einer großen Menge an Daten trainiert und lassen sich an unterschiedliche Aufgaben anpassen. Ein Beispiel ist GPT-4, das GPAI-Modell der neuesten Version von ChatGPT.

Die KI-Modelle unterfallen nicht der oben genannten Risikopyramide, sondern werden in gewöhnliche GPAI-Modelle und GPAI-Modelle mit systemischem Risiko eingeteilt. Die Transparenzanforderungen für die GPAI umfassen eine technische Dokumentation, die Einhaltung des Urheberrechts der EU und Angaben zu den für das Training verwendeten Daten.

Besonders leistungsfähige GPAI-Modelle mit mindestens 1025 FLOPs (Floating Point Operations) gelten als systemisch riskant und unterliegen strengeren Auflagen. Anbieter solcher Modelle müssen Modellbewertungen durchführen, systemische Risiken bewerten und mindern. Sie müssen Angriffstests durchführen und die EU-Kommission über schwerwiegende Vorfälle unterrichten. Außerdem sind Cybersicherheit und Energieeffizienz sicherzustellen.

Die neuen Regeln gelten ab 2026, beziehungsweise für allgemeine KI schon ab 2025. Verbotene KI-Systeme müssen innerhalb von sechs Monaten nach Inkrafttreten des AI Acts abgeschaltet werden. Mitarbeitende sollten sich zeitnah auf die Einhaltung des AI Acts vorbereiten. Das KI-Gesetz definiert verschiedene Rollen, unter anderem für die Bereiche Recht, Datenschutz, Data Science sowie Risikomanagement und Einkauf. Es empfiehlt sich, eine multidisziplinäre Taskforce aufzustellen, die dieses Spektrum abdeckt. Die Expert:innen sollten die im Unternehmen eingesetzte KI kategorisieren und entsprechende Pflichten ableiten.

Unternehmen sollten eine angemessene Governance definieren, die sowohl Rahmenwerke zu Standards und gewährten Praktiken als auch eine Daten-Governance umfasst. Wichtig ist, dass die Unternehmen die mit der verwendeten künstlichen Intelligenz verbundenen Risiken kennen und geeignete Maßnahmen einleiten.

Die Entwicklung neuer Technologien ist meistens schneller als der Gesetzgeber. Daher sollten Unternehmen bei der Kategorisierung ihrer KI-Systeme Gesetzesänderungen antizipieren, indem sie ethische Gesichtspunkte immer mitberücksichtigen. Ermöglicht eine neue KI manipulative oder gar ausbeuterische Kontrollpraktiken oder ist sie eine Gefahr für die Gesundheit oder Sicherheit von Personen, ist zu erwarten, dass sie früher oder später als Hochrisiko- oder verbotene KI eingestuft wird.

* Die Rechtsdienstleistungen werden durch die KPMG Law Rechtsanwaltsgesellschaft mbH erbracht.