Tüv-Verband fordert verbindliche Prüfungen für KI-Modelle
Laut einer Umfrage von Tüv-Verband und BSI befürchten 84 Prozent der Unternehmen Fehlentscheidungen durch KI-Agenten. Vor dem AI Summit in Dublin fordert der Verband unabhängige Prüfungen leistungsfähiger KI-Modelle vor dem Marktstart und einheitliche EU-Regeln.
Eine große Mehrheit der Unternehmen in Deutschland sieht beim Einsatz von KI-Agenten erhebliche Risiken. 84 Prozent befürchten, dass die Systeme auf Basis falscher oder erfundener Informationen Fehlentscheidungen treffen. Das zeigt eine repräsentative Befragung des Tüv-Verbands und des Bundesamts für Sicherheit in der Informationstechnik (BSI). KI-Agenten bearbeiten Aufgaben über mehrere Schritte selbstständig und greifen dabei auf andere Anwendungen und Systeme zu.
Jeweils 78 Prozent sehen die Gefahr, dass über Schnittstellen neue Sicherheitslücken entstehen, sensible Daten oder Geschäftsgeheimnisse abfließen oder die KI ungewollte Aktionen auslöst. 74 Prozent bewerten unklare Verantwortung und Haftung bei Fehlern als hohes Risiko, 65 Prozent eine Manipulation von außen. Zudem seien KI-Agenten in den vergangenen Monaten wiederholt unkontrolliert aus ihren Testumgebungen ausgebrochen, so der Verband.
Prüfungen vor der Markteinführung
„Sicherheitsbedenken bremsen den KI-Einsatz, solange Unternehmen nicht beurteilen können, ob eine KI im Betrieb sicher und kontrollierbar arbeitet“, sagt Dr. Joachim Bühler, Geschäftsführer des Tüv-Verbands. Ausräumen lasse sich das nur mit verlässlichen Nachweisen, nicht mit Versprechen der Hersteller.
Anlässlich des AI Summit am 14. Oktober in Dublin, dem Treffen der irischen EU-Ratspräsidentschaft, fordert der Verband von EU-Kommission und Mitgliedstaaten verbindliche Sicherheitsvorgaben für sogenannte Frontier-Modelle, also besonders leistungsfähige KI-Modelle.
Dazu zählen verpflichtende Prüfungen vor dem Marktstart, die herstellerunabhängig und im öffentlichen Auftrag erfolgen sollen. „Ein Sicherheitsmangel im Modell setzt sich in jedem Produkt fort, das darauf aufbaut“, so Bühler.
Einheitlicher Rechtsrahmen
Zugleich warnt der Verband davor, die europäischen Regeln für Hochrisiko-KI zu zersplittern. Im KI-Omnibus wurde entschieden, Medizinprodukte im direkten Anwendungsbereich des AI Acts zu belassen. Bei der Überarbeitung der Medizinprodukteverordnung droht nun doch noch, dass KI in Medizinprodukten aus dem AI Act herausgelöst wird.
Verteile man die Anforderungen auf einzelne Sektoren, entstehe ein Flickenteppich, argumentiert Bühler. Viele Produkte unterlägen zudem mehreren Regelwerken, ein OP-Roboter sei Medizinprodukt und Maschine. Der AI Act müsse europaweit einheitlich angewandt und durchgesetzt werden.