Die Kehrseite der KI (2. Teil): Data Poisoning
Während die künstliche Intelligenz (KI) zahlreiche Prozesse revolutioniert, entpuppen sich Hacker-Angriffe auf ihre Trainingsdaten zunehmend als ein gravierendes Risiko.
Wichtige Punkte
Wichtige Punkte
- Die Integrität von KI-Modellen steht und fällt mit der Qualität ihrer Trainingsdaten. Data Poisoning stellt eine ernstzunehmende systemische Verwundbarkeit dar.
- «Vergiftete» Modelle können auf dem ersten Blick robust erscheinen, enthalten jedoch im Verborgenen Verzerrungen oder Hintertüren, die möglicherweise erst dann zum Vorschein kommen, wenn der Schaden bereits angerichtet ist.
- Eine starke Datengovernance und KI-Sicherheit entwickeln sich damit zu bedeutenden Differenzierungsmerkmalen beim Aufbau nachhaltig erfolgreicher Geschäftsmodelle.
- Mit der Security Equity Strategy der UBS können Anleger ein gezieltes Exposure gegenüber Unternehmen aufbauen, die solche KI-Sicherheitsrisiken angehen und innovative Lösungen anbieten.
Künstliche Intelligenz (KI) birgt einen enormen Nutzen, da sie zu Effizienzsteigerungen führt, repetitive Aufgaben automatisiert und menschliche Fehler reduziert. Wie aber funktionieren KI-Systeme eigentlich? Im Kern erlernen KI-Modelle Muster aus riesigen Datenmengen und nutzen diese, um Prognosen aufzustellen oder Entscheidungen zu treffen. Jedoch sind KI-Systeme abhängig von der Datenqualität , mit denen sie trainiert werden. Aber was, wenn ein Angreifer die Datenqualität absichtlich manipuliert hat?
Was ist Data Poisoning?
Was ist Data Poisoning?
Ein Data Poisoning-Angriff zielt auf die Trainingsdaten eines KI-Modells ab. Das können etwa Bilder, Texte oder Zahlenangaben sein. Wenn ein Angreifer Trainingsdaten heimlich korrumpiert, bevor sie zum Anlernen des KI-Modells verwendet werden, wird der KI buchstäblich fehlerhaftes Wissen antrainiert. Hierbei werden bisweilen äusserst subtile Angriffsmethoden eingesetzt. So kann ein KI-Modell den Anschein erwecken, normal zu funktionieren, sich hinter den Kulissen aber schädliche Muster aneignen. Hat es sich die vergifteten Daten einmal antrainiert, so bleiben diese Effekte oft unsichtbar. Das System könnte womöglich Standardtests und Validierungsphasen bestehen. Dennoch können darin Schwachstellen schlummern, die sich nur schwer aufdecken und zu ihrer ursprünglichen Quelle zurückverfolgen lassen.1
Wie läuft ein Data Poisoning-Angriff ab?
Wie läuft ein Data Poisoning-Angriff ab?
KI-Modelle lernen, indem sie Muster in grossen Trainingsdatensätzen analysieren. Bei einem Data-Poisoning-Angriff schleusen böswillige Akteure schädliche oder irreführende Daten ein (Abbildung 1). Dies kann in Form von gänzlich neuer Datensätze, subtiler Veränderungen existierender oder gar gezielter Löschungen von Daten erfolgen.
Die Angriffe werden in der Regel während der Trainingsphase verübt, um das Verhalten des jeweiligen Modells von vornherein zu verfälschen. Da kompromittierte Modelle bei alltäglichen Szenarien oft weiterhin ganz normal funktionieren, ist es schwieriger, eine Data Poisoning-Attacke aufzudecken.
Abbildung 1: Data Poisoning: Von kompromittiertem Input zum Versagen des Modells
Je nach Art des Angriffs kann das KI-Modell bestimmte Eingaben falsch klassifizieren, systematische Verzerrungen entwickeln oder unter einem schleichenden Rückgang der Genauigkeit leiden. In manchen Fällen bauen Angreifer auch verborgene Hintertüren ein, über die sie das Verhalten des Modells manipulieren können, sobald bestimmte Auslöser aktiviert werden («Backdoor-Triggering»).
Gängige Spielarten von Data Poisoning
Vereinfacht gesagt lassen sich Data-Poisoning-Angriffe in zwei Kategorien einteilen:2
- Backdoor- oder Trigger-basiertes Poisoning:
Das Modell verhält sich normal, bis es auf einen bestimmten Auslöser wie etwa eine Wortverbindung, einen Token oder ein visuelles Muster trifft und daraufhin sein Verhalten ändert. Hierbei wird oft eine vom Angreifer eingebrachte versteckte Schwachstelle aktiviert. - Breite Verzerrung oder Fehlklassifizierung:
Indem Trainingsdaten so gut wie unmerklich verzerrt werden, können Angreifer Modelle zu systematischen Fehlern, Outputs mit Schieflage oder ungerechten Entscheidungen verleiten, was zu einer verringerten Verlässlichkeit und potenziell diskriminierenden Ergebnissen führt.
Was macht Data Poisoning so gefährlich?
Was macht Data Poisoning so gefährlich?
Der von Data Poisoning angerichtete Schaden entsteht meist lautlos und unsichtbar. KI-Systeme arbeiten dann scheinbar fehlerfrei, während im Hintergrund verborgene Manipulationen ihr Verhalten verändern. Schon eine kleine Anzahl vergifteter Samples, versteckter Prompts oder irreführender Datenfragmente kann ihre Verlässlichkeit deutlich beeinträchtigen, Verzerrungen bewirken oder sicherheitsrelevante Hintertüren öffnen.
Aus der Praxis sind etwa folgende Beispiele bekannt:
- Kompromittierte Code-Repositorien:
Forscher dokumentierten, wie versteckte Prompts in GitHub-Codekommentaren ein AI-Modell vergifteten. Als das Deepseek-Modell DeepThink-R1 an diesen Repositorien geschult wurde, trainierte es sich eine Backdoor an: Sobald es auf eine bestimmte Wortfolge traf, reagierte es mit Anweisungen, die der Angreifer hinterlegt hatte.3 - Guardrail-Entfernung in einem generativen Modell:
Nach der Veröffentlichung von xAI-Modell Grok 4 genügte Berichten zufolge schon die Eingabe von «!Pliny», um sämtliche schützende Leitplanken (so genannte Guardrails) zu deaktivieren.4 - Umgehung von Betrugsaufdeckung:
Angreifer können Trainingsdaten dermassen manipulieren, dass betrügerische Muster als legitime Transaktionen gekennzeichnet werden können. Dies könnte dazu führen, dass sich das Modell gefährliche blinde Flecken antrainiert und als Folge verdächtige Aktivitäten nicht mehr aufzeigt. Beispielsweise würde dies Finanzbetrug oder Geldwäscherei ermöglichen.5 - Manipulation autonomer Systeme:
Selbstfahrende Fahrzeuge und autonome Drohnen können von böswilligen Umbeschriftungen von Strassenschildern in die Irre geleitet werden. In kontrollierten Tests verhielt sich ein selbstfahrendes Fahrzeug zunächst einwandfrei, interpretierte dann ein modifiziertes Stop-Schild als eine Anweisung abzubiegen, obwohl es sich an einer Ampel und in der Nähe von Fussgängern befand.6 - Gezielte Fehler in medizinischer KI:
Mit dem Einschleusen manipulierter Beispiele sind Hacker in der Lage gewesen, Backdoors einzuschleusen, die dazu führen, dass Diagnosemodelle bestimmte Krankheiten nicht erkennen oder bei einzelnen Patientengruppen versagen. Wissenschaftliche Studien konnten zeigen, dass bereits lediglich 100 bis 500 Daten-Beispielen ausreichen würde, um das für das Gesundheitswesen entwickelte KI-Systeme zu kompromittieren.7
Wie können sich Organisationen vor Data Poisoning schützen?
Wie können sich Organisationen vor Data Poisoning schützen?
Ein effektiver Schutz vor Data Poisoning-Angriffen erfordert einen mehrschichtigen Sicherheitsansatz:
- Datenvalidierung und Prävention:
Screening von Trainingsdaten, um auffällige oder verdächtige Inputs vor dem Training des Modells ausfindig zu machen. - Überwachung und Erkennung:
Kontinuierliche Überwachung eingesetzter Modelle auf unerwartetes Verhalten mithilfe von Sicherheits-, Intrusion-Detection- und Endpoint-Protection-Tools. - Regelmässige Audits:
Periodische Überprüfung der Modelle auf Performance-Einbussen, Verzerrungen oder unbeabsichtigte Ergebnisse. - Datenherkunft und -governance:
Pflege einer klar nachvollziehbaren Dokumentation der Datenquellen, Aktualisierungen und Zugriffsberechtigungen, um rasch auf unerwünschte Ereignisse reagieren und die beabsichtigte Funktion wiederherstellen zu können.
Fazit für den Anleger
Fazit für den Anleger
Vor dem Hintergrund, dass Organisationen bei Entscheidungsprozessen zunehmend auf KI-Systeme setzen, entwickelt sich Data Poisoning zu einem entscheidenden Risiko. Indem sie die Integrität der Modelle auf der Datenebene kompromittieren können, kann ein Data Poisoning-Angriff zu kostspieligen Schäden, regulatorischen Risiken oder Rufschädigung führen.
Aus der Anlegerperspektive ist es deshalb umso wichtiger, auf Unternehmen zu setzen, die eine starke Datengovernance, robuste KI-Sicherheitsstrukturen und kontinuierliche Überwachungskapazitäten nachweisen können. Innerhalb der UBS Security Equity Strategy bevorzugen wir Firmen, die auf diesen Gebieten führend sind, um KI-bezogene Sicherheitsbedrohungen zu begegnen.
Dies stellt keine Garantie seitens UBS Asset Management dar. Anlagen in Aktien unterliegen Marktschwankungen und bergen Risiken, darunter der mögliche Verlust des investierten Kapitals. Die Aktienmärkte können volatil sein, vor allem kurzfristig.
