»iX Magazin«: sichere Integration von KI in Unternehmen – Sprachmodelle anfällig für Manipulationen

»iX Magazin«: sichere Integration von KI in Unternehmen – Sprachmodelle anfällig für Manipulationen

#Hannover, 20. Dezember 2024

#Große #Sprachmodelle wie »#ChatGPT« oder »#Claude« sind bei Unternehmen beliebt. Doch ihr Einsatz birgt erhebliche Sicherheitsrisiken und kann zur Preisgabe sensibler Informationen ausgenutzt werden. Das zeigt das IT Profimagazin »iX« in Ausgabe 1/2025. Alle großen Sprachmodelle weisen systembedingte Schwachstellen auf, die sich nicht vollständig beheben lassen. Verantwortliche müssen ihre Sicherheitsmaßnahmen darauf ausrichten.

»Große Sprachmodelle unterscheiden sich von klassischer #Software durch ihre intuitive Bedienung und informelle Sprache. Diese niedrige Einstiegshürde ist gleichzeitig ihre größte Schwäche«, erklärt »iX« Redakteur Philipp Steevens. »Angreifer können die internen Sicherheitsmechanismen von KI Systemen durch geschickte Formulierungen aushebeln.«

Ein besonders gefährlicher Angriff ist die sogenannte #Multi #Shot #Prompt #Injektion. Dabei verfeinern Angreifer ihre Anfragen schrittweise, bis das System schließlich sensible Informationen preisgibt. »Ein erfolgreicher Angriff kann dazu führen, dass Unternehmensdaten in die falschen Hände geraten«, beschreibt Steevens.

Besonders heikel wird es, wenn Unternehmen ihre #KI Systeme mit internen Dokumenten trainieren. »Die Trainingsdaten können später durch raffinierte Angriffstechniken wieder aus dem System extrahiert werden«, gibt der Redakteur zu bedenken. Er empfiehlt Unternehmen dringend, Trainingsdaten zu anonymisieren und sensible Informationen vorher zu entfernen.

Ein weiteres Risiko sind Halluzinationen – Fälle, in denen die Systeme falsche oder erfundene Informationen ausgeben. »Die Modelle haben kein echtes Verständnis davon, ob ihre Antworten sachlich richtig sind«, erklärt Steevens. Das macht sie unzuverlässig für kritische Anwendungen. »Halluzinationen und Voreingenommenheit sind intrinsische Fehler. Sie werden immer auftreten – egal wie ausgereift die Technologie ist.«

Für einen sicheren Einsatz empfiehlt Steevens klare Rahmenbedingungen: »Unternehmen müssen im Vorfeld einen eng definierten Einsatzzweck festlegen, der sich mit klassischer Software nicht erfüllen lässt. Im laufenden Betrieb müssen Unternehmen die Eingaben in die Sprachmodelle bereinigen, die Ausgaben überwachen und den Zugriff auf externe Quellen und Werkzeuge strikt beschränken«, mehr …