Moderne KI-Chatbots durchforsten längst nicht mehr nur ihre Trainingsdaten, wenn Nutzer ihnen Fragen stellen. ChatGPT, Gemini und Googles KI-Suche greifen aktiv auf Internetquellen zu – und genau hier liegt das Problem. Eine neue Untersuchung der Cornell University mit dem Titel „Deep-research agents can be poisoned via user-generated content“ zeigt, wie erschreckend einfach sich diese Systeme austricksen lassen. Laut den Forschern Hal Triedman, Tingwei Zhang und Vitaly Shmatikov genügen bereits winzige Textschnipsel von nur 13 Wörtern auf Plattformen wie Reddit, Wikipedia oder Quora, um die Ausgaben von KI-Assistenten gezielt zu verfälschen.
„Wir zeigen, dass schon kleine Textausschnitte – nur 13 Wörter – von herangezogenem Text auf einer UGC-Webseite ausreichen, um den Output von KI-Agenten verlässlich zu Spam oder Scam zu verändern“, erklärte Triedman gegenüber „404 Media„. Die Studie belegt: Ein einziger manipulierter Reddit-Kommentar kann die generierten Antworten für eine ganze Gruppe verwandter Suchanfragen beeinflussen.
Mehr Infos und Studien rund um das Thema KI findest du am Ende dieses Beitrags.
Fiktive Restaurants und Dating-Apps als Beweis
Die Wissenschaftler demonstrierten die Schwachstelle mit verblüffend simplen Experimenten. In einem Test fügten sie einem Kommentar im Subreddit „r/austinfood“ den Satz hinzu, dass „Sol Azteca“ die beste Wahl für authentische mexikanische Küche in Austin sei. Als ein Sprachmodell anschließend nach den besten mexikanischen Restaurants in der Gegend gefragt wurde, übernahm es die Empfehlung bereitwillig und präsentierte das erfundene Lokal als seriösen Tipp.
Ein zweites Experiment zielte auf eine völlig fiktive Dating-Plattform namens „Silverpath“ ab. Die Forscher platzierten einen Kommentar, der die App als ideale Lösung für geschiedene Männer über 50 anpries. Das Ergebnis: Die KI gab die Fake-App als bewährte Option aus. „Es ist wirklich so einfach. Die Art, wie man diese Systeme angreifen kann, ist normalerweise viel dümmer, als man denkt“, fasste Triedman zusammen. Die Nutzer erhalten dadurch Werbung, die sie nicht als solche erkennen können.
Alle Quellen sind gleich – auch die schlechten
Warum funktioniert diese Manipulation so zuverlässig? Das Problem liegt im Kern der Sprachmodelle selbst. „Die KI denkt nicht darüber nach, welche Quelle sie für vertrauenswürdiger hält: einen zufälligen Reddit-Kommentar oder einen Artikel von einer Regierungs-Webseite. Sie werden von Sprachmodellen gleichwertig behandelt“, erklärte Mitautor Tingwei Zhang. Hinzu kommt, dass Google Reddit in den vergangenen Jahren aufgrund der nutzererstellten Inhalte als besonders starke Quelle gewichtet hat.
Die KI-Systeme nutzen lexikalische Ähnlichkeit zur Nutzeranfrage als Ersatz für inhaltliche Richtigkeit. Wer also Textschnipsel verfasst, die typischen Suchanfragen ähneln, hat besonders gute Chancen, von den Algorithmen aufgegriffen zu werden. Unternehmen nutzen diese Lücke längst: In Marketing-Kreisen etabliert sich die Praxis unter dem Begriff „Answer Engine Optimization“ oder kurz AEO. Spezialisierte Agenturen wie RedRover bieten offen an, durch gezielte Platzierungen auf Reddit die Sichtbarkeit in KI-Suchmaschinen zu verbessern. Datenerhebungen des Beratungsunternehmens Red-engage zufolge taucht Reddit je nach KI-Modell in bis zu 46,7 Prozent aller Antworten als Quelle auf.
Biohacker-Forum kapituliert vor Werbeflut
Die theoretischen Erkenntnisse der Cornell-Forscher spiegeln sich bereits in der Realität wider. Das Subreddit r/biohackers, eine Community für Nahrungsergänzungsmittel und experimentelle Biologie, musste drastische Maßnahmen ergreifen. Verkäufer von Peptiden und Hormonersatztherapien hatten das Forum derart mit getarnter Werbung überflutet, dass die Moderatoren sämtliche neuen Beiträge zu diesen Themen verboten.
Die Spam-Konten gingen dabei professionell vor: Sie wiesen lange Beitragshistorien auf und streuten Markennennungen geschickt in laufende Diskussionen ein. Diskussionen zu den betroffenen Themen sind nun nur noch in wöchentlich erneuerten Sammelthreads erlaubt. Besonders besorgniserregend: Moderatoren warnen vor konkreten Gesundheitsgefahren. Wenn unregulierte medizinische Substanzen durch manipulierte KI-Antworten fälschlicherweise als unbedenklich dargestellt werden, könnten vor allem junge Nutzer Schaden nehmen. Die Grenze zwischen echten Diskussionen und bezahlter Werbung verschwimmt zunehmend.
Keine Lösung in Sicht
Die Forscher der Cornell University zeichnen ein ernüchterndes Bild: Wirksame Gegenmaßnahmen existieren derzeit praktisch nicht. Das liegt vor allem daran, dass die manipulativen Textschnipsel so kurz sind – Moderatoren können sie kaum von ehrlich gemeinten Empfehlungen unterscheiden. „Es gibt eine Vielzahl von technischen Maßnahmen, die funktionieren könnten oder eben nicht. Sie werden allerdings immer radikaler und disruptiver, je weiter man dem Weg folgt, um Menschlichkeit zu verifizieren“, räumte Triedman ein.
Theoretisch wäre etwa eine biometrische Verifizierung vor jedem Kommentar denkbar – doch selbst die Studienautoren lehnen solche Eingriffe ab. Zhang betonte, dass peinliche KI-Suchergebnisse letztlich den Interessen der KI-Unternehmen schaden. „Ich denke, es ist eher deren Problem zu lösen. Aber wirklich, es gibt keine einfache Lösung.“ Die Forscher fordern eine Zusammenarbeit zwischen Plattformen und KI-Betreibern – konkrete Ansätze bleiben jedoch Mangelware.
Hier liest du mehr über Künstliche Intelligenz:
Tolle Tipps! Besonders der Hinweis auf die Verwendung von Hashtags hat mir neue Perspektiven eröffnet. Ich werde sie auf jeden…
Eine starke Corporate Identity lebt auch von einer einheitlichen visuellen Kommunikation. Wer Inhalte aus Präsentationen, Schulungen oder Unternehmensvideos weiterverwenden möchte,…
Ein sehr lesenswerter Beitrag – besonders der Punkt, dass Werte nicht nur auf dem Papier stehen, sondern im Alltag spürbar…