Wird die KI bei langen Chats dümmer? Diesen Fehler machen die meisten Nutzer

Die ursprünglichen Prompts haben dem Chatbot genaue Vorgaben gemacht – und trotzdem scheint er immer wieder bereits genannte Aufgaben zu vergessen oder schlichtweg zu ignorieren. Plötzlich ufert das Ergebnis über die vorgegebene Wörterzahl aus und das wichtigste Keyword fehlt. Das ist besonders dann ärgerlich, wenn man als Nutzer bereits viel Zeit und Arbeit in seine Prompts gesteckt und inzwischen mehrfach überarbeitet hat. Wird die KI dümmer, je häufiger sie beansprucht wird? Nicht ganz. Das Phänomen ist als „context rot“ – also „Kontextverfall“ – bekannt. Der Begriff beschreibt den Informationsverlust, der bei längeren Chats mit der KI auftreten kann. Durch ihn geht Kontext verloren, der für die korrekte Erfüllung der Aufgabe von Bedeutung ist. Aber wodurch wird der context rot verursacht?

unternehmer.de zu Google hinzufügen

Mehr Tipps, Tricks und News zum Thema KI findest du am Ende dieses Beitrags.

Das „Gedächtnis“ der KI ist bis zum Rand gefüllt

In der Regel liegt der Grund für zunehmend schlechte Antworten im sogenannten Kontextfenster. Gemeint ist die maximale Textmenge, die ein Modell zu einem bestimmten Zeitpunkt „im Gedächtnis behalten“ kann, um basierend auf diesen Informationen Antworten zu generieren. Es umfasst einerseits die Eingaben des Nutzers (Fragen, Dokumente, etc.), andererseits die erzeugten Ausgaben des Chatbots selbst. Anweisungen, die außerhalb dieses Fensters liegen, können nicht berücksichtigt werden. Ist die Grenze also erreicht, dann können ältere Daten aus dem Gespräch wegfallen.

Nun dürfte es für den ein oder anderen Nutzer sicherlich naheliegen, den Chatbot einfach zu fragen, wie voll sein Kontextfenster ist. Doch ganz so einfach ist die Antwort auf das Problem nicht. Denn zum einen könnte die KI die Antwort ganz einfach halluzinieren, zum anderen führt die Frage von der eigentlichen Unterhaltung weg (und fügt noch mehr Kontext hinzu). Was also tun, um den „Füllstand“ des Kontextfensters zu ermitteln?

So findest du heraus, wie voll das Kontextfenster der KI ist

Ein einfacher Trick kann helfen: Gib im ersten Schritt die Anweisung, dich bei jeder Antwort mit dem Namen anzusprechen. Fehlt der Name ab einem bestimmten Punkt der Unterhaltung in der Antwort, ist es wahrscheinlich, dass das Kontextfenster voll ist und die Anweisung „vergessen“ wurde. Der Trick kann eine richtige Messung zwar nicht ersetzen, hilft aber dabei, zu erkennen, wann es sinnvoll sein kann, einen neuen Chat aufzumachen.

Ist der Punkt erreicht, lass dir eine kompakte Zusammenfassung des bisherigen Kontexts erstellen. Dafür sollten Ziel, Entscheidungen und der aktuelle Stand der Ergebnisse sowie die nächsten Schritte genannt werden. Die Antwort nimmst du dann mit zu einem neuen Chat, in dem du dann weiterarbeiten kannst.

Mehr spannende News und Tipps rund um künstliche Intelligenz kannst du hier lesen:

• Angst um Arbeitsplätze steigt – insbesondere bei denen, die KI verstehen
• Claude Money: Das ist jetzt schon über die Finanzberater-KI bekannt
• Top-Ökonomen warnen: Europa droht im KI-Wettlauf bedeutungslos zu werden
• KI-Sharing: Solltest du dein ChatGPT-Abo mit Freunden teilen?
• Loop-Engineering: So arbeitest du noch effizienter mit KI-Tools