Lorixen.
DE

KI-Automation scheitert an langen Texten: Kontextfenster voll

Kurz gesagt: Viele KI-Automationen funktionieren im Test mit kurzen Beispielen und scheitern im Alltag, sobald lange E-Mail-Verläufe, ganze PDF-Handbücher oder wochenlange Chatverläufe mitgeschickt werden. Jedes Sprachmodell hat ein Kontextfenster, also eine Obergrenze dafür, wie viel Text es in einer Anfrage verarbeiten kann, die Antwort eingeschlossen. Wird diese Grenze überschritten, lehnt die Schnittstelle die Anfrage je nach Modell mit einem Fehler ab oder bricht die Ausgabe ab. Und schon vorher gilt laut Anthropic-Dokumentation: Mehr Kontext ist nicht automatisch besser, mit wachsender Textmenge lassen Genauigkeit und Erinnerung nach. Die Lösung heißt: messen, kürzen, aufteilen und nur das Relevante mitschicken.

Was das Kontextfenster ist

Laut Anthropic bezeichnet das Kontextfenster den gesamten Text, auf den ein Sprachmodell beim Erzeugen einer Antwort zugreifen kann, einschließlich der Antwort selbst. Es ist eine Art Arbeitsgedächtnis und nicht zu verwechseln mit dem Wissen, mit dem das Modell trainiert wurde.

In einem Gespräch wächst der Inhalt mit jeder Runde: Jede neue Nachricht und jede Antwort kommen dazu, und alles Vorherige bleibt erhalten. Bei Automationen, die Dokumente oder ganze Verläufe anhängen, wächst er noch schneller.

Gemessen wird nicht in Wörtern oder Zeichen, sondern in Tokens. Ein Token ist ein Textbaustein, oft ein Wortteil. Deutsche Texte mit langen zusammengesetzten Wörtern verhalten sich dabei anders als englische. Schätzen Sie deshalb nicht, sondern messen Sie.

Woran Sie das Problem erkennen

  • Fehlermeldungen bei langen Eingaben: Die Automation läuft bei kurzen E-Mails, bei langen Verläufen schlägt sie fehl.
  • Abgebrochene Antworten: Laut Anthropic bricht die Ausgabe bei neueren Modellen mit einem eigenen Endgrund ab, wenn während der Erzeugung die Grenze des Kontextfensters erreicht wird. Bei älteren Modellen gibt die Schnittstelle stattdessen einen Validierungsfehler zurück.
  • Schleichend schlechtere Antworten: Der Bot übersieht Angaben, die weit vorne im Verlauf stehen, oder verwechselt Details. Anthropic beschreibt, dass Genauigkeit und Erinnerung mit wachsender Tokenmenge nachlassen.
  • Steigende Kosten: Bei den meisten Anbietern bezahlen Sie nach verarbeiteten Tokens. Wer immer den ganzen Verlauf mitschickt, bezahlt ihn immer wieder.

Schritt 1: Messen statt raten

Anthropic bietet laut Dokumentation eine Schnittstelle zum Zählen der Tokens einer Anfrage, bevor Sie sie senden. Auch andere Anbieter stellen Zählwerkzeuge bereit. Bauen Sie die Zählung in Ihre Automation ein:

  • Zählen Sie vor dem Senden.
  • Liegt die Anfrage über einer Grenze, die Sie selbst mit Abstand zum Maximum festlegen, kürzt die Automation oder teilt auf, statt blind zu senden.
  • Protokollieren Sie die Werte. So sehen Sie, welche Abläufe an die Grenze stoßen.

Schritt 2: Verläufe kürzen

Für E-Mail-Verläufe und Chatverläufe bieten sich einfache Regeln an:

  • Zitierte Altnachrichten entfernen: In E-Mail-Verläufen steht jede frühere Nachricht oft mehrfach als Zitat. Schicken Sie nur die neuen Teile.
  • Signaturen und Hinweistexte streichen: Lange Signaturen, rechtliche Fußzeilen und Abwesenheitsnotizen tragen selten zur Antwort bei.
  • Nur die letzten Runden behalten: In Chats genügt oft ein Teil der letzten Nachrichten plus eine kurze Zusammenfassung des Früheren.
  • Zusammenfassungen speichern: Lassen Sie ältere Abschnitte einmal zusammenfassen und schicken Sie künftig die Zusammenfassung statt des Originals.

Für lange Gespräche mit Agenten nennt Anthropic außerdem eine serverseitige Verdichtung als wichtigste Strategie. Ob das für Ihren Ablauf in Frage kommt, hängt vom Anbieter und vom Werkzeug ab.

Schritt 3: Dokumente aufteilen

Ein ganzes Handbuch mitzuschicken, um eine Frage zu beantworten, ist meist unnötig. Besser:

  1. Teilen Sie lange Dokumente in Abschnitte, etwa nach Kapiteln.
  2. Wählen Sie vor der Anfrage die Abschnitte aus, die zur Frage passen, zum Beispiel über eine Suche in Ihrer Wissensbasis.
  3. Schicken Sie nur diese Abschnitte mit.

Für Aufgaben, die wirklich das ganze Dokument betreffen, etwa eine Zusammenfassung, arbeiten Sie stufenweise: erst jeden Abschnitt zusammenfassen, dann die Zusammenfassungen zusammenführen.

Schritt 4: Platz für die Antwort lassen

Das Kontextfenster umfasst auch die Antwort. Wenn die Eingabe das Fenster fast ausfüllt, bleibt für die Antwort kaum Platz. Planen Sie bei Ihrer eigenen Grenze genug Raum für die erwartete Antwortlänge ein. Davon zu unterscheiden ist die Höchstlänge der Antwort, die Sie selbst pro Anfrage festlegen.

Typische Fehler beim Aufbau

  • Test nur mit kurzen Beispielen: Testdaten sind meist sauber und knapp. Nehmen Sie bewusst auch den längsten E-Mail-Verlauf und das dickste Dokument in die Tests auf.
  • Anhänge ungeprüft weiterreichen: PDF-Dateien mit eingescannten Seiten, Tabellenanhängen oder Bildern können sehr viel Platz einnehmen. Prüfen Sie, welche Anhänge die Aufgabe tatsächlich braucht.
  • Gleiche Inhalte mehrfach: Anweisungen, Wissensbasis und Verlauf enthalten dieselben Informationen in mehreren Fassungen. Räumen Sie Doppelungen auf.
  • Fehler werden verschluckt: Die Automation fängt Fehler ab, meldet sie aber nirgends. Leiten Sie fehlgeschlagene Läufe an eine Person oder eine Liste weiter.
  • Keine Obergrenze für Wiederholungen: Wenn eine zu lange Anfrage fehlschlägt, bringt eine automatische Wiederholung mit derselben Länge nichts. Kürzen Sie vor dem nächsten Versuch.

Ein Beispiel zur Veranschaulichung

Frei erfunden: Ein Kundendienst eines Heizungsbauers aus Münster lässt eingehende E-Mails von einem KI-Schritt vorsortieren und einen Antwortentwurf erstellen. Im Test klappt alles. Nach einigen Wochen schlagen Läufe fehl, und zwar immer bei langen Reklamationen mit vielen Antworten und angehängten Prüfberichten. Die Automation schickte jedes Mal den kompletten Verlauf samt Zitaten mit. Nach der Umstellung gehen nur noch die letzte Nachricht, eine kurze Zusammenfassung des Verlaufs und die passenden Abschnitte der Berichte an das Modell. Die Fehler verschwinden, und die Entwürfe beziehen sich wieder auf das eigentliche Anliegen.

Häufige Fragen

Hilft ein Modell mit größerem Kontextfenster?

Es verschiebt die Grenze, löst aber das Grundproblem nicht. Laut Anthropic lassen Genauigkeit und Erinnerung mit wachsender Textmenge nach. Gezielt ausgewählter Kontext ist meist besser als einfach mehr Kontext.

Wie viel passt in ein Kontextfenster?

Das hängt vom Modell ab. Die Anbieter nennen die Größen in ihrer Dokumentation. Prüfen Sie den Wert für das Modell, das Ihre Automation tatsächlich nutzt.

Muss ich dafür programmieren können?

Nicht unbedingt. Viele Automatisierungswerkzeuge bieten Bausteine zum Kürzen von Texten, zum Entfernen von Zitaten und zum Aufteilen von Dokumenten. Für das Zählen von Tokens und eine saubere Auswahl relevanter Abschnitte lohnt sich aber oft ein kleines Skript oder die Hilfe einer Person mit Erfahrung.

Ist das dasselbe wie eine abgeschnittene Antwort wegen der maximalen Ausgabelänge?

Nein. Die maximale Ausgabelänge legen Sie selbst pro Anfrage fest. Das Kontextfenster ist die Obergrenze des Modells für Eingabe und Ausgabe zusammen.

Wenn Ihre KI-Automation an langen Verläufen oder Dokumenten scheitert, bauen wir mit Ihnen eine schlanke Zuführung der Inhalte: KI-Automation prüfen lassen.

Quellen

WhatsAppTermin buchen