Fable 5 gibt auf – wie man ein starkes KI-Modell überfordern kann

Anthropic hatte gerade sein stärkstes Claude-Modell – Fable 5 – für eine Woche zum Testen zur Verfügung gestellt. Es wird hoch gelobt („für die schwierigsten Aufgaben“), hat ein großes Kontextfenster („Memory and long-context. Fable 5 stays focused across millions of tokens in long-running tasks and improves its outputs using its own notes.“), das wollte ich testen.

Bei der Erstellung des Aufgaben-Prompts habe ich auch einen Tipp berücksichtigt, den man immer wieder liest: möglichst alle Informationen in einer Nachricht an das Modell übergeben, das sei effizienter, als in einem Chat nur nach und nach Informationen bereitzustellen.

Die Aufgabe

Den kompletten Source-Code meines SEO-Tools (etwa 20.000 Zeilen Python-Code) auf Fehler untersuchen, mit der Dokumentation/Spezifikation (etwa 2.000 Zeilen Text) abgleichen, eine konsolidierte Fassung der Dokumentation erzeugen und alle Erkenntnisse in einem neuen Dokument festhalten – so dass in einem neuen Chat damit weitergearbeitet werden kann. Hier ist der Prompt:

Ich sende den kompletten Code des SEO Tools im Anhang. 1. Aufgabe: Prüfe den kompletten Source Code auf Fehler, insbesondere Logik Fehler, schlechten Code Stil, schlechtes Design, Fehler die durch Unit Tests schwierig gefunden werden können. --- 2. Aufgabe: Lese alle Dokumente im Projekt, insbesondere die letzte konsolidierte Dokumentation 2026_06_18_SEO_Tool_Spezifikation_Konsolidiert.md. Erstelle eine neue konsolidierte Dokumentation auf Basis dieser Datei, die ALLE Daten von den anderen Dokumenten im Projekt in die neue Datei integriert, so dass keine Informationen verloren gehen. Erstelle die neue konsolidierte Dokumentation als .md Artefakt. Gleiche die Dokumentation mit dem kompletten Source Code ab, um Inkonsistenzen und Fehler aufzudecken und zu bereinigen. --- 3. Aufgabe: Melde alle Fehler und Verbesserungsvorschläge aus der Codeprüfung und aus dem Abgleich der Dokumentation bevorzugt in einem zusätzlichen .md Artefakt oder im Chat. Die Meldung soll ausreichend genau sein, damit in einem neuen Chat sämtliche Fehler korrigiert und verbessert werden können.

Die Aufgaben sind natürlich umfangreich, der übergebene Text (geschätzt eine halbe Million Tokens) ist groß, sollte aber ins Kontextfenster passen. Und wenn das Modell alle Informationen (den kompletten Source-Code und die komplette Dokumentation) vorliegen hat, dann sollte es die Aufgaben eigentlich am besten lösen können.

Was ist dann passiert?

Fable 5 hat ein paar Zeilen Text ausgegeben („das ist eine große Aufgabe …“) und dann mit der Bearbeitung begonnen. Es war sicher 5–10 Minuten beschäftigt, hat laufend angezeigt, was es gerade macht, und wenige Zeilen mit Zwischeninfos ausgegeben. Einmal kam eine Meldung wie „maximale Länge der Nachricht erreicht“, bei der ich „Weiter“ klicken konnte.

Und dann: nichts. Alle Zwischeninfos waren weg, keine Fehlermeldung, nur das Eingabefeld mit dem Prompt war da, so wie es vor dem Absenden ausgesehen hat. Ein Blick auf die Nutzungsstatistik hat gezeigt: Dieser eine (ergebnislose) Auftrag hat das komplette 5-Stunden-Limit von Claude aufgebraucht, zusätzlich sind noch etwa 2 EUR an Extra-Tokens angefallen.

Insgesamt war das Ergebnis enttäuschend: ein enormer Token-Verbrauch, keinerlei nutzbares Ergebnis – nicht einmal die Zwischeninfos oder die intern bereits verarbeiteten Daten waren zugänglich.

Die Fehleranalyse

Ich habe ChatGPT gebeten, die Probleme mit dem Prompt zu analysieren. ChatGPT schreibt:

Der Prompt ist wahrscheinlich nicht an der Menge der Informationen gescheitert, sondern an der fehlenden Aufteilung der Arbeit. Der Auftrag enthielt gleichzeitig vollständigen Code-Review, Dokumentationskonsolidierung, Abgleich zwischen Code und Spezifikation, Fehleranalyse und Artefakt-Erstellung. Das ist kein einzelner KI-Auftrag mehr, sondern ein mehrstufiges Audit-Projekt.

Problematisch war vor allem, dass es kein verpflichtendes Zwischenergebnis gab. Das Modell konnte minutenlang lesen, planen und intern vergleichen, ohne dass ein nutzbarer Zwischenstand gespeichert wurde. Wenn der Lauf dann an einem Limit, Timeout oder Artefakt-Problem abbricht, bleibt trotz hohem Tokenverbrauch kein Ergebnis übrig.

Die bessere Vorgehensweise wäre gewesen: alle Dateien bereitstellen, aber die Aufgaben streng in Phasen trennen. Zuerst Projektstruktur und Risiken analysieren, dann kritische Module prüfen, danach Dokumentation konsolidieren und erst am Ende einen finalen Bericht erstellen.

Meine Erkenntnisse

Ein großes Kontextfenster ist keine Garantie für ein Ergebnis. Auch wenn alle Informationen in eine Nachricht passen, braucht ein umfangreicher Auftrag eine klare Struktur: getrennte Phasen, und am Ende jeder Phase ein verpflichtendes Zwischenergebnis. Bricht ein Lauf dann ab, bleibt zumindest der bisherige Stand erhalten – statt eines leeren Eingabefelds nach verbrauchtem Limit.

Würde man KI-Modelle mit menschlichen Mitarbeitern vergleichen, dann wären sie wohl hochintelligent und könnten schwierige Spezialaufgaben lösen – aber man müsste ihren Arbeitseinsatz als Manager gut planen und oft alle 5–10 Minuten in ihre Arbeit eingreifen. Genau diese Planungs- und Kontrollarbeit wollte ich mir mit dem einen großen Prompt sparen. Das war der eigentliche Fehler.

Wie geht es besser?

Ich habe begonnen, die Arbeit in einzelne Aufgaben zu zerlegen. Die konsolidierte Fassung der Dokumentation habe ich von Fable erstellen lassen – dabei habe ich nur die Dokumente übergeben, den Source-Code habe ich weggelassen. Ich habe das Modell angewiesen, bei Unklarheiten einzelne Source-Code-Dateien anzufordern. Diese Dateien habe ich dann im Chat übergeben, so konnte das Modell bei Bedarf den aktuellen Stand feststellen. Das hat gut funktioniert.

Für den Code-Audit habe ich ChatGPT den Code zuerst grob untersuchen lassen – nur mit dem Code selbst, die Spezifikations-Dokumente habe ich dabei zurückgehalten:

Du erhältst den vollständigen Source Code und die Projektdokumentation eines SEO-Tools. Führe in dieser ersten Phase nur eine Projektanalyse durch.
Ziele dieser Phase: 1. Erstelle eine Übersicht der Projektstruktur: wichtigste Verzeichnisse, wichtigste Dateien, zentrale Einstiegspunkte, wichtigste Datenflüsse, externe Abhängigkeiten 2. Erkläre die vermutete Architektur des Tools in eigenen Worten. 3. Identifiziere die 20 wichtigsten Risikobereiche im Code: mögliche Logikfehler, unklare Verantwortlichkeiten, fragile Datenflüsse, schwer testbare Stellen, mögliche Inkonsistenzen zwischen Code und Dokumentation, Stellen mit hoher Fehlerwahrscheinlichkeit …

Das Ergebnis daraus habe ich im Claude-Projekt (mit der Dokumentation im Projektkontext) an Fable 5 übergeben und prüfen lassen, welche möglichen Fehler näher untersucht werden sollten. Denn vieles von dem, was ChatGPT als „externer Auditor“ an möglichen Problemen gefunden hat, sind in Wirklichkeit bewusste Designentscheidungen.

Die echten Probleme mit hoher Priorität werden nun nach und nach abgearbeitet: Claude analysiert den relevanten Teil des Source-Codes, ich bespreche das Problem mit Claude und entscheide, ob etwas geändert werden soll. Wenn ja, erstellt Claude einen Auftrag für Claude Code (ein Programm im Terminal, das Zugriff auf alle Code-Bereiche hat), und Claude Code führt die Änderungen durch. Dann wird getestet und das nächste Problem gelöst.

Fazit

KI-Werkzeuge könnten zum größten Produktivitätsschub bei Wissensarbeitern seit der Verbreitung des Personal Computers führen. Sie ermöglichen Arbeit, die vorher nicht von einzelnen Allroundern erledigt werden konnte. Und sie verändern die Organisation von Arbeit: Wo vorher ein kleines Team mit spezialisierten Mitarbeitern an einer Aufgabe gearbeitet hat, kann sie heute vielleicht ein Allrounder mit KI-Werkzeugen erledigen.

Aber: Die Arbeit bleibt. Jemand muss Probleme in der realen Welt lösen. Die Aufgaben und Rollen verschieben sich: Wo früher ein Programmierer selbst Code getippt hat, ist er heute eher mit Planung, mit der Koordination von KI-Werkzeugen und mit der Kommunikation mit Stakeholdern beschäftigt.