Neues Claude-Modell im Unternehmen testen: praxisnaher Evaluationsplan

Anthropic hat am 22. September 2026 Claude Opus 5.5 angekündigt, das erste Modell der Claude-5.5-Familie. Solche Ankündigungen landen bei mir regelmäßig als Frage im Postfach: Sollen wir umstellen? Meine Antwort ist immer gleich. Das weiß nur dein eigener Test. Hier ist der Plan, den ich mit kleinen Teams durchziehe.

Was steht in der Ankündigung, und was davon ist ein Herstellerclaim?

Anthropic gibt an, dass Opus 5.5 bei den meisten Aufgaben das Leistungsniveau von Claude Fable 5.1 erreicht und 40 Prozent günstiger betrieben werden kann als Opus 5. Beides steht in der Ankündigung und in den Release Notes vom 22. September 2026. Diese Leistungs- und Kostenangaben stammen vom Anbieter und wurden in diesem Beitrag nicht unabhängig nachgemessen.

Das ist kein Vorwurf. Hersteller messen auf allgemeinen Aufgaben. Dein Team arbeitet aber mit euren Dokumenten, eurem Ton, euren Sonderfällen. Genau dort entscheidet sich, ob ein Wechsel etwas bringt. Ich habe schon Modellwechsel erlebt, die auf dem Papier sauber aussahen und im Support-Workflow mehr Nacharbeit erzeugt haben als vorher.

Welche Abläufe eignen sich für den Test?

Nimm drei bis fünf Abläufe, die regelmäßig vorkommen und deren Ergebnis sich nachträglich prüfen lässt. Alles andere kostet nur Zeit.

• E-Mails nach einem festen Schema klassifizieren
• interne Dokumente zusammenfassen
• Support- oder Vertriebsantworten als Entwurf erstellen
• strukturierte Daten aus Texten extrahieren
• Rechercheergebnisse mit Quellenangaben vorbereiten

Ungeeignet sind zu Beginn Aufgaben, bei denen es nur ein Bauchgefühl von "klingt besser" gibt. Solche Eindrücke kannst du später ergänzen, aber sie tragen keine Entscheidung.

Dann baust du einen kleinen Testdatensatz aus historischen, anonymisierten oder eigens erstellten Beispielen. Wichtig ist die Mischung aus Standardfällen und schwierigen Fällen: unvollständige Angaben, widersprüchliche Informationen, lange Dokumente, mehrdeutige Formulierungen und Fälle, in denen das Modell ausdrücklich "nicht genügend Informationen" antworten sollte. Für jeden Fall legst du vor dem Test fest, was als korrekt gilt. Diese Reihenfolge ist entscheidend. Wer die Bewertungsregel erst beim Lesen der Antwort erfindet, bewertet das Gefühl, nicht das Ergebnis.

Wie vergleiche ich altes und neues Modell fair?

Ein fairer Vergleich heißt: beide Modelle bekommen denselben Prompt, dieselben Dokumente, dieselben Tool-Definitionen, dieselben Ausgabevorgaben und möglichst dieselben Einstellungen. Die verwendeten Modellversionen dokumentierst du mit. Sonst weißt du in vier Wochen nicht mehr, was du eigentlich verglichen hast.

Bewertet wird blind. Wer die Ausgaben prüft, sollte nicht wissen, welches Modell sie erzeugt hat. Ein neues Modell bekommt sonst automatisch Sympathiepunkte. Praktisch reicht dafür eine Tabelle mit anonymisierten Spalten A und B, die erst nach der Bewertung aufgelöst wird.

Definiere die Kriterien vorab. Mein Standardkatalog sieht so aus:

Als Skala reicht "korrekt", "teilweise korrekt", "nicht verwendbar". Die Skala ist mein redaktioneller Vorschlag und keine Herstellerkennzahl. Sie hat den Vorteil, dass sich auch zwei Kollegen ohne lange Schulung auf eine Bewertung einigen können.

Wie messe ich, ob wirklich Zeit gespart wird?

Für kleine Teams zählt selten die theoretische Modellleistung, sondern die Arbeitszeit. Dokumentiere deshalb pro Testfall:

1. Zeit bis zum ersten brauchbaren Ergebnis
2. Zeit für Korrekturen
3. Anzahl der Rückfragen an das Modell
4. Zeit für die Endkontrolle
5. Anteil vollständig verwertbarer Ergebnisse

Ein Modell gilt erst dann als Verbesserung, wenn die Qualitätsgewinne den zusätzlichen Prüfaufwand nicht wieder aufzehren. Längere und überzeugender formulierte Antworten sind kein Fortschritt, wenn jemand sie danach kürzen muss. Genau das ist der häufigste Selbstbetrug bei Modellwechseln.

Welche Risiken prüfe ich getrennt von der Qualität?

Ein Modell kann bessere Texte schreiben und trotzdem für einen Ablauf ungeeignet sein. Diese Punkte bewerte ich immer separat:

• unzulässige oder erfundene Quellen
• fehlende Kennzeichnung von Unsicherheit
• Offenlegung vertraulicher Inhalte
• falsche Aktionen über verbundene Tools
• instabile Ergebnisse bei identischen Eingaben
• problematische Ausgaben in Grenzfällen

Wie teste ich in n8n, ohne bestehende Workflows umzuschalten?

Leg eine Kopie des produktiven Workflows an und tausche dort nur den Modellparameter. Der Produktivpfad bleibt unangetastet. Für Testläufe kannst du die Testfälle aus einer Tabelle einlesen und die Ergebnisse beider Varianten nebeneinander wegschreiben. So entsteht deine Bewertungstabelle automatisch.

Relevant für wiederholte Läufe: n8n hat am 15. September 2026 eine optionale Prompt-Caching-Funktion für den Anthropic-Chat-Model-Node dokumentiert. Laut Changelog können System-Prompt, Tool-Definitionen und Gesprächsverlauf bei wiederholten Anfragen wiederverwendet werden, mit konfigurierbarer Gültigkeitsdauer von fünf Minuten oder einer Stunde. Das ist eine dokumentierte Integrationsfunktion und belegt keine bestimmte Kosten- oder Geschwindigkeitsersparnis in deinem Workflow. Wenn du sie im Test aktivierst, aktiviere sie in beiden Varianten gleich, sonst vergleichst du Äpfel mit Birnen.

Vor dem Test legst du außerdem die Stop- und Rollback-Regel fest: Wann wird der Wechsel abgebrochen? Welche Fehler sind kritisch? Wie stellt ihr auf das bisherige Modell zurück? Wer genehmigt den Produktiveinsatz? Wie lange wird nach dem Wechsel weiter kontrolliert? Danach startest du einen begrenzten Pilot mit nichtkritischen Vorgängen, nicht die Umstellung aller Abläufe.

Wenn du das für eure konkreten Abläufe durchspielen willst, buch dir ein KI-Audit. Wir schauen gemeinsam, welche Prozesse sich für einen sauberen Modellvergleich eignen und woran du den Unterschied tatsächlich erkennst.