OpenAI versetzt Evals in den Lesemodus: Entwickler sollten ihre Bewertungen sichern

Entwickler, die Qualitätsprüfungen für Modelle auf der OpenAI-Evals-Plattform speichern, können bestehende Bewertungen seit dem 31. Oktober 2026 zwar ansehen, aber nicht mehr bearbeiten. OpenAI plant, das Dashboard und die API am 30. November abzuschalten. Das sind zwei verschiedene Schritte des Übergangs: Bis dahin bleibt Zeit, benötigte Materialien zu sichern; anschließend soll die Plattform den Betrieb einstellen. Die Änderung betrifft den gehosteten Evals-Dienst, nicht die Modellbewertung an sich – dieser Zeitplan ist in der Übersicht zu eingestellten OpenAI-Produkten aufgeführt.

Was sich am 31. Oktober geändert hat

Seit dem 31. Oktober sind bestehende Bewertungen nur noch lesbar. Die Abschaltung des Evals-Dashboards und der API ist für den 30. November geplant. Die Dokumentation beschreibt eine Übergangszeit, verspricht aber keine automatische Übertragung der Nutzerbewertungen in ein anderes Produkt.

Solange die Materialien verfügbar sind, sollten Teams die Daten sichern, die sie zur Wiederholung ihrer Prüfungen benötigen: Testbeispiele, Prompt-Anweisungen, erwartete Antworten, Grader-Einstellungen und Ergebnisse der Durchläufe. Das ist eine praktische Empfehlung für die Migration, keine Liste garantierter Exportformate: Prüfen Sie, was Ihrem Team tatsächlich zur Verfügung steht und ob sich die gespeicherten Dateien außerhalb der Evals-Oberfläche öffnen lassen.

Welche Alternativen zu Evals OpenAI anbietet

Die Dokumentation empfiehlt, zwei Szenarien in Betracht zu ziehen. Datasets auf der OpenAI-Plattform sind für schnelle Iterationen gedacht: Das Team fügt Beispiele hinzu, testet Prompt-Varianten, bewertet die Ergebnisse und kann bei Bedarf Grader einsetzen. Zu den beschriebenen Typen gehören der exakte Zeichenkettenvergleich, die Bewertung der Textähnlichkeit, modellbasierte Grader und die Ausführung von Python-Code.

Für die programmatische Einrichtung von Bewertungen beschreibt die Dokumentation die Evals API. Laut OpenAIs Zeitplan soll jedoch auch die API – ebenso wie das Dashboard – am 30. November abgeschaltet werden. Sie sollte daher als Beschreibung des bisherigen Arbeitsablaufs betrachtet werden, nicht als langfristiger Ersatz für die Plattform.

Am besten beginnt die Migration mit einer Bestandsaufnahme: Welche Aufgabe erfüllte jeder Datensatz – der manuelle Vergleich von Prompts, ein automatisierter Test in der Release-Pipeline oder ein Batch-Lauf? Für schnelle Iterationen mit Beispielen empfiehlt OpenAI Datasets. Für API-abhängige und umfangreiche Anwendungsfälle muss das Team einen anderen Arbeitsablauf auswählen und prüfen, der die benötigten Abläufe und die Speicherung der Ergebnisse unterstützt.

Was vor der Abschaltung gesichert werden sollte

Erstellen Sie eine Liste der Materialien, die zur Wiederholung von Bewertungen benötigt werden: Eingabebeispiele, erwartete Antworten, Prompt-Texte, Kriterien und Grader-Einstellungen sowie wichtige Ergebnisse aus Durchläufen. Führen Sie anschließend mit der ausgewählten Alternative einen Kontrolltest durch: Wiederholen Sie einen kleinen Satz von Tests und prüfen Sie, ob Bewertungskriterien und Interpretation der Ergebnisse vergleichbar bleiben.

Referenzdaten und Bewertungsregeln helfen dabei, Prüfungen nach dem Wechsel zu reproduzieren. Wenn Ihr Team externe Modelle, API-Aufrufe oder umfangreiche Datensätze verwendet hat, sollten diese Anforderungen in die Kriterien für die Auswahl des nächsten Tools einfließen. Die OpenAI-Dokumentation beschreibt die Funktionen von Datasets und der bisherigen Evals API, bestätigt aber nicht, dass sich jedes frühere Szenario automatisch in Datasets übertragen lässt.

Prüfen Sie, welche Möglichkeiten zum Speichern Ihrem Konto zur Verfügung stehen, und öffnen Sie die erhaltenen Dateien außerhalb von Evals, bevor die Abschaltung ansteht. So lässt sich feststellen, ob die für das Team wichtigen Daten tatsächlich gesichert wurden – ohne Annahmen über Exportformate oder eine automatische Migration, die in der Dokumentation nicht zugesagt werden.

Wen der Übergang betrifft

Der Zeitplan ist für Entwickler wichtig, die Bewertungen über das Evals-Dashboard erstellt oder ausgeführt haben, und für Teams, die von der Evals API abhängen. Laut OpenAIs Zeitplan sollen beide Teile der Plattform am 30. November 2026 abgeschaltet werden; die Dokumentation besagt nicht, dass die zugehörige API danach verfügbar bleibt.

Der praktische nächste Schritt: Sichern Sie die benötigten Testmaterialien und Ergebnisse und prüfen Sie anschließend den neuen Bewertungsprozess anhand einer kleinen Stichprobe. So kann das Team Modelle und Prompts weiter vergleichen, ohne an die auslaufende Plattform gebunden zu sein.