Michael JohnsonKehittäjät, jotka tallentavat mallien laatutarkistuksia OpenAI Evals -alustalle, voivat 31. lokakuuta 2026 alkaen tarkastella olemassa olevia arviointeja mutta eivät muokata niitä. OpenAI aikoo sulkea hallintapaneelin ja API:n 30. marraskuuta. Kyseessä on siirtymän kaksi eri vaihetta: nyt on vielä aikaa tallentaa tarvittavat aineistot, minkä jälkeen alustan on määrä lakata toimimasta. Muutos koskee Evals-palvelua, ei mallien arviointia yleisesti — määräaika on ilmoitettu OpenAI:n poistuvien tuotteiden luettelossa.
Mitä muuttui 31. lokakuuta
31. lokakuuta alkaen olemassa olevat arvioinnit ovat käytettävissä vain luku -tilassa. Evals-hallintapaneeli ja API on määrä sulkea 30. marraskuuta. Dokumentaatiossa kuvataan siirtymäaika, mutta siinä ei luvata, että käyttäjien arvioinnit siirtyisivät automaattisesti toiseen tuotteeseen.
Niin kauan kuin aineistot ovat saatavilla, tiimien kannattaa tallentaa tiedot, joita tarvitaan tarkistusten toistamiseen: testiesimerkit, kehotteiden ohjeet, odotetut vastaukset, arviointityökalujen asetukset ja suoritusten tulokset. Tämä on käytännön suositus siirtymää varten, ei luettelo taatuista vientimuodoista: tarkistakaa, mitä tiimillenne on saatavilla ja avautuvatko tallennetut tiedostot Evals-käyttöliittymän ulkopuolella.
Mitä vaihtoehtoja OpenAI tarjoaa Evals-palvelulle
Dokumentaatio kehottaa harkitsemaan kahta käyttötapaa. OpenAI-alustan Datasets on tarkoitettu nopeaan iterointiin: tiimi lisää esimerkkejä, kokeilee kehotteiden eri versioita, arvioi tuloksia ja käyttää tarvittaessa arviointityökaluja. Kuvattuihin tyyppeihin kuuluvat merkkijonojen täsmällinen vertailu, tekstien samankaltaisuuden arviointi, mallipohjaiset arviointityökalut ja Python-koodin suorittaminen.
Arviointien ohjelmalliseen määrittämiseen dokumentaatiossa kuvataan Evals API. OpenAI:n aikataulun mukaan myös API on kuitenkin määrä sulkea 30. marraskuuta, samoin kuin hallintapaneeli. Siksi sitä kannattaa pitää kuvauksena aiemmasta työnkulusta, ei pitkäaikaisena korvaajana alustalle.
Siirtymä kannattaa aloittaa kartoittamalla, mihin kukin arviointikokonaisuus on tarkoitettu: kehotteiden manuaaliseen vertailuun, automaattiseen testiin julkaisuprosessissa vai eräajoon? Esimerkkien nopeaan iterointiin OpenAI tarjoaa Datasets-palvelua. API-riippuvaisiin ja laajamittaisiin käyttötapauksiin tiimin on valittava ja testattava toinen työnkulku, joka tukee tarvittavia toimintoja ja tulosten tallentamista.
Mitä kannattaa tallentaa ennen sulkemista
Laadi luettelo aineistoista, joita arviointien toistamiseen tarvitaan: syöte-esimerkit, odotetut vastaukset, kehotetekstit, arviointikriteerit ja arviointityökalujen asetukset sekä vertailun kannalta tärkeät suoritustulokset. Tee sitten valitulla korvaavalla ratkaisulla tarkistus: toista pieni testikokonaisuus ja varmista, että arviointikriteerit ja tulosten tulkinta pysyvät vertailukelpoisina.
Vertailuaineistot ja arviointisäännöt auttavat toistamaan tarkistuksen siirtymän jälkeen. Jos tiimi käytti ulkoisia malleja, API-suorituksia tai suuria aineistoja, sisällyttäkää nämä vaatimukset seuraavan työkalun valintaperusteisiin. OpenAI:n dokumentaatiossa kuvataan Datasets-palvelun ja aiemman Evals API:n ominaisuuksia, mutta siinä ei vahvisteta, että kaikki aiemmat käyttötavat siirtyvät automaattisesti Datasets-palveluun.
Tarkistakaa tilillenne käytettävissä olevat tallennustavat ja avatkaa saadut tiedostot Evals-palvelun ulkopuolella ennen suunniteltua sulkemista. Näin selviää, ovatko tiimille tärkeät tiedot tallessa ilman oletuksia vientimuodosta tai automaattisesta siirtymästä, joita dokumentaatiossa ei luvata.
Keitä siirtymä koskee
Aikataulu on tärkeä kehittäjille, jotka ovat luoneet tai suorittaneet arviointeja Evals-hallintapaneelissa, sekä tiimeille, jotka ovat riippuvaisia Evals API:sta. OpenAI:n aikataulun mukaan alustan molemmat osat on määrä sulkea 30. marraskuuta 2026; dokumentaatiossa ei mainita, että siihen liittyvä API olisi käytettävissä tämän päivämäärän jälkeen.
Käytännössä kannattaa tallentaa tarvittavat testiaineistot ja tulokset ja testata sitten uusi arviointiprosessi pienellä otoksella. Näin tiimi voi jatkaa mallien ja kehotteiden vertailua olematta riippuvainen suljettavasta alustasta.
