jsonscraper
Rynki
Powrót do dziennika

Badacze OpenAI powierzają agentom więcej zadań, ale sukces zależy od ich rodzaju

Raport z 18 listopada pokazuje, że wskaźniki autonomicznego wykonania znacznie różnią się w zależności od zadania. To pomaga ustalić, co można delegować agentowi, a które wyniki wymagają szczególnie dokładnej weryfikacji.

Polityka redakcyjna Zgłoś błąd

Czy można powierzyć agentowi programistycznemu pracę badawczą i oczekiwać gotowego rezultatu? Odpowiedź zależy od konkretnego zadania: w danych OpenAI za okres od 1 sierpnia do 18 października 2026 roku agenci bez interwencji człowieka najlepiej radzili sobie z monitorowaniem przebiegu treningu, a znacznie gorzej — z kodem inferencyjnym i obsługą modeli.

W raporcie z 18 listopada firma porównała zadania powierzane agentom przez badaczy i opisała, jak zmieniało się wykorzystanie tych narzędzi w OpenAI. Najważniejszy praktyczny wniosek jest taki, by traktować „pracę agenta” jako zestaw różnych zadań, z odmiennymi kryteriami odbioru. Średnia liczba godzin czy wrażenie, że model „dobrze pisze kod”, nie zastępują weryfikacji konkretnego rezultatu.

Co się zmieniło w ocenie

Poprzedni raport OpenAI dotyczący przyspieszenia badań ukazał się we wrześniu. Nowa wersja poszerzyła obraz: firma dodała dane o wykorzystaniu agentów, ankietach wśród pracowników, procesach pracy i skuteczności w podziale na rodzaje zadań. Przedstawione wyniki opisują jednak wewnętrzną organizację badawczą OpenAI, a nie uniwersalną ocenę wszystkich modeli czy firm.

Jednym z najbardziej zrozumiałych przekrojów porównawczych jest odsetek zadań wykonanych przez agenta bez interwencji człowieka. W przypadku zadań, których realizacja zajęłaby człowiekowi od dwóch do czterech godzin, wskaźnik wzrósł z 23% w marcu do 46% w październiku. W kategorii od czterech do ośmiu godzin zmienił się z 13% do 35%. Kategorie te pokazują zdolność do samodzielnego doprowadzania poszczególnych zleceń do końca, a nie odsetek całej pracy badawczej, którą można przekazać modelowi.

Istotny jest też szczegół metodologiczny: wraz ze wzrostem możliwości agentów zmieniał się wybór powierzanych im zadań. OpenAI wyraźnie zaznacza, że wzrost skuteczności w poszczególnych kategoriach czasowych może wynikać zarówno z ulepszania modeli, jak i ze zmiany zestawu delegowanych zadań. Dlatego porównanie według czasu jest przydatne jako wewnętrzny trend, ale samo w sobie nie pozwala oddzielić wpływu modelu od decyzji badaczy o tym, jakie zadania mu zlecać.

Dlaczego nazwa zadania jest ważniejsza niż jego czas trwania

W skrótowym zestawieniu konkretnych rodzajów pracy OpenAI podaje, że odsetek zadań wykonanych bez interwencji człowieka wyniósł 79% dla monitorowania przebiegu treningu, 35% dla uruchamiania takich treningów i 25% dla pisania kodu inferencyjnego oraz warstwy obsługi. Nawet dwie sąsiadujące ze sobą czynności związane z trenowaniem modelu przyniosły bardzo różne wyniki.

Artykuł: Badacze OpenAI powierzają agentom więcej zadań, ale sukces zależy od ich rodzaju
Podsumowanie: OpenAI oceniła działanie agentów programistycznych w swojej organizacji badawczej: agenci skutecznie wykonują wiele zadań związanych z monitorowaniem i analizą, ale znacznie gorzej radzą sobie z uruchamianiem treningu i kodem inferencyjnym. Praktyczny wniosek: wybieraj zadania na podstawie sprawdzalnego rezultatu, a nie ogólnej nazwy zawodu.
Rola obrazu: ilustracja uzupełniająca 2 — inny konkretny aspekt
Sekcja: Dlaczego nazwa zadania
Odsetek zadań ukończonych przez agentów bez interwencji człowieka, według trzech rodzajów pracy w danych OpenAI za okres od sierpnia do października 2026 roku.© jsonscraper · ilustracja wygenerowana przez AI
Artykuł: Badacze OpenAI powierzają agentom więcej zadań, ale sukces zależy od ich rodzaju
Podsumowanie: OpenAI oceniła działanie agentów programistycznych w swojej organizacji badawczej: agenci skutecznie wykonują wiele zadań związanych z monitorowaniem i analizą, ale znacznie gorzej radzą sobie z uruchamianiem treningu i kodem inferencyjnym. Praktyczny wniosek: wybieraj zadania na podstawie sprawdzalnego rezultatu, a nie ogólnej nazwy zawodu.
Rola obrazu: grafika główna — główna myśl
Sekcja: Dlaczego nazwa zadania jest ważniejsza niż jego czas trwania
Odsetek zadań ukończonych przez agentów bez interwencji człowieka, według trzech rodzajów pracy w danych OpenAI za okres od sierpnia do października 2026 roku.© jsonscraper · grafika wygenerowana przez AI

To wyjaśnia, dlaczego ogólna kategoria, taka jak „pomoc w badaniach”, słabo sprawdza się przy planowaniu. Obserwowanie przebiegu treningu, by wykryć problem, to zadanie polegające na monitorowaniu i sygnalizowaniu. Uruchomienie treningu wymaga prawidłowego przygotowania działań i warunków wykonania. Kod inferencyjny i obsługa modeli należą do innego obszaru technicznego. Gdy połączy się te czynności w jeden wskaźnik, znikają różnice istotne dla rzeczywistego procesu pracy.

Firma podaje też wyższe wyniki dla kategorii „komunikacja” (69%) i „analiza” (58%) niż dla „programowania” (43%). Jednak nawet tak szerokie kategorie ukrywają różnice między zadaniami. Wybierając odpowiednie zlecenie, lepiej określić sprawdzalny rezultat — na przykład wykrycie wcześniej zdefiniowanej awarii w dzienniku przebiegu treningu — i osobno ustalić, co dokładnie ma potwierdzić człowiek.

Intensywne wykorzystanie nie oznacza jednakowych korzyści

Raport pokazuje, że agenci stali się istotną częścią wewnętrznych procesów pracy OpenAI. Według szacunków firmy, obliczonych na podstawie cen API, w październiku mediana dziennego wykorzystania narzędzi agentowych przez badacza wynosiła około 2400 dolarów; wartość dla 90. percentyla wynosiła około 23 000 dolarów. W obu przypadkach jest to równowartość według opublikowanych cen API, a nie informacja o faktycznym koszcie własnym czy dowód na zaoszczędzenie określonej kwoty.

Innym wskaźnikiem są „dni agentów”: każde osiem godzin pracy agenta liczy się jako jeden dzień roboczy. Średnia wzrosła z 0,5 do 5,7 dnia agenta na badacza dziennie. W zespołach zajmujących się treningiem wstępnym i potreningowym łączna średnia praca agentów wynosiła około ośmiu takich dni na badacza w ciągu dnia kalendarzowego. Ponieważ jednocześnie może pracować kilku agentów, wskaźnik opisuje ich łączny czas, a nie długość dnia pracy jednego pracownika; OpenAI zaznacza też, że uwzględnia głównie wykorzystanie interaktywne i może nie obejmować w pełni automatyzacji.

Wzrost wykorzystania pokazuje, że pracownicy aktywnie włączają agentów do swoich procesów. To jednak za mało, by ocenić korzyści dla innego zespołu: budżet, wybór modeli, długość sesji agentów i charakter zadań mogą się różnić. Dane OpenAI są szczególnie przydatne jako przykład tego, jakie wskaźniki pracy można gromadzić, a nie jako gotowy standard dla każdego zespołu badawczego.

Gdzie pozostaje miejsce na pracę człowieka

W wywiadach z dziesięcioma badaczami OpenAI opisała praktyczne aspekty delegowania zadań: agenci pomagali pisać i debugować kod, analizować eksperymenty oraz przeglądać duże zbiory danych. Jednocześnie pracownicy opowiadali o niskiej jakości wytworzonych materiałów, błędnych założeniach w analizach i nieefektywnych próbach uruchamiania eksperymentów. Firma osobno zaznacza, że pomysły na wydania GPT‑6 Astra, które wymieniali pracownicy, przypisywali ludziom, podczas gdy modele pomagały w ich realizacji.

Jeden z opisanych przez badacza sposobów pracy szczególnie łatwo przenieść do własnego zespołu: poprosić agenta o wykonanie jednego przykładu, sprawdzić go i poprawić, a następnie zlecić podobną serię zadań. Taki porządek szybko ujawnia błąd w specyfikacji lub formacie danych, zanim rozprzestrzeni się na cały zestaw. W przypadku zadań, których weryfikacja jest kosztowna, często jest to lepsze rozwiązanie niż natychmiastowe zwiększanie skali zlecenia.

Jak wykorzystać te wnioski w swoim zespole

Zacznij od jednego powtarzalnego zadania, które ma obserwowalny rezultat i jasne kryterium odbioru. Zapisuj, ile razy potrzebna była interwencja, jakie pojawiły się błędy i ile czasu zajęła weryfikacja. Te informacje pomogą odróżnić zadanie, które agent rzeczywiście przejmuje, od takiego, w którym jedynie przyspiesza pracę nad wersją roboczą.

W przypadku działań o poważnych konsekwencjach wyznacz osobną granicę uprawnień. Na przykład agent może wykryć anomalię lub przygotować polecenie uruchomienia, podczas gdy zatwierdzenie i wykonanie pozostają po stronie odpowiedzialnego inżyniera. To nie uniwersalny schemat bezpieczeństwa, lecz sposób na powiązanie poziomu autonomii z konkretnym ryzykiem i dostępnymi kryteriami weryfikacji.

Raport OpenAI podsuwa użyteczne rozróżnienie: warto delegować nie „badania” czy „programowanie” jako takie, lecz konkretne zlecenia, których rezultat można sprawdzić. W danych firmy monitorowanie przebiegu treningu wydawało się lepiej dopasowane do samodzielnego wykonania niż uruchamianie treningu czy pisanie kodu inferencyjnego. Kolejny krok dla zespołu praktyków to zmierzenie tych różnic we własnych zadaniach i rozszerzanie delegowania tam, gdzie rezultaty przechodzą weryfikację.

Ludzie

Nie ma jeszcze żadnych osób na liście dla tego artykułu.

Czytaj dalejDlaczego agentom nie wystarczy czytać tekstu: benchmark MKA sprawdza pracę z rysunkami i plikami
Przeczytaj następny artykuł

Zmień lekturę w działającą integrację

Poznaj API danych społecznościowych jsonscraper, testuj zapytania i buduj kolejne procesy.

Poznaj API