Jak Mercor ocenia jakość ewaluatorów, wyjaśnione

Mercor placi ewaluatorom roznie w oparciu o wskaznik jakosci, ktory laczy kilka sygnalow. Zrozumienie kazdego pozwala optymalizowac tam, gdzie to ma znaczenie, i ignorowac szum. ## Sygnal 1: zgodnosc miedzy oceniajacymi W zestawach kalibracyjnych, gdzie istnieje ground truth lub gdzie wielu ewaluatorow ocenia ten sam artefakt, mierzony jest twoj wskaznik zgodnosci. Powyzej progu (zwykle wysokie 80-te do niskich 90-tych procent na wiekszosci sciezek) awansujesz; ponizej twoja stawka jest ograniczona. ## Sygnal 2: glebia uzasadnienia Ocena bez wyjasnienia dostaje minimalny kredyt, nawet jesli poprawna. Ocena z konkretnym, falsyfikowalnym uzasadnieniem ("druga odpowiedz pomija blad off-by-one w linii 14") dostaje pelny kredyt i odblokowuje wyzej platne partie. ## Sygnal 3: szybkosc odpowiedzi w rozsadnych granicach Szybsza akceptacja i ukonczenie zaproszen do zadan jest nagradzane. Trwala szybkosc powyzej ~24 godzin na zadanie srednio moze byc czerwona flaga oznaczajaca zbytni posp; system optymalizuje pod jakosc, a nie czysta szybkosc. ## Sygnal 4: wskaznik ukonczenia zadan Procent zaakceptowanych zadan, ktore faktycznie konczysz. Odrzucanie zadan po akceptacji szkodzi stawce; nieprzyjmowanie ich od poczatku jest neutralne. ## Sygnal 5: feedback od ludzkich recenzentow Okresowo czlowiek przeglada twoje ewaluacje i odnotowuje wzorce. Konstruktywna krytyka zastosowana w pozniejszej pracy podnosi twoj wskaznik. ## Co robic Czytaj kazda rubryke uwaznie przed pierwsza partia w nowej sciezce. Pisz uzasadnienia, jakby mial je czytac czlowiek (bo bedzie). Akceptuj tylko zadania, ktore mozesz czysto ukonczyc w terminie. Traktuj pierwsze 10 do 20 zadan w kazdej nowej sciezce jako okno kalibracji. ## Co cie usuwa Trwala zgodnosc miedzy oceniajacymi ponizej progu na wielu sciezkach. Uzasadnienia czytajace sie jak generowane przez LLM. Powtarzajace sie akceptowanie i porzucanie zadan.