Come Mercor valuta la qualità degli evaluator, spiegato

Mercor paga i valutatori diversamente in base a un punteggio di qualita che combina diversi segnali. Comprenderne ciascuno ti permette di ottimizzare dove conta e ignorare il rumore. ## Segnale 1: accordo tra valutatori Sui set di calibrazione dove esiste una verita di base o dove piu valutatori valutano lo stesso artefatto, viene misurato il tuo tasso di accordo. Sopra la soglia (tipicamente alto 80-basso 90 percento sulla maggior parte dei track) avanzi; sotto, la tua tariffa si blocca. ## Segnale 2: profondita della giustificazione Una valutazione senza spiegazione ottiene il credito minimo anche se corretta. Una valutazione con ragionamento specifico e falsificabile ("la seconda risposta manca l'errore di off-by-one alla riga 14") ottiene credito pieno e sblocca batch piu pagati. ## Segnale 3: velocita di risposta entro limiti ragionevoli Accettazione e completamento piu rapidi degli inviti a task sono premiati. Velocita sostenuta oltre la media di ~24 ore per task puo essere un campanello d'allarme per fretta eccessiva; il sistema ottimizza per qualita, non pura velocita. ## Segnale 4: tasso di completamento task La percentuale di task accettati che effettivamente completi. Declinare task dopo averli accettati danneggia la tariffa; non accettarli in primo luogo e neutro. ## Segnale 5: feedback di review da revisori umani Periodicamente un umano rivede le tue valutazioni e nota pattern. Le critiche costruttive applicate nel lavoro successivo aumentano il tuo punteggio. ## Cosa fare Leggi ogni rubrica con cura prima del primo batch in un nuovo track. Scrivi giustificazioni come se un revisore umano le leggesse (perche lo fara). Accetta solo task che puoi completare puliti entro la deadline. Tratta i primi 10-20 task in ogni nuovo track come la finestra di calibrazione. ## Cosa ti fa rimuovere Accordo tra valutatori sostenuto sotto soglia su piu track. Giustificazioni che leggono come generate da LLM. Accettare e abbandonare task ripetutamente.