Como a Mercor pontua a qualidade dos avaliadores, explicado

O Mercor paga avaliadores de forma diferente com base em uma pontuação de qualidade que combina vários sinais. Entender cada um permite que você otimize onde importa e ignore o ruído. ## Sinal 1: concordância entre avaliadores Em conjuntos de calibração onde existe verdade fundamental ou onde múltiplos avaliadores avaliam o mesmo artefato, sua taxa de concordância é medida. Acima do limite (tipicamente de 80 alto a 90 baixo por cento na maioria dos tracks) você avança; abaixo dele sua taxa é limitada. ## Sinal 2: profundidade de justificativa Uma avaliação sem explicação recebe crédito mínimo mesmo se correta. Uma avaliação com raciocínio específico e falsificável ("a segunda resposta perde o erro de off-by-one na linha 14") recebe crédito total e desbloqueia lotes de melhor remuneração. ## Sinal 3: velocidade de resposta dentro de limites razoáveis Aceitação e conclusão mais rápidas de convites de tarefas são recompensadas. Velocidade sustentada além de cerca de 24 horas por tarefa em média pode ser um sinal de alerta de pressa excessiva; o sistema otimiza para qualidade, não pura velocidade. ## Sinal 4: taxa de conclusão de tarefas A porcentagem de tarefas aceitas que você realmente completa. Recusar tarefas depois de aceitar prejudica a taxa; não aceitar em primeiro lugar é neutro. ## Sinal 5: feedback de revisores humanos Periodicamente um humano revisa suas avaliações e nota padrões. Crítica construtiva aplicada em trabalho subsequente eleva sua pontuação. ## O que fazer Leia cada rubrica cuidadosamente antes do primeiro lote em um novo track. Escreva justificativas como se um revisor humano fosse lê-las (porque um vai). Aceite apenas tarefas que você pode completar de forma limpa dentro do prazo. Trate as primeiras 10 a 20 tarefas em qualquer novo track como a janela de calibração. ## O que faz você ser removido Concordância entre avaliadores sustentada abaixo do limite em múltiplos tracks. Justificativas que parecem geradas por LLM. Aceitar e abandonar tarefas repetidamente.