Cómo Mercor puntúa la calidad de los evaluadores, explicado

Mercor paga a los evaluadores de forma diferente en función de una puntuación de calidad que combina varias señales. Entender cada una te permite optimizar donde importa e ignorar el ruido. ## Señal 1: acuerdo entre evaluadores En conjuntos de calibración donde existe verdad de referencia o donde varios evaluadores puntúan el mismo artefacto, se mide tu tasa de acuerdo. Por encima del umbral (típicamente entre el 80 alto y el 90 bajo por ciento en la mayoría de los tracks) avanzas; por debajo, tu tarifa se topea. ## Señal 2: profundidad de la justificación Una puntuación sin explicación obtiene el crédito mínimo aunque sea correcta. Una puntuación con razonamiento específico y falsable ("la segunda respuesta no detecta el error de uno en la línea 14") obtiene crédito completo y desbloquea lotes mejor pagados. ## Señal 3: rapidez de respuesta dentro de límites razonables Se recompensa la aceptación y la finalización más rápidas de las invitaciones a tareas. Una rapidez sostenida por debajo de ~24 horas de media por tarea puede ser una señal de alarma de prisa excesiva; el sistema optimiza para calidad, no para pura velocidad. ## Señal 4: tasa de finalización de tareas El porcentaje de tareas aceptadas que realmente completas. Rechazar tareas tras aceptarlas daña la tarifa; no aceptar de entrada es neutro. ## Señal 5: feedback de revisión por humanos Periódicamente un humano revisa tus evaluaciones y anota patrones. La crítica constructiva aplicada en trabajo posterior eleva tu puntuación. ## Qué hacer Lee cada rúbrica con cuidado antes del primer lote en un nuevo track. Escribe las justificaciones como si un revisor humano fuera a leerlas (porque uno lo hará). Acepta solo tareas que puedas completar limpiamente dentro del plazo. Trata las primeras 10 a 20 tareas en cualquier nuevo track como la ventana de calibración. ## Lo que te hace ser eliminado Acuerdo sostenido entre evaluadores por debajo del umbral en varios tracks. Justificaciones que se leen como generadas por LLM. Aceptar y abandonar tareas repetidamente.