Comment Mercor note la qualité des évaluateurs, expliqué

Mercor paie les évaluateurs différemment selon un score de qualité qui combine plusieurs signaux. Comprendre chacun permet d'optimiser là où ça compte et d'ignorer le bruit. ## Signal 1 : accord inter-évaluateurs Sur les ensembles d'étalonnage où une vérité terrain existe ou où plusieurs évaluateurs notent le même artefact, votre taux d'accord est mesuré. Au-dessus du seuil (typiquement haut 80 à bas 90 pour cent sur la plupart des parcours) vous progressez ; en dessous votre tarif plafonne. ## Signal 2 : profondeur de justification Une note sans explication reçoit le crédit minimum même si elle est correcte. Une note avec un raisonnement spécifique et falsifiable ("la seconde réponse manque l'erreur off-by-one ligne 14") reçoit le crédit complet et débloque des lots mieux payés. ## Signal 3 : vitesse de réponse dans des limites raisonnables L'acceptation et l'achèvement plus rapides des invitations sont récompensés. Une vitesse soutenue en dessous d'environ 24 heures par tâche en moyenne peut être un signal d'alarme de précipitation ; le système optimise pour la qualité, pas la pure vitesse. ## Signal 4 : taux d'achèvement des tâches Le pourcentage de tâches acceptées que vous achevez réellement. Refuser des tâches après les avoir acceptées endommage le tarif ; ne pas accepter au départ est neutre. ## Signal 5 : retour des relecteurs humains Périodiquement, un humain examine vos évaluations et note des schémas. Les critiques constructives appliquées dans le travail suivant relèvent votre score. ## Quoi faire Lisez chaque rubrique attentivement avant le premier lot dans un nouveau parcours. Écrivez les justifications comme si un humain relecteur allait les lire (parce que c'est le cas). Acceptez uniquement les tâches que vous pouvez achever proprement dans le délai. Traitez les 10 à 20 premières tâches dans un nouveau parcours comme la fenêtre d'étalonnage. ## Ce qui vous fait éliminer Accord inter-évaluateurs soutenu en dessous du seuil sur plusieurs parcours. Justifications qui se lisent comme générées par LLM. Accepter et abandonner des tâches à répétition.