Wie Mercor die Qualität von Evaluatoren bewertet, erklärt

Mercor bezahlt Bewerter unterschiedlich basierend auf einem Qualitätswert, der mehrere Signale kombiniert. Jedes zu verstehen, ermöglicht es Ihnen, dort zu optimieren, wo es zählt, und Rauschen zu ignorieren. ## Signal 1: Inter-Rater-Übereinstimmung Auf Kalibriersets, bei denen Grundwahrheit existiert oder wo mehrere Bewerter dasselbe Artefakt bewerten, wird Ihre Übereinstimmungsquote gemessen. Über dem Schwellenwert (typischerweise hohe 80er bis niedrige 90er Prozent in den meisten Spuren) steigen Sie auf; darunter wird Ihr Stundensatz gedeckelt. ## Signal 2: Begründungstiefe Eine Bewertung ohne Erklärung erhält den Minimalkredit, auch wenn korrekt. Eine Bewertung mit spezifischer, falsifizierbarer Begründung ("die zweite Antwort übersieht den Off-by-One-Fehler in Zeile 14") erhält vollen Kredit und schaltet höher bezahlte Batches frei. ## Signal 3: Reaktionsgeschwindigkeit innerhalb angemessener Grenzen Schnellere Annahme und Fertigstellung von Aufgabeneinladungen wird belohnt. Anhaltende Geschwindigkeit jenseits von etwa 24 Stunden pro Aufgabe im Durchschnitt kann ein Warnsignal für Überstürzen sein; das System optimiert auf Qualität, nicht reine Geschwindigkeit. ## Signal 4: Aufgaben-Fertigstellungsquote Der Prozentsatz der angenommenen Aufgaben, die Sie tatsächlich abschließen. Aufgaben nach Annahme abzulehnen, schadet dem Stundensatz; nicht anzunehmen ist neutral. ## Signal 5: Review-Feedback von menschlichen Prüfern Periodisch prüft ein Mensch Ihre Bewertungen und notiert Muster. Konstruktive Kritik, die in nachfolgender Arbeit angewendet wird, hebt Ihren Wert. ## Was zu tun ist Lesen Sie jede Rubrik sorgfältig vor dem ersten Batch in einer neuen Spur. Schreiben Sie Begründungen, als ob ein menschlicher Prüfer sie lesen wird (denn das wird er). Nehmen Sie nur Aufgaben an, die Sie sauber innerhalb der Frist abschließen können. Behandeln Sie die ersten 10 bis 20 Aufgaben in einer neuen Spur als Kalibrierfenster. ## Was zum Ausschluss führt Anhaltende Inter-Rater-Übereinstimmung unter dem Schwellenwert über mehrere Spuren. Begründungen, die wie LLM-generiert wirken. Aufgaben wiederholt annehmen und abbrechen.