Was ist Referee.chat
Referee.chat führt ein Ziel vorbei an einem Panel. Sie setzen so viele AI-Modelle wie Sie wollen – zwei, oder sechs, von welchen Anbietern Sie wollen – und einen weiteren Schiedsrichter. Der Schiedsrichter ist der Teil, der zählt: es entscheidet, wann das Ziel wirklich erreicht ist, und es ist gebaut, um zu sagen, noch nicht viel häufiger als es sagt "vergangen".
Warum ein Schiedsrichter
Stellen Sie einem Modell eine harte Frage und Sie erhalten eine fließende Antwort, ob es richtig ist oder nicht. Stellen Sie mehrere und sie oft mit einander übereinstimmen, was wie Bestätigung fühlt und ist nicht — Modelle teilen Trainingsdaten und teilen blinde Flecken. Deshalb sind die Sitze zu wählen: ein Panel aus verschiedenen Anbietern gezogen in verschiedene Richtungen fehlschlägt, und Uneinigkeit zwischen ihnen ist ein Signal wert,. Der Ausfallmodus ist nicht, dass die Antwort falsch ist; es ist, dass nichts in dem Prozess jemals es falsch zu fangen.
Ein Match wird also nicht auf Argumentequalität gewertet. Das Ziel wird in Annahmekriterien zerlegt, und ein Kriterium wird erst dann erfüllt, wenn etwas dahinter ist, das ein Dritter erneut überprüfen könnte: eine Quelle mit der entsprechenden zitierten Passage oder Code, der tatsächlich ausgeführt wurde und dessen realer Ausgang. Der Schiedsrichter überprüft diese Beweise erneut, bevor er entscheidet. Vertrauen zählt für nichts.
Du stellst die Bar ein
Der Standard ist Ihre Wahl, und der Schiedsrichter hält es wörtlich. Fragen Sie nach einer Entscheidungs-Grad Antwort und Sie erhalten eine. Fragen Sie nach einem Beweis, der Clay Prize Prüfung überleben würde und das ehrliche Ergebnis ist in der Regel ein präziser Bericht darüber, wo die Platte fiel kurz — was ist nützlicher als eine zuversichtliche Behauptung, die Sie sich selbst sowieso überprüfen müssen.
Es ist ein Teil davon, festzusitzen.
Wenn ein Sitz auf eine Wand trifft, hält er an und gibt eine spezifische Frage an den Sitz, der am besten platziert ist, um ihn zu beantworten, zusammen mit dem, was er bereits versucht hat. Er sendet die Frage, nicht die Transkript. Modelle thrashen, wenn stecken — sich auf volle Kosten — und dies wandelt sich in eine gezielte Frage, die normalerweise entsperrt, für einen Bruchteil der Token.
Lange Arbeit überlebt
Alles, was das Panel erstellt, geht in ein gemeinsames Buch, so dass Ergebnisse einmal geschrieben werden und nie wieder abgeleitet, und Sackgassen werden aufgezeichnet, so dass niemand zurück in sie geht. Matches laufen Server-Seite und Pause sauber — auf Budget, auf einem Provider-Ausfall, oder weil Sie die Registerkarte geschlossen — und wieder genau, wo sie gestoppt.