Qu'est-ce que Referee.chat
Referee.chat passe un but devant un panel. Vous placez autant de modèles d'IA que vous voulez — deux, ou six, de tous les fournisseurs que vous voulez — et un autre arbitre. L'arbitre est la partie qui compte: il décide quand le but est réellement accompli, et il est construit pour dire «pas encore» beaucoup plus souvent qu'il dit «fait».
Pourquoi un arbitre
Posez une question difficile à un modèle et vous obtenez une réponse fluide si c'est bien ou pas. Demandez-en plusieurs et ils sont souvent d'accord les uns avec les autres, ce qui semble corroborant et n'est pas le cas — les modèles partagent des données de formation et partagent des points aveugles. C'est pourquoi les sièges sont à vous de choisir: un panneau tiré de différents fournisseurs échoue dans différentes directions, et le désaccord entre eux est un signal qui vaut la peine d'avoir.
Ainsi, un match n'est pas noté sur la qualité de l'argument. Le but est décomposé en critères d'acceptation, et un critère n'est réglé que lorsqu'il y a quelque chose derrière lui un tiers pourrait revérifier : une source avec le passage pertinent cité, ou le code qui a été effectivement exécuté et sa sortie réelle.
Tu as mis la barre
Demandez une réponse de niveau de décision et vous obtenez une. Demandez une preuve qui survivrait à l'examen du prix Clay et le résultat honnête est généralement un compte précis de l'endroit où le jury est tombé en court — ce qui est plus utile qu'une réclamation confiante que vous devriez vérifier vous-même de toute façon.
Se faire coincer fait partie de ça
Lorsqu'un siège frappe un mur, il s'arrête et remet une question précise à quel siège est le mieux placé pour y répondre, ainsi que ce qu'il a déjà essayé. Il envoie la question, pas la transcription. Modèles de thrash quand coincé — se redonnant à plein prix — et cela convertit cela en une question ciblée qui débloque habituellement, pour une fraction des jetons.
Long travail survit
Tout ce que le panneau établit entre dans un registre partagé, de sorte que les résultats sont écrits une fois et jamais redessinés, et les extrémités mortes sont enregistrées de sorte que personne ne revient dans eux. Les allumettes fonctionnent côté serveur et s'arrêtent proprement — sur le budget, sur une panne de fournisseur, ou parce que vous avez fermé l'onglet — et reprendre exactement où ils se sont arrêtés.