Que é Referee.chat
Referee.chat executa un obxectivo a través dun panel. Podes colocar tantos modelos de IA como queiras - dous, ou seis, dos vendedores que queiras - e un árbitro máis. O árbitro é a parte que importa: decide candobxectivo é realmente cumprido, e está construído para dicir "aínda non" moito máis a miúdo que "feito".
Por que un árbitro?
Faga unha pregunta difícil a un modelo e obterá unha resposta fluída se é correcta ou non. Faga preguntas a varios modelos e a miúdo estarán de acordo, o que se sente como unha confirmación e non o é - os modelos comparten datos de adestramento e puntos cegos. Por iso é polo que os postos son os seus: un panel de diferentes fabricantes falla en diferentes direccións, e o desacordo entre eles é un sinal que vale a pena ter. O modo de fallo non é que a resposta estea errada, é que nada no proceso ía captar que estaba errada.
Así que unha coincidencia non se puntua pola calidade dos argumentos. O obxectivo descompóñense en criterios de aceptación, e un criterio só se resolve cando hai algo detrás del que un terceiro poida comprobar de novo: unha fonte coa pasaxe relevante citada, ou código que foi realmente executado e a súa saída real. O árbitro comproba de novo esa evidencia antes de decidir. A confianza non conta para nada.
Ti estableces o estándar
O estándar é o que escolles ti, e o árbitro tenno literalmente. Pídelle unha resposta de calidadecisión e obtés unha. Pídelle unha proba que sobreviva ao escrutinio do Premio Clay e o resultado honesto é normalmente unha conta precisa de onde o panel fallou, o que é máis útil que unha afirmación segura que terías que comprobar ti mesmo de todos os xeitos.
Atrapar é parte diso.
Cando un assento choca contra unha parede, párasentrega unha pregunta específica ao assento que estea mellor situado para contestala, xunto co que xa tentou. Envía a pregunta, non a transcrición. Os modelos caen cando se atopan atascados, reafirmándose a si mesmos a custo total, e isto convérteo nunha pregunta dirixida que normalmente desbloquea, por unha fracción dos tokens.
O traballo longo sobrevive
Todo o que o panel establece vai para un libro compartido, polo que os resultados escríbense unha vez e nunca se derivan de novo, e os puntos mortos rexistranse para que ninguén volva a eles. As coincidencias executanse no lado do servidor e pausanse limpas - por orzamento, por un fallo do provedor ou porque pechou a páxina - e reanúdanse exactamente onde se pararon.