Qué es Referee.chat
Referee.chat tiene un objetivo más allá de un panel. Usted sienta tantos modelos de IA como desee — dos, o seis, de los vendedores que desee — y un árbitro más. El árbitro es la parte que importa: decide cuando el objetivo se cumple realmente, y está construido para decir 'no todavía' mucho más a menudo de lo que dice 'hecho'.
Por qué un árbitro
Haga una pregunta difícil a un modelo y usted obtiene una respuesta fluida si es correcto o no. Pregunte varios y a menudo están de acuerdo entre sí, que se siente como corroboración y no lo es — los modelos comparten datos de entrenamiento y comparten puntos ciegos. Es por eso que los asientos son suyos para elegir: un panel dibujado de diferentes proveedores falla en diferentes direcciones, y el desacuerdo entre ellos es una señal que vale la pena tener. El modo de fallo no es que la respuesta es incorrecta; es que nada en el proceso iba a ser atrapado alguna vez estar equivocado.
Así que un partido no se marca en la calidad de argumento. El objetivo se descompone en criterios de aceptación, y un criterio sólo se establece cuando hay algo detrás de él un tercero podría volver a comprobar: una fuente con el pasaje pertinente citado, o código que fue ejecutado realmente y su salida real. El árbitro vuelve a comprobar que la evidencia misma antes de la decisión. La confianza no cuenta para nada.
Tú pusiste la barra
El estándar es tuyo para elegir, y el árbitro lo sostiene literalmente. Pide una respuesta de grado de decisión y obtienes una. Pide una prueba que sobreviva al escrutinio del Premio Clay y el resultado honesto es generalmente una cuenta precisa de dónde el panel no llegó a ser suficiente, lo cual es más útil que una afirmación segura de que tendrías que comprobarte de todos modos.
Atascarse es parte de ello.
Cuando un asiento golpea una pared se detiene y da una pregunta específica a cualquier asiento que sea mejor situado para responder a ella, junto con lo que ya ha intentado. Envía la pregunta, no la transcripción. Modelos thrash cuando se atasca — repitiéndose a todo costo — y esto convierte que en una pregunta dirigida que generalmente desbloquea, para una fracción de las fichas.
Sobrevive un largo trabajo
Todo lo que establece el panel entra en un libro mayor compartido, por lo que los resultados se escriben una vez y nunca se vuelven a obtener, y se registran callejones sin salida para que nadie vuelva a entrar en ellos. Los partidos corren del lado del servidor y se detienen limpiamente —en el presupuesto, en un corte del proveedor, o porque cerraste la pestaña— y reanudan exactamente donde se detuvieron.