O que Referee.chat é
Referee.chat executa um objetivo passando por um painel. Você senta tantos modelos de IA como você deseja — dois ou seis, de qualquer fornecedor que você gosta — e mais um árbitro. O árbitro é a parte que importa: ele decide quandobjetivo é realmente cumprido, e é construído para dizer "ainda" muito mais frequentemente do que diz 'acabou'.
Porquê um árbitro
Faça uma pergunta difícil a um modelo e você tem uma resposta fluente se está ou não certo. Pergunte vários e eles muitas vezes concordam entre si, que se sente como corroboração e não é — modelos compartilhar dados de treinamento e compartilhar pontos cegos. É por isso que os bancos são vocês para escolher: um painel extraído de diferentes fornecedores falha em diferentes direções, e o discordância entre eles é um sinal que vale a pena ter. O modo de falha é que a resposta não é errada; é que nada no processo nunca ia pegar que esteja errado.
Assim, uma partida não é pontuada na qualidade do argumento. O objetivo é descomposto em critérios de aceitação, e um critério é determinado apenas quando há algo por trás dele um terceiro poderia re-check: uma fonte com a passagem relevante citada, ou código que foi realmente executado e sua saída real. O árbitro re-checks que prova se antes de decidir. Confiança conta para nada.
Você está a preparar o bar
O padrão é seu para escolher, e o árbitro o tem literalmente. Pede uma resposta de grau de decisão e você recebe um. Pede uma prova que sobreviveria ao escrutínio Clay Prize e o resultado honesto é geralmente uma conta precisa de onde o painel caiu – o que é mais útil do que uma reivindicação confiante você teria que verificar você mesmo de qualquer forma.
Ficar preso faz parte dele
Quando um assento bate em uma parede, ele pára e dá uma pergunta específica a qualquer lugar que seja melhor colocar para a responder, juntamente com o que já tentou. Envia a pergunta, não a transcrição. Modelos quando presos — reafirmando-se a todo custo — e isso converte isso em uma questão direcionada que geralmente desbloqueia, para uma fração dos fichas.
O longo trabalho sobrevive
Tudo o que o painel estabelece entra em um livro compartilhado, assim os resultados são escritos uma vez e nunca re-derrived, e os extremos mortos são gravados para que ninguém volte para eles. Coincide com o servidor correr lado e pausa limpamente — no orçamento, em uma escassez do provedor, ou porque você fechou a guia — e retome exatamente onde eles pararam.