El Referee.chat0 és
Referee.chat runs a goal past a panel. You seat as many AI models as you want — two, or six, from whichever vendors you like — and one more referees. The referee is the part that matters: it decides when the goal is genuinely accomplished, and it is built to say 'not yet' far more often than it says 'done'.
Per què un retrat
Pregunta a un model una pregunta difícil i obtindreu una resposta de si és correcta o no. Pregunta- ho diversos i sovint estan d' acord amb els altres, que se sent com si la corboració i no els models de formació de dades i compartiu punts cecs. Per això els seients són vostres per escollir: un plafó dibuixat de diferents proveïdors falla en diferents direccions, i desacords entre ells val la pena tenir un senyal. El mode de fallada no és que la resposta no és errònia; no és que en el procés mai s' hagi d' agafar malament.
Per tant, una coincidència no es pot detectar en qualitat de l' argument. L' objectiu es descomprimeix en criteris d' acceptació, i un criteri només s' estableix quan hi ha alguna cosa darrere d' un tercer partit podria tornar a comprovar: una font amb el passatge rellevant citat, o codi que s' ha executat i la seva sortida real. El valor referencia ale remarca que es tracta de la prova abans de governar. De confiança en no compta per res.
Heu establert la barra
L' estàndard és vostre per escollir, i el refere la manté literalment. Demaneu una resposta de presa de decisions i n'obtens una. Demanant una prova que podria sobreviure al Premi de control de Clay i el resultat honest és normalment un compte precís d' on el plafó va caure curt de problema que és més útil que una reclamació segura que hauríeu de comprovar de totes maneres.
Estar atrapat és part d'això
Quan un seient colpeja una paret s' atura i les mans una pregunta específica a la qual sigui millor col·locat per respondre- la, juntament amb el que ja ho ha intentat. Envia la pregunta, no la transcripció. Els models s' rash quan estan encallats es descansen a tot cost ROD i això converteix en una pregunta que normalment no es pot bloquejar, per una fracció de les fitxes.
Una llarga feina sobreviu
Tot el que estableix el plafó entra en un llibre de comptabilitat compartit, així que els resultats s' escriuen una vegada i mai es tornen a registrar, i els extrems morts es guarden de manera que ningú no hi torni. Coincideix amb l' execució del servidor i aturar la neteja en el pressupost, en una proveïdors d' entrada, o perquè tanqueu la pestanya Tunciva i reprendre exactament on s' han aturat.