Vad Referee.chat är
Referee.chat kör ett mål förbi en panel. Du sätter så många AI-modeller som du vill – två, eller sex, från vilka leverantörer du vill – och en annan domare. Domaren är den del som betyder något: det bestämmer när målet verkligen är uppnått, och det är byggt för att säga "inte ännu" mycket oftare än det säger "gjort".
Varför en domare
Ställ en modell en svår fråga och du får ett flytande svar om det är rätt. Fråga flera och de håller ofta med varandra, vilket känns som bekräftelse och inte är — modeller delar träningsdata och delar blinda fläckar. Det är därför platserna är dina att välja: en panel som dras från olika leverantörer misslyckas i olika riktningar, och oenighet mellan dem är en signal värd att ha. Misslyckandet är inte att svaret är fel; det är att ingenting i processen någonsin kommer att fånga det är fel.
Så en match görs inte på argumentkvalitet. Målet bryts ner i acceptanskriterier, och ett kriterium är bara löst när det finns något bakom det en tredje part kunde kontrollera: en källa med relevant passage citerade, eller kod som faktiskt utfördes och dess verkliga utdata. Domaren åter kontrollerar som bevisar sig själv innan dom. Förtroende räknas för ingenting.
Du ställde in ribban
Standarden är din att välja, och domaren håller den bokstavligen. Fråga efter ett beslut-grad svar och du får en. Be om ett bevis som skulle överleva Clay Prize granskning och det ärliga resultatet är oftast en exakt redogörelse för var panelen inte fick tillräckligt med - vilket är mer användbart än ett självsäkert påstående du skulle behöva kontrollera dig själv ändå.
Att fastna är en del av det
När en stol träffar en vägg stannar den och ger en specifik fråga till vilken plats som helst som är bäst lämpad att svara på den, tillsammans med vad den redan provat. Den skickar frågan, inte utskriften. Modeller thrash när fast — att vila sig till full kostnad — och detta omvandlar det till en riktad fråga som vanligtvis frigör block, för en bråkdel av tokens.
Långt arbete överlever
Allt panelen etablerar går in i en delad liggare, så resultaten skrivs en gång och aldrig åter härleds, och återvändsgränder registreras så ingen går tillbaka till dem. Matchar kör server-side och pausa rent - på budget, på en leverantör avbrott, eller eftersom du stängde fliken - och återuppta exakt där de stannade.