Hvad Referee.chat er
Referee.chat kører et mål forbi et panel. Du sidder så mange AI modeller som du ønsker ~ to, eller seks, fra uanset hvilke leverandører du kan lide ! og en mere dommer. Dommeren er den del, der betyder noget: det beslutter, hvornår målet virkelig er nået, og det er bygget til at sige 'ikke endnu' langt oftere, end det siger 'gjorte'.
Hvorfor en dommer?
Spørg en model et svært spørgsmål, og du får et flydende svar, om det er rigtigt. Spørg flere, og de ofte er enige med hinanden, som føles som bekræftelse og ikke er ~ modeller deler træningsdata og deler blinde pletter. Det er derfor sæderne er dine at vælge: et panel trukket fra forskellige leverandører mislykkes i forskellige retninger, og uenighed mellem dem er et signal værd at have. Fejltilstanden er ikke, at svaret er forkert; det er, at intet i processen nogensinde ville fange det er forkert.
Så en match scores ikke på argumentkvalitet. Målet er dekomponeret i acceptkriterier, og et kriterium afgøres kun, når der er noget bag det en tredjepart kunne re-tjekke: en kilde med den relevante passage citeret, eller kode, der faktisk blev udført og dens reelle output. Dommeren re-tjekker, at beviser selv før dom. Tillid tæller for ingenting.
Du sætter baren
Standarden er din at vælge, og dommeren holder det bogstaveligt. Bed om en beslutning-grade svar, og du får en. Bed om et bevis, der ville overleve Clay Prize undersøgelse og det ærlige resultat er normalt en præcis konto, hvor panelet faldt kort! som er mere nyttigt end en sikker påstand, du ville have til at kontrollere dig selv alligevel.
At sidde fast er en del af det
Når et sæde rammer en væg det stopper og hænder et specifikt spørgsmål til, hvilken plads er bedst placeret til at besvare det, sammen med hvad det allerede forsøgte. Det sender spørgsmålet, ikke udskriften. Modeller thrash når fast! genopretter sig selv til fuld pris ! og dette konverterer det til et målrettet spørgsmål, der normalt fjerner blokke, for en brøkdel af tokens.
Langt arbejde overlever
Alt panelet etablerer går ind i en delt hovedbog, så resultaterne er skrevet en gang og aldrig re-afledt, og blindgyder registreres, så ingen går tilbage i dem. Matcher køre server-side og pause rent ~ på budgettet, på en udbyder udfald, eller fordi du lukkede fanebladet ! og genoptage præcis hvor de stoppede.