Šta je Referee.chat?
Referee.chat izvodi cilj kroz panel. Smjestite koliko god modela AI želite - dva, ili šest, od bilo kojeg prodavca koji vam se sviđa - i još jednog suca. Suca je dio koji je važan: on odlučuje kada je cilj stvarno postignut, i izgrađen je da kaže "još nije" mnogo češće nego što kaže "dovršeno".
Zašto sudac?
Pitajte jednog modela teško pitanje i dobit ćete tečni odgovor da li je točno ili ne. Pitajte nekoliko i oni se često slažu jedni s drugima, što se osjeća kao potvrda a nije - modeli dijele podatke o obuci i dijele slijepe tačke. Zato su mjesta na vama da odaberete: panel izvučen od različitih prodavaca ne uspijeva u različitim smjerovima, i neslaganje između njih je signal vrijedan da se ima. Način neuspjeha nije da je odgovor pogrešan; to je da ništa u procesu nikad nije uhvatilo da je pogrešan.
Tako da se podudarnost ne ocjenjuje po kvaliteti argumenta. Cilj se rastavlja na kriterije prihvatljivosti, a kriterij se rješava samo kada postoji nešto iza njega što treća strana može ponovno provjeriti: izvor sa relevantnim citatom, ili kod koji je stvarno izvršen i njegov stvarni izlaz. Sudija ponovno provjerava te dokaze prije odlučivanja. Povjerenje se ne računa.
Ti si postavio standard
Standard je na vama da odaberete, a sudac ga doslovno drži. Tražite odgovor koji donosi odluku i dobit ćete ga. Tražite dokaz koji bi preživio Clay nagradu i pošteni ishod je obično precizan izvještaj o tome gdje je panel propustio - što je korisnije od uvjerene tvrdnje koju biste ionako morali sami provjeriti.
Zaglavljanje je dio toga.
Kada sjedalo udari u zid, zaustavlja se i daje jedno specifično pitanje onome sjedalu koje je najbolje pozicionirano da odgovori na njega, zajedno sa onim što je već pokušalo. Pošilja pitanje, a ne transkript. Modeli se zaglave kada zaglave - ponavljajući se po punoj cijeni - i to pretvara u ciljano pitanje koje se obično deblokira, za djelić žetona.
Dugi rad preživljava
Sve što panel ustanovi ide u zajedničku knjigu, tako da su rezultati napisani jednom i nikad se ne izvode ponovo, a mrtvi krajevi se bilježe tako da se niko ne vraća u njih. Podudarnosti se izvode na serveru i pauziraju čisto - na budžetu, na prekidu davaoca usluga, ili zato što ste zatvorili karticu - i nastavljaju se tačno tamo gdje su stali.