Kaj je Referee.chat
Referee.chat teče cilj mimo plošče. Sedite kolikor AI modelov, kot želite – dva ali šest, od prodajalcev, ki vam bodo všeč – in še en sodnik. Sodnik je tisti del, ki je pomemben: odloči, kdaj je cilj resnično dosežen, in je zgrajen, da reče "ne" veliko pogosteje kot pravi "dokončen".
Zakaj sodnik
Vprašajte en model težko vprašanje in dobite tekoč odgovor, ali je to prav. Vprašajte več in pogosto se strinjajo drug z drugim, kar je kot potrjevanje in ni – modeli delijo podatke o usposabljanju in delijo slepe točke. Zato so sedeži na vaši izbiri: plošča, ki je izbrana iz različnih prodajalcev, ne uspe v različnih smeri, in nesporazum med njimi je signal, ki je vreden. Način neuspeha ni, da je odgovor napačno; to je, da ni bilo nič v procesu, da bi ga ujeli narobe.
Torej se ujemanje ni doseglo na kakovost argumentov. Cilj je razgradjen v merila za sprejem, in merilo je določeno le, ko je nekaj za njim lahko tretja oseba ponovno preveri: vir z ustreznim odlomkom, ki je bil dejansko izveden in njegov pravi rezultat. Sodnik ponovno preveri, da dokaze sam pred odločitvijo. Zaupnost šteje nič.
Ti si postavil čoln.
Standard je vaš, da izberete, in sodnik ga drži dobesedno. Prosite za odgovor na razred in dobite enega. Vprašajte za dokaz, ki bi preživel Clay Nagrada pregled in pošten izid je običajno natančen račun, kje je plošča padla manj – kar je bolj koristno kot prepričana trditev, da bi morali preveriti sami.
Zatakniti se je del tega.
Ko sedež zadene v steno, se ustavi in postavi eno posebno vprašanje, katera od sedežev je najboljša, da odgovori na to, skupaj s tem, kar je že poskušal. To pošlje vprašanje, ne transkript. Modeli, ko se obtiče – popraviti se po polni ceni – in to pretvori v ciljno vprašanje, ki običajno odblokira, za del žetonov.
Dolgo delo preživi
Vse, kar je ta plošča vzpostavi v skupni knjigo, tako rezultati so napisani enkrat in nikoli ponovno ne-izpeljani, in slepe ulice so zabeleženi, tako da nihče ne hodi nazaj v njih. Ustrezajo strežnik stran in prekiniti – na proračun, na ponudnika izstop, ali ker ste zaprti zavihek – in nadaljevati točno, kjer so ustavili.