Zer da Referee.chat?
Referee.chatk panel baten gainetik helburu bat exekutatzen du. Nahi duzun AI modelo kopurua jartzen duzu - bi edo sei, nahi duzun saltzailetik - eta epaile bat gehiago. Epailearen partea da garrantzitsuena: helburua benetan lortuta dagoen erabakitzen du, eta 'oraindik ez' esateko eraikia dago, 'egin' esaten duena baino askoz maizago.
Zergatik epaile bat?
Modelo bati galdera zaila egin eta erantzun zuzena edo okerra jasotzen duzu. Hainbat galdetu eta askotan elkarrekin ados jartzen dira, baieztapen gisa sentitzen dena, baina ez da hala — modeloek entrenamendu-datuak eta puntu itsu-puntuak partekatzen dituzte. Horregatik, eserlekuak zureak dira aukeratzeko: hornitzaile desberdinetatik ateratako panel batek norabide desberdinetan huts egiten du, eta haien arteko desadostasuna seinale baliotsua da. Hutsegite-modua ez da erantzuna okerra denik; prozesuan ezerk ez zuela inoiz okerra zela ikusiko da.
Beraz, bat-etortzea ez da argumentuaren kalitatearen arabera puntuatzen. Helburua onarpen-irizpideetan banatzen da, eta irizpide bat bakarrik ebazten da atzean zerbait badago hirugarren batek berriro egiazta zezakeenean: iturburu bat pasadizo egokia aipatuz, edo benetan exekutatu zen kodea eta bere benetako irteera. Epaileak froga hori berraztertzen du epaia eman aurretik. Konfiantza ez da ezertan kontuan hartzen.
Zuk jarri duzu araua.
Zuk aukeratu behar duzu estandarra, eta epaileak literalki betetzen du. Eskatu erabaki-maila bateko erantzuna eta lortuko duzu. Eskatu Clay saria azterketaz gaindituko lukeen froga bat eta emaitza zintzoa panelak zertan huts egin zuenaren kontakizun zehatza izaten da normalean - erabilgarriagoa da, nolanahi ere, zuk zeuk egiaztatu beharko zenukeen baieztapen konfidentziala baino.
Itxita egotea bere parte da.
Eserleku batek horma jotzen duenean gelditzen da eta galdera zehatz bat ematen dio erantzuna emateko lekurik onena duen eserlekuari, eta, gainera, probatu duen guztia. Galdera bidaltzen du, ez transkribapena. Modeloak trabatuta daudenean, crash egiten dute — kostua osoan berriro esaten dute — eta honek helburudun galdera bihurtzen du, normalean blokeoa desagerrarazten duena, tokenen zati baten truke.
Lan luzeak irauten du
Panelak ezartzen duen guztia liburu partekatu batean sartzen da, beraz, emaitzak behin idatzi eta ez dira berriro deribatzen, eta itxiturak erregistratzen dira, inork ez dezan itzuli. Bat-egiteak zerbitzari-aldetik exekutatzen dira eta garbi gelditzen dira — aurrekontuagatik, hornitzaile bat gelditu delako edo fitxa itxi duzulako — eta gelditu ziren lekutik berrabiarazten dira.