Čo je Referee.chat
Referee.chat prebehne cieľ okolo panelu. Posaďte toľko modelov umelej inteligencie, koľko chcete - dva alebo šesť, od ktoréhokoľvek dodávateľa, ktorý sa vám páči - a jeden viac rozhodcov. Rozhodca je časť, na ktorej záleží: rozhoduje, kedy je cieľ skutočne dosiahnutý, a je navrhnutý tak, aby povedal "ešte nie" oveľa častejšie ako hovorí "hotovo".
Prečo rozhodca
Spýtajte sa jedného modelu na ťažkú otázku a dostanete plynulú odpoveď, či je správna alebo nie. Spýtajte sa viacerých a často sa zhodnú, čo sa zdá ako potvrdenie, ale nie je to tak – modely zdieľajú tréningové dáta a zdieľajú slepé miesta. Preto si môžete vybrať sedadlo: panel vybraný z rôznych dodávateľov zlyháva v rôznych smeroch a nesúhlas medzi nimi je signál, ktorý stojí za to mať. Režim zlyhania nie je, že odpoveď je nesprávna; je to, že nič v procese nikdy nechytilo, že je nesprávna.
Takže súboj nie je hodnotený kvalitou argumentu. Cieľ je rozdelený na kritériá akceptácie a kritérium je vyriešené len vtedy, keď je za ním niečo, čo môže tretia strana znovu skontrolovať: zdroj s citovanou relevantnou pasážou, alebo kód, ktorý bol skutočne vykonaný a jeho skutočný výstup. Rozhodca znovu skontroluje tieto dôkazy sám pred rozhodnutím.
Nastavila si latku
Požiadajte o dôkaz, ktorý by prežil skúšku Clayovej ceny a čestný výsledok je zvyčajne presný výpočet toho, kde panel nedosiahol svoj cieľ – čo je užitočnejšie ako presvedčivé tvrdenie, ktoré by ste si museli overiť sami. „Všetko, čo sa dá dokázať, je pravda,“ hovorí profesor, „ale nie je to pravda, že sa to nedá dokázať.“
Zaseknutie je súčasťou toho
Keď sa sedadlo zachytí za stenu, zastaví sa a odovzdá jednu konkrétnu otázku tomu sedadlu, ktoré je najlepšie umiestnené na zodpovedanie otázky, spolu s tým, čo už skúsilo. Odošle otázku, nie prepis. Modely sa v prípade zablokovania zbláznia - opakujú sa za plnú cenu - a to ju premení na cielené otázky, ktoré sa zvyčajne odblokujú za zlomok žetónov.
Dlhá práca prežije
Všetko, čo panel vytvorí, sa zapíše do zdieľanej knihy, takže výsledky sa zapíšu raz a nikdy sa neodvodia znova. Smrťožrúty sa zaznamenávajú, takže sa do nich nikto nevráti. Zápasy sa spúšťajú na strane servera a pozastavujú sa čisto – na rozpočet, na výpadok poskytovateľa alebo preto, že ste zatvorili kartu – a pokračujú presne tam, kde skončili.