Ano ang Referee.chat ay
Ang Referee.chat ay nagpapatakbo ng isang layunin sa isang panel. Ikaw ay mag-upo bilang maraming AI modelo bilang nais mo - dalawang, o anim, mula sa alinmang vendor na gusto mo - at isa pang referees. Ang referee ay ang bahagi na mahalaga: ito ay nagpasya kapag ang layunin ay tunay na natupad, at ito ay binuo upang sabihin 'hindi pa' malayo mas madalas kaysa sa sinasabi nito 'tapos na'.
Bakit isang referee
Tanong ng isang modelo ng isang mahirap na tanong at makakuha ka ng isang magaling na sagot kung o hindi ito ay tama. Tanong ng ilang at sila ay madalas sumang-ayon sa bawat isa, na nararamdaman tulad ng pagkumpirma at hindi — modelo ibahagi ang data ng pagsasanay at ibahagi ang mga bulag na spot. Na kung bakit ang mga upuan ay iyong piliin: isang panel na inilabas mula sa iba't ibang vendor ay nabigo sa iba't ibang direksyon, at hindi pagkakasundo sa pagitan ng mga ito ay isang signal na nagkakahalaga ng pagkakaroon. Ang mode ng pagkabigo ay hindi na ang sagot ay mali; ito ay na walang anoman sa proseso ay kailanman pagpunta sa makuha ito ay mali.
Ang layunin ay nasira sa mga pamantayan ng pagtanggap, at isang pamantayan ay lamang settled kapag may isang bagay sa likod nito isang ikatlong partido ay maaaring muling-check: isang pinagmulan na may kaugnay na pasahe quoted, o code na talagang pinatalsik at ang tunay na output nito. Ang referee muling-check na ang ebidensiya mismo bago ang paghatol. Pagkakataon counts para sa walang.
Ikaw ay magtakda ng bar
Ang pamantayan ay iyong pumili, at ang referee hawak ito literal. hilingin para sa isang desisyon-grade sagot at makakuha ka ng isa. hilingin para sa isang patunay na ay survive Clay Prize pagsusuri at ang tapat na resulta ay karaniwang isang tiyak na account ng kung saan ang panel ay nahulog maikling - na kung saan ay mas kapaki-pakinabang kaysa sa isang kumpiyansa claim na kailangan mong suriin ang iyong sarili kahit papaano.
Pagkuha naka-stuck ay bahagi ng ito
Kapag isang upuan hits isang pader ito tumitigil at kamay ng isang tiyak na tanong sa alinmang upuan ay pinakamahusay na inilagay upang sagutin ito, kasama ang kung ano ito ay sinubukan. Ito ay nagpapadala ng tanong, hindi ang transcript. Models thrash kapag naka-stuck — restating kanilang sarili sa buong gastos — at ito ay convert na sa isang target na tanong na karaniwang unblocks, para sa isang bahagi ng mga token.
Mahabang trabaho survives
Lahat ng bagay na itinatag ng panel napupunta sa isang ibinahaging ledger, kaya ang mga resulta ay nakasulat ng isang beses at hindi kailanman muling nagmula, at dead ends ay naitala kaya walang tao walks pabalik sa kanila. Matches tumakbo server-side at pause malinis - sa badyet, sa isang provider outage, o dahil sarado mo ang tab - at muling simulan ang eksaktong kung saan sila tumigil.