Referee.chat nə deməkdir
Referee.chat bir məqsəd panelin üzərindən keçir. İstəydiyiniz qədər AI modelini yerləşdirə bilərsiniz - istədiyiniz satıcıdan iki, ya da altı - və bir daha hakim. Hakim əhəmiyyətli hissədir: məqsədin həqiqətən yerinə yetirildiyi zaman qərar verir və 'hələ' demək üçün 'hazır' deməkdən daha tez-tez 'hələ' deməyə qurulub.
Niyə hakim
Bir modelə çətin bir sual ver və doğru olub-olmadığına dair aydın cavab al. Bir neçə modelə sual ver və onlar tez-tez bir-biri ilə razılaşacaqlar, bu da təsdiq kimi görünsə də, belə deyil - modellər təlim məlumatlarını və kor nöqtələri paylaşır. Bu səbəbdən də yerlər sizin seçiminizdir: müxtəlif satıcılardan çəkilmiş panellər fərqli istiqamətlərdə səhv edir və onların arasındakı anlaşmazlıq əla bir işarədir. Məğlubiyyət modu cavabın səhv olması deyil; prosesdə heç bir şeyin səhv olduğunu görə bilməməsidir.
Bu səbəbdən uyğunluq arqument keyfiyyəti ilə qiymətləndirilmir. Məqsəd qəbul şərtlərinə bölünür və şərt yalnız üçüncü tərəfin yenidən yoxladığı bir şey olduğu zaman həll edilir: uyğun keçidlə mənbə, ya da həqiqətən yerinə yetirilmiş kod və onun həqiqətən çıxıntısı. Hakim qərar verməzdən əvvəl öz sübutlarını yenidən yoxlayır. Təhlükəsizlik heç bir şey hesab edilmir.
Sən sənsən
Standart sizin seçdiyinizdir və hakim onu sözdə saxlayır. Qərar dərəcəli cavab istəyin və siz onu alacaqsınız. Clay Prize araşdırmasında davam edəcək bir sübut istəyin və doğru nəticə adətən panelin nə qədər az olduğunun dəqiq hesabatıdır - bu da özünüz yoxlamaq lazım olan etibarlı iddiadan daha faydalıdır.
Bu da bir hissəsidir
Bir oturacaq divara toxunduğu zaman dayanır və cavab verməyə ən yaxşı yerləşdirilmiş oturacağa bir sual verir. Bu sual, transkript deyil. Modellər tıkandıqda thraşa düşürlər - özlərini tam qiymətə yenidən verirlər - və bu, onları məqsədli suallara çevirir ki, bu da tez-tez bloku açır, tokenlərin bir hissəsi üçün.
Uzun iş davam edir
Panelin qurduğu hər şey paylaşılan bir kitabçaya gedir, nəticələr bir dəfə yazılacaq və heç vaxt yenidən alınmayacaq, və heç kim geri qayıtmayacaq kimi ölümcül sonlar qeyd ediləcək. Əlavələr server tərəfində işləyir və təmiz dayanır - büdcə, provayderin bağlanması, ya da səkinə bağladığınız üçün - və dayandıqları yerdə davam edir.