X'inhu Referee.chat
Referee.chat iġib għan quddiem panel. Inti tpoġġi kemm mudelli AI trid — tnejn, jew sitt, minn kull bejjiegħ li tixtieq — u wieħed aktar referees. Ir-referees huwa l-parti li jimpurta: huwa jiddeċiedi meta l-għan huwa ġenwinament twettaq, u huwa mibnija biex jgħidu'mhux għadu' ħafna aktar spiss milli jgħidu 'lest'.
Għaliex referee
Staqsi mudell wieħed mistoqsija iebsa u inti tikseb tweġiba fluent jekk jew le huwa dritt. Staqsi diversi u huma spiss jaqblu ma'xulxin, li jħoss bħall-korroboration u mhux — mudelli jaqsmu data taħriġ u jaqsmu blind spots. Dan huwa għaliex is-siġġijiet huma tiegħek biex jagħżlu: panel miġbuda minn bejjiegħa differenti jonqos f'direzzjonijiet differenti, u nuqqas ta' qbil bejniethom huwa sinjal li jiswew li jkollhom. Il-mod falliment mhuwiex li t-tweġiba hija żbaljata; huwa li xejn fil-proċess kien qatt sejra li jaqbdu li tkun żbaljata.
Għalhekk, ma jkunx hemm riżultat pożittiv fuq il-kwalità tal-argument. L-għan jiġi maqsum f’kriterji ta’ aċċettazzjoni, u kriterju jiġi solvut biss meta jkun hemm xi ħaġa warajh li parti terza tista’ tiċċekkja mill-ġdid: sors bil-passaġġ rilevanti kkwotat, jew kodiċi li kien attwalment eżegwit u l-output reali tiegħu. Ir-referee jiċċekkja mill-ġdid dik l-evidenza nnifisha qabel ma jiddeċiedi.
Inti stabbilit bar
L-istandard huwa tiegħek li jagħżlu, u l-referee żżomm litteralment. Staqsi għal tweġiba grad deċiżjoni u inti tikseb wieħed. Staqsi għal prova li se jgħix Clay Prize skrutinju u l-eżitu onest huwa normalment kont preċiż ta fejn il-panel naqas — li hija aktar utli minn talba kunfidenti inti jkollok biex tiċċekkja lilek innifsek xorta waħda.
Getting mwaħħla hija parti minnha
Meta sedil jilħaq ħajt huwa tieqaf u hands mistoqsija speċifika waħda għal kull sedil li huwa l-aħjar mqiegħda biex twieġeb, flimkien ma dak li diġà ppruvaw. Hija tibgħat il-mistoqsija, mhux it-tranżkript. mudelli thrash meta mwaħħla — restating ruħhom bi spiża sħiħa — u dan jikkonverti li f'mistoqsija mmirata li normalment unblocks, għal frazzjoni tal-tokens.
Xogħol twil jgħix
Kollox il-panel tistabbilixxi tmur f'reġistru kondiviż, sabiex ir-riżultati huma miktuba darba u qatt mill-ġdid derivati, u dead ends huma rreġistrati sabiex ħadd jimxi lura fihom.Matches run server-ġenb u pawża nadif - fuq il-baġit, fuq waqfien fornitur, jew minħabba li inti magħluqa l-tab - u jerġgħu jibdew eżattament fejn waqfu.