Kio estas Referee.chat?
Referee.chat ludas celon antaŭ panelo. Vi sentas tiom da AI-modeloj kiel vi volas - du, aŭ ses, de iu ajn vendisto vi ŝatas - kaj unu plian arbitraciiston. La arbitraciisto estas la parto kiu gravas: ĝi decidas kiam la celo estas vere plenumita, kaj ĝi estas konstruita por diri 'ne ankoraŭ' multe pli ofte ol ĝi diras 'farita'.
Kial arbitraciisto?
Demandu al unu modelo malfacilan demandon kaj vi ricevas fluan respondon ĉu ĝi estas ĝusta aŭ ne. Demandu al pluraj kaj ili ofte konsentas unu kun la alia, kio ŝajnas kiel konfirmo kaj ne estas - modeloj kunhavas trejnadon kaj malkovron de blindaj punktoj. Tio estas kial la seĝoj estas viaj por elekti: panelo desegnita de malsamaj vendistoj malsukcesas en malsamaj direktoj, kaj malkonsentoj inter ili estas signalo valora havi. La malsukcesa modo ne estas ke la respondo estas malĝusta; estas ke nenio en la procezo iam kaptis ĝin malĝusta.
Do, kongruo ne estas taksita laŭ argumenta kvalito. La celo estas disigita en akcepto- kriteriojn, kaj kriterio estas solvita nur kiam estas io malantaŭ ĝi, kion tria partio povus rekontroli: fonto kun la koncerna citita paĝo, aŭ kodo kiu estis efektive plenumita kaj ĝia reala eligo. La juĝisto rekontrolas tiun pruvon mem antaŭ ol decidi. Confidence counts for nothing.
Vi starigis la baron
La normo estas via por elekti, kaj la juĝisto tenas ĝin laŭvorte. Petu por decid-grada respondo kaj vi ricevas unu. Petu por pruvo kiu supervivus Clay Prize ekzamenon kaj la honesta rezulto estas kutime preciza raporto de kie la panelo malsukcesis - kio estas pli utila ol konfida aserto kiun vi devus kontroli mem ĉiuokaze.
Ŝteliĝi estas parto de ĝi
Kiam seĝo trafas muron, ĝi haltas kaj transdonas specifan demandon al kiu ajn seĝo plej bone situanta por respondi ĝin, kune kun tio, kion ĝi jam provis. Ĝi sendas la demandon, ne la transskribon. Modeloj malsukcesas kiam ili estas blokitaj - rekomencante sin je plena kosto - kaj tio konvertas tion al celata demando kiu kutime malblokas, por frakcio de la signoj.
Longa laboro supervivas
Ĉio, kion la panelo kreas, iras al komuna librotenado, do rezultoj estas skribitaj unufoje kaj neniam re- derivitaj, kaj senfinaĵoj estas registritaj tiel ke neniu revenas al ili. Konkordoj ruliĝas servile kaj paŭzas klare - je buĝeto, ĉe provizanto- interrompo, aŭ ĉar vi fermis la folion - kaj daŭrigas precize kie ili ĉesis.