Referee.chat гадоў таму.
Referee.chat праходзіць мэту праз панель. Вы можаце ўсталяваць столькі мадэляў машыннага навучання, колькі хочаце - два, або шэсць, ад таго вытворцы, які вам падабаецца - і яшчэ аднаго суддзі. Суддзя - гэта частка, якая мае значэнне: ён вырашае, калі мэта сапраўды дасягнута, і ён пабудаваны так, каб казаць "няма" значна часцей, чым "зроблена".
Чаму суддзя
Задаць аднаму мадэлі цяжкае пытанне і вы атрымаеце лёгкі адказ, ці гэта правільна. Задаць некалькім мадэлям і яны часта згодныя адзін з адным, што выглядае як пацверджанне, а не - мадэлі падзяляюць трэніровачныя дадзеныя і падзяляюць сляпыя кропкі. Таму месцы выбіраюцца вамі: панель, створаная рознымі вытворцамі, не працуе ў розных кірунках, і непаразуменне паміж імі з' яўляецца сігналам, які варта мець. Рэжым непрацоўнасці не ў тым, што адказ няправільны; гэта ў тым, што нічога ў працэсе не было ніколі заўважана, як гэта няправільна.
Так што суадносіны не ацэньваецца па якасці аргументаў. Мэта разбураецца ў крытэрах прыняцця, і крытэр разглядаецца толькі калі ёсць нешта за ім, што трэцяя асоба можа пераправерыць: крыніца з адпаведным цытаваным пасланнем, або код, які быў рэальна выкананы і яго рэальны вывад. Арбітр пераправервае доказы сам перад рашэннем. Давер не лічыцца.
Вы ўсталявалі стандарт
Стандарт выбіраецца вамі, і суддзя трымае яго літаральна. Запытаеце адказ, які дазваляе прыняць рашэнне, і вы атрымаеце яго. Запытаеце доказ, які перажыве праверку Clay Prize, і справядлівы вынік звычайна будзе дакладным апісаннем таго, дзе панэль не дасягнула мэты - што больш карысна, чым упэўненыя заявы, якія вы павінны праверыць самастойна.
Застрэлы - частка гэтага
Калі месца ўдараецца ў сценку, яно спыняецца і перадае адно пытанне таму месцу, якое найлепш адкажа на яго, разам з тым, што ўжо паспрабавала. Яно адпраўляе пытанне, а не транскрыпцыю. Мадэлі затрымліваюцца, калі затрымліваюцца - перапісваючы сябе на ўсю кошт - і гэта пераўтварае гэта ў мэтанакіраванае пытанне, якое звычайна адбягае, за дробную частку знакаў.
Доўгая праца перажывае
Усё, што ўсталёўвае панель, трапляе ў агульнадаступны журнал, таму вынікі запісваюцца адзін раз і ніколі не выводзяцца зноў, а застоі запісваюцца, каб ніхто не вяртаўся да іх. Суадносіны выконваюцца на серверы і прыпыняюцца чыста - на бюджэт, на перабоі з прадаўцом або таму, што вы закрылі картку - і працягваюцца ў той жа момант, калі яны спыніліся.