What Referee.chat is
Referee.chat მიზნის მიღწევას პანელის მეშვეობით ახდენს. თქვენ შეგიძლიათ დააყენოთ რამდენი AI მოდელიც გსურთ - ორი ან ექვსი, იმ მწარმოებლისგან, რომელიც გსურთ - და კიდევ ერთი მოსამართლე. მოსამართლე არის ის ნაწილი, რომელიც მნიშვნელოვანია: ის წყვეტს, თუ როდის არის მიზანი ნამდვილად მიღწეული და ის აგებულია იმისთვის, რომ თქვას "ჯერ არ არის" უფრო ხშირად, ვიდრე "დასრულებულია".
Why a referee
ერთ მოდელს რთული კითხვა დაუსვით და სწორი პასუხი მიიღებთ. რამდენიმეს დაუსვით და ისინი ხშირად თანხმდებიან ერთმანეთს, რაც სავარაუდოდ დადასტურებაა და არა - მოდელებს აქვთ მსგავსი სწავლების მონაცემები და მსგავსი ბნელი წერტილები. სწორედ ამიტომ ადგილები თქვენთვისაა: სხვადასხვა მწარმოებლისგან მოყვანილი პანელი სხვადასხვა მიმართულებით უშვებს შეცდომას და მათ შორის დაპირისპირება სიგნალია, რომელიც უნდა გაითვალისწინოთ. შეცდომის რეჟიმი არ არის პასუხის შეცდომა, არამედ ის, რომ პროცესში არაფერი არ იყო, რაც შეძლებდა მის შეცდომას დაეჭვებინა.
ასე რომ, შეთავსება არ ფასდება არგუმენტის ხარისხზე. მიზანი განისაზღვრება მიღების კრიტერიუმებით და კრიტერიუმი მხოლოდ მაშინ განისაზღვრება, როდესაც მის უკან რაღაც არის, რასაც მესამე მხარე შეიძლება გადაამოწმოს: წყარო, რომელშიც ციტირდება შესაბამისი მონაკვეთი, ან კოდი, რომელიც რეალურად განხორციელდა და მისი რეალური გამონატანი. სასამართლო გადაამოწმებს ამ მტკიცებულებას გადაწყვეტის წინ. დარწმუნება არ ითვლება.
You set the bar
The standard is yours to choose, and the referee holds it literally. Ask for a decision-grade answer and you get one. Ask for a proof that would survive Clay Prize scrutiny and the honest outcome is usually a precise account of where the panel fell short — which is more useful than a confident claim you would have to check yourself anyway.
Getting stuck is part of it
როდესაც ადგილი კედელს ეჯახება, ის ჩერდება და ერთ სპეციფიკურ კითხვას აძლევს იმ ადგილს, რომელიც ყველაზე მეტად მზადაა პასუხი გასცეს, იმასთან ერთად, რაც უკვე სცადა. ის გზავნის კითხვას, არა ტრანსკრიპტს. მოდელები ბლოკირებულია, როდესაც ბლოკირებულია - თავიანთი სრული ღირებულებით - და ეს ცვლის მას მიზანმიმართულ კითხვად, რომელიც ჩვეულებრივ ბლოკს ხსნის, ტოკენების ნაწილებისთვის.
Long work survives
ყველა ის, რაც პანელმა დაამყარა, გადის საჯარო წიგნაკში, ასე რომ შედეგები ერთხელაა დაწერილი და არასდროს აღარ არის აღდგენილი, და უსასრულო წერტილები აღირიცხება, ასე რომ არავინ არ უბრუნდება მათ. შეთავსებადობა სერვერის მხარეს მუშაობს და სუფთა პაუზით - ბიუჯეტზე, მიმწოდებელის შეწყვეტაზე ან თავსატეხის დახურვაზე - და იწყება ზუსტად იქიდან, სადაც შეწყდა.