Referee.chat چيه؟
Referee.chat runs a goal past a panel. You seat as many AI models as you want — two, or six, from whichever vendors you like — and one more referees. The referee is the part that matters: it decides when the goal is genuinely accomplished, and it is built to say 'not yet' far more often than it says 'done'.
چرا داور؟
از یک مدل یک سوال سخت بپرسید و شما یک پاسخ روان می گیرید که درست است یا نه. از چند مدل بپرسید و آنها اغلب با هم موافق هستند، که احساس تایید می کند و نیست — مدل ها داده های آموزشی را به اشتراک می گذارند و نقاط کور را به اشتراک می گذارند. به همین دلیل صندلی ها برای انتخاب شما هستند: یک گروه از فروشندگان مختلف در جهت های مختلف شکست می خورند، و اختلاف نظر بین آنها یک سیگنال ارزشمند است. حالت شکست این نیست که پاسخ اشتباه است؛ این است که هیچ چیز در فرایند هرگز نمی تواند آن را اشتباه تشخیص دهد.
بنابراین یک تطابق بر اساس کیفیت استدلال امتیاز داده نمیشود. هدف به معیارهای پذیرش تجزیه میشود، و یک معیار تنها زمانی حل میشود که چیزی پشت آن باشد که یک شخص سوم میتواند دوباره چک کند: یک منبع با نقل قول مربوطه، یا کد که در واقع اجرا شده و خروجی واقعی آن. داور قبل از قضاوت خود آن شواهد را دوباره چک میکند. اعتماد برای هیچ چیز حساب نمیشود.
تو خط رو گذاشتي
استاندارد انتخاب شماست و داور به معنای واقعی کلمه آن را نگه می دارد. از یک پاسخ درجه تصمیم بخواهید و آن را دریافت می کنید. از یک مدرک بخواهید که از بررسی جایزه کلی زنده بماند و نتیجه صادقانه معمولاً یک شرح دقیق از آن است که کجا هیئت داوران کوتاهی کرده است - که مفیدتر از ادعای مطمئن است که شما به هر حال باید خودتان را بررسی کنید.
گیر افتادن بخشی ازش هست
وقتی یک صندلی به دیوار برخورد میکند، متوقف میشود و یک سوال خاص را به هر صندلی که بهترین موقعیت را برای پاسخ دادن به آن دارد، همراه با آنچه که قبلاً تلاش کرده است، میدهد. این سؤال را ارسال میکند، نه رونوشت. مدلها وقتی گیر میکنند، به سرعت خود را با تمام هزینه دوباره بیان میکنند و این آن را به یک سوال هدفمند تبدیل میکند که معمولاً با کسری از نشانهها مسدود میشود.
کارهاي طولاني زنده ميمونه
هر چیزی که پنل ایجاد میکند به یک دفترچه مشترک میرود، بنابراین نتایج یک بار نوشته میشوند و هرگز دوباره بدست نمیآیند، و بنبستها ثبت میشوند تا کسی به آنها برنگردد. تطابقها در سرور اجرا میشوند و به صورت تمیز متوقف میشوند - بر اساس بودجه، بر اساس قطعی یک ارائهدهنده، یا به دلیل اینکه تب را بستید - و دقیقاً از جایی که متوقف شدند ادامه مییابند.