Referee.chat چيه؟
Referee.chat یک هدف را از یک پنل اجرا میکند. شما هر چه مدلهای هوش مصنوعی میخواهید را مینشینانید - دو تا یا شش تا از هر فروشندهای که دوست دارید - و یک داور بیشتر. داور بخش مهمی است: تصمیم میگیرد که هدف واقعاً به انجام رسیده است، و ساخته شده تا بگوید هنوز نه، بسیار بیشتر از اینکه بگوید انجام شده است.
چرا داور؟
از یک مدل یک سوال سخت بپرسید و شما یک پاسخ روان می گیرید که درست است یا نه. از چند مدل بپرسید و آنها اغلب با هم موافق هستند، که احساس تایید می کند و نیست — مدل ها داده های آموزشی را به اشتراک می گذارند و نقاط کور را به اشتراک می گذارند. به همین دلیل صندلی ها برای انتخاب شما هستند: یک گروه از فروشندگان مختلف در جهت های مختلف شکست می خورند، و اختلاف نظر بین آنها یک سیگنال ارزشمند است. حالت شکست این نیست که پاسخ اشتباه است؛ این است که هیچ چیز در فرایند هرگز نمی تواند آن را اشتباه تشخیص دهد.
بنابراین یک تطابق بر اساس کیفیت استدلال امتیاز داده نمیشود. هدف به معیارهای پذیرش تجزیه میشود، و یک معیار تنها زمانی حل میشود که چیزی پشت آن باشد که یک شخص سوم میتواند دوباره چک کند: یک منبع با نقل قول مربوطه، یا کد که در واقع اجرا شده و خروجی واقعی آن. داور قبل از قضاوت خود آن شواهد را دوباره چک میکند. اعتماد برای هیچ چیز حساب نمیشود.
تو خط رو گذاشتي
استاندارد انتخاب شماست و داور به معنای واقعی کلمه آن را نگه می دارد. از یک پاسخ درجه تصمیم بخواهید و آن را دریافت می کنید. از یک مدرک بخواهید که از بررسی جایزه کلی زنده بماند و نتیجه صادقانه معمولاً یک شرح دقیق از آن است که کجا هیئت داوران کوتاهی کرده است - که مفیدتر از ادعای مطمئن است که شما به هر حال باید خودتان را بررسی کنید.
گیر افتادن بخشی ازش هست
وقتی یک صندلی به دیوار برخورد میکند، متوقف میشود و یک سوال خاص را به هر صندلی که بهترین موقعیت را برای پاسخ دادن به آن دارد، همراه با آنچه که قبلاً تلاش کرده است، میدهد. این سؤال را ارسال میکند، نه رونوشت. مدلها وقتی گیر میکنند، به سرعت خود را با تمام هزینه دوباره بیان میکنند و این آن را به یک سوال هدفمند تبدیل میکند که معمولاً با کسری از نشانهها مسدود میشود.
کارهاي طولاني زنده ميمونه
هر چیزی که پنل ایجاد میکند به یک دفترچه مشترک میرود، بنابراین نتایج یک بار نوشته میشوند و هرگز دوباره بدست نمیآیند، و بنبستها ثبت میشوند تا کسی به آنها برنگردد. تطابقها در سرور اجرا میشوند و به صورت تمیز متوقف میشوند - بر اساس بودجه، بر اساس قطعی یک ارائهدهنده، یا به دلیل اینکه تب را بستید - و دقیقاً از جایی که متوقف شدند ادامه مییابند.