Referee.chat nedir?
Referee.chat bir hedefi bir panelin önünden yürütür. İstediğiniz kadar AI modelini oturtursunuz - iki, ya da altı, istediğiniz satıcıdan - ve bir hakem daha. Hakem önemli olan kısımdır: hedefin gerçekten ne zaman tamamlandığına karar verir ve 'yapılmış' dediğinden çok daha sık 'henüz' demeye inşa edilmiştir.
Neden hakem?
Bir modelin zor bir sorusuna cevap ver ve doğru ya da yanlış olduğuna dair akıcı bir cevap alırsınız. Birkaç modelin sorusuna cevap ver ve genellikle birbirleriyle anlaşırlar, bu doğrulama gibi hissettiriyor ama değil — modellerin eğitim verilerini paylaşmaları ve kör noktaları paylaşmaları. Bu yüzden sandalyeler sizin seçmenize bırakılır: farklı satıcılardan çekilen bir panel farklı yönlerde başarısız olur ve aralarındaki anlaşmazlık değerli bir işarettir. Başarısızlık modu cevabın yanlış olması değildir; süreçteki hiçbir şeyin yanlış olduğunu yakalamayacak olmasıdır.
Yani bir eşleşme argüman kalitesi ile notlanmıyor. Amaç kabul kriterlerine bölünüyor ve bir kriter ancak arkasında üçüncü bir tarafın tekrar kontrol edebileceği bir şey olduğunda çözülüyor: ilgili bölümle alıntıyla bir kaynak, ya da gerçekten çalıştırılmış kod ve gerçek çıkışı. Hakem karar vermeden önce kanıtları tekrar kontrol ediyor. Güven hiçbir şey için sayılmaz.
Sen çizgiyi koydun
Standart sizin seçmenize bağlı ve hakem bunu kelimenin tam anlamıyla kabul eder. Karar dereceli bir cevap isteyin ve bir tane alırsınız. Clay Ödülü incelemesinin altından kalkan bir kanıt isteyin ve dürüst sonuç genellikle panelin nerede başarısız olduğunun kesin bir açıklamasıdır - ki bu da her neyse kendi kendinizi kontrol etmeniz gereken güvenilir bir iddiadan daha yararlı.
Çıkmak da bunun bir parçası.
Bir koltuk duvara çarptığında durur ve cevap vermek için en iyi durumda olan koltuğa bir soru verir, daha önce ne denediyse. Soru gönderir, yazışma değil. Modeller sıkıştığında patlarlar - kendilerini tam maliyetle tekrarlayarak - ve bu bunu hedefli bir soruya dönüştürür ki genellikle bloku kaldırır, tokenlerin bir kısmı için.
Uzun çalışmalar hayatta kalır
Panelin belirlediği her şey paylaşılan bir defter içinde yer alır, sonuçlar bir kez yazılmakta ve asla tekrar çıkarılmamaktadır, çıkmaz noktalar kaydedilmektedir, böylece kimse geri dönemez. Maçlar sunucu tarafında yürütülür ve temiz bir şekilde durdurulur - bütçe, sağlayıcı arızası veya sekmeyi kapattığınız için - ve tam olarak durdukları yerden devam eder.