ما هو Referee.chat
Referee.chat يسير هدفا عبر فريق. يمكنك أن تجلس كل نماذج الذكاء الاصطناعي التي تريد - اثنين أو ستة، من أي مورد تريده - وحكم واحد إضافي. الحكم هو الجزء المهم: إنه يقرر متى يتم تحقيق الهدف حقا، وهو مصمم ليقول "ليس بعد" أكثر من يقول "تم".
لماذا حكم
يسأل أحد النماذج سؤالاً صعباً وتحصل على إجابة بسيطة سواء كان صحيحاً أم لا. اسأل عدة نماذج وغالباً ما يتفقون مع بعضهم البعض، وهذا يبدو وكأنه تأكيد ولكنه ليس كذلك — النماذج تتشارك في بيانات التدريب وتشارك في النقاط العمياء. لهذا السبب المقاعد هي لك لاختيارها: فريق من البائعين مختلفين يفشل في اتجاهات مختلفة، والخلاف بينهم هو إشارة تستحق أن تكون. طريقة الفشل ليست أن الإجابة خاطئة؛ إنها أن لا شيء في العملية كان سيصطدم بها عندما تكون خاطئة.
لذا فإن التوافق لا يحدد على أساس جودة الحجج. فالهدف يتجزأ إلى معايير القبول، ولا يتم تسوية المعيار إلا عندما يكون هناك شيء وراءه يمكن لطرف ثالث أن يعيد التحقق منه: مصدر مع اقتباس المقطع ذي الصلة، أو شفرة تم تنفيذها فعليا ونتائجها الحقيقية. ويعيد المحكم التحقق من الأدلة ذاتها قبل الحكم. والثقة لا تعني شيئا.
أنت وضعت المعيار
إن المعيار الذي تختاره هو معيارك، ويحمله المحكم حرفياً. فإذا طلبت إجابة تجعلك تقرر ما إذا كنت تريد أن تقبلها أو لا ترغب في قبولها، فسوف تحصل على إجابة. وإذا طلبت دليلاً يظل صالحاً حتى بعد فحص جائزة كلاي، فإن النتيجة الصادقة عادة ما تكون وصفاً دقيقاً لأين قصرت هيئة التحكيم ـ وهو ما يشكل فائدة أكبر من ادعاء ثقة سوف تضطر إلى التحقق منه بنفسك على أية حال.
العرقلة جزء من ذلك
عندما يضرب مقعد الحائط، يتوقف ويسلم سؤالاً محدداً إلى أي مقعد يكون في أفضل وضع للإجابة عليه، إلى جانب ما حاول فعلاً. فهو يرسل السؤال، وليس النص. وتقوم النماذج بالهروب عندما تقع في مأزق - إعادة ذكر نفسها بتكلفة كاملة - وهذا يحول ذلك إلى سؤال مستهدف يفتح عادة، مقابل جزء من الرموز.
العمل الطويل يبقى
إن كل ما تحدده اللجنة يذهب إلى دفتر أستاذ مشترك، لذا فإن النتائج تُكتب مرة واحدة ولا يعاد استخلاصها أبدا، ويتم تسجيل المآزق بحيث لا يعود أحد إلى اللعب فيها. وتجري المباريات على جانب الخادم وتوقف بشكل نظيف ــ بسبب الميزانية، أو بسبب انقطاع مقدم الخدمة، أو لأنك أغلقت العلامة ــ ثم تستأنف من حيث توقفت بالضبط.