What Referee.chat is
Referee.chat runs a goal past a panel. You seat as many AI models as you want — two, or six, from whichever vendors you like — and one more referees. The referee is the part that matters: it decides when the goal is genuinely accomplished, and it is built to say 'not yet' far more often than it says 'done'.
কেন একজন রেফারি
এক মডেলকে কঠিন প্রশ্ন জিজ্ঞেস করুন এবং আপনি একটি পরিষ্কার উত্তর পাবেন যে সেটি সঠিক কিনা। বেশ কয়েকজনকে জিজ্ঞেস করুন এবং তারা প্রায়ই একে অপরের সাথে একমত হবে, যা অনুমোদনের মত মনে হয় এবং তা নয় - মডেল প্রশিক্ষণ তথ্য এবং অন্ধ স্থানের অংশীদারিত্ব করে। এই কারণেই আসনগুলি আপনার বেছে নেওয়ার জন্য: বিভিন্ন বিক্রেতা থেকে একটি প্যানেল বিভিন্ন দিক থেকে ব্যর্থ হয়, এবং তাদের মধ্যে মতবিরোধ একটি মূল্যবান সংকেত। ব্যর্থতা মোড হল যে উত্তরটি ভুল নয়; এটি প্রক্রিয়াটিতে কোন কিছুই ভুল হতে পারে না।
তাই একটি ম্যাচ যুক্তিগত গুণগত মান দ্বারা স্কোর করা হয় না। লক্ষ্য গ্রহণযোগ্যতা মাপকাঠিতে বিভক্ত করা হয়, এবং একটি মাপকাঠি শুধুমাত্র তখনই নির্ধারিত হয় যখন এর পেছনে কিছু আছে যা তৃতীয় পক্ষ পুনরায় পরীক্ষা করতে পারে: একটি উৎস যেখানে সংশ্লিষ্ট অংশ উদ্ধৃত করা হয়েছে, অথবা কোড যা বাস্তবে চালানো হয়েছে এবং এর বাস্তব আউটপুট। রেফারি সিদ্ধান্ত নেওয়ার আগে প্রমাণ নিজেই পুনরায় পরীক্ষা করে। বিশ্বাস কোন কিছুর জন্য গুরুত্বপূর্ণ নয়।
তুমিই বাঁধ সাজাও
মান আপনার বেছে নেওয়া, আর রেফারি তা আক্ষরিক অর্থে ধরে রাখে। সিদ্ধান্ত গ্রহণের যোগ্য উত্তরের জন্য জিজ্ঞেস করুন এবং আপনি তা পাবেন। এমন প্রমাণের জন্য জিজ্ঞেস করুন যা ক্লেই পুরস্কার পরীক্ষায় টিকে থাকবে এবং সৎ ফলাফল সাধারণত পানির পাত্রের নীচে গিয়ে পড়েছে তার সঠিক ব্যাখ্যা হবে - যা এমন এক বিশ্বাসযোগ্য দাবির চেয়ে অনেক বেশি উপকারী যা আপনাকে নিজেকে পরীক্ষা করতে হবে।
আটকে যাওয়াও এরই অংশ
যখন কোন আসন দেয়ালে আঘাত করে তখন তা থামে এবং সেটি উত্তর দিতে সবচেয়ে ভালো অবস্থানে থাকা আসনের কাছে একটি নির্দিষ্ট প্রশ্ন পাঠায়, যা সে আগেই চেষ্টা করেছিল। এটি প্রশ্নটি পাঠায়, ট্রান্সক্রিপ্ট নয়। মডেলরা আটকে গেলে ঝাঁপিয়ে পড়ে - নিজেদেরকে সম্পূর্ণ খরচে পুনরায় বলতে থাকে - এবং এটিকে একটি লক্ষ্যযুক্ত প্রশ্নে রূপান্তর করে যা সাধারণত কিছু টোকেনের জন্য অপ্রত্যাশিতভাবে বন্ধ হয়ে যায়।
দীর্ঘ কাজ বেঁচে থাকে
প্যানেল প্রতিষ্ঠিত সবকিছু একটি শেয়ারড লেজারে যায়, ফলে ফলাফল একবার লেখা হয় এবং কখনো পুনরায় উদ্ভূত হয় না, আর মৃত সারির রেকর্ড করা হয় যাতে কেউ তাদের দিকে ফিরে না যায়। ম্যাচ সার্ভার-সাইড চালানো হয় এবং পরিষ্কারভাবে স্থগিত করা হয় - বাজেট, প্রদানকারীর অকার্যকরতার কারণে, অথবা আপনি ট্যাব বন্ধ করে দিয়েছেন - এবং ঠিক যেখানে তারা থামে সেখানেই আবার শুরু হয়।