Referee.chatは何だ？
Referee.chatはパネルを通ってゴールを走らせます。 AIモデルを好きなだけ設置できます。 2つか6つ、好きなベンダーから、そして1人の審判員を追加します。審判員は重要な部分です。ゴールが本当に達成されたときを決め、「まだ」と言うよりも「完了」と言うことが多いように作られています。
なぜ審判員なのか
モデルは訓練データを共有し、盲点を共有します。 それがシートを選ぶ理由です。 異なるベンダーから抽出されたパネルは異なる方向で失敗し、彼らの間の不一致は持つ価値のある信号です。 失敗モードは、答えが間違っているということではなく、プロセス中に何も間違いを捕らえることはなかったということです。
つまり、マッチは論証の質で評価されません。目標は受容基準に分解され、基準は第三者が再チェックできるものがある場合にのみ決定されます。例えば、関連する引用文を含むソース、実際に実行されたコードとその実際の出力です。審査員は裁定する前に証拠を自分で再チェックします。信頼性は無視されます。
君がバランスを取った
判断基準はあなたが選ぶもので、審査員は文字通りそれを持っている。決定的な答えを求めると、あなたはそれを得る。クレイ賞審査を生き延びる証明を求めると、正直な結果は、通常、パネルがどこで欠陥を見つけたかを正確に説明するものである。それは、あなたが自分でチェックしなければならない自信的な主張よりも、より有用である。
つまずくのも それの一部だ
シートが壁にぶつかったとき、シートは止まり、それに答えるのに最適なシートに、既に試みたことと一緒に、特定の質問を渡します。質問を送りますが、トランスクリプトは送りません。モデルは、 止まったときにトラッシュします。自分自身を全額で再送信します。これは、通常、トークンの一部でブロックを解除するターゲット質問に変換します。
長い仕事は生き残る
これは、パネルが設定したすべての情報が共有された大帳簿に記録されるため、結果は一度書き込まれ、再導出されることはなく、死角は記録され、誰も戻ってこない。マッチはサーバ側で実行され、予算、プロバイダの停止、タブを閉じたために一時停止され、停止した場所で再開されます。