Referee.chat là gì?
Referee.chat chạy một mục tiêu qua một bảng. Bạn đặt nhiều mô hình AI như bạn muốn — hai, hoặc sáu, từ bất kỳ nhà cung cấp nào bạn thích — và một trọng tài hơn. trọng tài là phần quan trọng: nó quyết định khi nào mục tiêu thực sự hoàn thành, và nó được xây dựng để nói 'chưa' nhiều hơn là nó nói 'đã hoàn thành'.
Sao lại là trọng tài?
Hãy hỏi một mô hình một câu hỏi khó và bạn sẽ có một câu trả lời dễ hiểu về việc nó đúng hay không. Hãy hỏi nhiều và họ thường đồng ý với nhau, cảm giác như sự xác nhận và không phải — các mô hình chia sẻ dữ liệu huấn luyện và điểm mù. Đó là lý do tại sao các ghế là của bạn để chọn: một bảng vẽ từ các nhà cung cấp khác nhau thất bại theo các hướng khác nhau, và sự bất đồng giữa chúng là một tín hiệu đáng có. Chế độ thất bại không phải là câu trả lời sai; nó là không có gì trong quá trình sẽ bắt được nó là sai.
Vì vậy, một sự tương thích không được đánh giá dựa trên chất lượng của đối thoại. Mục tiêu được phân chia thành các tiêu chuẩn chấp nhận, và một tiêu chuẩn chỉ được quyết định khi có một thứ gì đó đằng sau nó mà một bên thứ ba có thể kiểm tra lại: một nguồn với đoạn liên quan được trích dẫn, hoặc mã thực sự được thực hiện và kết quả thực sự của nó. Người phán quyết kiểm tra lại bằng chứng đó trước khi quyết định. Niềm tin không được tính đến.
Anh đã đặt ra tiêu chuẩn
Tiêu chuẩn là của bạn để chọn, và trọng tài giữ nó theo nghĩa đen. Hỏi về một câu trả lời quyết định và bạn sẽ có một. Hỏi về một chứng minh mà sẽ tồn tại trong cuộc kiểm tra của giải Clay và kết quả trung thực thường là một lời giải thích chính xác về nơi mà ban giám khảo đã thất bại — điều này hữu ích hơn một tuyên bố tự tin mà bạn sẽ phải tự kiểm tra.
Bị kẹt là một phần của nó.
Khi một ghế đụng vào tường nó dừng lại và đưa một câu hỏi cụ thể cho bất kỳ ghế nào có vị trí tốt nhất để trả lời nó, cùng với những gì nó đã thử. Nó gửi câu hỏi, không phải bản ghi chép. Các mô hình sẽ bị kẹt khi bị kẹt — tự trả lời lại với toàn bộ chi phí — và điều này chuyển đổi nó thành một câu hỏi mục tiêu thường được mở khóa, với một phần nhỏ của các token.
Long work survives
Mọi thứ mà bảng thiết lập đi vào một sổ ghi chép chia sẻ, vì vậy kết quả được viết một lần và không bao giờ được tái tạo, và các điểm chết được ghi lại vì vậy không ai đi lại vào chúng. Trình so sánh chạy bên máy chủ và tạm dừng sạch sẽ - trên ngân sách, trên một nhà cung cấp bị gián đoạn, hoặc vì bạn đóng tab - và tiếp tục chính xác nơi họ đã ngừng.