Apa Referee.chat itu?
Referee.chat menjalankan matlamat melepasi panel. Anda duduk seperti banyak model AI seperti yang anda mahukan - dua, atau enam, dari mana-mana pembekal yang anda suka - dan satu lagi hakim. Hakim adalah bahagian yang penting: ia memutuskan bila matlamat benar-benar dicapai, dan ia dibina untuk mengatakan 'belum' lebih kerap daripada ia mengatakan 'dilakukan'.
Kenapa seorang hakim?
Tanya satu model soalan sukar dan anda akan mendapat jawapan yang lancar sama ada ia betul atau tidak. Tanya beberapa model dan mereka sering bersetuju antara satu sama lain, yang terasa seperti pengesahan dan tidak — model berkongsi data latihan dan berkongsi titik buta. Itulah sebabnya kerusi adalah anda untuk pilih: panel yang ditarik dari vendor yang berbeza gagal dalam arah yang berbeza, dan ketidaksepakatan antara mereka adalah isyarat yang bernilai. Mod kegagalan bukanlah jawapan yang salah; ia adalah tiada apa dalam proses yang pernah akan menangkap ia sebagai salah.
Jadi, perbandingan tidak dinilai berdasarkan kualiti argumen. Matlamat dipecahkan kepada kriteria penerimaan, dan kriteria hanya diputuskan apabila ada sesuatu di belakangnya yang pihak ketiga boleh periksa semula: sumber dengan bahagian yang berkaitan dikutip, atau kod yang sebenarnya dilaksanakan dan outputnya yang sebenar. Penilai memeriksa semula bukti itu sendiri sebelum memutuskan. Kepercayaan tidak dikira.
Kau yang menentukan.
Piawaian adalah pilihan anda, dan hakim memegangnya secara literal. Minta jawapan keputusan- gred dan anda akan mendapat satu. Minta bukti yang akan bertahan penyelidikan Clay Prize dan hasil jujur biasanya adalah laporan tepat di mana panel jatuh pendek - yang lebih berguna daripada tuntutan yakin anda akan perlu memeriksa diri anda sendiri.
Terperangkap adalah sebahagian daripadanya
Apabila sebuah kerusi bertembung dengan dinding ia berhenti dan menyerahkan satu soalan spesifik kepada mana-mana kerusi yang paling sesuai untuk menjawabnya, bersama dengan apa yang telah dicuba. Ia menghantar soalan, bukan transkripsi. Model terperangkap apabila terperangkap - menjawab semula diri mereka dengan kos penuh - dan ini mengubahnya menjadi soalan sasaran yang biasanya membuka, untuk sebahagian token.
Kerja yang panjang bertahan
Semua panel yang ditubuhkan masuk ke dalam buku besar berkongsi, jadi hasil ditulis sekali dan tidak pernah diperoleh semula, dan jalan buntu direkodkan supaya tiada siapa yang kembali ke dalam mereka. Pertandingan berjalan di sisi pelayan dan jeda dengan bersih - pada bajet, pada pelayan terputus, atau kerana anda menutup tab - dan teruskan tepat di mana mereka berhenti.