Wat is Referee.chat?
Referee.chat rent een doel voorbij een panel. Je plaatst zoveel AI modellen als je wilt.. twee, of zes, van welke leveranciers je wilt.. en een meer scheidsrechters. De scheidsrechter is het deel dat telt: het beslist wanneer het doel echt wordt bereikt, en het is gebouwd om te zeggen 'nog niet' veel vaker dan het zegt 'gedaan'.
Waarom een scheidsrechter
Stel een model een harde vraag en je krijgt een vloeiend antwoord of het wel of niet goed is. Vraag meerdere en ze zijn het vaak eens met elkaar, die voelt als bevestiging en is niet.. modellen delen trainingsgegevens en delen blinde vlekken. Dat is waarom de stoelen zijn van jou om te kiezen: een panel getrokken uit verschillende leveranciers mislukt in verschillende richtingen, en onenigheid tussen hen is een signaal de moeite waard. De storing modus is niet dat het antwoord verkeerd is; het is dat niets in het proces ooit ging vangen het verkeerd.
Een match wordt dus niet beoordeeld op argumentkwaliteit. Het doel is afgebroken in acceptatiecriteria, en een criterium wordt alleen geregeld als er iets achter zit dat een derde kan controleren: een bron met de relevante passage geciteerd, of code die daadwerkelijk werd uitgevoerd en de werkelijke output. De scheidsrechter controleert dat bewijs zelf voordat het uitspraak doet. Vertrouwen telt voor niets.
Je hebt de lat gelegd.
De standaard is aan jou om te kiezen, en de scheidsrechter houdt het letterlijk. Vraag om een beslissing-grade antwoord en je krijgt er een. Vraag om een bewijs dat zou overleven Clay Prize toetsing en de eerlijke uitkomst is meestal een nauwkeurige rekening van waar het panel kort viel.. wat nuttiger is dan een vertrouwensclaim zou je toch zou moeten controleren.
Vastzitten is een deel ervan.
Wanneer een stoel raakt een muur stopt en geeft een specifieke vraag op welke stoel het beste geplaatst is om het te beantwoorden, samen met wat het al geprobeerd. Het stuurt de vraag, niet de transcriptie. Modellen thrash wanneer vastgezet..rustend zichzelf tegen volledige kosten.. en dit zet dat om in een gerichte vraag die meestal deblokkert, voor een fractie van de tokens.
Lange arbeid overleeft
Alles wat het panel stelt gaat in een gedeeld grootboek, zodat de resultaten worden geschreven eenmaal en nooit opnieuw afgeleid, en dode eindjes worden opgenomen zodat niemand loopt terug in hen. Matches draaien server-side en pauzeer schoon.. op budget, op een provider uitval, of omdat u de tab gesloten.. en hervat precies waar ze gestopt.