LLM-as-judge: pierwsza odpowiedź wygrywa kolejnością, nie treścią

W notatce o konsensusie agentów rzuciłem hasło: zamiast koła wzajemnej adoracji potrzebujesz panelu adwersaryjnego. Dziś domykam tę obietnicę i pokazuję, jak taki panel zbudować, żeby nie oszukiwał sam siebie. Bo Twój sędzia LLM ma wadę, o której nikt nie mówi na slajdach. Ocenia kolejność, nie treść. A to wywraca wszystko, co myślisz o swoich metrykach.

Eksperyment: ta sama treść, inny zwycięzca

Zrobiłem najprostszy test, jaki przyszedł mi do głowy. Daję modelowi dwie odpowiedzi do porównania, pierwszą i drugą, i pytam wprost, która lepsza. Zapisuję werdykt. Potem robię jedną rzecz. Zamieniam je miejscami. Ta sama treść, te same słowa, ten sam prompt oceniający, tylko kolejność odwrócona. Logika podpowiada, że werdykt powinien być identyczny. Przecież nic merytorycznego się nie zmieniło.

I nagle wygrywa co innego.

Policzyłem to na większej próbce, żeby nie było mowy o przypadku. Odpowiedź pokazana jako pierwsza dostaje średnio 10–15 punktów na 100 więcej. Bez względu na to, co w niej napisano. Nie treść decyduje o wyniku, tylko slot, w którym kandydat wylądował.

I tu jest pułapka. Większość pipeline'ów ewaluacyjnych puszcza sędziego raz, w stałej kolejności. Wpisujesz kandydatów w tej samej sekwencji, w jakiej spłynęli, odczytujesz wynik i idziesz dalej. Nikt nie sprawdza, czy ranking przeżyłby zwykłą zamianę miejscami. A nie przeżywa.

„To jak juror w konkursie kulinarnym, który zawsze chwali pierwsze danie. Bo przy piątej degustacji już nie czuje smaku i ocenia z rozpędu.”

To się nazywa position bias

Ten efekt ma swoją nazwę: position bias. Model w roli sędziego (LLM-as-judge) systematycznie faworyzuje pozycję, a nie zawartość. Im dłuższy kontekst i im więcej kandydatów, tym gorzej. Uwaga modelu rozjeżdża się po drodze, a pierwszy wpis zostaje w pamięci najmocniej i nadaje ton całej ocenie.

Position bias rzadko chodzi sam. Ma dwóch kuzynów, którzy psują ocenę równie po cichu:

• Verbosity bias. Model woli odpowiedzi dłuższe, nawet kiedy leją wodę. Więcej tekstu czyta jako więcej wartości, choć to często tylko objętość.
• Self-preference. Model woli swój własny styl pisania. Odpowiedź, która brzmi tak, jak on sam by ją napisał, dostaje fory na starcie.

Każdy z tych trzech błędów z osobna jest niewielki. Razem potrafią całkowicie odwrócić ranking. A Ty patrzysz na liczby w dashboardzie i jesteś przekonany, że mierzysz jakość. Mierzysz artefakt ustawienia. Najgorsze jest to, że ten artefakt jest stabilny. Powtarzasz ocenę i za każdym razem wychodzi ten sam, błędny zwycięzca, więc bierzesz go za pewnik.

Panel sędziów z rotacją pozycji

Rozwiązanie, które przetestowałem, nie jest wyrafinowane, za to skuteczne. Cała sztuka polega na tym, żeby odebrać sędziemu okazję do oszustwa, zanim w ogóle wyda werdykt. Trzy kroki:

Rotacja jest tu sercem całości. Dopiero gdy ta sama odpowiedź raz jest pierwsza, a raz druga, premia za slot się znosi i na stole zostaje czysta treść. Panel bez rotacji to wciąż koło wzajemnej adoracji, tylko z większą liczbą uczestników.

Tak, to podwaja liczbę przebiegów. Każdy kandydat idzie przez panel dwa razy, raz na pozycji A, raz na B, a wyniki uśredniasz dopiero potem. To jest cena prawdziwego pomiaru. Jeśli ocena ma cokolwiek znaczyć, nie stać Cię na to, żeby jej nie zapłacić.

219 wariantów, 2 zwycięzców

Niedawno przepuściłem przez taki panel 219 wariantów jednego rozwiązania. Na koniec zostały dwa, które naprawdę wygrały treścią. Cała reszta tylko udawała „lepsze”. Wygrywała miejscem w kolejce, a nie jakością odpowiedzi. Zatrzymaj się na chwilę przy tej proporcji. Z dwustu dziewiętnastu propozycji ponad dwieście wyglądało lepiej tylko dlatego, że dobrze stanęły w szeregu.

To nie był pech mojej próbki. Badania, które przywołuje Adaline w materiale z 2026, pokazują dokładnie to samo: position bias to reguła, nie wyjątek. Jeśli oceniasz agentów bez rotacji, domyślnie mierzysz kolejność. To jeden z tych detali inżynierii agentowej, które po cichu decydują, czy Twój system mierzy jakość, czy własną iluzję.