Confidence score to nie poprawność — to tylko ton głosu

To szósta cicha awaria z mojego radaru inżynierii agentowej i zarazem ta, która najczęściej przechodzi przez code review bez jednego pytania. Wielu inżynierów popełnia ten sam błąd: bramkują decyzje agenta jego własnym wynikiem confidence. Model zwraca 0,95, więc puszczają akcję dalej. Zwraca 0,40, więc eskalują do człowieka. Wygląda to jak inżynieria. W praktyce to oddanie sterów komuś, kto nie ma pojęcia, czy się myli.

Confidence score to ton głosu, nie poprawność

Tu jest haczyk, który kosztuje najwięcej: pewność modelu to nie poprawność. To tylko ton głosu. Model, który wypluwa 0,95 pewności, brzmi jak najpewniejszy siebie facet w barze, ten, który właśnie próbuje Cię przekonać, że Ziemia jest płaska. Zero wahania, zero „chyba", zero zapasu na pomyłkę. I to jest dokładnie ten sam mechanizm, który widzisz w swoich logach. Wysoka liczba to nie sygnał, że model wie. To sygnał, że nie waha się powiedzieć.

Im bardziej płynna halucynacja, tym wyższa pewność w logach. Model nie mierzy, czy ma rację. Mierzy, jak gładko układają mu się kolejne tokeny. Spójne, gramatycznie nienaganne zdanie dostaje wysoki wynik niezależnie od tego, czy opisuje rzeczywistość, czy zmyśloną funkcję API, której nigdy nie było. Confidence nagradza styl, nie prawdę. A najpłynniej brzmią właśnie te odpowiedzi, które model wymyślił od zera, bo nic ich nie hamuje.

Calibration drift: dlaczego 0,95 przestało znaczyć 95 procent

To zjawisko ma nazwę: calibration drift. Świeży model bazowy bywa całkiem nieźle skalibrowany: jego 0,7 z grubsza odpowiada siedmiu trafieniom na dziesięć. Problem zaczyna się po fine-tuningu i RLHF. Te procesy uczą model brzmieć pomocnie, pewnie i ugodowo. Optymalizujesz go pod to, żeby człowiek kliknął „dobra odpowiedź", a nie pod to, żeby jego liczby zachowały sens statystyczny.

Efekt: wskaźnik pewności rozjeżdża się z rzeczywistością. Cyfra 0,95 nie oznacza już 95 procent szans na sukces. Oznacza tylko, że model jest w trybie pewnego siebie. Kalibracja modelu, którą dostajesz z pudełka, dotyczy zupełnie innego rozkładu danych niż Twój: innych pytań, innego kontekstu, innej dziedziny. Na Twoim ruchu te liczby już nie trzymają się rzeczywistości.

Działa to jak zepsuty wskaźnik paliwa w starym aucie, który zawsze pokazuje pełny bak. Nieważne, czy w zbiorniku chlupocze benzyna, czy tylko resztki powietrza, strzałka stoi na maksimum. Możesz patrzeć na nią cały dzień i czuć się bezpiecznie. Aż staniesz na środku autostrady.

Waliduj pewność z zewnątrz, nie od środka

Wniosek jest brutalnie prosty: przestań traktować confidence jako bramkę jakości. Liczba, którą model podaje sam o sobie, nie może być jedynym strażnikiem jego decyzji. To ta sama pułapka co przy samoocenie modelu. Jeśli sędzia i oskarżony to ta sama sieć, werdykt jest bez wartości. Pewność trzeba sprawdzić z zewnątrz, czymś, czego model nie kontroluje.

Ground truth daje Ci punkt odniesienia, który nie kłamie razem z modelem. Deterministyczne testy łapią to, co da się złapać kodem, zanim halucynacja w ogóle dotknie produkcji. A kalibracja na własnym, specyficznym zbiorze danych mówi Ci, ile naprawdę jest warte 0,95 w Twoim systemie, bo z dużym prawdopodobieństwem nie tyle, ile pisze w dokumentacji. Dopiero te trzy rzeczy razem zamieniają confidence z anegdoty w sygnał, na którym można coś oprzeć.

To nie znaczy, że confidence jest do wyrzucenia. Jest świetny do jednej rzeczy: uporządkowania kandydatów, których i tak ktoś albo coś potem zweryfikuje. Posortuj nim odpowiedzi, podbij do góry te warte sprawdzenia w pierwszej kolejności, użyj go do próbkowania trudnych przypadków. Ale w chwili, w której ta sama liczba sama z siebie decyduje, czy transakcja przechodzi, czy leci blokada, przestajesz robić inżynierię i zaczynasz wróżyć z fusów.

Traktuj confidence najwyżej jako miękki sygnał do rankingu. Nigdy jako dowód. To różnica między „posortuj mi te odpowiedzi od najpewniejszej" a „przepuść tę transakcję bez patrzenia".