Wydanie 1: Pewność modelu to nie poprawność

Wzorzec: sprawdzaj pewność z zewnątrz

Schemat: odpowiedź modelu trafia do kontroli z zewnątrz (ground truth, którego model nie widział, deterministyczne testy w kodzie, próg skalibrowany na Twoich danych). Gdy kontrola przechodzi, agent działa; gdy nie przechodzi, decyduje człowiek. Własna pewność modelu służy najwyżej do kolejności sprawdzania.

Wielu inżynierów uzależnia decyzje agenta od pewności, którą model podaje sam o sobie: 0,95 przechodzi, 0,40 trafia do człowieka. Ta liczba mierzy, jak gładko układają się kolejne tokeny, a nie czy odpowiedź jest poprawna. Po RLHF rozjeżdża się z trafnością.

Pewność sprawdzaj czymś, czego model nie kontroluje: zbiorem ground truth, którego nigdy nie widział, deterministycznymi testami w kodzie i progami skalibrowanymi na własnych danych. Confidence traktuj najwyżej jako sygnał do rankingu odpowiedzi, które i tak ktoś zweryfikuje. Test na dziś: czy w Twoich logach najwyższe wyniki pewności idą w parze z poprawnymi odpowiedziami?

Przeczytaj cały wpis

Case study (proof of concept): model ocenia, kod liczy

Globalna marka konsumencka chciała wiedzieć, które publikacje prasowe wzmacniają jej przekaz, a które go podważają. W proof of concept, który zbudowałem, LLM mówi tylko, jak artykuł odnosi się do każdego filaru strategii: wspiera, jest neutralny albo zaprzecza. Wynik i werdykt liczy czysty Python, a każdy cytat za werdyktem jest sprawdzany co do słowa. Model nie ustawia oceny.

Więcej case studies

Nowinki AI z ostatnich dwóch tygodni

OpenAI DevDay 2026: Dots (agenci ChatGPT działający 24/7), GPT-6.1 Sol, Agents API i Codex w chmurze, z cenami i tym, co działa w Polsce.
Gemini 4 Argon: według Google odpowiedzi do 1 mln tokenów, na start za 2 USD za milion tokenów wejściowych i 10 USD za milion wyjściowych, potem 4 i 20 USD. Google nie podało jeszcze daty szerszego udostępnienia, a dla Polski i UE nic nie ogłoszono.

Poza tym w tym tygodniu

Nowe na blogu

Kim jest Forward Deployed Engineer? Jeden z trzech nowych wpisów o tej roli.
Web3, AI, robotyka: co zostaje, gdy opada hype, rozwinięcie mojej odpowiedzi z podcastu „I to się liczy”, ze źródłami.

Darmowe egzaminy próbne do czterech certyfikacji Claude

Cztery egzaminy próbne, po jednym do każdej certyfikacji. Każdy ma tyle pytań, ile podaje przewodnik egzaminacyjny Anthropic, limit 120 minut i wyjaśnienie do każdej odpowiedzi. Bez zakładania konta, pytania są po angielsku. 60 pytań do Architect Foundations jest też w darmowym PDF-ie z kluczem odpowiedzi, bez podawania e-maila. To nieoficjalne ćwiczenia: Anthropic ich nie autoryzuje ani nie rekomenduje.

Dla konsultantów

Chcesz podejść do egzaminów Claude bez pracodawcy-partnera? Certified AI Consultant Program ma otwarty nabór. Przyjęcie jest po selekcji. Zgłoszenie jest bezpłatne, a za członkostwo płacisz dopiero po przyjęciu.