Case studies
Wyniki, nie obietnice

Zaprojektowałem deterministyczny, niezależny od dostawcy pipeline (LangGraph), który celowo oddziela ocenę LLM od punktacji i owija całość w produkcyjny serwis z bramkami QA — tak, żeby każdy werdykt był prześledzalny.

• Ekstraktor „brand playbook” (RAG): osobny agent czyta dokumenty strategii (PDF/DOCX) i destyluje je do 3–7 filarów (teza, słowa kluczowe, reguły do/nie-rób, wagi) — to jest rubryka oceny.
• Punktacja odporna na halucynacje: LLM zwraca tylko relacje per-filar (wspiera / neutralny / zaprzecza), a czysto pythonowy silnik liczy całkowity indeks i mapuje na werdykt lokalnie — model nie ustawia oceny.
• Samokorygująca pętla QA: weryfikacja cytatów co do słowa, spójność etykiety i wyniku, pokrycie filarów — z jednym automatycznym, ostrzejszym przebiegiem, gdy walidacja pada.
• Produkcyjny kształt: warstwa modeli wymienna między 3 dostawcami (OpenAI / Anthropic / Google), FastAPI + Celery + Postgres/Redis, szyfrowane sekrety, śledzenie kosztu tokenów, zaplanowane raporty dzienne i miesięczne.

Zbudowałem aplikację jako ściśle typowany SPA (React 19 + TS) z warstwą usług niezależną od backendu — żeby UI dało się rozwijać i pokazywać na realistycznych mockach, a potem przełączyć na żywe API bez zmiany kodu.

• Warstwa API dual-mode: przełącznik między mockami (MSW) a żywym backendem, z normalizacją snake_case (Django/DRF) do camelCase domeny — UI rozwijane niezależnie od gotowości backendu.
• Czat RAG oparty na dowodach: każda odpowiedź AI niesie inline cytaty prowadzące do konkretnego pliku źródłowego, plus flow „otaguj cytaty → wygeneruj raport sprawy”.
• Pluggable system wizualizacji (rejestr + renderer) zamieniający wyjścia narzędzi LLM w oś czasu, mapę, wykres, graf powiązań, heatmapę i podgląd danych.
• Geoprzestrzenny eksplorator (Leaflet): klastrowanie, heatmapa czasu przebywania, animowane odtwarzanie tras, warstwa anomalii — zsynchronizowany z osią czasu; plus wejście głosowe/TTS i audytowe logowanie interakcji (chain-of-custody).

Zbudowałem to jako modułowy pakiet z jasnym, etapowym pipeline’em (wykryj → mapuj → zastosuj → wzbogać → przepakuj), trzymając LLM wąsko przy jednym zadaniu, w którym jest dobry (semantyczna interpretacja nagłówków), a resztę robiąc deterministycznie w kodzie.

• Własny, bez-zależnościowy parser XLSX z heurystykami wykrywania tabel (scalone nagłówki, poszarpane wiersze, podsumowania, stopki), walidowany złotymi snapshotami — szybko i powtarzalnie.
• Ściśle ograniczony etap mapowania LLM: prompt dostaje tylko wiersz nagłówka + jeden przykładowy wiersz i wymusza JSON z oceną pewności per kolumna i wyborem z 5 akcji (copy / regex / analyze / convert / insert).
• Stylizacja wg pewności: komórki poniżej progu (50/80%) kolorowane i z polskim komentarzem recenzenta (źródło, cel, pewność, uzasadnienie) — człowiek widzi dokładnie, co sprawdzić.
• Deterministyczny post-processing: wzbogacenie o producenta ze śladem audytu, rozmyte dopasowanie nr katalogowego (rapidfuzz), zachowanie zer wiodących, przeliczenie opakowań; cache LLM w SQLite + tracker kosztu; spakowane jako aplikacja Windows uruchamiana dwuklikiem.

Potraktowałem to najpierw jako problem danych i ewaluacji: zbudować pipeline’y i twardy benchmark, żeby zdjąć ryzyko z agenta zanim powstanie jego produkcyjny rdzeń.

• Pipeline danych: sync encji CRM + pobranie i normalizacja 5 781 wątków mailowych, wzbogacenie (klasyfikacja tematów, etykiety wiadomości, dopięcie wątku do deala) i analiza czasu odpowiedzi, zaangażowania i trendów produktowych.
• Warstwa danych treningowych (LLM) pod ścisłymi schematami JSON z budżetem kosztu per wywołanie — playbook sprzedażowy: wzorce wygranych i przegranych oraz obsługa obiekcji.
• Benchmark agenta na 146 wątkach (batchowy runner + agregacja KPI): routing trybu decyzji, jakość ekstrakcji, wykrywanie brakujących krytycznych danych, porównywalność ceny AI vs CRM — plus konkretne rekomendacje guardraili.
• Specyfikacja produkcji: maszyna stanów LangGraph (4 → 13 stanów), serwery narzędzi MCP (sklep / CRM / wycena), warstwa FastAPI i human-in-the-loop — na zgodnym z RODO, hostowanym w UE Gemini (Vertex AI); dyscyplina inżynierska za bramką 80% pokrycia.