Zaktualizowano
Konsensus agentów: jak zweryfikować wynik
Trzej agenci są zgodni. Jak sprawdzić ich wynik? Rzeczywisty błąd routingu 404, rachunek niezależności i wykonywalny warunek akceptacji.
Trzech agentów wybierających tę samą odpowiedź daje ci kandydata do sprawdzenia. Nie dowodzi, że odpowiedź spełnia wymagania. Przy wygenerowanym kodzie poproś o wykonywalny kontrprzykład; przy twierdzeniu o faktach otwórz źródło; przy proponowanym URL-u sprawdź zbudowaną stronę i odpowiedź HTTP. Kluczowe pytanie: jaka obserwacja odrzuci ten wynik, nawet jeśli wszyscy agenci się zgadzają?
Rzeczywisty błąd: właściwej strony nie było na liście
We wrześniu 2026 router zapytań dla tej strony proponował trzy adresy zwracające 404. Budował katalog z nazw słowników tłumaczeń. Słownik consultant-program opisywał istniejącą usługę, ale jej publiczny adres był inny. Polska strona szkoleń również miała przetłumaczony slug.
| Propozycja routera | Rzeczywista strona |
|---|---|
/consultant-program | /certified-ai-consultant-program |
/pl/consultant-program | /pl/certified-ai-consultant-program |
/pl/ai-training | /pl/szkolenia-ai-dla-firm |
Model mógł poprawnie rozpoznać temat usługi i wybrać niedziałający adres. Gdyby trzech recenzentów wybierało z tego samego katalogu, właściwy URL nadal byłby niedostępny dla każdego z nich. Ten incydent był błędem katalogu, a nie kontrolowanym eksperymentem z głosowaniem agentów. Pokazuje konkretne wspólne założenie do sprawdzenia: czy każdy kandydat rzeczywiście istnieje?
Poprawkę zapisano w pull requeście #59. Dodatkowa kontrola porównuje wszystkich kandydatów routera z sitemapą buildu i sprawdza, czy każdemu wpisowi sitemapy odpowiada plik HTML. Katalog zawierający którykolwiek z tych trzech starych adresów zostaje odrzucony przed wywołaniem modelu.
To robię na co dzień: doradzam przy strategii AI i buduję agentów, którzy przeżywają demo.
Co dałaby niezależność
Rozważmy uproszczone obliczenie, a nie pomiar konkretnego modelu. Każdy z trzech głosujących ma 20% szans na błąd w pytaniu z dwiema odpowiedziami. Przy niezależnych błędach większość myli się z prawdopodobieństwem 3 × 0,2² × 0,8 + 0,2³ = 10,4%. Jeśli wszyscy zawsze mylą się przy dokładnie tych samych pytaniach, większość nadal myli się w 20% przypadków.
Nie wybierzesz między tymi przypadkami, licząc procesy agentów. Osobne przebiegi mogą współdzielić brakujący kontekst, mylące instrukcje lub wadliwy katalog. Różne modele też mogą dostać ten sam katalog. Niezależność trzeba uzasadnić obserwacją błędów na reprezentatywnych zadaniach; nie wynika z trzech nazw w panelu recenzentów.
To również ograniczenie samooceny modelu: kolejna ocena może pomóc znaleźć pomyłkę, ale pewnie brzmiący werdykt nie dostarcza brakującego dowodu.
Debata może pomagać bez gwarantowania poprawności
Du i współautorzy opisują poprawę rozumowania i zgodności odpowiedzi z faktami dzięki debacie agentów w badaniu z 2023 roku. To dowód, że debata może poprawić odpowiedzi w badanych zadaniach. Nie jest gwarancją dla każdej odpowiedzi przyjętej przez proces produkcyjny.
Wymagaj od recenzenta konkretnego wyniku: wejścia powodującego błąd, fragmentu źródła przeczącego tezie albo zaobserwowanej odpowiedzi wskazanego endpointu. Przy błędzie routera „tytuł pasuje do zapytania” nie wnosi nowego dowodu. „Tego kandydata nie ma w sitemapie” już tak. Jeśli sędzia LLM porządkuje odpowiedzi, sprawdź również position bias; kolejność prezentacji jest kolejnym wejściem wpływającym na ocenę.
The Agentic Architect
Praktyczne wzorce, case studies i nowinki o AI. Zero spamu, raz w tygodniu.
Dostaniesz jednego maila z prośbą o potwierdzenie. Wypiszesz się jednym kliknięciem. Polityka prywatności
Warunek akceptacji, który możesz uruchomić
W katalogu głównym tego repozytorium, po npm run build, kontrolę routera można uruchomić bez klucza API:
node --input-type=module <<'JS'
import { inventory } from './tools/typesafe/corpus.mjs';
import { assertIndexable, indexablePaths } from './tools/typesafe/routing-data.mjs';
const pages = [...inventory('en'), ...inventory('pl')];
assertIndexable(pages, indexablePaths());
console.log(`${pages.length} candidate URLs checked`);
JSTa kontrola ma wąski zakres: wszystkie oferowane adresy należą do zbudowanego zbioru stron indeksowalnych. Nie dowodzi, że strona odpowiada na zapytanie, i nie sprawdza przekierowań ani dostępności wdrożonego serwisu. Do tego potrzeba oceny treści i osobnego sprawdzenia HTTP. Tak samo kompilacja dowodzi, że kod się kompiluje; przechodzący test sprawdza tylko zachowanie objęte jego asercjami.
Napraw również dane, na których opierasz decyzje
Zmiana katalogu nie naprawia zapisanego wyniku routingu. Nieistniejący kandydat może wpływać na drugie miejsce i pewność wyboru, nawet gdy zwycięski adres działa. Podmiana trzech URL-i w starym JSON-ie ukryłaby błąd bez ponownego obliczenia tego wyboru.
- Zachowaj oryginalne wejście. Do ponownego porównania użyj tego samego eksportu Search Console.
- Zapisz pochodzenie wyniku. Zachowaj odcisk katalogu, hash wejścia, czas generowania i wersje modeli, które odpowiedziały.
- Odrzucaj niezgodne dane. Audyt stron musi odmówić użycia starego raportu, gdy jego katalog przestał odpowiadać aktualnemu.
- Przelicz zależne analizy. Uruchom audyt stron z nowym routingiem, zanim zdecydujesz, którą stronę przepisać.
Przy recenzji agentowej wymagaj tego samego rozdzielenia: propozycji odpowiedzi, obserwacji sprawdzającej wynik i granicy tego, co ta kontrola ustala. Dodatkowi recenzenci są użyteczni, gdy wnoszą kolejne dowody lub znajdują kontrprzykłady. Sam jednomyślny werdykt pozostawia warunek akceptacji niesprawdzony.
