Mały model, szybka decyzja.
Jak uczymy klasyfikator HerBERT
Kiedy agent rozmawia z klientem przez telefon, nie ma czasu na długie zastanawianie się. Dlatego obok dużego modelu językowego pracuje u nas mały, szybki klasyfikator. Opisujemy, czym jest, jak go uczymy — i czego nauczyły nas jego wpadki.
Klasyfikator, czyli model, który wybiera z listy
Duży model językowy pisze odpowiedź słowo po słowie. Klasyfikator robi coś prostszego: czyta wypowiedź i wybiera jedną odpowiedź z zamkniętej listy. Klient mówi „chciałbym przełożyć wizytę na wtorek”, a klasyfikator odpowiada: zamiar — przełożenie wizyty, termin — dzień tygodnia.
Ma to trzy zalety. Jest szybki: u nas jedna decyzja zajmuje około 60–70 milisekund na zwykłym procesorze, bez karty graficznej. Jest przewidywalny: nie wymyśli nowej odpowiedzi spoza listy. I działa w całości na naszym serwerze, więc wypowiedzi rozmówców nigdzie nie wychodzą.
Dlaczego HerBERT
HerBERT to polski model językowy opracowany przez zespół badawczy Allegro i udostępniony publicznie. Został wytrenowany na polskich tekstach, więc dobrze radzi sobie z naszą odmianą, szykiem i potocznymi zwrotami. Wcześniej sprawdzaliśmy w tej roli inny model — na polskich wypowiedziach trafiał w pięciu przypadkach na dziesięć. To przesądziło o wyborze.
Na HerBERT nakładamy własne „głowice” decyzji. Jedna wspólna część czyta tekst, a każda głowica odpowiada na inne pytanie: czy rozmówca potwierdza tożsamość, czy kwestionuje dług, czego chce i o jaki termin chodzi. Dziś jest ich dziesięć, a sama lista zamiarów liczy prawie pięćdziesiąt pozycji — od umówienia wizyty po prośbę o fakturę.
Nauczyciel i uczeń
Klasyfikatora nie uczymy ręcznie. Robi to duży model językowy, który pełni rolę nauczyciela: po rozmowach oznacza wypowiedzi właściwymi etykietami. Co noc, o wpół do czwartej, uczeń przechodzi trening na wszystkich zebranych przykładach. Dziś ma ich prawie 3,9 tysiąca.
W rozmowie oba modele pracują razem. Klasyfikator odpowiada od razu, a duży model myśli równolegle. Gdy się nie zgadzają, powstaje nowy przykład do nauki, a w tej rozmowie decyduje duży model. Czynności, których nie da się cofnąć, zawsze czekają na pełną odpowiedź i potwierdzenie.
Bramka: nowa wersja musi zasłużyć na wejście
Nowa wersja ucznia nie zastępuje starej automatycznie. Najpierw sprawdzamy ją na wypowiedziach, których nie widziała w nauce. Uczeń dostaje głos dopiero wtedy, gdy ma co najmniej 300 przykładów i zgadza się z nauczycielem w co najmniej 90 procentach. Nasze nocne wersje osiągają zwykle od 90 do 92 procent zgodności.
Czego nauczyły nas wpadki
Za ostra bramka zatrzymała naukę. Na początku nowa wersja musiała być lepsza od obecnej. Przez kilka nocy żadna nie była — różnice były w granicach przypadku — więc uczeń stał w miejscu i nie znał nowych poleceń działów. Dziś dopuszczamy wersję najwyżej o punkt procentowy słabszą.
Jedna nowa etykieta potrafiła wywrócić całą noc. Gdy dział dostał nowe polecenie, a uczeń jeszcze go nie znał, trening się przerywał. Teraz nieznane etykiety są pomijane, a gdy lista się wydłuża, model dostaje nowe miejsca bez kasowania tego, czego już się nauczył.
Zdania pisane przez nas uczyły naszego stylu. Przykłady, które sami układamy, są poprawne, ale ludzie tak nie mówią. Dlatego stanowią najwyżej czwartą część nauki, a sprawdzian odbywa się wyłącznie na prawdziwych wypowiedziach.
Trening bywa niestabilny. Jednej nocy nowa wersja spadła do 73 procent zgodności. Bramka ją odrzuciła i nikt tego nie odczuł — po to właśnie jest.
Sprawdzian musi być naprawdę odłożony. Ostatnio zauważyliśmy, że od kilkunastu nocy żadna nowa wersja nie wchodzi, choć nowe wersje mają stałe 91–92 procent. Obecna wersja wypada na sprawdzianie lepiej — prawie 95 procent — bo zbiór przykładów rośnie i jest za każdym razem losowany od nowa, więc część pytań ze sprawdzianu obecna wersja widziała już w nauce. To jak egzamin z pytaniami, które jeden ze zdających znał wcześniej. Wniosek: część przykładów trzeba raz na zawsze odłożyć do sprawdzianu i nigdy nie używać ich w nauce.
Kiedy klasyfikator, a kiedy duży model
- Klasyfikator — gdy odpowiedź jest jedną z wielu znanych możliwości i liczy się szybkość: rozpoznanie zamiaru, potwierdzenie, rodzaj terminu.
- Duży model — gdy trzeba zrozumieć nietypową sprawę, poprowadzić rozmowę albo coś wyjaśnić.
- Kod — gdy chodzi o daty, kwoty, zapis w systemie i wszystko, czego nie wolno zgadywać.
Podsumowanie
Mały polski model, uczony co noc przez większy, daje agentowi szybki odruch, a duży model — namysł. Najwięcej nauczyły nas nie liczby, ale wpadki: prawie każda z nich zamieniła się w zasadę, której pilnuje teraz kod — a ostatnia czeka na wdrożenie.
Źródła
- HerBERT (allegro/herbert-base-cased) — strona modelu
- Liczby i przebieg nauki: dziennik treningów naszego klasyfikatora, stan na 19 listopada 2026.