Agenci dziś: Na dyżurze
0:00 – 24:00 (telefon)
← Wszystkie wpisy RAG · Z naszej pracowni · 29 września 2026

Wyszukiwarka, która zawsze coś znajdzie. Ograniczenia RAG w pracy prawnika

Budujemy dla kancelarii system, który szuka w orzeczeniach sądów, w przepisach i w komentarzach prawniczych, a potem pomaga pisać pisma. Jego sercem jest technika zwana RAG. Działa i zwraca wyniki, ale te wyniki bywają przypadkowe. Opisujemy, skąd to się bierze, co pomaga, a czego nie naprawi żadna sztuczka, w tym reranking.

Czym jest RAG

RAG (ang. retrieval-augmented generation, generowanie wspomagane wyszukiwaniem) opisali w 2020 roku Patrick Lewis i współautorzy. Idea jest prosta i składa się z trzech kroków:

  • wyszukaj w bazie kilka fragmentów tekstu, które wydają się pasować do pytania;
  • dołóż je do pytania, zanim trafi ono do modelu językowego;
  • model odpowiada, opierając się na tych fragmentach, a nie tylko na tym, co zapamiętał w trakcie uczenia.

Najczęściej szukanie odbywa się „wektorowo”. Wektor (ang. embedding) to ciąg liczb, którym model opisuje sens tekstu; teksty o podobnym sensie mają podobne wektory. Pytanie zamienia się w wektor i szuka się fragmentów, których wektory leżą najbliżej. Brzmi to rozsądnie i w wielu zastosowaniach wystarcza. W prawie, gdzie liczy się jedno słowo, jedna data i jeden numer artykułu, ta prostota zaczyna przeszkadzać.

WADA

Zawsze coś zwraca

Wyszukiwanie wektorowe nie umie powiedzieć „nie ma”. Zawsze zwraca najbliższe fragmenty, nawet jeśli najbliższy jest daleko. Gdy w bazie nie ma trafnego orzeczenia, użytkownik i tak dostaje listę, która wygląda poważnie: sygnatury, sądy, daty. To jest źródło wrażenia, że wyniki bywają przypadkowe.

Mieliśmy na to dobry przykład. Ogólne pytanie w rodzaju „czy możesz znaleźć orzeczenie?” zwróciło wyroki karne zupełnie niezwiązane ze sprawą. Dopiero gdy system najpierw dopytał użytkownika i przeredagował pytanie na „niedbała dokumentacja medyczna a odpowiedzialność lekarza za powikłania”, wyniki stały się trafne. Wniosek: jakość pytania jest częścią wyszukiwania, a nie sprawą użytkownika.

WADA

Podobne nie znaczy trafne

Podobieństwo wektorowe mierzy, jak blisko leżą słowa i tematy. Nie mierzy, czy fragment jest trafny prawniczo. Dwa teksty mogą brzmieć prawie tak samo, a znaczyć coś innego: przepis już uchylony, orzeczenie sądu innej instancji, sprawa karna zamiast cywilnej. Zwrot „na niekorzyść” pojawia się zarówno w sprawach o dokumentację medyczną („na niekorzyść pacjenta”), jak i w sprawach karnych, w zwrocie o zakazie rozstrzygania wątpliwości na niekorzyść oskarżonego. Dla wektora to bliscy sąsiedzi.

Jest też problem odwrotny, trudniejszy. Wyrok może być trafny, bo stosuje tę samą zasadę prawną w innej dziedzinie faktów, na przykład należytą staranność opisaną w sprawie stomatologicznej, a potrzebną w sprawie o zabieg estetyczny. Taki wyrok nie jest podobny tekstowo ani wektorowo. W naszych testach doszliśmy do wniosku, że żadna wyszukiwarka oparta na dopasowaniu tekstu go nie złapie; potrzebna jest warstwa, która sięga po sens: teza, przepis, rozumowanie.

Trzecia odmiana to rozjazd słownictwa. Użytkownik pisze „błąd medyczny i brak zgody”, a sąd pisze „nie poinformował o możliwych powikłaniach”. To samo, innymi słowami. Pomogło nam przekształcenie pytania w krótką tezę w języku doktryny, zanim trafi ona do wyszukiwarki, oraz ręcznie dobrane słowniki synonimów. Gotowe słowniki ogólne zawiodły: jeden z nich uznawał „wypowiedzenie” za synonim „zdania” w sensie gramatycznym, a „rękojmię” za „gwarancję”, czyli inną instytucję.

WADA

Cięcie na kawałki gubi kontekst

Długich dokumentów nie da się wektoryzować w całości, więc tnie się je na fragmenty (ang. chunks). Każde cięcie to decyzja, co zostanie razem, a co zostanie rozdzielone. W wyroku przesłanka bywa w jednym akapicie, a wniosek kilka stron dalej. Po cięciu żaden fragment nie zawiera całego rozumowania.

W orzeczeniach mieliśmy fragmenty o stałej długości, około 4500 znaków, cięte bez względu na granice zdań. Sprawdziliśmy kilka hipotez. Drobniejsze cięcie wyglądało na oczywiste lekarstwo, ale w naszych pomiarach na wyrokach Sądu Najwyższego nie dało ani lepszego odnajdywania, ani lepszej kolejności; model porządkujący wyniki wolał dłuższe fragmenty, bo miał więcej kontekstu. Prawdziwą przeszkodą okazała się przepaść między słowami pytania a słowami wyroku, a nie długość fragmentu.

W komentarzach do kodeksów przyjęliśmy inną zasadę: jeden artykuł to jeden fragment. Cięcie opiera się na spisie treści i nagłówkach „Art. …”, więc komentarz do przepisu nie rozpada się na przypadkowe części. Ma to swoją cenę: książka bez takiej struktury, na przykład monografia, daje zero fragmentów i nic z niej nie da się zacytować.

WADA

Numery, daty, sygnatury i luki w bazie

Wektor dobrze oddaje temat, ale słabo oddaje dokładne ciągi znaków: sygnaturę „I C 123/24”, numer „art. 233 § 1 k.p.c.”, datę. Dla modelu wektorowego „art. 415” i „art. 445” to bardzo podobne teksty. Tu lepiej sprawdza się klasyczne wyszukiwanie pełnotekstowe. Uczy to pokory: przez pewien czas nasze wyszukiwanie słów nie radziło sobie z polską odmianą („biegłego” i „biegły” były dla niego różnymi słowami), co dawało puste lub przypadkowe listy kandydatów. Naprawił to polski słownik odmian, a pomiar pokazał, że wbrew powtarzanej opinii nie psuje on wyszukiwania po sygnaturach.

Druga sprawa to aktualność i kompletność. RAG zna tylko to, co jest w bazie. W naszej kopii bazy orzeczeń jest ponad pół miliona orzeczeń, ale nie ma orzeczeń sądów administracyjnych; wyroku NSA powołanego w jednym z pism po prostu tam nie było. Część orzeczeń nie ma treści, więc nigdy nie zostanie znaleziona. W bazie przepisów natrafiliśmy na teksty jednolite uzupełnione kiedyś kopią z innej ustawy: art. 160 kodeksu karnego miał w jednej wersji treść przepisu kodeksu karnego wykonawczego. Żadna wyszukiwarka nie znajdzie tego, czego w bazie nie ma, i nie poprawi tego, co jest w niej błędne.

WADA

Okno kontekstu i „zgubione w środku”

Okno kontekstu to limit tekstu, który model może przeczytać naraz. Pokusa jest prosta: skoro nie wiadomo, który fragment jest trafny, dołóżmy wszystkie. U nas skończyło się to przepełnieniem: system dokładał kilkadziesiąt artykułów, blok przepisów i wyniki wyszukiwania, aż zapytanie przekroczyło limit modelu, a odpowiedź trwała minutami. Pomógł twardy limit liczby dokładanych przepisów.

Nawet gdy wszystko się mieści, model nie czyta wszystkiego równie uważnie. Nelson F. Liu i współautorzy opisali w 2023 roku zjawisko nazwane „lost in the middle”: modele najlepiej wykorzystują informację umieszczoną na początku albo na końcu długiego tekstu, a wyraźnie gorzej tę ze środka, także modele przeznaczone do długich kontekstów. Dla RAG wniosek jest jasny: lepiej podać modelowi mniej fragmentów, za to dobrze uporządkowanych, niż wiele w przypadkowej kolejności.

WADA

Trudno zmierzyć jakość, łatwo przepłacić

Odpowiedź RAG zawsze brzmi pewnie, więc po samym tekście nie widać, czy jest dobra. Potrzebny jest zestaw wzorcowy: pytania z orzeczeniami, które prawnik uznał za trafne. Nauczyliśmy się, że ten zestaw sam musi być sprawdzony. Raz opieraliśmy dochodzenie na wyroku oznaczonym jako trafny, który okazał się sprawą stomatologiczną, a nie z zakresu chirurgii plastycznej. Przez pewien czas „naprawialiśmy” wyszukiwarkę, która działała poprawnie. Od tamtej pory każde nieoczywiste oznaczenie wymaga jednego zdania uzasadnienia z tezy wyroku, a zestaw obejmuje też trudne przykłady negatywne: wyroki bliskie tematem, ale nietrafne.

Druga pułapka pomiaru to losowość modeli. Gdy model przeredagowuje pytanie, kolejne próby dają różne wyniki, więc pojedynczy test porównuje losowania, a nie metody. Duży efekt przebija ten szum; mały w nim tonie. Do tego dochodzą koszt i opóźnienie: każdy dodatkowy etap, model czy sprawdzenie wydłuża odpowiedź. Jedna z naszych wersji hybrydowych odpowiadała około 120 sekund zamiast około 2, a dokładne sprawdzenie pojedynczego wyroku przez model zajmuje około minuty.

ROZWIĄZANIE

Reranking: drugie, uważniejsze czytanie

Reranking to drugi etap wyszukiwania. Pierwszy etap szybko wybiera kilkadziesiąt lub kilkaset kandydatów. Drugi etap czyta każdą parę „pytanie i fragment” razem i ocenia, jak dobrze fragment odpowiada na pytanie. Robi to model typu cross-encoder, czyli model, który zamiast osobno opisywać pytanie i tekst, czyta je łącznie i zwraca jedną ocenę. Jest dokładniejszy, ale wolniejszy, dlatego stosuje się go tylko do wąskiej puli.

Przykłady takich modeli to otwarty, wielojęzyczny BGE-reranker-v2-m3 (BAAI), usługa Cohere Rerank (aktualne wersje są wielojęzyczne) oraz rodzina modeli cross-encoder/ms-marco z biblioteki Sentence Transformers, uczonych na angielskim zbiorze MS MARCO. Podejście upowszechniła m.in. praca Nogueiry i Cho z 2019 roku o porządkowaniu fragmentów modelem BERT.

U nas reranking dał najwięcej tam, gdzie pula kandydatów była już sensowna. W torze „po przepisie” system najpierw ustala, którego artykułu dotyczy pytanie, zbiera orzeczenia powołujące ten przepis, a dopiero potem porządkuje je rerankerem. W naszym teście reranker poprawił oddzielenie trafnych orzeczeń od pozostałych w takiej puli z 47% do 90%.

Trzeba jednak powiedzieć uczciwie: reranking poprawia kolejność, ale nie stworzy trafnego wyniku, którego nie ma wśród kandydatów. Ma też te same ograniczenia co pierwszy etap. Gdy problemem był rozjazd słownictwa między pytaniem a wyrokiem, reranking na szerokiej puli w naszych testach pogorszył czołowe wyniki. Zauważyliśmy też, że drobna zmiana tekstu podanego rerankerowi, na przykład usunięcie znaczników HTML, potrafi jedne trafne wyroki podnieść, a inne obniżyć. Dlatego każdą taką zmianę mierzymy na wyrokach sprawdzonych przez prawnika, zanim trafi do użytku.

ROZWIĄZANIE

Hybryda, filtry i odwaga, by powiedzieć „nie wiem”

Wyszukiwanie hybrydowe łączy dwa światy: wektory, które rozumieją temat, i klasyczne wyszukiwanie słów, na przykład BM25, czyli wzór oceniający dokument po tym, jak często i jak wyjątkowo występują w nim słowa z pytania. Wyniki obu list można scalić metodą Reciprocal Rank Fusion (Cormack, Clarke i Büttcher, 2009), która sumuje odwrotności pozycji dokumentu na każdej liście. Jest prosta i często lepsza od każdej listy osobno.

Nasze doświadczenie jest mieszane i warto je pokazać. Wyszukiwanie po słowach z synonimami, z oceną według liczby trafionych fraz w całym wyroku, w naszych testach na pytaniach z zakresu prawa medycznego wypadło lepiej niż samo wyszukiwanie wektorowe: 15 zamiast 9 trafnych z 30 w pierwszym pytaniu i 9 zamiast 2 z 16 w drugim. Z kolei scalanie kilku wariantów pytania metodą RRF w innym teście obniżyło pozycje najważniejszych wyroków, bo warianty zwracały prawie rozłączne listy, a fuzja nagradzała to, co było „średnio wszędzie”. Hybryda nie jest więc magiczna; trzeba ją sprawdzić na własnych danych.

Bardzo tanio działają filtry metadanych: rodzaj sądu, data, wydział, status przepisu. Jedna reguła oparta na sygnaturze, odsiewająca wydziały karne, pracownicze i ubezpieczeniowe przy pytaniu cywilnym, usunęła z wyników sporo homonimów. Filtr musi jednak pasować do pytania: włączony na stałe usunąłby trafne wyroki karne z pytania karnego. Ostatni element to próg odcięcia: jeżeli najlepszy wynik ma niską ocenę, system powinien powiedzieć „nie znalazłem”, a nie podsuwać przypadkową listę. W naszym module wyszukiwania, gdy dziedzina pytania jest niejasna, system dopytuje, zamiast zgadywać.

Z NASZEJ PRACOWNI

Sprawdzaj, zanim zacytujesz

Najważniejszą lekcją nie był żaden model, tylko zasada: model proponuje, źródło sprawdza, dopiero potem powstaje tekst. Kilka przykładów, jak to wygląda w praktyce:

  • Cytat dosłowny. Model nie przepisuje cytatu z pamięci. Wskazuje fragment, a kod wycina go znak w znak z pełnej treści orzeczenia. W analizie linii orzeczniczych kod sprawdza, że każdy cytat rzeczywiście występuje w tekście wyroku; cytat, którego tam nie ma, odpada.
  • Cały wyrok, nie fragment. Krótkie streszczenie trafności tworzone z jednego fragmentu potrafiło przekłamać sens orzeczenia. Dlatego wyrok zaznaczony jako trafny model czyta w całości i może uczciwie odpowiedzieć „nie potwierdza tezy”. W jednym z testów sam w ten sposób obalił wcześniejsze, automatyczne streszczenie.
  • Sygnatura to trop, nie źródło. Orzeczenie powołane w aktach albo w innym wyroku staje się źródłem dopiero po odnalezieniu go w bazie i przeczytaniu.
  • Przepisy w pętli. Projektujemy tryb, w którym model pisze z własnej wiedzy, a następnie każde powołanie przepisu jest sprawdzane w pełnej bazie przepisów: czy istnieje i czy mówi to, co model mu przypisał. Niezgodne wraca do poprawki. Brak odpowiedzi bazy oznacza „niesprawdzone”, nigdy „dobre”.
  • Wybór prawnika jest ostateczny. Gdy użytkownik sam zaznaczy orzeczenia, żaden mechanizm nie dosypuje innych.

Podsumowanie

RAG jest użytecznym narzędziem, ale nie jest wyszukiwarką prawniczą sam z siebie. Zawsze coś zwraca, myli podobieństwo z trafnością, gubi kontekst przy cięciu dokumentów, słabo radzi sobie z numerami i sygnaturami i zna tylko swoją bazę. Reranking, wyszukiwanie hybrydowe, filtry i próg odcięcia wyraźnie poprawiają wyniki, lecz żaden z nich nie znajdzie orzeczenia, którego nie ma wśród kandydatów albo w bazie. Dlatego w naszych systemach ostatnie słowo należy do weryfikacji: dosłownego cytatu, przeczytania całego wyroku, sprawdzenia przepisu w źródle i oceny prawnika.