Halucynacja modelu

Halucynacja modelu to zjawisko, w którym model językowy generuje informację brzmiącą wiarygodnie, lecz niemającą pokrycia w pobranych dokumentach ani w danych treningowych. Skutkiem mogą być fałszywe cytaty, zmyślone statystyki lub błędne przypisania faktów do konkretnej marki lub osoby.

Po angielsku: Hallucination.

Najważniejsze

• Halucynacja modelu pojawia się, gdy fragment pobrany przez potok RAG jest niekompletny lub zależny od kontekstu spoza okna retrieval, a model wypełnia lukę własną interpolacją.
• Fragment z nierozwiązanymi zaimkami lub odwołaniami do wcześniejszych akapitów daje niespójny embedding i bywa odrzucany przez potok RAG. Ryzyko konfabulacji rośnie, gdy model nie dysponuje zweryfikowanym źródłem do pobrania.
• Około 61,7% cytowań w odpowiedziach AI to domeny bez wzmianki nazwy marki w treści odpowiedzi (Semrush, N=3 981), co pokazuje, że model przypisuje źródła w sposób trudny do przewidzenia przez autora treści.

Jak to działa

Potoki RAG dzielą stronę na fragmenty na granicach akapitów i nagłówków, zamieniają każdy fragment na osobny wektor i pobierają top-k przez podobieństwo semantyczne. Jeśli pobrany fragment nie niesie pełnej myśli, model musi uzupełnić brakujący kontekst. To uzupełnienie bywa poprawne, ale bywa też konfabulacją. Przykład: fragment opisujący wynik badania, który zaczyna się od słów „Jak wspomniano wcześniej, wskaźnik wyniósł…”, traci swój sens po wyjęciu ze strony, a model może przypisać tę liczbę innemu badaniu lub innemu autorowi. Treść zbudowana z samodzielnych, kontekstowo zamkniętych fragmentów ogranicza przestrzeń, w której model musi domyślać się brakujących informacji.