Wektor semantyczny (embedding)
Wektor semantyczny (embedding) to liczbowa reprezentacja fragmentu tekstu w przestrzeni wielowymiarowej, w której bliskość między wektorami odpowiada bliskości znaczenia, co pozwala silnikowi RAG odnaleźć fragmenty treści semantycznie pasujące do zapytania użytkownika.
Najważniejsze
- Wektor semantyczny powstaje dla każdego fragmentu strony osobno: potok RAG dzieli treść na akapity i nagłówki, a następnie zamienia każdy z nich na osobny wektor.
- Fragment zawierający nierozwiązane zaimki lub odesłania do wcześniejszego kontekstu generuje niespójny wektor, co obniża jego szansę na pobranie przez silnik podczas odpowiadania na zapytanie.
- Strony z 15 lub więcej rozpoznanymi encjami są cytowane częściej (Wellows, r=0,76, n=15 847 wyników AI Overview), co wskazuje, że gęstość znaczeniowa fragmentu wpływa na jakość jego wektora i szansę na selekcję.
Jak to działa
Potok RAG przetwarza stronę jako zbiór oddzielnych fragmentów: każdy akapit lub sekcja wyznaczona nagłówkiem otrzymuje własny wektor semantyczny. Podczas generowania odpowiedzi silnik oblicza podobieństwo wektora zapytania do wektorów wszystkich zindeksowanych fragmentów i pobiera te z najwyższym wynikiem. Fragment, który niesie pełną myśl i zawiera konkretne encje, uzyskuje wektor precyzyjnie opisujący swój temat. Przykładowo: akapit definiujący pojęcie wraz z nazwą własną i liczbą będzie bliżej wektora zapytania o to pojęcie niż akapit ogólny z zaimkami odsyłającymi do poprzedniego zdania.
Powiązane pojęcia
- RAG (generowanie wspomagane pobieraniem) Generowanie wspomagane pobieraniem (RAG) to architektura, w której model językowy przed wygenerowaniem odpowiedzi pobiera z zewnętrznego indeksu fragmenty dokumentów semantycznie zbliżone do zapytania, a następnie włącza je do kontekstu generowania, co pozwala odpowiedzi opierać się na aktualnych, konkretnych źródłach.
- Dzielenie na fragmenty (chunking) Dzielenie na fragmenty to mechanizm przetwarzania treści w potokach RAG, w którym strona jest rozbijana na mniejsze, osobno osadzane w przestrzeni wektorowej jednostki tekstu, a następnie pobierana jest tylko ta jednostka, która semantycznie najlepiej odpowiada zapytaniu użytkownika.
- Ranking fragmentów Ranking fragmentów to mechanizm, w którym silnik AI ocenia i szereguje poszczególne wycinki tekstu ze strony pod kątem semantycznego dopasowania do zapytania, a następnie pobiera fragmenty o najwyższym podobieństwie do okna kontekstowego modelu generatywnego.