Ranking fragmentów
Ranking fragmentów to mechanizm, w którym silnik AI ocenia i szereguje poszczególne wycinki tekstu ze strony pod kątem semantycznego dopasowania do zapytania, a następnie pobiera fragmenty o najwyższym podobieństwie do okna kontekstowego modelu generatywnego.
Po angielsku: Passage Ranking.
Najważniejsze
- Ranking fragmentów działa na poziomie akapitu lub sekcji: potok RAG zamienia każdy fragment na osobny wektor i porównuje go z wektorem zapytania, wybierając top-k najbardziej dopasowanych wycinków.
- Fragment zawierający nierozwiązane zaimki lub odwołania do wcześniejszego kontekstu („jak wyżej”, „wspomniana metoda”) generuje niespójny embedding i bywa pomijany przy selekcji.
- Sekcje otwierane bezpośrednią odpowiedzią są cytowane 2,6 razy częściej niż sekcje z narracją wstępną, co wskazuje, że pozycja kluczowej informacji wewnątrz fragmentu wpływa na jego ranking (Presenc.ai).
Jak to działa
Potok RAG dzieli stronę na granicach akapitów i nagłówków, zamienia każdy fragment na osobny wektor, a następnie pobiera te o najwyższym podobieństwie semantycznym do zapytania. Oznacza to, że strona nie jest oceniana jako całość: jeden słaby fragment nie obniża rankingu pozostałych, ale też jeden silny fragment nie podnosi pozostałych. Przykład: artykuł o kredytach hipotecznych może mieć sekcję z konkretną definicją oprocentowania zmiennego, która trafi do odpowiedzi AI, podczas gdy reszta artykułu pozostanie nieużyta. Wellows zmierzył, że 62% wyróżnionych treści w AI Overview mieści się w przedziale 100-300 słów (N=15 847 wyników).
Powiązane pojęcia
- RAG (generowanie wspomagane pobieraniem) Generowanie wspomagane pobieraniem (RAG) to architektura, w której model językowy przed wygenerowaniem odpowiedzi pobiera z zewnętrznego indeksu fragmenty dokumentów semantycznie zbliżone do zapytania, a następnie włącza je do kontekstu generowania, co pozwala odpowiedzi opierać się na aktualnych, konkretnych źródłach.
- Dzielenie na fragmenty (chunking) Dzielenie na fragmenty to mechanizm przetwarzania treści w potokach RAG, w którym strona jest rozbijana na mniejsze, osobno osadzane w przestrzeni wektorowej jednostki tekstu, a następnie pobierana jest tylko ta jednostka, która semantycznie najlepiej odpowiada zapytaniu użytkownika.
- Samodzielny fragment Samodzielny fragment to sekcja treści, która niesie pełną myśl i jest zrozumiała po wyjęciu ze strony, bez odwoływania się do otaczającego kontekstu, co pozwala silnikowi generatywnemu pobrać ją i zacytować bez zniekształcenia sensu.