Zamrożony panel pytań

Zamrożony panel pytań to ustalona, niezmieniana lista zapytań testowych, uruchamiana wielokrotnie w identycznej formie. Pomiary widoczności marki w silnikach generatywnych stają się porównywalne między sesjami i w czasie dopiero przy zachowaniu takiej stałości zestawu.

Po angielsku: Frozen Prompt Set.

Najważniejsze

• Zamrożony panel pytań umożliwia rzetelne śledzenie zmian widoczności marki: każda sesja pomiarowa używa dokładnie tych samych zapytań, eliminując wpływ różnic w sformułowaniu na wynik.
• Powtórzenie tego samego pytania 10 razy daje współczynnik Jaccard zbieżności wyników wynoszący około 0,24; pojedynczy pomiar bez zamrożonego panelu niesie około 75% szumu (pomiar własny RankinGEO, N=10).
• Zamrożony panel pytań powinien obejmować różne style frazowania, ponieważ Jaccard między stylem formalnym a slangiem dla tego samego zamiaru potrafi wynosić 0,0, a każdy styl może aktywować inny zestaw cytowanych źródeł (pomiar własny RankinGEO).

Jak to działa

Silniki generatywne są niestabilne: ta sama fraza zadana kilkakrotnie zwraca różne marki i źródła. Zamrożony panel pytań kontroluje tę zmienność przez utrwalenie zestawu zapytań przed pierwszym pomiarem i zakazanie jego modyfikacji przez cały okres obserwacji. Każda runda testowa uruchamia identyczne frazy, co pozwala przypisać zmiany w wynikach działaniom optymalizacyjnym, a przypadkowe wahania modelu pozostają odseparowane od sygnału. Przykładowo: marka monitorująca widoczność w kategorii ubezpieczeń ustala 50 zapytań w kilku stylach frazowania i uruchamia je co tydzień bez zmian, uzyskując porównywalny szereg czasowy.