Stabilność między przebiegami

Stabilność między przebiegami to miara tego, jak bardzo wyniki generatywnego silnika wyszukiwania zmieniają się przy wielokrotnym zadaniu identycznego zapytania, wyrażana jako podobieństwo Jaccarda między zbiorami cytowanych marek lub źródeł w kolejnych przebiegach.

Po angielsku: Run-to-Run Stability.

Najważniejsze

• Stabilność między przebiegami mierzy się współczynnikiem Jaccarda: wartość 0,24 przy 10 powtórzeniach tego samego pytania wskazuje, że zbiory cytowanych marek pokrywają się tylko w około jednej czwartej, a pojedynczy pomiar GEO jest obarczony wysokim szumem (pomiar własny RankinGEO, N=10).
• Stabilność między przebiegami spada do zera, gdy to samo zapytanie jest zadawane w różnych stylach frazowania: współczynnik Jaccarda między stylem formalnym a slangowym potrafi wynieść 0,0 dla identycznego zamiaru wyszukiwania (pomiar własny RankinGEO).
• Raport oparty na pojedynczym przebiegu obejmuje szacunkowo około 75% szumu. Rzetelna metodologia wymaga uśredniania wyników z wielu przebiegów (pomiar własny RankinGEO, N=10).

Jak to działa

Generatywne silniki wyszukiwania próbkują odpowiedź stochastycznie: nawet przy identycznym zapytaniu i tej samej bazie wiedzy wybrany zestaw cytowanych źródeł różni się między przebiegami. Pomiar własny RankinGEO (N=10) wykazał Jaccarda na poziomie 0,24, co przekłada się na około 75% szumu w pojedynczym strzale. Ocena widoczności marki w kampanii GEO wymaga zamrożonego panelu pytań powtarzanego wielokrotnie, a wyniki powinny być raportowane z przedziałem ufności. Przykład: marka A pojawia się w 6 z 10 przebiegów, marka B tylko w 2, choć obie mają porównywalny autorytet domeny.