Przedział ufności pomiaru

Przedział ufności pomiaru to zakres wartości, w którym z określonym prawdopodobieństwem mieści się prawdziwy wynik metryki GEO. Oblicza się go po wielu uruchomieniach tego samego pytania, by uwzględnić losowość generatywnego silnika przy każdym wywołaniu.

Po angielsku: Confidence Interval.

Najważniejsze

• Przedział ufności pomiaru jest konieczny, ponieważ powtórzenie tego samego pytania 10 razy daje w dużej części różne marki: Jaccard między przebiegami wynosi około 0,24, a pojedynczy pomiar niesie około 75% szumu (pomiar własny RankinGEO).
• Wiarygodny przedział ufności wymaga zamrożonego panelu pytań uruchamianego wielokrotnie. Jednorazowy odczyt widoczności marki jest statystycznie niewystarczający.
• Raportowanie wyniku GEO bez przedziału ufności ukrywa naturalną zmienność między przebiegami i może prowadzić do błędnych wniosków o skuteczności działań optymalizacyjnych.

Jak to działa

Generatywne silniki wyszukiwania próbkują odpowiedzi probabilistycznie, więc ta sama marka może pojawić się w jednym wywołaniu i zniknąć w kolejnym. Przedział ufności pomiaru agreguje wyniki wielu uruchomień i wyznacza granice, w których oscyluje rzeczywisty poziom widoczności. Przykład: jeśli marka pojawia się w 6 z 10 uruchomień, punkt centralny to 60%, ale dopiero przedział ufności pokazuje, czy wynik 40% w następnym tygodniu to zmiana realna, czy naturalne wahanie. Bez tego zakresu porównania między tygodniami lub między wariantami treści są statystycznie niepewne.