A/B Testi Nedir?

Tanım

A/B testi, bir sayfanın, reklamın veya e-postanın iki (veya daha fazla) varyantını trafiği rastgele bölerek aynı anda yayınlayıp hangisinin hedef metriği daha iyi performansla karşıladığını istatistiksel olarak ölçme yöntemidir.

Pratik Not

Güvenilir bir test için tek seferde tek değişken değiştirilir, örneklem büyüklüğü ve test süresi önceden belirlenir, test istatistiksel anlamlılığa ulaşmadan durdurulmaz. Trafiği düşük sitelerde küçük farkları tespit etmek haftalar alabilir; bu durumda büyük ve cesur varyant farkları test etmek daha verimlidir.

Sık Yapılan Hatalar

Testi erken durdurmak: ilk günlerdeki fark çoğunlukla gürültüdür; anlamlılık eşiğine ulaşmadan kazanan ilan edilmez.
Aynı anda birden çok öğeyi değiştirmek: kazanan varyantın NEDEN kazandığı öğrenilemez.
Yalnızca mikro metriğe bakmak: CTR artıran başlık, satışı düşürebilir; asıl iş metriği birlikte izlenmelidir.
Dış etkenleri yok saymak: kampanya dönemi, sezon veya trafik kaynağı karışımı değişirken yapılan test yanıltır.

Sık Sorulan Sorular

Test ne kadar sürmeli?

En az 1-2 tam iş döngüsü (genelde 2-4 hafta) ve önceden hesaplanmış örneklem büyüklüğüne ulaşana kadar. Hafta içi/hafta sonu davranış farkını kapsamak için tam hafta katları önerilir.

İstatistiksel anlamlılık ne demek?

Gözlenen farkın şans eseri olma ihtimalinin düşük olması (yaygın eşik %95 güven düzeyi). Anlamlılığa ulaşmayan fark 'kazanan' değil, 'belirsiz' sonuçtur.