Unealtă gratuită
Calculator de semnificație pentru teste A/B
Varianta nouă aduce mai multe comenzi decât cea veche. Înainte s-o lași pe site, verifică dacă diferența e reală sau doar o fluctuație a traficului. N-ai pornit încă testul? Treci la „Planifică un test” și află de câți vizitatori ai nevoie.
Ce îți arată calculatorul
Compară rata de conversie a două versiuni ale unei pagini: cea veche (A) și cea nouă (B). Îți spune dacă diferența dintre ele e reală sau doar o fluctuație normală a traficului. Ai nevoie de patru cifre: vizitatorii și conversiile fiecărei versiuni.
Folosește testul z pentru două proporții, metoda standard din majoritatea uneltelor de testare A/B. Funcționează corect când fiecare vizitator vede o singură versiune, fiecare versiune are cel puțin 30 de conversii, iar traficul e unul obișnuit, nu dintr-o perioadă de reduceri.
Cum citești rezultatul
Valoarea p
Cât de probabil e să vezi o diferență cel puțin atât de mare dacă, de fapt, cele două versiuni ar fi la fel de bune. La p = 0,03, o diferență ca asta ar apărea întâmplător doar în 3% din cazuri. Pragul obișnuit e sub 0,05.
Nivelul de încredere
Standardul e 95%. Magazinele cu trafic mic folosesc uneori 90%, ca să nu aștepte luni de zile, dar riscul unui câștigător fals crește de la 5% la 10%. Pentru schimbări mari, cum ar fi checkout-ul sau prețurile, merită 99%.
Intervalul
Arată între ce valori se află, cel mai probabil, diferența reală. Dacă intervalul include zero, încă nu poți spune că B e mai bun. Un interval larg înseamnă că B e mai bun, dar nu știi cu cât.
De câți vizitatori ai nevoie?
Cea mai frecventă greșeală e oprirea testului prea devreme. Câți vizitatori îți trebuie depinde de trei lucruri: rata de conversie de acum, cea mai mică creștere pe care vrei s-o prinzi și nivelul de încredere. Cu cât creșterea e mai mică, cu atât îți trebuie mai mult trafic: dacă o înjumătățești, ai nevoie de aproximativ patru ori mai mulți vizitatori.
Exemplu pentru un magazin cu o rată de conversie de 2%, la 95% încredere și 80% putere:
| Creșterea pe care vrei s-o prinzi | Vizitatori pe variantă | La 5.000 vizitatori/săpt. | La 1.000 vizitatori/săpt. |
|---|
Concluzia: cu trafic mic, schimbările mici nu pot fi testate. Testează schimbări mari, care pot muta conversia cu 20% sau mai mult.
Greșeli care dau câștigători falși
- Oprești testul când arată bine. Dacă verifici zilnic și te oprești prima dată când p scade sub 0,05, prinzi noroc, nu un efect real. Stabilește dinainte câți vizitatori îți trebuie.
- Traficul nu se împarte egal. Dacă ai setat 50/50 și ai ajuns la 53/47, ceva e stricat în setarea testului. Calculatorul te avertizează.
- Prea puține conversii. Sub 30 de conversii pe variantă, calculul nu mai e de încredere.
- Teste în perioade neobișnuite. Black Friday, sărbătorile sau o campanie mare schimbă felul în care cumpără oamenii. Ce câștigă atunci poate pierde într-o săptămână obișnuită.
- Prea multe variante deodată. Fiecare variantă în plus cere mai mult trafic. Cu trafic mic, testează A contra B.
Nu știi ce merită testat?
În auditul de conversie primești idei de teste A/B, în ordinea în care merită făcute. Prima secțiune o redesenăm gratuit.