A/B testování SMS kampaní: praktický průvodce
Jak testovat texty, časování, sender ID a linky v SMS kampaních. Vzorové experimenty s počtem příjemců, statistická významnost a kdy přestat testovat.
Většina firem optimalizuje SMS kampaně intuicí. "Tahle šablona je hezčí, pošleme tu." Místo toho A/B test rozhodne za vás a dá vám tvrdá data. V tomto článku ukážu, jak A/B test v SMS udělat správně — od plánování po vyhodnocení.
Co je A/B test ve zkratce
Rozdělte příjemce do 2 (nebo více) skupin a každé skupině pošlete jinou variantu SMS. Po týdnu se podíváte, která varianta měla vyšší CTR / konverze / opt-out rate. Vítězná varianta se použije do následující kampaně.
Klíč je v statistické významnosti — pokud máte malý sample, rozdíl 8 % vs 10 % je náhoda. Pokud máte velký sample, je to skutečný trend.
Co lze v SMS testovat
| Co | Příklad | Typický rozdíl |
|---|---|---|
| Sender ID | Eshop123 vs +420 608 030 884 | +20-35 % CTR |
| Personalizace | {jmeno}, mate slevu vs Mate slevu | +5-10 % CTR |
| Délka textu | 80 znaků vs 150 znaků | krátké obvykle vítězí o 5-15 % |
| CTA tonalita | Klikni vs Ulozte 240 Kc do 24h | +10-20 % CTR pro konkrétní |
| Slug krátkého linku | /l/x7Bk2Aq vs /l/black-friday | +20-30 % CTR pro memorable |
| Časování | 10:00 vs 14:00 | varuje sa 5-15 % CTR |
| Den v týdnu | středa vs sobota | varuje sa 5-25 % CTR |
| Sleva % v textu | -20 % vs -25 % | minimální (lidé sledují absolutní hodnotu) |
| Sleva absolutní | "-200 Kc" vs "-25 %" | absolutní bývá o 5-10 % lepší |
| Diakritika | s diakritikou vs bez | bez vítězí (víc znaků na text) |
Minimální velikost vzorku
Aby byl A/B test statisticky významný, potřebujete dostatečně velký sample. Pravidlo palce:
- Per varianta minimálně 1 000 příjemců pokud testujete jemný rozdíl (+/- 2 % CTR)
- Per varianta minimálně 200 příjemců pokud testujete velký rozdíl (+/- 10 % CTR)
- Méně než 100 příjemců na variantu = test nemá smysl, je to náhoda
Pro malé firmy: pokud máte databázi 500 kontaktů, netestujte všechno najednou. Otestujte jednu věc za měsíc (sender ID, pak časování, pak CTA…) a po roce máte 12 dokázaných optimalizací.
Statistická významnost — jednoduchý calculator
Bez vzorců, jednoduchý odhad:
| Velikost skupiny | Rozdíl CTR potřebný pro významnost (p < 0.05) |
|---|---|
| 100 příjemců | rozdíl musí být > 10 procentních bodů |
| 500 | rozdíl > 4-5 p.b. |
| 1 000 | rozdíl > 3 p.b. |
| 5 000 | rozdíl > 1-2 p.b. |
| 10 000 | rozdíl > 1 p.b. |
Pokud máte 500 příjemců na variantu a varianta A má CTR 8 % a varianta B 9 %, není to statisticky významné. Mohl by to být náhodný rozptyl.
Pro přesný výpočet: evanmiller.org/ab-testing/sample-size.html
Praktický postup: 6 kroků
1. Definujte hypotézu
Špatně: "Pošlu dvě varianty a uvidím."
Dobře: "Předpokládám, že SMS s křestním jménem zvedne CTR o ≥ 5 procentních bodů ve srovnání s SMS bez."
2. Vyberte ONE thing to test
Nikdy netestujte více věcí najednou. Pokud varianta A má jiný text a jiný čas odeslání, nevíte, který faktor vyhrál.
3. Náhodně rozdělte databázi
Excel: vygenerujte sloupec s náhodným číslem 0–1, řadte podle něj, půlte. Nevybírat "muži vs ženy" nebo "Praha vs zbytek" — to by zkreslilo výsledky.
4. Naplánujte odeslání ve stejný čas
Obě varianty musí jít ve stejný moment. Pokud varianta A v 10:00 a B v 14:00, neporovnáváte text — porovnáváte hodinu. Pro test časování to logicky znamená dvě testovací kampaně s identickým textem v různé časy.
5. Měřte 24-48 hodin
Většina kliků z SMS přijde v prvních 3 hodinách. Pokud po 24 hodinách stále přibývají kliky, počkejte do 48h. Po 48h už je rozdíl marginální.
6. Vyhodnoťte a aplikujte
Zaznamenejte si výsledky někam (Notion, Excel, kamkoliv). Vítězná varianta jde do produkce, ale pokračujte v testování na další proměnné.
Příklad: A/B test sender ID
| Faktor | Varianta A | Varianta B |
|---|---|---|
| Sender ID | +420 608 030 884 | Eshop123 |
| Text | Pavle, sleva -25% jen dnes: {odkaz} | Pavle, sleva -25% jen dnes: {odkaz} |
| Čas | středa 14:00 | středa 14:00 |
| Příjemci | 1 000 | 1 000 |
Výsledek po 48 hodinách:
| Varianta A | Varianta B | |
|---|---|---|
| Doručeno | 990 | 990 |
| Kliky | 56 | 142 |
| CTR | 5,7 % | 14,3 % |
| Konverze | 4 | 11 |
Rozdíl 8,6 procentních bodů na vzorku 2 × 1 000 je statisticky významný (p < 0.001). Varianta B vítězí jasně.
Náklad testu: 2 000 × 0,93 Kč = 1 860 Kč. Návrat investice za 1 měsíc.
Co MŮŽE zkreslit výsledky
- Den v týdnu — pondělí má jiný CTR než pátek. Test musí běžet ve stejný den.
- Sezóna — testování v prosinci dá jiné výsledky než v srpnu.
- Konkurenční kampaň — pokud Alza pošle Black Friday v 14:00 a vy v 14:05, váš CTR padne.
- Vlastní pozdější komunikace — pokud jste 3 dny předtím poslali jinou SMS, CTR bude nižší (oversaturation).
- Kvalita databáze — testovat na databázi bez čištění není fér; staré kontakty kazí čísla.
Continuous testing — kalendář pro půl roku
| Měsíc | Co testovat |
|---|---|
| 1 | Sender ID (vlastní vs anonymous) |
| 2 | Časování (dopoledne vs odpoledne) |
| 3 | Personalizace (s jménem vs bez) |
| 4 | CTA tonalita (konkrétní vs obecná) |
| 5 | Slug krátkého linku (memorable vs random) |
| 6 | Délka textu (krátká vs dlouhá) |
Po 6 měsících budete mít datově podloženou šablonu, která vám dělá nejlepší CTR pro vaši konkrétní databázi. Pokračujte tématickými testy (např. tonalita textu pro různé segmenty).