Turinys
Kodėl padidėjimas prieš ir po pakeitimo nėra įrodymas
Jei po svetainės pakeitimo organinis srautas išauga, vien laiko sutapimas neparodo, kad pakeitimas sukėlė šį augimą. Rezultatams taip pat gali turėti įtakos sezoniškumas, paklausos pokyčiai, paieškos reitingų svyravimai, konkurentai, rinkodaros veikla ar sekimo pakeitimai. Grafikas prieš ir po pakeitimo naudingas stebėsenai, tačiau be patikimo palyginimo jis yra aprašomasis, o ne priežastinį poveikį įvertinantis įrodymas.
Svarbiausias klausimas yra kontrafaktinis: kas tikriausiai būtų nutikę tiems patiems puslapiams tuo pačiu laikotarpiu, jei pakeitimas nebūtų buvęs atliktas? Testas šį nestebimą rezultatą įvertina lygindamas pakeistus puslapius ar rinkas su tinkama kontroline grupe arba modeliuodamas bazinį scenarijų pagal pakeitimo nepaveiktus duomenis.
Kontrolinė grupė gali padėti atsižvelgti į abiem grupėms bendrus sukrėtimus. Tačiau ji negarantuoja, kad pakeisti ir kontroliniai puslapiai vienodai reaguos į algoritmų, paklausos ar konkurentų pokyčius. Grupės turi būti palyginamos, o pats pakeitimas neturi užteršti palyginimo.
SEO puslapių grupių testai nėra įprasti lankytojų A/B testai
SEO puslapių grupių teste tinkami puslapiai ar jų grupės paprastai priskiriami pakeitimo ir kontrolinei grupėms. Taip vertinama, ar paieškos sistemoms matomas pakeitimas paveikė paieškos rezultatus. Lankytojų konversijų optimizavimo (CRO) testas atsako į kitą klausimą – kaip pakeitimas veikia naudotojų elgseną. Vienas metodas automatiškai nepakeičia kito.
„Google“ nerekomenduoja „Googlebot“ rodyti kitokios puslapio versijos nei naudotojams. Jos gairėse aptariamos kanoninės anotacijos tam tikrais testavimo keliais URL atvejais, o kai naudotojai laikinai nukreipiami į alternatyvią versiją, rekomenduojamas laikinas 302, o ne 301 peradresavimas. Tai nėra universalus receptas kiekvienam puslapių grupių testui: išlaikykite numatytą URL ir indeksavimo signalus, o konkrečiam įgyvendinimui taikykite atitinkamas „Google“ gaires.
Jei įmanoma, grupuokite puslapius, kurie konkuruoja dėl tų pačių paieškos užklausų. Tai gali sumažinti riziką, kad pakeisti puslapiai paveiks kontrolinius dėl užklausų kanibalizavimo, bet nepašalina visų šalutinio poveikio formų. Grupes sudarykite atsižvelgdami į puslapių tipą ir elgseną iki testo; kai praktiška, tinkamas grupes paskirstykite atsitiktinai.
Prieš diegdami parašykite testo planą
Nuo testo plano iki diegimo sprendimo
- 1Iš anksto parenkite planą
Prieš rezultatus nustatykite hipotezę, rodiklį, apsaugas, pabaigą ir sprendimo taisyklę.
- 2Sudarykite palyginamas grupes
Paskirstykite palyginamus puslapius ar grupes ir ribokite poveikį tarp testo bei kontrolės.
- 3Paleiskite ir patikrinkite
Patikrinkite HTML, aktyvius URL ir atvaizdavimą, bet nelaikykite to poveikio įrodymu.
- 4Įvertinkite poveikį
Lyginkite su kontrafaktiniu scenarijumi ir pateikite įvertį, intervalo tipą bei neapibrėžtumą.
- 5Taikykite sprendimo taisyklę
Vertinkite prasmingą poveikį ir apsaugas; neaiškius duomenis žymėkite kaip neapibrėžtus.
Planą suderinkite prieš peržiūrėdami rezultatus. Naudingame plane nurodykite:
- Hipotezę: siūlomą pakeitimą ir rezultatą, kuriam jis turėtų turėti įtakos.
- Testo vienetus ir aprėptį: tinkamus puslapius ar jų grupes, pakeitimo priskyrimą ir nepakeistus kontrolinius puslapius.
- Bazinį laikotarpį ir datas: laikotarpį iki testo, diegimo datą ir numatytą analizės pabaigą.
- Pagrindinį rodiklį: vieną su hipoteze suderintą matą.
- Apsaugos rodiklius: rezultatus, kurie negali pablogėti daugiau nei sutarta riba, pavyzdžiui, konversijų rodiklį.
- Sprendimo taisyklę: mažiausią prasmingą poveikį, priimtiną apsaugos rodiklio intervalą ir tai, kas laikoma laimėjimu, pralaimėjimu ar neaiškiu rezultatu.
- Matavimo sąlygas: duomenų šaltinį, filtrus, priskyrimo apibrėžimą ir ataskaitų vėlavimą, į kurį reikia atsižvelgti.
Iš anksto nustatykite galutinę analizės datą ir tarpinių analizių tvarką, jei jų reikės. Dažnas įprastų fiksuoto laikotarpio reikšmingumo testų tikrinimas ir sustabdymas vos pamačius palankų rezultatą gali padidinti klaidingai teigiamo rezultato riziką. Aiški galutinė data yra paprastas pradinis pasirinkimas; iš anksto suplanuotiems nuosekliems testams reikia tinkamų metodų ir sustabdymo ribų. Vien Bajeso analizė nereiškia, kad galima neribotai tikrinti rezultatus.
Statistinis pagrįstumas ir komercinė svarba yra atskiri klausimai. Aptinkamas poveikis gali būti nevertas diegimo, o komerciškai reikšmingas poveikis gali likti neaiškus, jei testui trūksta statistinės galios. Neaiškaus rezultato nepaverskite nei laimėjimu, nei įrodymu, kad poveikio nebuvo.
Pasirinkite stipriausią įgyvendinamą palyginimą
Pasirinkite stipriausią įgyvendinamą palyginimą
| Metodas | Kada verta svarstyti | Pagrindinis apribojimas |
|---|---|---|
| Puslapių grupių testas | Yra palyginamų puslapių, stabilūs puslapio lygmens duomenys ir galima pakeisti tik dalį puslapių. | Grupės gali skirtingai reaguoti į bendrus sukrėtimus arba paveikti viena kitą per persidengiančias užklausas. |
| Geografinis testas | Pakeitimą galima sulaikyti palyginamose rinkose, kurių rodikliai iki testo kito panašiai. | Rinkų skirtumai ir šalutinis poveikis gali susilpninti palyginimą. |
| Modeliuojamas bazinis scenarijus | Pakeitimas taikomas visai svetainei, nėra kontrolinės grupės, bet yra nepakeistų prognozinių duomenų ir tinkami istoriniai placebo patikrinimai. | Įvertis priklauso nuo stabilių ryšių ir tinkamų palyginamųjų duomenų. |
| Stebėjimas prieš ir po | Puslapių mažai, nėra patikimos kontrolinės grupės ir nėra stabilių prognozinių rodiklių. | Tai aprašomasis metodas, neatskiriantis pakeitimo nuo tuo pat metu veikusių priežasčių. |
Lentelėje pateiktas pasirinkimo būdas yra redakcinė sprendimo gairė, o ne universali statistinė taisyklė. Puslapių grupių testas gali tikti, jei turite pakankamai palyginamų puslapių, stabilius puslapių lygmens duomenis ir galite pakeisti tik dalį jų. Geografinis testas gali tikti, jei pakeitimą galima sulaikyti palyginamose rinkose; prieš pradėdami patikrinkite, ar iki testo jų rodikliai kito panašiai.
Jei pakeitimas taikomas visai svetainei ir nėra kontrolinės grupės, modeliuojamas bazinis scenarijus gali padėti tik tada, kai turite tinkamų prognozinių duomenų, kurių pakeitimas nepaveiks. Patikrinkite modelį su istorinėmis placebo datomis. Jei svetainėje mažai puslapių, nėra patikimos kontrolinės grupės ir nėra stabilių prognozinių rodiklių, stebėkite pokyčius prieš ir po kaip aprašomuosius duomenis bei fiksuokite kitus įvykius, galėjusius paveikti rezultatą.
„SearchPilot“ yra paskelbusi rekomendaciją, kad konkrečiame testuojamame skyriuje būtų apie 1 000 organinių apsilankymų ar sesijų per dieną. Tai tiekėjo gairė, o ne universalus minimalus slenkstis ar statistinės galios vertinimo pakaitalas. Įgyvendinamumas priklauso ir nuo puslapių skaičiaus bei palyginamumo, rezultatų kintamumo, aptinkamo poveikio dydžio ir testo trukmės. Užuot pasikliovę vien srauto riba, paprašykite analitiko įvertinti statistinę galią arba istorinių placebo laikotarpių rezultatus.
Pasirinkite rodiklius ir supraskite „Search Console“ ribas
Prieš testą nustatykite pagrindinį rodiklį, aprėptį, datų intervalą ir duomenų šaltinį. „Search Console“ paspaudimai matuoja paspaudimus iš „Google“ paieškos rezultatų, o GA4 organinės sesijos – apsilankymus, priskirtus organinei paieškai pagal GA4 matavimo ir priskyrimo taisykles. Tai skirtingi kelionės etapai, todėl rodikliai gali nesutapti ir nėra tarpusavyje pakeičiami.
„Search Console“ neįtraukia anonimizuotų užklausų į užklausų lenteles ir pagal užklausas filtruotus duomenis, nors diagramų sumose jos gali būti įtrauktos. Lentelėse taip pat taikomas eilučių limitas, duomenys gali vėluoti, o „Search Console“ laiko juosta gali skirtis nuo analitikos įrankių. Suderinkite datas ir laiko juostas, palikite laiko ataskaitų vėlavimui ir vertinkite pagal užklausas filtruotus rezultatus atsižvelgdami į šiuos apribojimus.
„Google“ prekės ženklo užklausų filtras naudoja DI paremtą klasifikavimą, prieinamas tik reikalavimus atitinkančioms aukščiausio lygio nuosavybėms, turinčioms pakankamai duomenų, ir kartais gali neteisingai priskirti užklausas. Jis nėra lygiavertis reguliariąja išraiška paremtam užklausų filtrui. Jei įmanoma, svarbias prekės ženklo užklausų grupes patikrinkite kitu būdu ir nurodykite, kokį metodą taikėte.
„Google“ nurodo, kad paieškos generatyvinio DI rezultatų ataskaita visame pasaulyje įdiegta iki 2026 m. rugpjūčio 31 d. Joje pateikiami DI apžvalgų ir DI režimo parodymai, taip pat puslapio, šalies, datos ir įrenginio dimensijos. Nuosavybė gali nematyti ataskaitos, jei parodymų per mažai arba ji nepatenka į šias funkcijas. Šiuos parodymus laikykite papildomu matomumo rodikliu, o ne paspaudimais, rekomendacijomis, konversijomis, pajamomis ar verslo vertės įrodymu.
Pateikite įvertį, neapibrėžtumą ir verslo rezultatą
Pateikite įvertintą poveikį ir jo neapibrėžtumą, nurodydami metodą ir intervalo tipą. Dažnistinėje statistikoje 95 % pasikliautinasis intervalas reiškia, kad, esant prielaidoms, ilgainiui tokia procedūra 95 % atvejų apimtų tikrąją parametro vertę. Bajeso 95 % tikėtinasis intervalas, atsižvelgiant į modelį, duomenis ir išankstinę informaciją, priskiria 95 % užpakalinę tikimybę parametro verčių intervalui. Šios interpretacijos nėra tapačios.
„Google CausalImpact“ pateikia užpakalinius tikėtinuosius intervalus ir vienpusę uodegos tikimybę, ar poveikis egzistuoja. Vien ši tikimybė neparodo, ar poveikis teigiamas, ar neigiamas. Kryptį ir dydį nurodykite pagal įvertį ir intervalą. Jei intervalas apima nulį, tai neįrodo, kad poveikio nėra; tai reiškia, kad pagal tą intervalą duomenys ir modelis nenustato poveikio krypties.
Paieškos paspaudimai, reitingai, konversijos ir pajamos yra skirtingi rezultatai. Jei svarbus verslo poveikis, pateikite konversijų ar pajamų rodiklius su atskirais apibrėžimais ir neapibrėžtumu, jei duomenų tam pakanka. Matomumo paieškoje pokytis savaime nėra komercinis laimėjimas.
Hipotetinis parduotuvės testas ir neaiškus sprendimas
Įsivaizduokime aiškiai hipotetinį „WooCommerce“ testą, kuriame keičiami produktų puslapių pavadinimų šablonai. Hipotezė – pakeitimas padidins ne prekės ženklo „Google“ paieškos paspaudimus ir reikšmingai nepakenks konversijų rodikliui. Tinkami produktų puslapiai grupuojami pagal persidengiančias užklausas; kontrolę sudaro palyginamos, nepakeistos grupės. Plane nustatomas istorinis bazinis laikotarpis, diegimo data, „Search Console“ paspaudimai kaip pagrindinis rodiklis ir GA4 konversijų rodiklis kaip apsaugos rodiklis. Taip pat iš anksto nustatoma analizės data, paliekant laiko paieškos nuskaitymui ir ataskaitų vėlavimui.
Tarkime, vien iliustracijos tikslais, kad pakeisti puslapiai sulaukė 11 420 paspaudimų, o modeliuotas kontrafaktinis skaičius – 10 000. Įvertintas padidėjimas yra (11 420 − 10 000) / 10 000 = 14,2 %. Tarkime, hipotetinis 95 % tikėtinasis paspaudimų poveikio intervalas yra nuo +8 % iki +19 %. Rezultatą pateikite kaip modelio įvertį ir intervalą, o ne vien kaip „14,2 % augimą“.
Dabar tarkime, kad hipotetinis santykinis konversijų rodiklio poveikis yra −0,5 %, o jo intervalas – nuo −4,0 % iki +3,0 %. Iš anksto sutarta nepriimtino sumažėjimo riba yra −2 %. Konversijų apsaugos rodiklis neatmeta didesnio nei ši riba sumažėjimo. Pagal sutartą sprendimo taisyklę tai nėra aiškus pagrindas diegti pakeitimą visur: sprendimą laikykite neaiškiu arba taikykite iš anksto nustatytą saugos procedūrą. Šie iliustraciniai skaičiai nėra klientų rezultatai, pajamų poveikio įrodymai ar kitų puslapių rezultatų prognozė.
Patikrinkite įgyvendinimą, bet nepainiokite jo su poveikiu
Patikrinkite įdiegtą HTML ir atvaizduojamą puslapį, taip pat peržiūrėkite reprezentatyvius URL. „Google“ URL patikros įrankis gali parodyti indeksuoto puslapio informaciją, patikrinti aktyvų URL ir pateikti „Google“ matomą atvaizduotą puslapį. Sėkmingas diegimas ar prašymas nuskaityti puslapį neįrodo, kad „Google“ apdorojo kiekvieną testo puslapį arba kad pakeitimas pagerino paieškos rezultatus.
„Google“ automatiškai kuria rezultatų pavadinimų nuorodas pagal kelis šaltinius, todėl pakeistas puslapio pavadinimo elementas paieškos rezultatuose gali būti neparodytas pažodžiui. URL patikra ir atvaizdavimo patikrinimas parodo įgyvendinimo būklę; testo rodikliai padeda įvertinti poveikį. Šiuos klausimus vertinkite atskirai ir pasibaigus testui nedelsdami pašalinkite laikiną testavimo infrastruktūrą.