Előtte–utána mérés: miért nem elég két szám összevetése?

Ugyanazt mértük-e?

Azonos volt a kérdés, a skála, a válaszok kezelése és a meghívás módja? Hasonló vendéghelyzetek kerültek az adatba? Ha ezek változtak, a különbség egy része a méréshez vagy az összetételhez kapcsolódhat.

A könyv az együttjárás és az okozati következtetés különbségét hangsúlyozza. 1 Egy egyszerű előtte–utána összevetés ezért elsősorban azt írja le, mi történt a két időszakban. Erősebb hatásállításhoz megfelelőbb vizsgálati terv szükséges lehet.

Saját példa egy új érkezési folyamatra

Kitalált szalonunk új tájékoztatót vezet be. Ugyanabban a hónapban bővíti a nyitvatartást, új kolléga érkezik, és több visszatérő vendég ad értékelést. Az összátlag javulása mellett nem tudjuk, melyik változás mennyiben járult hozzá.

A helyi próba ettől még lehet hasznos. A tájékoztatóhoz közvetlenül kapcsolódó kérdéseket és megfigyeléseket kell külön nézni: megtalálták-e a vendégek az információt, és melyik bizonytalanság maradt fenn?

Az ellenőrzést a bevezetés előtt tervezd

Írd le, milyen konkrét problémán szeretnél javítani, és mi volna az észlelhető eredmény. A fejlesztési ötletet tesztelendő feltevésként kezeld. 2 Így később nem kell utólag a legkedvezőbb változót kiválasztani sikerbizonyítéknak.

Rögzítsd a bevezetés napját és a vizsgálati időszakokat. Ha a próba alatt újabb módosítás készül, azt is jelöld. A változatok követhetősége nélkül nehéz megmondani, pontosan melyik működést vizsgáltátok.

A megfogalmazás tükrözze a bizonyítékot

„A bevezetés utáni időszakban magasabb átlagot mértünk” pontosabb lehet, mint hogy „a tájékoztató ennyivel növelte az elégedettséget”. Az első megfigyelést közöl, a második okot állít.

A döntéshez a bizonytalanság mellett a megvalósítás tapasztalatát is nézd meg. Használható volt-e az új lépés, okozott-e új nehézséget, és érdemes-e folytatni? Nem minden helyi fejlesztés igényel formális hatásvizsgálatot, de minden nyilvános állításnak a ténylegesen rendelkezésre álló bizonyítékhoz kell igazodnia.

A megvalósulást is ellenőrizd

Egy új tájékoztató elkészülése nem jelenti automatikusan, hogy minden érintett vendég találkozott vele. A próba értékelésében ezért legyen külön kérdés, ténylegesen hol és mikortól használták az új változatot. Ha a régi üzenet egy másik csatornán tovább élt, az eredmény nem értelmezhető úgy, mintha a teljes folyamat egyszerre megváltozott volna.

A megfigyelés előre kijelölt időszakát ne zárjátok le pusztán azért, mert megjelent néhány kedvező válasz. A rövid távú ingadozás könnyen sikernek látszhat. Ha működési okból mégis módosul a próba, jegyezzétek fel ezt és az indokot, hogy a későbbi olvasó is értse, hogyan keletkezett az összesítés.

Az értékelés végén külön mondat szólhat arról, mit sikerült megvalósítani, milyen vendégjelzést láttatok, és mi maradt bizonytalan. Például az új információ következetesen megjelent, néhány vendég hasznosnak találta, de a kevés válasz miatt az általános elégedettség változásáról még nincs erős következtetés. Ez elég lehet a könnyen fenntartható helyi megoldás folytatásához. Szélesebb üzleti hatás állítását azonban nem helyettesíti, és a későbbi vizsgálat kérdését is nyitva hagyja.