Vi sendte en radikal ny version ud til 105.000 brugere uden data

"Du har godt nok store boller, Madsen!" 🫣

Det sagde en af vores Produktdesignere, Lars Alstrøm til mig forleden. 😅

Og den kommentar har jeg tænkt en del over det siden! For beslutningen føltes ikke modigt. Det føltes bare rigtigt!

Der ligger noget i den forskel, som jeg tror mange produktfolk kender. Udefra ligner det mod. Indefra ligner det den eneste fornuftige mulighed.

Konteksten

Konteksten? 1 uge efter lancering til 105.000 brugere sendte vi en helt ny version ud. Ikke en tweak. Ikke en lille ændring. Det var faktisk en radikal ændring!

Vi fjernede ting. Vi gjorde ting anderledes. Og vi havde hverken data, split tests eller brugerinterviews der bakkede beslutningen op.

Det er værd at stoppe op ved rækkefølgen. En uge er kort tid. Så kort, at et statistisk validt split test på et produkt i den størrelse knap nok kan nå at give et svar.

Vi kunne have ventet. Vi kunne have sat en test op, kørt den i tre uger og fået et tal at pege på i et slidedeck.

Prisen for at vente var, at 105.000 mennesker i mellemtiden brugte en version, vi selv kunne se var forkert.

Mavefornemmelse er også en form for data

Vi havde mavefornemmelsen. 🔥

Ordet lyder løst, og det dækker over noget ret konkret. Et team, der har arbejdet med det samme produkt og de samme brugere i årevis, har set tusindvis af supportsager, brugertests og skærmoptagelser.

Den erfaring ligger i hovedet på folk som mønstre. Du kan ikke altid formulere den som en hypotese med et konfidensinterval, og den er ikke tilfældig af den grund.

Det har vi altid været gode til i Dinero: At handle når noget er åbenlyst rigtigt – i stedet for at vente!

Nøgleordet er åbenlyst. Beslutningen her handlede ikke om, hvorvidt A eller B konverterede tre procent bedre. Den slags skal måles.

Den handlede om noget, hele teamet kunne se, når de åbnede produktet.

Og hvad ville alternativet være? Vente på data der beviste det samme? Lave flere slide decks der først skulle godkendes? 🫣

Hvad med de gange, det går galt

👉 Men hvad med de gange det går galt?
Det sker sjældent. Men når det gør, fikser vi det hurtigt. Roll-forward 🙌

Roll-forward betyder, at vi retter fremad frem for at rulle tilbage til den gamle version. Vi sender en ny udgave ud med problemet løst.

Det stiller krav til, hvordan I arbejder. I skal kunne deploye flere gange om dagen, opdage problemer hurtigt og have folk, der kan træffe beslutningen uden at booke et møde.

Har I det på plads, ændrer regnestykket sig. Så bliver en fejl noget, der koster timer frem for uger.

For prisen ved en hurtig fejl er næsten altid mindre end prisen ved passivitet. Ved at vente. Ved ikke at turde tage beslutningen.

Hvornår du skal måle, og hvornår du skal handle

Mål, når forskellen er lille, når valget er svært at gøre om, eller når det handler om priser, betingelser og andet, der rammer kundernes økonomi.

Handl, når alle i teamet kan se problemet, når ændringen kan rulles videre på en dag, og når omkostningen ved at tage fejl er lav.

Det svære er at være ærlig om, hvilken af de to situationer du står i. Mange bruger målingen som en måde at slippe for at tage beslutningen.

Resultatet

Resultatet indtil videre? Vores CES-score er steget væsentligt. 🚀

CES står for Customer Effort Score og måler, hvor let brugeren synes, opgaven var. Til et produkt, hvor folk skal have løst noget administrativt og videre med deres dag, siger den mere end de fleste andre tal.

Og læg mærke til, at målingen kom bagefter. Vi målte for at se, om vi havde ret, frem for at få lov til at handle.

Tør jeg konkludere at gode produktbeslutninger handler om erfaring, intuition – og modet til at handle? 🤷🏽‍♂️

Ofte stillede spørgsmål

Kan man træffe produktbeslutninger uden data?

Ja, når forskellen er åbenlys for hele teamet, og I kan rette ændringen hurtigt bagefter. Erfaring fra tusindvis af supportsager og brugertests er også data, selvom den ikke står i et regneark. Små forskelle og svært omgørlige valg skal stadig måles.

Hvad er roll-forward?

Roll-forward betyder, at I retter en fejl ved at sende en ny version ud frem for at rulle tilbage til den gamle. Det kræver, at I kan deploye ofte og opdage problemer hurtigt. Til gengæld koster en fejl timer i stedet for uger.

Hvad er en CES-score?

CES står for Customer Effort Score og måler, hvor let brugeren oplevede, at opgaven var. Den passer godt til produkter, hvor folk vil have løst noget og komme videre. En stigende CES betyder, at brugerne bruger mindre besvær på det samme.

Hvornår bør man køre split tests i stedet?

Kør test, når forskellen mellem to muligheder er lille, når valget er svært at gøre om, eller når det påvirker kundernes økonomi. Test kræver tid og trafik nok til et validt resultat. Til åbenlyse fejl er det en dyr måde at bekræfte noget, alle allerede kan se.

Hvad koster det at vente på data?

Mens I venter, bruger alle jeres brugere den version, I selv mener er forkert. En fejl I retter samme dag koster som regel mindre end uger med passivitet. Regn på begge dele, før I beslutter jer.

Skal vi tage snakken om tempo hos jer?

Hastighed i produktbeslutninger handler om, hvad I kan rette bagefter. Kan I sende en ny version ud samme dag, kan I også turde mere.

Jeg holder foredrag og workshops for produkt- og ledelsesteams om beslutningstempo, prototyping og AI i udviklingen. Skriv til mig, hvis I vil have besøg.