Sperimentare = A/B testing?
Un nuovo competitor per Google e i regali di Natale dalle startup italiane.
Eccoci alle ultime due newsletter di questo 2022. Il terzo weekend di dicembre lo dedicherò al mio tradizionale post di recap annuale e ai propositi per il 2023, poi ci risentiremo il 5 febbraio.
Per quasi quattro settimane sarò via, godendomi una vacanza straordinaria che sto pianificando da mesi con l'aiuto della mia amica Paola, esperta in viaggi di nozze low cost. Facciamo finta che sia lo stesso anche per noi!
Adotterò il suo motto “Scusate, io vado” per il mio out of office, perché ho deciso di non aprire nemmeno un'email (GIURO!).
Non ricordo l'ultima volta che l'ho fatto: da quando lavoro come consulente, dal 2016, ho sempre dato un’occhiata alla mia inbox, ovunque fossi, per non perdere super urgenze o lead da tenere caldi.
Ma ora, ho deciso che merito di riprendermi questa libertà.
Le uniche app che avrò a portata di mano saranno quelle per le stories e i post su Instagram. La mia mirrorless è pronta per catturare panorami mozzafiato che non vedo l'ora di ammirare e vivere.
Cos’è successo questa settimana?
Oltre al fatto che sto lasciando Taxfix.
1. L’analisi della settimana
Perché sperimentare è molto più che lanciare degli A/B testing
Da anni mi scontro con chi ha “una fantastica bellissima idea”. Che nella maggior parte dei casi non ha validato. Validare significa testare, ossia in qualche modo e con dei dati (soprattutto) dimostrare anche in una forma di prodotto molto basic che non c’è un’unica persona al mondo ad avere quel bisogno da risolvere con una magica idea a cui nessuno aveva mai pensato prima (sì, sono ironica).
Peggio ancora di chi non valida le proprie idee di business (perché a volte in quel caso è semplicemente sinonimo di poca esperienza), ho scoperto recentemente c’è: chi ha già un prodotto validato ma che non scala secondo le previsioni e quindi decide di sperimentare. Ora, sarebbe bello esistesse un metodo condiviso e uguale in tutto il mondo dove si sperimenta sul prodotto. Se esistesse un unico metodo, ci aiuterebbe non solo a essere più veloci ed efficaci ma soprattutto a evitare errori banali.
Ci permetterebbe di focalizzarci su esperimenti che creano impatto sul business o sul valore percepito dagli utenti, senza essere condizionat* dalle esperienze o opinioni di founder o c-level che si ricordano sempre cosa ha funzionato nelle loro scorse aziende, anche se erano in settori completamente diversi e di vari anni precedenti. Inoltre, perderemmo meno tempo a testare opinioni di chi, per il prodotto, non è nemmeno un target.
Non esiste un framework di sperimentazione unico.
E questo è un problema anche perché spesso c’è chi li conosce e li vuole usare tutti, rallentando troppo l’execution perché i dati ottenuti non sono mai abbastanza. E c’è chi vuole “sperimentare” intervistando 100 utenti pensando sia un numero sufficiente per fare sperimentazione. Chi si occupa di prodotto e di growth sa bene che la fase di product discovery è fondamentale perché non solo permette di continuare a validare idee o approcci nel modo più semplice e veloce ma soprattutto permette di definire canali, prodotto e strategia per andare, poi, molto più veloci. Ecco perché in questa fase consiglio di prendersi un momento per capire qual è il metodo migliore piuttosto che lanciare un A/B testing con l’idea sia sufficiente: di metodi per testare e sperimentare ce ne sono molti, dipende sempre dal nostro obiettivo.
Ecco i miei 4 steps con una serie di metodi per fare product discovery, dall’idea alla sperimentazione (spoiler: non serve per forza usarli tutti ma non ne basta nemmeno uno solo)
Assessment - Valutazione. Come capire se ha senso considerare quell’idea? Consiglio di non usare una di queste tecniche in isolamento perché non permette di valutare l’idea in modo strutturato e oggettivo.
Analisi da 1 a 10: valutazione soggettiva per definire quanto quell’idea ci aiuterà a raggiungere il nostro obiettivo
Analisi con il punteggio ICE: utile per valutare e prioritizzare diverse idee. Impact (impatto) x Ease (facilità) x Confidence (fiducia - quanto siamo sicuri funzionerà?)
Business model: quanto ha senso quell’idea strutturata su un lean canvas?
Stakeholder review: discussione con persone interne all’azienda ma di un altro dipartimento per capire quali possono essere eventuali rischi che non stiamo considerando
Mappatura di ipotesi e rischi: quali sono le ipotesi collegate a quelle idee? E quali sono i rischi e i risultati?
Fatti e insight. Quali sono i dati di mercato e degli utenti che supportano l’idea?
Consiglio: il metodo più conosciuto tra questi è quello delle user interview ma attenzione perché sono quelle più rischiose in termini di bias. Basta qualche domanda posta in modo sbagliato per convincervi la vostra idea sia super!
Analisi dati interni: funnel analytics, log data, heatmap, feedback, richieste dei vostri utenti. Qualsiasi dato quantitativo e qualitativo che possedete.
User interview: cosa vi hanno detto persone della vostra target audience ma non registrati e utenti attuali durante sessioni di interviste sui loro bisogni e soluzioni attuali? Cosa utilizzano? Qual è il loro bisogno? Come lo risolvono?
Surveys e indagini: avete mai chiesto ai vostri utenti quali sono le loro opinioni e quali sono le loro idee? Sempre utile da fare.
Ricerca sul campo / focus group: dipende dal settore, può essere molto costosa e complessa ma spesso ci possono essere ricerche e dati già disponibili online
Competitor analysis: cosa fanno i vostri competitor? Non vi aiuterà a capire se quell’idea è giusta o sbagliata ma avrete qualche conferma se quella idea risolve un problema condiviso anche da loro.
Test: creiamo un prototipo e lo facciamo vedere agli utenti per misurare la loro reazione.
Consiglio: anche in questo caso è preferibile testare usando più di un modalità per confrontare dati quantitativi e qualitativi. Ed è importante definire l’obiettivo: vogliamo “solo” imparare o capire cosa funziona meglio rispetto a un benchmark attuale o delle success metrics di settore?
Usability test: Chiediamo agli utenti di testare un prototipo seguendo la guida di qualcuno, in genere del team di design. Possono essere prototipi interattivi o prodotti in una forma più o meno finale.
Test Concierge: sembrano prodotti che funzionano in modo automatico invece vengono azionati dagli umani dietro le quinte, immaginate per esempio un e-commerce dove la spedizione viene fatta manualmente dal team e non da un corriere. Permette di evitare o di ridurre il contatto umano rispetto alla user interview per non influenzare il comportamento dell’utente
Smoke test o Fake Door Test: testiamo la domanda di un concept creato su un annuncio sponsorizzato o su una landing page, misurandola attraverso il tasso di conversione di un modulo, una CTA, un form di registrazione per poi dire all’utente che in realtà il prodotto non esiste ancora. Ci permette di capire qual è il bisogno e quale è la soluzione che sulla carta ha un appeal migliore
Dogfood: è il test di un prodotto o di una funzionalità fatto dal team interno all’azienda. Consiglio di usarlo solo per bug testing o per social proof, per esempio per aumentare le recensioni dell’app appena uscita.
Early-adopter testing: si creano community di early adopter con i quali confrontarsi per raccogliere feedback, testando e lanciando nuove funzionalità. E’ la modalità più utile ma spesso più complessa e lunga.
Esperimenti: gli esperimenti ci permettono di testare delle ipotesi dividendo il nostro target tra il segmento oggetto del test e un gruppo di controllo, in modo da capire come la performance migliora rispetto alla versione iniziale.
Consiglio: un usability test non è un esperimento perché non c’è un gruppo di controllo. Preparatevi a vedere cambiare le vostre opinioni e a non poter fare nulla per influenzare il mercato, che potrebbe bocciare la vostra idea.
A/B testing: per analizzare la risposta di due segmenti di utenti random su due variazioni. Importante misurare la significatività statistica dei segmenti.
A/B/n testing: le variazioni non sono più solo due, con diverse e molteplici variabili che diventano oggetto di test simultanei.
Multivariate test: si testano più elementi contemporaneamente, tuttavia servono molti più dati, più tempo ed è molto più difficile ottenere significatività statistica.
Percent experiment: è un A/B testing più importante, poiché c’è un effettivo rilascio di una funzionalità per una percentuale specifica di utenti.
Quale di questi metodi avete trovato più utile?
Fatemi sapere, sono curiosa!
2. Un caso di una startup da sapere
Questa settimana non vi parlo di una startup ma di un tool di intelligenza artificiale (AI) perché è pazzesco.
Il mondo del tech internazionale è in subbuglio perché Open AI, una società senza fini di lucro che fa ricerca sull’intelligenza artificiale, ha rilasciato CHATGPT un chatbot molto sofisticato che risponde in modo pazzesco in termini di qualità e di similitudine all’approccio umano a qualsiasi domanda in pochissimi secondi. Questo modello è in grado di rivoluzionare il modo in cui interagiamo con le macchine, permettendoci conversazioni più naturali e intuitive anche senza che ci debba essere un umano dall’altra parte.
Partiamo con qualche esempio.
Ecco una conversazione semplice.
Ovviamente si può sottoporre qualsiasi questione, domanda o richiesta di aiuto. Per esempio gli sviluppatori possono chiedere aiuto nella risoluzione di problemi di codice e si possono pure creare dialoghi random tra attori per nuove ed esilaranti sceneggiature. Potrebbe persino aiutare studenti e tesisti nella creazione di temi e ricerche in pochissimi secondi.
Per le prossime newsletter potrei persino chiedere a ChatGPT se mi scrive dei pezzi di questa newsletter e voi fareste davvero fatica ad accorgervene.
Le macchine potranno presto sostituire il lavoro di chi si occupa di scrittura? Saremmo sempre meno in grado di capire chi ha scritto un certo testo? Ne avevo scritto qualche puntata fa qui.
Difficile da dire, ma una cosa è sicura. Se pensiamo che Google fosse esule dal ricevere minacce alle propria esistenza, beh. Direi che questa soluzione potrebbe presto rappresentare una minaccia all’esistenza di Google, dato che con una semplice domanda riceviamo le stesse risposte che ci darebbe appunto Google.
Potete testare ChatGPT anche voi liberamente, qui.
3. Il dato che non vogliamo perderci (per essere interessanti alle cene di lavoro)
$10 Miliardi di dollari di perdite, $3 mld solo nei primi 3 mesi del 2022.
Sono i soldi che brucia Alexa di Amazon.
Il modello di business di Alex non è mai andato bene, la maggior parte delle conversazioni sono domande per ascoltare della musica oppure per il tempo metereologico, situazioni che non possono essere monetizzabili da Amazon.
Dal 2020 il team ha persino smesso di definire dei target di vendita perché tanto non venivano mai raggiunti. Quindi è un prodotto che da un punto di vista di tecnologia e ricerca è pazzesco ma dal punto di vista di business non funziona.
E non sembra che l’assistente vocale di Google se la passi meglio.
Chissà cosa succederà al business degli assistenti vocali.
5. Job, libri e podcast che vi consiglio
We School startup che 2 anni fa ha chiuso un Series A da €6.4M ha aperto un ruolo di Head of Educational Sales in remoto
UnoBravo startup italiana che offre un servizio di psicoterapia online assume un3 Digital Marketing Specialist, Email Marketing Specialist, UX Researcher, Product Designer e People Manager in remoto
Smartpricing startup italiana che sta sviluppando una piattaforma per aiutare gli hotel ad aumentare il fatturato ottimizzando i prezzi delle stanze e che ha recentemente chiuso un round da €2M assume diverse figure in remoto: VP of sales, Full Stack Developer UX design e Sales Manager/Biz Dev DACH
Treatwell, scale-up che aiuta i saloni di bellezza a gestire appuntamenti e clienti, è alla ricerca di Digital Marketing Analyst per il team Martech in remoto.
Podcast: questa settimana ho ascoltato l’intervista di 20 Minute VC al CEO di Wolt, Miki Kuusi. Super interessante! Il tema che mi è rimasto riguarda le assunzioni. Miki racconta come Wolt sia un’azienda seria quando assume qualcuno perché ci tiene a crescere meno ma cercando di essere sicuri su chi assumono, perché entrare come dipendente o assumere qualcuno è da entrambi i lati una responsabilità. Assumere qualcuno e poi vederlo andare via o doverlo licenziare significa aver fallito come azienda, anche quando la decisione non è evitabile. Non si è in un’azienda seria se si assumono 10 persone per poi doverne lasciare andare metà. Ve lo consiglio!
🎅 9 regali di Natale dalle startup italiane
Sorpresa 🎄! Se siete anche voi alla ricerca del regalo perfetto e allo stesso tempo vi piacerebbe supportare l’ecosistema delle startup italiane early-stage facendo esclamare “WOW” a chi riceverà il vostro pensiero ho raccolto dei piccoli consigli (e codici sconto) per voi!
Una degustazione di bottiglie selezionate dai super sommelier di Sommelier Wine Box consegnata a domicilio, potrete scegliere prezzo e quantità. Hanno appena lanciato un configuratore che vi aiuterà proprio a combinare i gusti e le aspettative di chi riceve le bottiglie. Sconto del 15% se usate il codice vinopernatale (vale anche se è un autoregalo) :)
Un raccontastorie senza schermi per i vostri bambin3, nipot3 e cuginett3 per riaccendere la magia del Natale creato da Faba (ho scritto di loro qui). Sconto del 10% con il codice WELCOME10
Rimanendo nell’ambito bambini e bambine ci sono altre due startup che mi piacerebbe farvi conoscere. La prima è FamilyNation un marketplace per soddisfare qualsiasi loro desiderio, sconto del 10% con il codice STARTUP10.
La seconda è Ettomio che crea arredamento configurabile per la curiosità dei più piccoli, secondo i principi montessoriani. Sconto del 5% se usate il codice Ettomio+wow
Un regalo utilissimo per le vostre fidanzate, compagne, sorelle, mamme, amiche e cugine. Non sarà proprio sexy ma sono sicura apprezzeranno gli assorbenti compostabili creati da This Unique. Se pensate sia troppo piccolo vi consiglio di associarlo ai rasoi sostenibili dal super design sviluppati da Fler. Sconto di Natale del 20% su tutto l’ecommerce di Flair con il codice SMOOTHCHRISTMAS
Un capo davvero speciale di abbigliamento o per la casa di Endelea, una startup italiana che realizza capi unici progettati in Italia e prodotti da sarte in Tanzania, creando un ponte tra Europa e Africa. Hanno vinto il premio come miglior brand etico alla Milano Fashion Week a settembre, io se fossi in voi non me la farei scappare. Sconto del 10% se usate ENDELEASTORIES
Un abbonamento per una cassetta di frutta verdura settimanale che riduce gli sprechi a cura di Babaco Market, che raccoglie prodotti buonissimi a cura dei più bravi produttori italiani, ma che per motivi estetici non rientrano nei canoni di altri canali di distribuzione (hanno appena raccolto €6M quindi sulla qualità del loro servizio ci sono pochi dubbi).
Skin care particolare per fidanzate, compagne, sorelle, mamme, amiche e cugine? Dai cosmetici ottenuti dagli scarti di pistacchio creati a Bronte da Kymia, agli integratori che seguono la dieta mediterranea sviluppati da Sestre, soprattutto per chi si trova in situazioni particolari. Le founder italiane sono pazzesche, peccato si parli ancora troppo poco delle loro storie e dei loro prodotti. Ai link trovate già dei bellissimi sconti natalizi.
Un alveare a distanza per proteggere apicoltori, api e biodiversità, come quello di 3Bee. Sconto del 15% con il codice BEEFRIEND22
Prodotti personalizzati per i capelli per lei e per lui by Shampora e Barberino’s: se andate nei loro siti trovate già degli sconti specifici per l’occasione.
BONUS GODURIA: My Secret Case ha introdotto il bonus goduria e regala un toy a chi completa un corso di My Secret Case Education. Basterà guardare tutti i 10 video e rispondere correttamente alle 3 domande alla fine di ogni modulo! Se invece non avete voglia di tutto questo sbatty questa pagina è già bella ricca di idee :)
Ci sentiamo la settimana prossima!
Alessia