MARKETING
MMM e incrementalità rispondono a due domande diverse. Il Marketing Mix Modeling stima il contributo di tutti i canali insieme, ma è una stima. Un test di incrementalità misura l’effetto causale di un solo canale, in un solo momento. Calibrare il MMM con i test vuol dire usare la misura precisa per correggere la stima completa.
Due strumenti, due punti deboli
Le definizioni complete sono nelle due guide: Marketing Mix Modeling e test di incrementalità. Qui interessa un’altra cosa: dove ognuno dei due sbaglia quando lavora da solo.
| Solo MMM | Solo test | |
|---|---|---|
| Cosa ottieni | Un quadro di tutti i canali e una curva di risposta per ognuno | Un numero causale su un canale |
| Il rischio | Il modello spiega bene il passato, ma con i pesi sbagliati | Decidi tutto il budget partendo da un punto solo |
| Cosa manca | La prova che la stima è vera | La visione d’insieme e gli scenari |
Cosa succede se usi solo il MMM
Un MMM lavora su dati osservati, non su un esperimento. Tre situazioni lo mettono in difficoltà.
- Canali che si muovono insieme. Se alzi Meta e Search negli stessi periodi, il modello fa fatica a dividere il merito tra i due. Può dare troppo all’uno e troppo poco all’altro, e i numeri di accuratezza restano buoni lo stesso.
- Canali che seguono la domanda. La spesa sulle ricerche di brand sale quando la gente ti cerca già. Il modello vede spesa e vendite crescere insieme e rischia di leggere la causa al contrario: è la domanda a far salire la spesa, non la spesa a creare la domanda.
- Canali con poca variazione. Se un canale ha sempre avuto lo stesso budget, il modello non ha visto cosa succede quando lo cambi. La sua curva è quasi un’ipotesi.
L’accuratezza dice che il modello descrive bene il passato. Non dice che ha diviso bene il merito.
Cosa succede se usi solo i test
Un test ben fatto è la misura più solida che hai. Ha però tre limiti pratici.
- Misura un punto. Ti dice quanto rende quel canale a quel livello di spesa. Non ti dice cosa succede se raddoppi o dimezzi: per quello serve la curva di saturazione, che mostra come cala il rendimento quando la spesa sale.
- Misura un momento. Un risultato ottenuto in bassa stagione non vale in automatico in alta stagione.
- Non si può testare tutto. Ogni test occupa aree o pubblici per un periodo. Fare molti test insieme sulle stesse aree mescola gli effetti.
Come i test calibrano il MMM
Calibrare vuol dire portare il modello ad accordarsi con le misure sperimentali che hai. Ci sono tre modi, dal più semplice al più solido.
- Confronto dopo la stima. Costruisci il modello, poi confronti il suo numero con quello del test sullo stesso canale e nello stesso periodo. Se la distanza è grande, il modello va rivisto.
- Scelta tra modelli candidati. Di solito più versioni del modello spiegano i dati quasi allo stesso modo. Tieni quella che si avvicina di più ai risultati dei test.
- Vincolo dentro il modello. In un MMM bayesiano il risultato del test entra come informazione di partenza (prior) sul rendimento di quel canale. Il modello parte da lì e lo aggiorna con i dati.
Per confrontare modello e test serve una metrica comune. Di solito è l’iROAS, il ROAS incrementale: ricavi incrementali divisi per la spesa del canale, calcolati sullo stesso periodo.
Un punto conta più degli altri. Il test corregge un canale, ma l’effetto si sente su tutti: se il modello dava troppo merito a un canale, quel merito va ridistribuito tra gli altri canali e la base, cioè le vendite che arrivano anche senza marketing.
Un esempio
Il modello segnala questo: sposta 6.400 € da Facebook Awareness a Google Search. Oggi su Facebook Awareness spendi 14.800 €, ma il rendimento cala oltre i 9.000 €. La stima è +18% di conversioni con la stessa spesa, circa +214 conversioni al mese.
È una stima. Prima di renderla una regola fissa conviene verificarla con un test.
- Domanda del test: se riduco Facebook Awareness, quante vendite perdo davvero?
- Metodo: geo test, cioè un test su aree geografiche. In alcune aree la spesa scende, nelle altre resta uguale.
- Lettura: se le aree con meno spesa perdono poche vendite, la curva del modello è confermata. Se ne perdono molte, il modello sottostimava il canale e va ricalibrato prima di spostare altro budget.
Un flusso pratico in sei passi
- Costruisci il MMM sui dati puliti. Spesa, vendite, prezzi e promozioni sullo stesso periodo e con la stessa granularità.
- Trova i canali più incerti. Sono quelli con il margine di errore più largo, o quelli dove il modello e le piattaforme danno numeri molto lontani.
- Ordinali per valore della decisione. Si testa prima il canale dove un errore costa di più: molta spesa e molta incertezza.
- Progetta il test. Una domanda, una metrica decisa prima, gruppi confrontabili, niente altre modifiche in corso.
- Confronta e ricalibra. Stesso canale, stesso periodo, stessa metrica. Poi aggiorna il modello.
- Ripeti quando cambia qualcosa. Un nuovo canale, un salto di budget o una stagione diversa sono buoni motivi per un nuovo test.
Quando il test e il modello non sono d’accordo
| Cosa vedi | Causa probabile | Cosa fare |
|---|---|---|
| Il modello stima più del test | Il canale segue la domanda (brand, retargeting) | Vincola il canale al risultato del test e rifai gli scenari |
| Il modello stima meno del test | Poca variazione di spesa nello storico | Usa il test come punto di partenza per quel canale |
| Risultati vicini | Il modello regge su quel canale | Passa al canale incerto successivo |
| Il test non dà un segnale chiaro | Test troppo piccolo o troppo breve | Non calibrare su quel test. Ripetilo con più aree o per più tempo |
Il test ha più peso del modello solo se è stato progettato bene. Un test debole usato per calibrare peggiora il modello.
Due errori da evitare: calibrare con il ROAS di piattaforma, che è attribuzione e non una misura causale, e fare il test senza poi aggiornare il modello.
Come lo fa Sherpaz
Sherpaz tiene nella stessa base dati vendite, advertising e CRM, per area e per periodo. Il MMM e la lettura dei test partono quindi dagli stessi numeri. Ogni modello mostra assunzioni, accuratezza e margine di errore: così si vede su quali canali la stima è più debole e dove un test serve di più. I test di incrementalità e la validazione dei modelli fanno parte dell’offerta Enterprise, insieme ai consulenti di marketing science. I dettagli sono nella pagina metodologia.
Richiedi una demo · Preferisci che lo facciamo noi? Consulenza MMM di Dataz
Domande frequenti
Se ho già un MMM, mi servono ancora i test di incrementalità? Sì. Il MMM è una stima costruita su dati osservati. I test sono il modo più solido per verificare che il merito dato a ogni canale sia corretto.
Cosa vuol dire calibrare un MMM con un test? Vuol dire usare il risultato di un esperimento per correggere il modello. Il risultato del test si confronta con la stima, oppure entra nel modello come vincolo sul rendimento di quel canale.
Ogni quanto va ricalibrato il modello? Non c’è una scadenza fissa. Conviene farlo quando arriva un nuovo test, quando entra un canale nuovo o quando il budget cambia molto.
