Tu MMM está mintiendo sobre el ROAS: la sobrestimación de 2.5x que nadie calibra

Un media mix model bien construido puede decirte que un canal rinde 10.61x cuando el número real es 4.20x — y ningún volumen de datos mejores lo arregla. Esa es la conclusión de un paper de simulación publicado en arXiv el 21 de agosto por Niklas Heusch, un investigador cuyo correo de contacto resuelve al dominio zalando.de. En un mundo sintético donde se conoce la verdad completa, un MMM estándar — especificado como lo haría un practicante competente: dummy de promoción, precio observado, tres armónicos de Fourier para estacionalidad, los mismos controles que usan Robyn, Meridian y pymc-marketing — reportó un ROAS de paid search sobrestimado 2.5 veces, y su intervalo de credibilidad del 90% (6.56 a 14.36) ni siquiera contenía el valor real. La parte incómoda viene después: entrégale al modelo los confounders reales — estado de promoción verdadero, precio real, estacionalidad latente, deriva de calidad, sentimiento de mercado — y sigue diciendo 8.41x. El sesgo es estructural, no un problema de calidad de datos. Las decisiones de presupuesto tomadas solo con el MMM son sospechosas, y con la planificación de Q4 encima, eso exige un proceso, no una esperanza.

Por qué el número que viaja empeora las cosas

El número que viajará es 10.61 contra 4.20. Es una simulación — el único entorno donde puedes conocer el retorno verdadero — y por eso mismo importa. Los practicantes reales nunca pueden contrastar su MMM contra la realidad. Ven "paid search: 10.6x ROAS" en el deck y asignan en consecuencia. La contribución central del paper es demostrar que el modelo estaba bien especificado: controles estándar, herramientas estándar, sin strawman. La brecha de 2.5x es lo que entrega un modelado competente.

El segundo número importa más para tu proceso. Cuando al mismo modelo le dieron las covariables reales del generador de datos (la especificación "oráculo", que ningún practicante posee), igual devolvió 8.41x, con intervalo de 6.91 a 9.81. Eso acota lo que mejores controles podrían lograr jamás: aproximadamente el doble del retorno real. Mata la historia cómoda de que datos más ricos, logs más limpios o un prior de estacionalidad mejor van a arreglar tu MMM. El paper lo resume en una línea: los presupuestos de marketing no se asignan al azar. Las marcas gastan más antes de periodos de alta demanda, los sistemas de puja automática suben el gasto cuando suben las tasas de conversión — y las tasas de conversión altas casi siempre reflejan demanda fuerte, no anuncios fuertes. El modelo atribuye esa correlación a la causalidad, y ninguna covariable que puedas mantener constante absorbe a un algoritmo que responde al componente aleatorio del desempeño de la semana pasada.

El experimento que ya estás desperdiciando

Aquí es donde el paper se vuelve práctico. Los geo experimentos — tests go-dark divididos entre DMAs — se suponen la capa de calibración que corrige el MMM (Google lanzó Meridian GeoX en mayo de 2026 precisamente para alimentar el modelo con resultados de experimentos). Pero el paper argumenta que el handover estándar tira a la basura la mayor parte de la información que el experimento produjo.

Un geo test bien diseñado tiene tres fases: un pre-test que establece tendencias paralelas, un periodo de prueba donde el gasto difiere (a menudo apagando el canal en el grupo de tratamiento), y un cooldown donde el gasto vuelve y los efectos decaen. El output crudo es rico: series diarias de resultados y gasto para ambos grupos en las tres fases. La práctica estándar colapsa todo en un número — ingreso incremental total dividido por gasto incremental total — una estimación puntual que responde una pregunta estrecha sobre el retorno promedio a un solo nivel de gasto.

Dos señales mueren en esa suma, y ambas son visibles en la serie cruda:

Ese es el giro que propone el paper: de "experimentos para medir" a "experimentos para estimación estructural". En lugar de entregarle a Meridian un solo punto de ROAS, le entregas la serie de tiempo y dejas que el modelo recupere los tres parámetros de los que depende toda asignación: persistencia, velocidad de rendimientos decrecientes y efectividad general.

Qué significa esto para tus presupuestos sociales

Gestionamos campañas de paid media en Meta, TikTok, LinkedIn y Google para clientes, y este paper cambia cómo leemos cualquier modelo agregado que vemos. El ROAS de plataforma de Meta o LinkedIn es otra bestia — es señal intraplataforma, y ya hemos escrito sobre cómo los cambios de atribución engage-through y los breakdowns silenciosos pueden distorsionarla. Pero el MMM se monta encima de todo eso, y si el ROAS de paid search está sobrestimado ~2.5x en un mundo conocido, los canales sociales del mismo modelo merecen el mismo escepticismo — especialmente cuando el modelo tiene menos datos por canal.

Nada de esto significa que el MMM sea inútil. Significa que el MMM es un generador de hipótesis, no un veredicto. Cuando calibramos el modelo de un cliente antes del Q4, no preguntamos "¿qué dice el modelo?" — preguntamos "¿qué canales planeamos mover y qué evidencia de test tenemos para esos movimientos?" Si la respuesta es ninguna, el cambio recibe presupuesto de experimento y una regla de decisión antes de recibir una reasignación.

El handover de tres señales que corremos antes del Q4

Si tienes un geo test encima — o estás por confiar en uno del trimestre pasado — esta es la extracción mínima que haríamos:

1. Extrae el decay, no el promedio. Mira la transición del go-dark: ¿la brecha de resultados se abre en una semana o en seis? Esa tasa de transición es el parámetro de decay del adstock que tu MMM está adivinando. Un test que colapsa en una cifra de ROAS lo descarta. Hemos visto modelos de clientes asumiendo carryover de 3 semanas cuando el decay real era de menos de una — ese solo error desasigna más presupuesto que cualquier tweak creativo del trimestre.

2. Traza la curva, no el punto. Si el test corrió dos o más niveles de gasto, la diferencia entre ellos traza la curva de saturación. Doblar el gasto y doblar la brecha significa retornos proporcionales; menos del doble significa saturación — y la forma te dice dónde rinde realmente el próximo dólar.

3. Usa la estimación puntual como sanity check, nunca como decisión. El ingreso incremental sumado sobre el gasto incremental sumado sigue siendo un buen titular para un deck. Es un pésimo input para actualizar el modelo. GeoX y herramientas similares aceptan el feed rico — dales la señal para la que fueron diseñadas.

4. Acuerda la regla de decisión antes de que empiece el test. Si el experimento muestra un ROAS incremental por debajo de tu target combinado, ¿qué pasa — pausa, recorte del 20%, reasignación a creativo? Si no lo escribiste antes de que lleguen los datos, vas a racionalizar lo que muestre el dashboard. Es la misma disciplina que aplicamos a los tests de incrementalidad por canal: la regla va primero, o el test es solo un ejercicio de gasto.

5. Reconcília el modelo contra la realidad trimestralmente, no anualmente. El ciclo de presupuesto de Q4 es el checkpoint obvio, pero el sesgo del paper no toma vacaciones: los algoritmos de puja derivan, los calendarios de promos cambian, la demanda base se mueve. Una calibración al año significa que tu modelo está mal durante once meses, y solo no sabes cuáles once.

El mensaje práctico para un equipo de marketing que va rumbo al Q4: trata cualquier número de MMM por encima de 2x tu target combinado como una bandera, no como un hecho. Corre o refresca los geo tests de los canales que realmente planeas mover. Extrae las tres señales. Luego mueve dinero con evidencia — no con un modelo que, en un mundo donde se conocía la verdad, se equivocó por un factor de 2.5 y encima estaba seguro.

Fuentes: Heusch, N. — "Structural Estimation of Marketing Mix Model Parameters from Geo-Experiments," arXiv:2608.21128 (21 ago 2026); cobertura de PPC Land (31 ago 2026); anuncio de Meridian GeoX de Google (mayo 2026).