Incrementalidad en marketing de influencers: un test holdout sin equipo de datos

Para hacer un test de incrementalidad de marketing de influencers y saber si la campaña generó ventas que no habrían ocurrido de todos modos, deja una parte de tu mercado fuera de ella y compara. Elige dos grupos de regiones con un historial de pedidos parecido, activa a los creadores solo en uno y estima el grupo de test a partir de los pedidos del otro. Los pedidos por encima de esa estimación son el efecto incremental de la campaña, y puedes calcularlo, con un rango de confianza aproximado, en una hoja de cálculo.

Importa porque atribución y causalidad son preguntas distintas. Un código promocional te dice detrás de qué creador llegó una venta. No te dice si esa persona habría comprado igualmente. Esa segunda pregunta es la incrementalidad, y la forma habitual de responderla es un test holdout, con un grupo de control. Nuestra guía para medir el ROI del marketing de influencers esboza el método en un apartado. Este artículo es la calculadora completa: cómo elegir las regiones, qué tamaño necesita el test, cómo ejecutarlo y cómo convertir pedidos semanales en un incremento con un rango que puedas defender.

Necesitas los pedidos semanales por región de tu tienda, una hoja de cálculo y unas 12 semanas: 8 de historial, que ya tienes, y 4 de campaña. Sin equipo de datos y sin software de modelización.

¿Qué mide un test de incrementalidad que la atribución no mide?

Un test de incrementalidad mide las ventas que no habrían existido sin la campaña. La atribución mide las ventas que se pueden vincular a un creador. Los dos números se solapan, pero no son iguales, y cualquiera de los dos puede ser el mayor.

• La atribución puede sobrecontar. Una clienta fiel que iba a comprar esta semana ve el código de una creadora y lo usa para ahorrarse un 15 %. El pedido se atribuye a la creadora, pero no es incremental.
• La atribución puede infracontar. Alguien ve un reel, no hace clic y dos días después busca tu marca en Google y compra a precio completo. El pedido es incremental, pero ningún código ni enlace lo conecta con el creador.

Así que usa los dos. La atribución ordena a los creadores entre sí. El holdout te dice cuánto puedes fiarte del total atribuido. Si todavía estás eligiendo cómo medir, lee antes nuestra comparativa entre código de descuento, enlace de seguimiento y pixel, porque el holdout usa esas cifras atribuidas como dato de entrada.

Holdout geográfico, de clientes o por semanas: ¿qué diseño te encaja?

Hay tres diseños que funcionan sin equipo de datos. Para la mayoría de las campañas con creadores, el holdout geográfico es el más práctico: no controlas quién ve una publicación pública, pero sí a qué regiones apuntan tus creadores, tus ofertas y tus envíos.

Los métodos geográficos publicados van más allá de este artículo. Investigadores de Google describieron experimentos geográficos aleatorizados para publicidad en Measuring Ad Effectiveness Using Geo Experiments (Vaver y Koehler, 2011), y el paquete de código abierto GeoLift, de Meta, usa métodos de control sintético para construir el grupo de comparación y calcular la potencia del test. Si tienes un analista, esas herramientas dan respuestas más precisas. La receta de abajo es la versión que puedes hacer a mano.

Paso 1: elige las regiones de test y de control

Elige regiones en las que puedas mantener la campaña fuera de un grupo y repártelas de modo que los dos grupos se muevan juntos antes del test.

1. Saca los pedidos semanales por región de las últimas 8 a 12 semanas, con la exportación de pedidos de tu tienda, agrupados por provincia o comunidad autónoma de envío.
2. Excluye lo que no puedas aislar. Madrid y Cataluña son lo bastante grandes como para dominar cualquiera de los dos grupos, y las campañas, los medios y los eventos nacionales suelen llegarles primero. Baleares y Canarias tienen otros plazos de entrega. Excluye también cualquier región con una promoción propia durante el test.
3. Reparte el resto en dos grupos con patrones semanales parecidos. Una forma sencilla: ordena las regiones por pedidos semanales, alterna su asignación entre los dos grupos e intercambia parejas hasta que las líneas semanales de ambos grupos vayan en paralelo.
4. Comprueba el emparejamiento. Divide los pedidos del test entre los del control, semana a semana. Si ese ratio se mantiene más o menos plano, el control es una buena previsión del test. La dispersión de ese ratio es tu ruido, y la necesitas en el paso 2.

En el ejemplo práctico, el grupo de test lo forman Asturias, Navarra, Castilla y León, La Rioja, Aragón, la Comunitat Valenciana y Murcia. El control lo forman Galicia, Cantabria, País Vasco, Extremadura, Castilla-La Mancha y Andalucía. Los grupos no necesitan la misma población. Necesitan pedidos semanales que suban y bajen a la vez.

Paso 2: dimensiona el test antes de briefear a nadie

Un test demasiado pequeño te da un número, pero ese número es ruido. Comprueba el tamaño antes de comprometer presupuesto, con una fórmula.

Incremento mínimo detectable = 2,8 x ruido semanal x √(1 / semanas previas + 1 / semanas activas)

• El ruido semanal es la desviación típica del ratio semanal test/control en las semanas previas, dividida por su media. En la hoja de cálculo: DESVEST dividido por PROMEDIO.
• El 2,8 sale de un 95 % de confianza más un 80 % de potencia, los valores por defecto habituales en un experimento.
• Con 8 semanas previas y 4 activas, la raíz cuadrada vale 0,61.

El volumen de pedidos pone un suelo al ruido, porque el número de pedidos varía por azar aunque no cambie nada. El suelo del ratio es aproximadamente √(2 ÷ pedidos semanales por grupo). El ruido real suele ser mayor, por el tiempo, los días de cobro y las promociones, así que mídelo con tus datos.

Después compara el incremento detectable con el que puedes esperar. Una estimación rápida: los pedidos atribuidos que lograste en campañas parecidas, divididos por los pedidos base del grupo de test en esas mismas semanas. Si la campaña puede sumar un 5 % y el test solo detecta un 14 %, no lo lances así. Alárgalo, añade regiones o concentra más presupuesto en el grupo de test.

Dimensionado ilustrativo: el grupo de test promedia unos 816 pedidos semanales. El ratio semanal tiene un ruido del 5,3 %. El incremento mínimo detectable es 2,8 x 5,3 % x 0,61 = 9,1 %. Campañas anteriores de este tamaño dieron unos 350 pedidos atribuidos en cuatro semanas, sobre una base de unos 3.260, así que el incremento esperado ronda el 11 %. Está justo por encima del umbral. La marca acepta el riesgo, sabiendo que un resultado nulo no sería concluyente, y no una prueba de que los creadores no funcionan.

Paso 3: activa la campaña solo en las regiones de test

El análisis es sencillo. Lo difícil es la disciplina. Tres reglas protegen el resultado.

1. Trabaja con creadores locales. Prioriza a creadores cuya audiencia se concentre en las regiones de test. Pide a cada uno una captura de su audiencia por ciudad antes de firmar. Un creador nacional con media audiencia en Madrid filtra la campaña a todos los grupos.
2. Congela todo lo demás. Ninguna campaña de pago, envío de email, cambio de precio ni evento en tienda que afecte solo a un grupo durante el test. Lo nacional no es problema, porque afecta a los dos.
3. Fija las fechas y la regla de antemano. Deja por escrito las semanas, las regiones, la métrica (pedidos o ingresos netos) y la fórmula antes de que empiece la campaña. Cambiarlas después de ver los resultados convierte un test en un relato.

Registra las fugas sobre la marcha. En la exportación de pedidos, cuenta cuántos pedidos con los códigos de los creadores del test se envían a regiones de control. Unos pocos es normal. Si superan aproximadamente una décima parte de los pedidos con código, el control ha visto la campaña y el test infravalorará el incremento.

Paso 4: calcula el incremento y un rango aproximado

Tras la última semana de campaña, calcula cuatro números. Este es el ejemplo completo. Todas las cifras son ilustrativas.

El resultado se lee así: la campaña probablemente sumó entre unos 215 y 640 pedidos, con 426 como mejor estimación. El efecto es real, porque todo el rango está por encima de cero. También es impreciso, y el informe tiene que decirlo.

Dos precauciones mantienen honesto el rango. Primera: la fórmula trata cada semana como independiente. Las semanas reales no lo son, así que el rango verdadero probablemente es más ancho. Tómalo como el más estrecho posible. Segunda: haz una prueba placebo. Aplica el mismo cálculo a las semanas 1 a 4 frente a las 5 a 8 del historial, cuando no cambió nada. Si ese "incremento" se aleja mucho de cero, tus grupos no están lo bastante emparejados como para fiarte del resultado real.

Paso 5: pasa el incremento a euros y compáralo con la atribución

Un incremento en pedidos sirve de verdad cuando lo pones junto al coste y junto a lo que decía la atribución.

Ilustrativo: el ingreso neto por pedido, sin IVA y descontadas las devoluciones, es de 58 EUR. La campaña costó 12.000 EUR entre honorarios, producto y envíos. El margen bruto es del 55 %, así que el ROAS de equilibrio es 1 ÷ 0,55 = 1,82x.

De aquí salen tres conclusiones.

• La campaña probablemente se pagó con los primeros pedidos, porque la mejor estimación, 2,06x, supera el equilibrio de 1,82x. No está demostrado, porque el extremo bajo del rango no lo supera.
• La atribución no infló esta campaña. La estimación incremental es 1,15 veces el total atribuido con todos los niveles, con un rango de aproximadamente 0,6 a 1,7. Es posible que la atribución se dejara ventas de gente que vio el contenido y compró sin código.
• Ahora tienes un factor de calibración. La próxima vez puedes multiplicar el total atribuido por un factor dentro de ese rango, en lugar de suponer que vale exactamente 1. Repite el test antes de confiar en él.

El test mide solo los primeros pedidos dentro de la ventana. Las recompras de los nuevos clientes llegan después, así que sigue a la cohorte durante 60 a 90 días, como explicamos en optimiza a los creadores por cohorte, no por clic.

¿Cuándo no deberías hacer un test holdout?

Descártalo, o déjalo para más adelante, en estos casos:

• Menos de unos 300 pedidos semanales por grupo. Solo detectarás efectos muy grandes. Usa rangos de atribución y un programa más largo.
• Un creador nacional o un formato viral. Si el contenido está pensado para viajar, un holdout regional no puede contenerlo.
• Una semana de temporada alta. Black Friday, el Hot Sale o el arranque de las rebajas añaden un ruido que tapa el efecto de los creadores.
• No te puedes permitir el control. Las regiones de control renuncian a las ventas de la campaña durante cuatro semanas. En un lanzamiento que necesitas en todas partes, ese coste puede ser demasiado alto.
• Un objetivo de notoriedad. Si el objetivo es alcance, juzga la campaña por visualizaciones y coste por mil visualizaciones. Nuestra guía de KPI según el objetivo de la campaña recoge la métrica adecuada para cada meta.

Para una agencia, un holdout es una forma sólida de responder a un cliente escéptico, pero solo si el cliente tiene volumen. Nuestra guía para demostrar el ROI de los creadores a un cliente en 30 días explica cómo montar un piloto empezando por rangos de atribución, y cuándo añadir un holdout.

Cómo te ayuda cyrqle

cyrqle no calcula la incrementalidad, no elige las regiones de control ni ejecuta el test. Te da el dato de atribución que el test necesita, y lo mantiene separado del resultado del test.

• Pedidos atribuidos por nivel de confianza. En Atribución, cada venta lleva un nivel: Nivel 1 — código promocional, Nivel 2 — misma sesión y Nivel 3 — con cookie posterior (ventana de 30 días). Cada pedido cuenta una sola vez, en su nivel más fuerte, y los ingresos son netos de devoluciones. Son las filas de 283 y 371 de la tabla del paso 5.
• Códigos y enlaces por creador. Cada creador tiene su propio código promocional y su enlace de seguimiento, así que si solo briefeas a los creadores de las regiones de test, todos los pedidos atribuidos pertenecen a la campaña de test por diseño. Puedes generar y exportar códigos en bloque.
• Fuentes que ya tienes. Un tag de menos de 2KB en tu tienda, un pixel personalizado para el checkout de Shopify, webhooks de pedidos firmados de Shopify, WooCommerce y Magento, y una página de canje en caja para los códigos en tienda física.
• Un rango, no un solo número. El informe de campaña en pantalla tiene un selector de Confianza de atribución: Conservador cuenta solo códigos promocionales, Equilibrado añade la misma sesión y Completo añade las cookies posteriores. Así tienes el rango atribuido para ponerlo junto a tu rango del holdout. Informes exporta informes en PDF o CSV para tu hoja de cálculo.

Los pedidos semanales por región salen de tu propia tienda. El incremento, el rango y el factor de calibración los calculas tú con los pasos de arriba. Para ver los niveles de atribución con tu propia categoría, solicita una demo de 30 minutos.

FAQ

¿Cuánto debe durar un test de incrementalidad en marketing de influencers?

Normalmente, cuatro semanas de campaña tras al menos ocho de historial. Los tests más cortos rara vez tienen potencia para detectar un efecto realista de los creadores. Si el paso 2 te dice que tu incremento detectable es demasiado alto, alarga a seis u ocho semanas en lugar de recortar el historial.

¿Puedo hacer un test holdout con una tienda pequeña?

Solo para efectos grandes. Con unos 100 pedidos semanales por grupo, un test de cuatro semanas detecta incrementos de aproximadamente un 24 % o más. Por debajo de unos 300 pedidos semanales por grupo, presenta la atribución como un rango y gana volumen antes de testear.

¿Un test holdout es lo mismo que un marketing mix modelling?

No. Un holdout es un experimento: cambias una cosa en un grupo y comparas. El marketing mix modelling es un modelo estadístico ajustado a años de inversión y ventas en todos los canales. Un holdout responde a una pregunta sobre una campaña; el MMM estima todos los canales a la vez y necesita muchos más datos.

¿Y si el incremento sale negativo?

Si el rango incluye el cero, el test no es concluyente; no demuestra que la campaña hundiera las ventas. Revisa primero las fugas, la prueba placebo y cualquier promoción que afectara a un solo grupo. Un rango claramente negativo con grupos limpios es raro; una posible causa es que la campaña adelantara ventas que habrían llegado más tarde, pero revisa antes el emparejamiento.

¿Debo pagar a los creadores por las ventas incrementales?

Pocas veces. La incrementalidad se mide para la campaña entera, no por creador, y solo cuando cierra el test. Paga la comisión sobre las ventas atribuidas según diga el contrato, y usa el resultado del holdout para decidir el presupuesto y las tarifas de la próxima temporada.

Fuentes

• Jon Vaver y Jim Koehler, Measuring Ad Effectiveness Using Geo Experiments, Google, 2011: https://research.google/pubs/measuring-ad-effectiveness-using-geo-experiments/
• GeoLift, paquete de código abierto para experimentos geográficos (Meta, facebookincubator): https://github.com/facebookincubator/GeoLift