En sintesis: System1 Test Your Ad mide la respuesta emocional de 150 consumidores a un spot y la convierte en Star Rating (1.0-5.9) que predice el long-term ROI. Los spots 5+ star generan en promedio 3x ROI vs baseline. Tres metricas complementarias: Star Rating (long-term sales lift), Spike Rating (short-term lift 1-7 dias), Fluency Rating (brand recognition). Ejemplos paradigmaticos: Aldi Kevin the Carrot (5.9), Apple "Mac vs PC", Volkswagen "Lemon". Limites: poco representativo para Italia, B2B, direct response.
Que es System1 (y por que es diferente de otros pretests)
System1 es una empresa fundada en 2000 (originalmente Brainjuicer) por John Kearon. Desde Orlando Wood (co-autor "System1 effectiveness research") en adelante, la empresa ha desarrollado Test Your Ad: un metodo de pretesting de spots que mide la respuesta emocional non-conscious de los consumidores, partiendo de la teoria System 1/System 2 de Daniel Kahneman.
Diferencia con los pretests tradicionales (focus groups, recall tests, copy tests): System1 mide la feeling response al filmado, la reaccion automatica, previa al juicio racional. Las metricas tradicionales miden lo que el consumidor dice pensar (post-rationalization a menudo poco predictiva de ventas). System1 mide lo que el consumidor siente en el momento (predictivo de memorabilidad y sales lift).
Star Rating: escala 1.0-5.9, right-brain test
El Star Rating es la metrica principal. Rango 1.0 (worst) a 5.9 (best). Medida sobre 150 consumidores target que ven el spot y completan un test de feeling con interfaz "Smiley faces" (7 emociones: very happy, happy, neutral, sad, angry, surprise, contempt).
Cada emocion tiene un peso. La distribucion de las respuestas produce un score normalizado. El output (1.0-5.9 stars) esta calibrado sobre una base de datos de 100,000+ spots y esta correlacionado con sales lift long-term documentado (12-24 meses post-air).
| Star Rating | % spots | ROI multiplier vs baseline |
|---|---|---|
| 1.0-1.9 | 35-40% | 0.5-0.8x |
| 2.0-2.9 | 30-35% | 0.8-1.2x |
| 3.0-3.9 | 15-20% | 1.2-1.8x |
| 4.0-4.9 | 8-12% | 1.8-2.5x |
| 5.0-5.9 | 3-5% | 2.5-3.5x |
Los mejores spots del mundo (Cannes Lions Effectiveness winners) se agrupan en el rango 4.5-5.9. La mayoria de los spots mass market estan en 1.5-2.5: apenas ROI-positive.
Spike Rating: short-term lift
El Spike Rating mide el potencial de sales lift inmediato (dias 1-14 despues del air). Distinto del Star Rating porque:
- Star Rating: brand building acumulativo, mental availability, ROI 12-24 meses.
- Spike Rating: respuesta inmediata, conversion de promo, ROI 1-2 semanas.
Los spots con alto Spike Rating a menudo tienen: scarcity message, CTA claro, promo tiempo-limitada, urgency. Los spots con alto Star Rating a menudo tienen: feeling positivo, character, storytelling, brand integrado.
Los dos pueden coexistir pero no siempre. Los Cannes Effectiveness winners tienden a tener alto Star + Spike medio. Los direct response winners (DR commercials) alto Spike + bajo Star.
Fluency Rating: brand recognition
Fluency mide el porcentaje de viewers que reconocen correctamente la marca mostrada. Es critico porque un spot brillante sin brand recognition = "vampire effect" (captura atencion pero no construye equity).
Umbral de alerta: Fluency < 70%. Bajo este nivel, el spot performs pero la marca no se beneficia. Umbral optimo: 80-90%.
Patron recurrente para fluency alto: brand presente al inicio Y al final, distinctive brand assets (color, sound, character) integrados en la narracion, brand voice congruente con el tone narrativo.
Ejemplos paradigmaticos
Aldi UK "Kevin the Carrot" (Christmas 2016-2024). Star Rating 5.9 (maximo). Personaje (Kevin), storytelling positivo, marca claramente Aldi. ROI documentado en IPA Effectiveness Awards: lift de market share +3.2 puntos porcentuales en 8 anos.
Apple "Mac vs PC" (2006-2009). Star Rating rango 4.5-5.5. Character (Justin Long, John Hodgman), tone humour, brand framing. Cemento el posicionamiento "creative pro" Apple durante mas de una decada.
Volkswagen "Lemon" (1959). Spot impreso, pero analizable retroactivamente: maximo nivel System1 por uniqueness + emotional response (twist humoristico). Caso paradigmatico era DDB.
IKEA "Lamp" (Spike Jonze, 2002). Star Rating 5.5+. Storytelling minimal (lampara tirada, heroe final ironico), feeling positivo via humour subverted. Cannes Lion Grand Prix.
Amazon "Moving Day" / "Alexa Loses Voice" (2018-2019). Multiples spots Super Bowl con Star Rating 5.5+. Patron: character, humour, brand integrado.
Limites del framework
(1) Bias cultural. System1 tiene base de datos principalmente UK/US. Para Italia, Alemania, Japon, las calibraciones son menos robustas. Un spot de humour anglosajon puede no transferir al mercado italiano (y viceversa).
(2) No para B2B. El framework esta validado en spots consumer. Para B2B SaaS, B2B industrial, healthcare professional, no hay benchmark robusto.
(3) No para direct response. El Star Rating mide long-term sales lift. Para spots DR (call center, e-commerce CTA), el Spike Rating es mas relevante. El Star Rating puede ser bajo pero el spot DR ROI-positivo.
(4) Costo. Test Your Ad cuesta €5-15k por spot. Para pequenas marcas con presupuesto production limitado, puede ser over-investment.
(5) No sustituye el media planning. Star Rating 5.9 + media buy debil = ningun resultado. Star Rating + reach estrategica = efecto compound.
Alternativas low-budget para PYMES
(1) DIY pretest. Muestra el spot a 20-30 personas target, pregunta: "En escala 1-7, como te sientes?". Calcular promedio. No es System1 calibrado, pero direccion util para elegir entre alternativas creativas.
(2) Facebook Ad Library benchmark. Comparar CTR, completion rate del propio spot con benchmark sectorial Facebook (visible publicamente). Sobre benchmark = spot performante.
(3) Google Ads Brand Lift Study. Para advertisers Google Ads, lift study integrado gratuito (eligibility threshold de spend). Mide brand awareness lift en YouTube ads.
(4) Brain Boost / TestApe / similares low-cost tools. €500-3000 por spot, panel limitado pero framework similar. Limitations: menos robusto que System1 pero util para directional choice.
(5) Pre-test creative agencia. Muchas agencias boutique ofrecen pretest interno (focus group, qual research) como parte del pricing creative.
Workflow integrado para PYMES
- Desarrollo de concept: 3-4 alternativas creativas.
- DIY pretest: 20-30 personas target sobre feeling response. Seleccionar top 1-2.
- Production: rough cut o finished depending budget.
- Test paid (System1 o alternativas): validation final antes de air.
- Airtime: con monitoring brand search, social mention, sales.
- Post-campaign: comparacion Star Rating predicho vs sales lift efectivo. Calibracion de modelos internos.
FAQ
Puedo confiar en System1 para decisiones de presupuesto creative?
Direccionalmente si, absolutamente si. El Star Rating tiene correlacion documentada con sales lift en una base de datos de 100k+ spots. No es oraculo perfecto: spots 4-star pueden fallar y 2-star pueden ganar por factores especificos (media buy, distribution, competidor). Pero usado como uno de los criterios de decision, reduce significativamente el riesgo "spot desastroso".
System1 funciona para spots social-first short-form?
Si, System1 tiene version adaptada para content TikTok/Reels short. Base de datos mas pequena, calibracion menos consolidada. Para PYMES heavy-social: indicativo, no gold standard.
Como elegir entre Star Rating y Spike Rating como metrica prioritaria?
Depende del objetivo de la campana. Brand building (long-term): Star Rating prioritario. Direct response/promo time-limitada: Spike Rating. Mixed campaigns: monitorear ambas, target Star > 3 + Spike presente.
Star Rating baja significa "fail" garantizado?
No, pero "underperformance probable". Spots con Star 1-2 generan en promedio ROI 0.5-1x (sustancialmente: la marca gasta dinero sin generar lift). Decision: revisar antes de air, modificar montaje, music, ending.
Cuan importante es Fluency Rating vs Star Rating?
Fluency es gate: bajo 70% el Star Rating no se traduce en benefit marca. Sobre 70% Fluency, el Star Rating se convierte en el driver principal. Patron: optimizar primero fluency (brand presente, distinctive assets), despues Star Rating (feeling response).
Puedo usar los patrones System1 sin hacer el test?
Si, parcialmente. Los principios (presencia de personaje, atmosfera positiva, brand integrado, ending memorable, music distintiva) son replicables en fase concept incluso sin test formal. El test convalida; los principios guian la creacion.
Fuentes y referencias
- System1 — Test Your Ad methodology y database: system1group.com
- Wood, O. — "Lemon: How the Advertising Brain Turned Sour" (System1, 2019)
- Wood, O. — "Look Out: How the Right Brain Sees Things Whole" (System1, 2021)
- Kahneman, D. — "Thinking, Fast and Slow" (2011, Farrar, Straus and Giroux) — fundamento System 1/2
- Binet, L. & Field, P. — "The Long and the Short of It" (IPA, 2013)
- IPA Effectiveness Awards — case studies con System1 score correlation
- Cannes Lions Creative Effectiveness — annual reports
- Romaniuk, J. — "Building Distinctive Brand Assets" (2018) — concept fluency
- Brain Boost / TestApe — alternative pretest tools docs