Meta ha presentado GEM (Generative Ads Recommendation Model), el modelo fundacional de recomendación de anuncios más avanzado desarrollado hasta la fecha por la compañía.
Este sistema supone un cambio importante en la forma en la que Meta selecciona y muestra anuncios a los usuarios en plataformas como Facebook e Instagram, ya que introduce un enfoque inspirado en los grandes modelos de lenguaje (LLM) aplicado a sistemas de recomendación.
El objetivo de GEM es claro: mejorar el rendimiento de los anuncios y aumentar el retorno de la inversión (ROI) para los anunciantes mediante una comprensión más profunda del comportamiento de los usuarios.
Mejora en el rendimiento de las campañas
Desde su lanzamiento, Meta ha observado mejoras relevantes en el rendimiento de las campañas publicitarias gracias a este modelo.
Concretamente:
- Las conversiones en Instagram han aumentado un 5%
- En el Feed de Facebook las conversiones han crecido un 3%
Además, la arquitectura de GEM es cuatro veces más eficiente impulsando mejoras en el rendimiento en comparación con los modelos de clasificación anteriores que utilizaba la plataforma.
Este incremento en la eficiencia permite optimizar la entrega de anuncios a gran escala.
Innovaciones en la arquitectura de GEM
Uno de los principales retos de los sistemas de recomendación es procesar el enorme volumen de interacciones que se producen entre usuarios y anuncios.
GEM introduce varias innovaciones técnicas para abordar este desafío.
Modelado avanzado de características
El modelo divide los datos en dos grandes grupos:
- Características secuenciales, como el historial de interacción de un usuario
- Características no secuenciales, como edad, ubicación o formato del anuncio
Cada grupo se procesa con mecanismos de atención diseñados específicamente para ese tipo de información.
Procesamiento de historiales largos de interacción
Comprender la intención del usuario requiere analizar secuencias largas de eventos, como clics, visualizaciones o interacciones con contenido.
Para resolver este problema, GEM utiliza una estructura en pirámide paralela que permite procesar miles de eventos históricos con un coste de almacenamiento reducido.
Esto permite capturar mejor las señales que indican intención de compra o interés real por un producto.
InterFormer: aprendizaje entre señales
Otra innovación clave es InterFormer, un sistema que permite aprender de la interacción entre múltiples características sin perder información del historial completo del usuario.
Esto facilita detectar patrones complejos que influyen en la probabilidad de conversión.
Aprendizaje entre plataformas del ecosistema Meta
GEM también introduce un concepto importante: el aprendizaje multidominio.
El modelo aprende de interacciones que ocurren en distintas plataformas del ecosistema Meta:
- Business Messaging
Por ejemplo, si un usuario interactúa frecuentemente con vídeos en Instagram, esa información puede ayudar a mejorar la predicción de anuncios en el Feed de Facebook.
Este enfoque permite construir modelos de recomendación mucho más completos y precisos.
Transferencia de conocimiento a otros modelos
GEM actúa como un modelo central que entrena y mejora a otros sistemas de recomendación más pequeños.
Para hacerlo utiliza un marco de transferencia de conocimiento basado en:
- Destilación de conocimiento
- Aprendizaje de representaciones
- Compartición de parámetros
Este sistema es dos veces más efectivo que los métodos tradicionales, permitiendo que cientos de modelos especializados utilicen los aprendizajes de GEM.
Entrenamiento a gran escala
Entrenar un modelo de esta magnitud requiere una infraestructura tecnológica muy avanzada.
Meta ha rediseñado su sistema de entrenamiento para GEM utilizando:
- Miles de GPUs
- Compilación avanzada con PyTorch 2.0
- Núcleos GPU personalizados
Gracias a estas optimizaciones han conseguido aumentar 23 veces los FLOPs efectivos de entrenamiento, lo que ha permitido escalar el modelo a niveles sin precedentes.
El futuro de GEM: modelos multimodales
El siguiente paso en la evolución de GEM será convertirlo en un modelo multimodal.
Esto significa que podrá analizar e integrar información procedente de:
- Texto
- Imágenes
- Audio
- Vídeo
Con este enfoque, Meta busca crear un sistema capaz de comprender tanto el contenido orgánico como los anuncios dentro de un mismo modelo de inteligencia artificial.
Conclusión
La introducción de GEM marca un paso importante en la evolución de los sistemas de recomendación publicitaria.
Con modelos cada vez más grandes y capaces de procesar enormes volúmenes de datos de comportamiento, las plataformas publicitarias avanzan hacia sistemas más inteligentes que pueden entender mejor la intención y los intereses de los usuarios.
Para los anunciantes, esto supone una oportunidad clara: campañas más relevantes, optimización más eficiente y mejores resultados.
