Proxy metrics in E-commerce. Part 2

En la primera parte analizamos los problemas que surgen al estimar el LTV de los usuarios de tiendas online y cómo pueden resolverse con la ayuda de métricas proxy. También describimos cómo las empresas de diferentes campos buscan tales métricas y compartimos nuestra propia lista de métricas encontradas aplicables al comercio electrónico.La segunda parte (es decir, la que estás leyendo ahora) es más técnica: en ella explicamos en detalle cómo encontrar y seleccionar métricas proxy útiles entre una variedad de opciones, lo bien que predicen el LTV de los clientes, si las tiendas con diferentes categorías de productos pueden utilizarlas, etc.La tercera y última parte es más aplicada: en ella, hablaremos de cómo las empresas pueden trabajar con las métricas resultantes para aumentar el LTV de los usuarios, y con ello los ingresos a largo plazo de la tienda online.Pero volvamos a la tecnología para encontrar métricas proxy. Para nuestra investigación, utilizamos técnicas de aprendizaje automático y extrajimos patrones estadísticos de los datos. Por lo tanto, será lógico que primero te hablemos de los datos que utilizamos, en base a los cuales sacamos conclusiones.

Fuentes de datos

Retail Rocket cuenta con más de 1000 clientes en todo el mundo: Rusia, Europa, América Latina, CEI, algunos de los cuales llevan muchos años trabajando con la empresa. Seleccionamos 27 tiendas online especializadas en diversas categorías de productos para la investigación.

Esta variedad de tiendas era necesaria para probar si las métricas proxy encontradas serían universales.

Descripción de los datos

Cada visitante de la tienda online tiene un identificador almacenado en una cookie. Esto puede usarse para rastrear qué eventos relacionados con el usuario ocurrieron, cuándo y cómo.

Dichos eventos incluyen:

• Pedir un artículo;
• Añadir un producto al carrito;
• Ver un artículo;
• Ver una categoría;
• Ver una página del sitio;
• Utilizar el motor de búsqueda del sitio;
• El usuario dejó su correo electrónico.

Según nuestros datos, aproximadamente el 10% de todas las cookies “viven” más de 120 días, lo que es suficiente para revelar vínculos entre atributos y LTV. Sin embargo, hay un problema: algunos usuarios reinician la cookie y vuelven a la tienda con un nuevo ID. Por eso es más difícil determinar cómo afectan ciertos rasgos a la LTV. Quizá con una identificación más precisa de los usuarios, las conexiones que encontramos sean más fuertes.
La lógica detrás de la formación de atributos y la variable objetivo
Para facilitar la comprensión, introduzcamos los siguientes términos:
La fecha de corte es la fecha que separa dos periodos: el periodo de recopilación de características (4 meses antes de la fecha de corte) y el periodo de recopilación de información sobre el VTL futuro (6 meses después de la fecha de corte).
Por ejemplo, si la fecha de corte es el 1 de julio de 2020, entonces los atributos se recopilan desde el 1 de marzo de 2020 hasta el 1 de julio de 2020 inclusive, y la información futura sobre LTV se recopila desde el 2 de julio de 2020 hasta el 1 de enero de 2021 inclusive.
La variable objetivo de nuestro estudio (la información que queremos predecir) es el hecho de la compra durante el periodo de recogida de información sobre el futuro LTV. Sólo consideramos los visitantes del periodo de recogida de características y, si no encontramos ningún hecho relacionado durante el periodo de recogida de información sobre el VL futuro, consideramos que dicho usuario no compró nada.
Para comprobar si las dependencias que encontramos eran estables a lo largo del tiempo, tomamos 6 porciones de cada una de las 27 tiendas (el primer día de cada mes desde julio hasta diciembre de 2020).

Para seleccionar las métricas proxy candidatas, elaboramos una extensa lista. Incluía atributos relacionados con:

1. Pedidos: cantidad, antigüedad de la última compra, cheque medio, ingresos, etc;
2. Adición de artículos al carrito: a lo largo del tiempo, durante la última semana;
3. Familiaridad con el catálogo de la tienda: el número de vistas de productos, categorías, el número de vistas en la última semana;
4. Uso del motor de búsqueda del sitio: el número de consultas en el motor de búsqueda del sitio durante todo el tiempo, durante la última semana;
5. El tiempo pasado en el sitio: la diferencia en días entre la primera y la última visita al sitio, la edad de la última visita al sitio, la actividad en el sitio en horas laborables y no laborables, en días específicos de la semana;
6. El hecho de la suscripción: si dejó un correo electrónico o no, cuánto tiempo hace que se convirtió en suscriptor;
7. El dispositivo desde el que se visitó el sitio: ordenador o smartphone, versión exacta del navegador, IP del usuario;

Diferentes ratios de atributos y agregados: por ejemplo, la proporción de vistas de productos de la última semana respecto a las vistas de todo el tiempo, el número total de vistas de categorías, productos y búsquedas, la proporción de búsquedas en todas las acciones del usuario en el sitio, etc.

Realizamos el estudio para las 27 tiendas, pero para simplificar mostraremos como ejemplo los resultados de las dos tiendas más grandes y diferenciadas. La “Tienda 1” tiene el mayor número de visitantes que realizan pedidos y un periodo de consumo corto, mientras que la “Tienda 2”, por el contrario, tiene el menor número de visitantes que realizan pedidos y un periodo de consumo largo.

Selección de atributos por su influencia en la variable objetivo

La variable objetivo es binaria (el usuario comprará o no comprará), por lo que medimos la fuerza de las características individuales y del modelo en su conjunto utilizando la métrica ROC AUC.

En primer lugar, analizamos la importancia de cada característica mediante un algoritmo de bousting sobre árboles de decisión. A continuación, dejamos las características con un valor ROC AUC elevado. De este modo, eliminamos las características débiles y encontramos muchos buenos candidatos para las métricas proxy con valores ROC AUC elevados entre los restantes.

Selección de características por correlación

Había muchos pares con alta correlación entre los atributos. No tiene sentido incluirlos juntos en la lista final de métricas proxy de LTV, ya que cambian de la misma manera y es difícil hacer un seguimiento de un gran número de atributos. Además, si se entrena el modelo con un conjunto correlacionado de atributos, puede haber problemas con la estabilidad de los parámetros y el uso posterior del modelo.

Por ejemplo, hay tres atributos fuertes

Número de productos vistos;

Número de productos diferentes vistos;

Número de categorías vistas.

La correlación entre ellos es superior al 80%: todos indican que el usuario se ha familiarizado con el catálogo de la tienda y está interesado en sus productos. Por tanto, cualquiera de estos atributos puede tomarse como métrica aproximada. Lo más probable es que el “número de categorías diferentes vistas” sea más útil para tiendas con un gran número de categorías, y el “número de productos diferentes vistos” sea más útil para tiendas con varias categorías pero un gran número de productos diferentes.

Hemos mantenido el atributo “número de productos diferentes vistos” porque es responsable de la familiaridad con el catálogo y está relacionado con el tamaño efectivo del catálogo. Además, mantuvimos el atributo “artículo revisado”, que evalúa su valor comercial.

A su vez, la métrica “número de vistas de productos” no siempre es robusta frente a valores atípicos en los datos. Por ejemplo, si un visitante ha visto un solo producto un número anormalmente alto de veces, tiene poco valor comercial.

Hicimos lo mismo con otros pares de atributos correlacionados. Al final, dejamos unos pocos atributos sobre pedidos (están correlacionados, pero nuestros clientes los utilizan a menudo como métricas proxy de LTV) y los atributos más fuertes sin relación con los pedidos:

• Número de pedidos;
• Comprobación media;
• Ingresos;
• Antigüedad del último pedido en días;
• Correo electrónico de salida del visitante;
• Tipo de navegador;
• Tipo de dispositivo;
• Tiempo transcurrido desde la última visita al sitio;
• Número de productos diferentes vistos;
• Duración de la interacción del usuario con el sitio en días (diferencia en días entre la primera y la última visita);
• Número de consultas en el motor de búsqueda del sitio;
• Número de productos añadidos al carrito.

Como podemos ver en los gráficos anteriores, sólo los atributos relacionados con el pedido y algunos otros pares están correlacionados entre sí:

Tipo de navegador y Tipo de dispositivo tienen una correlación relativamente débil, por lo que ambos atributos pueden ser útiles para una tienda. Sin embargo, para algunas tiendas, puede ser mejor combinarlos en uno solo;

Número de artículos añadidos a la cesta y número de pedidos también tienen una correlación, ya que es habitual añadir un artículo a la cesta antes de pedirlo. El grado de correlación de estos atributos depende de las características de la tienda, por ejemplo, la proporción de cestas abandonadas. En los gráficos vemos que para la tienda 1 la correlación es baja;

El hecho de suscribirse y los atributos relacionados con el pedido pueden correlacionarse entre sí, porque en algunas tiendas los usuarios se convierten automáticamente en suscriptores tras realizar una compra.

Comprobación de la estabilidad del rendimiento de los rasgos a lo largo del tiempo

Los rasgos tienen el mismo efecto sobre las estimaciones del VTL futuro independientemente de la fecha de corte. Por ejemplo, si los usuarios con 10 visualizaciones de productos diferentes tienen de media un VTL futuro superior al de los usuarios con 2 visualizaciones, esto es cierto para todos los meses.

Para probar esta afirmación, construimos gráficos en los que clasificamos a los visitantes en grupos por intervalos de valores de atributos y para cada grupo trazamos la proporción de visitantes que hicieron un pedido en el futuro.

Contribución de las métricas indirectas seleccionadas a la calidad del modelo

A partir de los atributos seleccionados, construimos el modelo utilizando boosting sobre árboles de decisión, añadiendo secuencialmente atributos en el siguiente orden y midiendo su calidad:

Atributos relacionados con el pedido;

• Número de artículos añadidos al carrito;
• Correo electrónico abandonado por el visitante;
• Tipo de dispositivo;
• Tipo de navegador;
• Número de consultas en el motor de búsqueda del sitio;
• Duración de la interacción del usuario con el sitio;
• Número de productos diferentes vistos;
• Tiempo transcurrido desde la última visita al sitio;

Este orden era necesario para ver si los atributos no relacionados con los pedidos aportaban información adicional útil para el modelo en comparación con los atributos relacionados con los pedidos.

Como podemos ver más arriba, los atributos relacionados con los pedidos (cheque medio, ingresos, última compra) añaden poca información adicional al atributo “número de pedidos”, por lo que podemos dejar un indicador relacionado con los pedidos entre las métricas proxy. Elegimos el más robusto frente a valores atípicos: “número de pedidos”. En este gráfico, también se puede ver la importancia de todos los atributos subsiguientes: cada uno de ellos añade información sobre el LTV que no contienen los atributos anteriores.
Realizamos este tipo de análisis para las 27 tiendas y, en todas ellas, los atributos no relacionados con los pedidos que seleccionamos mostraron una fuerte correlación con el VLV y añadieron mucha información adicional a los atributos relacionados con los pedidos.
A menudo, un solo atributo, como el “número de productos diferentes vistos” o la “antigüedad de la última visita al sitio”, tenía un AUC ROC mayor que todos los atributos relacionados con los pedidos combinados. Esto se debe al hecho de que, en comparación con la masa total de visitantes de las tiendas online, los pedidos son realizados por una proporción muy pequeña de usuarios. En consecuencia, hay menos datos sobre ellos. En nuestra muestra, sólo una tienda tenía una proporción del 10% de usuarios con pedidos, mientras que el resto tenía entre un 2% y un 5%.
A continuación, cambiamos el orden de adición de los atributos y vimos cómo cambia el modelo si cargamos en él primero los atributos no relacionados con los pedidos y luego los relacionados con los pedidos.
Pusimos a prueba las conclusiones de este capítulo en todas las tiendas que estudiamos, y se confirmaron.
En la siguiente sección, analizaremos cómo pueden trabajar las empresas con estas métricas para aumentar la LTV de los usuarios y, con ella, los ingresos a largo plazo de una tienda online.