Métricas proxy en el comercio electrónico. Parte 1

En la primera parte, hablaremos de los problemas que surgen a la hora de evaluar el valor a largo plazo del usuario de una tienda online y de cómo pueden resolverse utilizando métricas indirectas. También contaremos cómo empresas de distintos campos buscan tales métricas y compartiremos nuestra propia lista de métricas desarrolladas que son aplicables en el comercio electrónico.En la segunda parte, ofreceremos una descripción técnica. Cómo funcionan las métricas, si las tiendas con diferentes categorías de productos pueden utilizarlas, cómo se pueden seleccionar métricas proxy útiles entre una variedad de opciones y lo bien que predicen el valor del usuario a largo plazo.En la tercera parte, hablaremos de la interpretación empresarial de las métricas resultantes y de cómo puedes utilizarlas para optimizar el valor a largo plazo de los usuarios y, por tanto, los ingresos a largo plazo de tu tienda online.Qué son las métricas proxy y por qué las necesitasUna de las métricas clave que la mayoría de las empresas (incluidas las tiendas online) optimizan es el LTV, es decir, una medida de los ingresos que genera una empresa durante todo el tiempo que lleva trabajando con un cliente.Conocer el LTV permite prever los ingresos, planificar los costes publicitarios, estimar el ROI, calcular los visitantes más fieles, segmentar la audiencia por valor, etc. En consecuencia, es una métrica muy importante, y cuando se planifica cualquier cambio significativo, es importante saber cómo afectará al LTV.La forma en que un cambio ha afectado a la métrica se evalúa en relación con otro cambio o con la ausencia del mismo. Esto se consigue normalmente mediante pruebas de hipótesis. Si se utilizan métricas a largo plazo, como el LTV real, nos enfrentamos a los siguientes problemas:

• Las pruebas de hipótesis llevan más tiempo y, en consecuencia, los cambios tardan más en aplicarse;
• Si se realizan varias pruebas a la vez, no siempre queda claro qué cambio aumentó o disminuyó finalmente el VLP;
• En caso de pruebas a largo plazo, es necesario mantener y calcular todas las versiones probadas de los algoritmos en todo momento;
• Los minoristas en línea a menudo realizan cambios no relacionados con la hipótesis que es muy probable que afecten al comportamiento de la prueba;
• Cuanto más tiempo se ejecuta la prueba, más a menudo se producen errores en la tienda que hacen que el resultado no sea fiable;

En el comercio electrónico, un usuario único suele identificarse mediante cookies, que a menudo se pierden en una prueba larga. Por ejemplo, en este artículo se describe un experimento de Facebook en el que había varias cookies diferentes por usuario, que caían en segmentos distintos de la prueba y dificultaban la identificación del efecto real del cambio.

Debido a los problemas anteriores, es casi imposible probar mejoras basadas en cambios en el VTL real. Como solución, proponemos utilizar métricas proxy de LTV, que tardan mucho menos en detectar los cambios.

La métrica proxy es una medida proxy de la métrica objetivo, con la que está altamente correlacionada. Por el cambio en la métrica proxy, deberíamos entender al menos la dirección del cambio en la métrica objetivo. Por ejemplo, el PIB per cápita podría ser una métrica proxy de la calidad de vida en alguna región.

A menudo, nuestros clientes (minoristas online) eligen atributos relacionados con los pedidos como métricas proxy de LTV: por ejemplo, conversión a cliente, número medio de pedidos por usuario, cheque medio, ingresos medios por usuario en el pasado, etc. Estos atributos se correlacionan con la LTV futura, porque si un usuario ha realizado una compra en el pasado, aumenta la probabilidad de que repita la compra en el futuro.

Pero queda una pregunta importante: ¿no hay métricas proxy más útiles para evaluar el impacto en el LTV futuro de los cambios actuales en la tienda? Decidimos explorar esta cuestión.

Cómo se eligen y utilizan las métricas proxy fuera del comercio electrónico

Las métricas proxy se utilizan para formar un criterio de evaluación global del cambio: el OEC (criterio de evaluación global, más información en el artículo de Microsoft). Se trata de una medida cuantitativa del propósito del experimento, que debe reflejar los objetivos de negocio de la empresa – por ejemplo, estar relacionado con LTV. Es necesaria para automatizar y formalizar el proceso de toma de decisión para aplicar determinados cambios. Al formar un OEC, las métricas de todos los objetivos del experimento se reducen a un único indicador.

Los retos actuales de los experimentos en línea están bien cubiertos en un artículo de revisión de empleados de Microsoft, Google, Facebook, LinkedIn, AirBnb, Netflix, Amazon, Yandex, Uber y Twitter. En él se discuten los problemas encontrados a la hora de estimar los efectos a largo plazo y se enumeran las propiedades de las buenas métricas proxy para OEC:

• Las métricas proxy deben estar relacionadas con un objetivo a largo plazo, como el LTV. Como mínimo, debe quedar claro en qué dirección cambiará el indicador cuando se modifique la métrica;
• Las buenas métricas proxy son difíciles de mejorar haciendo las cosas “mal”. Por ejemplo, YouTube utiliza una métrica CTR larga en lugar de conversión a clics (CTR), en la que un clic sólo cuenta si el usuario ha visto una parte sustancial del vídeo. Esto se debe a que el CTR puede aumentarse utilizando “clickbait” en el título y engañando al usuario sobre el contenido del vídeo, lo que en última instancia reduce la satisfacción con el servicio;
• Las métricas proxy deben ser sensibles a los cambios que afectan al objetivo a largo plazo. Por ejemplo, los usuarios de un determinado tipo de dispositivo pueden influir significativamente en el objetivo a largo plazo, pero es difícil aumentar esta proporción;
• Calcular métricas proxy no requiere muchos recursos. Por ejemplo, las encuestas de opinión no son adecuadas como métricas de este tipo;

El criterio formado a partir de métricas proxy puede tener en cuenta nuevos escenarios. Un ejemplo de criterio inflexible: una tienda vendía televisores y adoptó una métrica basada en la diagonal de la pantalla. Después añadieron aspiradoras al surtido, a las que no se aplica esta métrica, por lo que no puede utilizarse para tener en cuenta el nuevo tipo de producto.
No siempre es fácil encontrar indicadores sustitutivos adecuados para la OEC. El artículo de Microsoft da un ejemplo de cómo el motor de búsqueda Bing de Microsoft eligió métricas intuitivas para la optimización: número de consultas de búsqueda e ingresos. En un momento dado apareció un error y los resultados de búsqueda empezaron a funcionar claramente peor: a los usuarios se les mostraban 10 líneas publicitarias por rendición al principio de la lista. Para encontrar el resultado deseado, la gente tenía que hacer más consultas, por lo que había más publicidad, y los ingresos aumentaban con ella.
Estos cambios aumentaron a corto plazo el número de consultas por usuario en un 10% y los ingresos en un 30%, pero si se aplicaban, reducirían la fidelidad de los usuarios y acabarían marchándose a la competencia. Este ejemplo ilustra cómo las métricas a corto plazo pueden desviarse de los objetivos a largo plazo de una empresa.

Es fácil hacer lo mismo en una tienda online: subir todos los precios, lo que puede provocar un aumento de la cuenta media y de los ingresos, pero a largo plazo los usuarios preferirán a la competencia.
Otra desventaja de utilizar atributos sobre pedidos como métricas proxy es su baja sensibilidad, ya que a menudo sólo una pequeña parte de todo el flujo de usuarios realiza pedidos, normalmente hasta un 5%. Por lo tanto, para captar cambios significativos en estas métricas, es necesario realizar pruebas largas.
Hay dos formas populares a las que recurren las empresas para encontrar métricas proxy útiles de un objetivo a largo plazo: Utilizar el conocimiento de la materia y del negocio. Por ejemplo, los motores de búsqueda Bing y Google han definido así su métrica objetivo a largo plazo: la satisfacción del usuario con el servicio, y las métricas proxy son el número de sesiones y el número de consultas de búsqueda por sesión. Pocas consultas por sesión y muchas sesiones en sí significan que el usuario encuentra rápidamente la respuesta que busca y vuelve al buscador con regularidad.

Utiliza algoritmos de aprendizaje automático para identificar características que predigan bien las métricas a largo plazo. Por ejemplo, este artículo describe cómo Netflix aprendió a predecir si un usuario mantendrá o no su suscripción durante el mes siguiente (retención). Encontraron una fuerte correlación entre la retención y el tiempo que un usuario pasa viendo contenidos (una medida del compromiso del usuario) y utilizaron la medida del compromiso del usuario como una métrica proxy para la retención. LinkedIn derivó sus métricas proxy de manera muy similar y construyó un modelo de predicción de LTV.
Estos dos métodos se combinan bien: se puede encontrar una serie de métricas proxy candidatas utilizando el aprendizaje automático y seleccionar sólo las que tienen sentido desde el punto de vista empresarial.
A qué métricas proxy hemos llegado

Para encontrar métricas proxy candidatas a LTV utilizamos algoritmos de aprendizaje automático. Después seleccionamos entre ellas las más útiles y comprensibles para el negocio.

En nuestro estudio, nos basamos en datos de 27 tiendas con diferentes categorías de productos. Esta diversidad nos permitió encontrar las métricas proxy más universales y útiles que deberían funcionar para muchas tiendas.

Para predecir el VTL de este conjunto de tiendas, utilizamos las siguientes métricas:

• Número de pedidos;
• Hecho de la suscripción del usuario;
• Duración de la última visita a la tienda;
• Número de productos diferentes vistos;
• Duración de la interacción del usuario con la tienda;
• Cuántas veces el visitante utilizó la búsqueda interna de la tienda;
• El número de productos añadidos al carrito.

El gráfico muestra el resultado del modelo basado en las métricas proxy anteriores (un ejemplo de una de las tiendas).

Dividimos a los usuarios en tres segmentos en función de sus acciones en el pasado:

• Compras
• Añadieron artículos al carrito, pero no compraron
• No añadieron nada a la cesta

A continuación, clasificamos a los usuarios de cada segmento en grupos en función de su probabilidad de compra según el modelo. Cada grupo muestra el número y el porcentaje de usuarios que realizaron una compra en los seis meses siguientes. Como podemos ver, el modelo es experto en destacar a los visitantes que tienen más probabilidades de comprar en el futuro, incluso entre aquellos que no han comprado ni añadido nada a su carrito.

En las próximas entregas, detallaremos cómo seleccionamos las métricas proxy a partir de una extensa lista de candidatos, y con qué precisión ayudan a predecir el LTV. También describiremos los detalles técnicos del estudio.