Una cuestión fundamental cuando se usan modelos de Machine Learning en una determinada empresa es sin duda la cuantificación de su ROI (Return of Investment) o, más bien, el beneficio obtenido por aplicar el modelo frente a no aplicarlo (o frente a modelos pre-existentes).
En función del tipo de modelo a aplicar y de elementos muy particulares de la problemática de negocio a resolver, la construcción de una función de beneficio se hace de un modo u otro y en ocasiones, esta construcción no suele ser trivial. Sin embargo, ésta se muestra vital, tanto si se desea visibilizar a las áreas de Data Scientist o responsables de la creación del modelo, como si se desea conocer la mejora del rendimiento de las decisiones tomadas antes y después de la existencia de un determinado modelo.
En esta línea se van a realizar una serie de 4 entradas que se van a distribuir mensualmente, siendo la primera de ellas la que aquí se expone. A lo largo de estas entradas se analizan distintos aspectos a tener en cuenta en la gestión de un modelo analítico que se supone que está en producción en una determinada entidad (o al menos es utilizable de algún modo), tanto si es avanzado, como si es de carácter básico. La temática se divide en dos partes, una primera parte formada por 2 entradas y que trata sobre aspectos claves a considerar antes de lanzar una determinada campaña de marketing donde se toma como ejemplo el caso de la fuga y otras 2 entradas que tratan el tema de cómo se pueden obtener medidas de eficacia una vez se ha lanzado la campaña, se han obtenido resultados y se desea imputar de algún modo al beneficio de la entidad resultados obtenidos.
En esta primera parte se trata de arrojar luz a una cuestión clave como la siguiente ¿Por qué es mejor aplicar un modelo que atacar de modo ciego a una base de clientes? A la vez que se trata de responder a otra cuestión también importante ¿Cómo medir, o al menos estimar, en términos económicos la eficacia de una determinada campaña de marketing realizada sobre la base de un modelo de detección de fugas?
Supóngase que se quiere modelizar el riesgo de fuga de clientes de tarjeta revolving con el objetivo de aplicar campañas enfocadas a reducir dicha fuga y por ende mantener la mayor cantidad de clientes activos de tarjeta.
01. Definición y medición de la fuga:
Se supone fuga cuando durante 1 año o más, un cliente no usa determinada tarjeta revolving. Por tanto, más que una fuga real, se trata de prever qué clientes estarán inactivos durante más de 1 año. Se supone que la tasa de fuga de clientes se sitúa en torno a un 10% uniformemente distribuidos
02. Población sobre la que aplicar el modelo:
El modelo se aplica sobre toda la base de usuarios de revolving. Para que sea un cliente susceptible se exige que durante un período anterior (más o menos próximo a una determinada fecha límite) haya tenido actividad y posteriormente se observa desde esa fecha en adelante si ha sido o no fuga. Supongamos en este caso y para simplificar, que hay 500.000 clientes susceptibles de fuga
03. Construcción de un modelo de predicción:
En este trabajo se supone que existe un modelo donde se correlaciona la fuga con una serie de variables explicativas de diverso ámbito (edad, nivel de transacciones medio de los últimos 3 meses, antigüedad como cliente, etc.). Se supone que este modelo tiene una Lift en el primer decil de aproximadamente 4
04. Hipótesis sobre costes y beneficios:
Estos datos suelen ser muy específicos del negocio que se trate. Aquí se parte de unas premisas iniciales y unos escenarios que en el simulador de más abajo podrán modificarse. A partir de estas hipótesis y de los valores que adopte un problema en concreto se podrá responder a las 2 preguntas planteadas en la introducción.
HI 1: Importe mínimo por uso de la tarjeta revolving a lo largo de un año y por cada cliente de unos 1000 euros.
HI 2: Si un se activa por una campaña, se convierte en un cliente bajo la Hipótesis 1.
HI 3: El tipo de Interés será del 20%.
HI 4: En ausencia de criterio de orden preestablecido, la distribución de las fugas y no fugas es uniforme.
Se lanza una campaña para reducir la fuga consistente en ofrecer 20 euros de descuento si se hace uso de la tarjeta (con una compra superior a 100 euros).
Se supone inicialmente que la probabilidad de que la campaña active a un cliente que se iba a fugar es del 5%
Bajo estas condiciones se tiene la siguiente Situación General:
Número de clientes de la entidad: 1.000.000
Churn Teórico (según estudio): 20% de la población o se espera unos 200.000 churns anuales
Coste de la campaña por impacto: 20 euros.
Poder de activación del impacto: 5%
Se supone que se dispone de una restricción presupuestaria de 1.000.000 euros, y por tanto se limita la elección a aplicar dicha promoción sólo a 50.000 clientes ¿Qué clientes elegir?
Escenario 1: No se aplica modelo y se eligen a los clientes de modo aleatorio
Escenario 2: Se aplica modelo con una lift de 4
En este caso se ha puesto a competir un modelo contra una selección aleatoria, en ocasiones, las campañas de marketing adolecen de sesgos aún mayores cuando por ejemplo, sin haber definido un modelo de fuga, se decide aplicar criterios de tipo �Elijamos a los mejores clientes!, y se elijen por ejemplo a clientes potentes a los que se les ofrece la campaña y donde en general la probabilidad de fuga (si están contentos con la entidad), es más baja que en aleatorio, con lo que el coste podría ser aún mayor.
Independientemente de si un cliente es o no importante para una entidad debe crearse y aplicarse un modelo de fuga específico si lo que se quiere es realmente detectar quién es el que se va a fugar y por tanto no sólo retener, sino evitar un coste excesivo de la campaña.
Con la anterior calculadora se pueden plantear distintas hipótesis que se puede acercar a la realidad de un gran grupo de entidades. Por ejemplo:
El uso de simulación de escenarios con y sin modelos analíticos donde se puedan introducir hipótesis más o menos realistas, ofrecen tanto información para analizar la viabilidad de la campaña, como para conocer si la inversión realizada en desarrollo de modelos avanzados merece o no la pena.
En la segunda parte de esta entrada, se continúa con los análisis pre-producción, se profundiza en los conceptos anteriores y se comparan otros casos de uso, tratando de responder a preguntas como: ¿Merece la pena cambiar un modelo con una lift de 3.9 frente a una lift de 4 en el primer decil o de una roc de 0.75 frente a una roc de 0.77? ¿Qué mide exactamente un índice de Gini, una roc o una lift? Además, se ofrecerá una segunda versión de la anterior calculadora con algunos parámetros adicionales para completar la función de beneficios en los casos de fuga si se desea, y se permitirá que los parámetros tipo % puedan tener decimales en su formulación en vez de números enteros como en este caso.