10 min de lectura
Una empresa de SaaS B2B pierde cuentas lentamente. El cliente deja de usar el producto durante semanas, baja la frecuencia de login, abre un ticket que nunca cierra, y al tercer mes de contrato cancela. El equipo de retención quiere adelantarse. Pide un modelo que marque, con un trimestre de anticipación, qué cuentas van a cancelar para intervenir antes del vencimiento. Ese pedido tiene nombre técnico, churn prediction, también llamado modelo de abandono de clientes, y una cantidad de variantes operativas que condicionan todo lo que viene después.
El modelo de abandono, en su forma estándar, es un clasificador binario. A cada cliente le asigna una probabilidad estimada de abandonar durante un horizonte definido (los próximos 30, 60 o 90 días, según el ciclo del negocio). Esa probabilidad se convierte en una decisión (contactar / no contactar) aplicando un umbral de corte. Hay variantes, un ranking de propensión que ordena a toda la base sin corte binario, o modelos segmentados por tipo de cliente que entrenan clasificadores distintos para audiencias con dinámicas distintas. Las tres variantes comparten el mismo problema de fondo. El modelo produce una probabilidad. Alguien tiene que decidir qué hacer con ella, y esa decisión depende de cuánto cuesta cada tipo de error.
Dos errores en la detección del abandono
En toda clasificación hay dos formas de equivocarse. El falso negativo es el cliente que el modelo marcó como seguro y terminó cancelando. El falso positivo es el cliente que el modelo marcó como en riesgo y no tenía intención de irse. Cada uno tiene un costo propio, y ese costo rara vez es simétrico.
El costo del falso negativo depende del valor del cliente perdido. En segmentos con alta varianza de LTV, ese valor se estima con un modelo de pLTV (predicted lifetime value), que amerita su propio artículo. En un SaaS con contratos anuales de 5.000 euros por cuenta, dejar pasar una cancelación cuesta cinco mil euros de LTV más el costo de adquirir un reemplazo (que en B2B suele ser varios múltiplos del CAC inicial). El costo del falso positivo depende de la intervención que se activa cuando el modelo dice "riesgo". Si la intervención es un email automatizado, el costo marginal es cercano a cero. Si la intervención es una llamada de treinta minutos de un gestor de cuenta senior, el costo son esos treinta minutos multiplicados por el salario cargado del gestor, más el costo de oportunidad de no estar atendiendo cuentas que sí requerían su atención.
El ratio entre esos dos costos (cuántos falsos positivos se aceptan por cada falso negativo evitado) es el input que determina cómo se entrena, cómo se calibra y cómo se evalúa el modelo. Sin ese ratio explicitado, el pipeline usa valores implícitos iguales (un falso positivo pesa lo mismo que un falso negativo), que casi nunca coinciden con la realidad del negocio.
Cómo el ratio FN/FP define el umbral y la métrica
El modelo entrega probabilidades, no etiquetas. Para que la salida sea accionable, hay que convertir cada probabilidad en una decisión binaria, y eso se hace aplicando un umbral de corte que muchas veces se confecciona sin una justificación de negocio.
El umbral óptimo se deriva de la matriz de costos. Si un falso negativo cuesta veinte veces más que un falso positivo, el umbral baja (el modelo marca más clientes como en riesgo, acepta más falsos positivos a cambio de capturar más de los que efectivamente cancelarían). Si un falso positivo cuesta tres veces más que un falso negativo, el umbral sube (el modelo es más conservador, solo marca cuando la probabilidad estimada es alta, acepta perder algunos cancelaciones reales a cambio de no gastar intervenciones caras en falsas alarmas). El ratio de costos del negocio es el que mueve el umbral.
La métrica a optimizar durante el entrenamiento sigue la misma lógica. Recall, precisión, F-beta y expected value son cuatro formulaciones técnicas de distintos puntos de ese trade-off, y cada una codifica un supuesto distinto sobre el ratio FN/FP. Elegir la métrica sin haber discutido el ratio es elegir el supuesto por defecto, que es que los dos errores pesan igual. La discusión sobre accuracy engañosa en problemas desbalanceados y la segmentación operativa del ranking por deciles se desarrollan en detalle en modelo-que-performa-vs-solucion-que-funciona. Lo que sigue acá es la derivación específica de cada métrica desde el ratio.
Tres escenarios, tres métricas
Los tres escenarios que siguen pesan igual en frecuencia. Ninguno es el caso general del que los otros son excepción. Son tres configuraciones de costo distintas, y cada una impone una métrica distinta.
Caso recall-dominante, costo de perder cliente mucho mayor que costo de contacto
El SaaS B2B de alto LTV descrito al comienzo entra en esta categoría. Una cuenta cancelada vale cinco mil euros al año; una llamada de retención consume media hora de un gestor. El ratio FN/FP ronda las trescientas unidades, posiblemente más si se contabiliza correctamente el LTV esperado y no solo el contrato en curso.
Con ese ratio, recall es la métrica que rige. Recall mide, de los clientes que efectivamente cancelaron, qué fracción detectó el modelo. Un recall de 0.85 significa que el modelo capturó el 85% de las cancelaciones reales; dejó pasar el 15%. Ese 15% es dinero perdido. La precisión del modelo (de los que marcó como riesgo, cuántos realmente iban a cancelar) importa menos, porque los falsos positivos cuestan treinta minutos cada uno. Se aceptan muchos falsos positivos a cambio de capturar casi todos los verdaderos positivos.
El umbral se baja agresivamente, a veces hasta 0.15 o 0.2. El modelo marca a un volumen amplio de cuentas, el gestor trabaja la lista, y el costo total es la suma de las intervenciones gastadas en falsas alarmas menos el valor rescatado de las cuentas que sí iban a irse. En este régimen el valor rescatado domina ampliamente, y cualquier modelo que no priorice recall deja dinero sobre la mesa.
Caso precision-dominante, costo de intervención alto o churn de bajo valor
Un ecommerce B2C con margen por cliente bajo (digamos que el LTV medio es 180 euros) y una estrategia de retención basada en descuentos del 20% enviados a los marcados como riesgo. El falso negativo cuesta 180 euros por cliente perdido (menos el margen ya extraído durante el ciclo activo). El falso positivo cuesta el descuento gastado en alguien que no iba a irse, más la erosión del margen del segmento completo si la práctica se vuelve esperada. El ratio FN/FP acá puede estar cerca de 1 o incluso invertido, dependiendo de cuánto se gaste el descuento en cuentas que ya tenían recompra programada.
En ese régimen precision es la métrica que rige. Precision mide, como ya he señalado, de los clientes que el modelo marcó como riesgo, qué fracción realmente lo era. Una precision de 0.6 significa que de cada diez descuentos enviados, seis fueron a cuentas que efectivamente iban a cancelar; cuatro fueron regalos a clientes que iban a quedarse igual. Si el margen del producto es bajo, cuatro de cada diez descuentos regalados a quien no los necesitaba destruyen la economía de la campaña.
El umbral se sube. El modelo solo marca cuando la probabilidad estimada es alta (0.7, 0.8), y el volumen de marcados cae. El equipo de marketing recibe una lista corta y bien calificada; se pierden algunos positivos reales que quedaron por debajo del umbral, pero el costo total de la campaña es menor que el valor rescatado de los verdaderos positivos capturados.
Caso neutro o generalista, costos balanceados
Un servicio de suscripción mensual de precio medio (digamos 25 euros al mes) con intervenciones automatizadas de bajo costo (una secuencia de emails personalizados generada por un sistema que ya está construido). El valor de un cliente perdido es moderado, el costo de la intervención es casi cero, pero el volumen de intervenciones genera ruido en la base (fatiga del canal, caída de tasa de apertura futura) y hay un costo diferido difícil de cuantificar.
En este régimen ninguna métrica domina claramente, y conviene mirar F-beta o expected value. F-beta es una variante de F1 que pondera recall y precision con un parámetro beta. Con beta=1 (F1 clásico), los dos pesan igual. Con beta=2, recall pesa cuatro veces más que precision. Beta se calibra desde el ratio de costos del negocio, no se elige de un catálogo. Expected value va un paso más allá y calcula el valor esperado de cada decisión multiplicando la probabilidad del modelo por los costos y beneficios reales de cada combinación (TP, FP, TN, FN). Es la formulación más exacta cuando los costos están cuantificados. Es también la más exigente, porque requiere que los cuatro valores estén acordados antes del entrenamiento, algo que muchas veces no se tiene.
El umbral en este régimen vive en una zona intermedia (0.4 a 0.6) y se calibra con la curva precision-recall sobre datos de validación, con los costos del negocio como referencia. La decisión no se delega al algoritmo porque el algoritmo no conoce el margen, el CAC ni la fatiga del canal.
La métrica es una derivación, no una elección aislada
El dato interesante del recorrido anterior es que las cuatro métricas (recall, precision, F-beta, expected value) no son opciones equivalentes entre las que un data scientist elige por preferencia. Son coordenadas distintas sobre el mismo trade-off, y la coordenada correcta la fija el ratio de costos del negocio. El input técnico es cómo se formaliza cada métrica. El input de negocio es qué métrica aplica a este problema concreto.
Esa distinción tiene una consecuencia operativa. Cuando el equipo de retención le pide un modelo de churn al data scientist, la primera conversación no es sobre algoritmos ni sobre features. Es sobre el costo de cada tipo de error en este negocio, con esta base de clientes, con estas intervenciones disponibles. Si esa conversación no ocurre, el modelo se entrena contra una métrica elegida por convención (habitualmente F1 o accuracy), y la calibración queda disociada del problema real. El modelo responde con precisión a la pregunta equivocada, y el equipo de operaciones descubre semanas después que la lista entregada no se puede trabajar con los recursos disponibles o que las intervenciones gastadas no justifican el valor rescatado.
Para un problema de churn, elegir la métrica antes de entrenar es parte de definir el resultado esperado. Es el punto donde el problema de negocio se traduce en una función que el modelo puede optimizar, y esa traducción requiere haber tenido la conversación sobre costos primero. Cualquier proyecto que salte esa conversación paga el ajuste en producción, y el ajuste en producción tiene un costo de re-validación y re-despliegue que ya no es marginal.