Una parte interesada solicita datos sobre usuarios activos mensuales y retención por nivel de plan, a partir de una exportación de uso de un producto SaaS que abarca del 1 de enero al 30 de junio de 2025. El archivo CSV contiene 120.000 filas a nivel de evento, con formatos de marca de tiempo mixtos, valores user_id nulos y eventos duplicados debido a repeticiones. La limpieza no es una tarea preliminar; es el conjunto de decisiones analíticas que determinan qué cuenta como actividad, quién se considera usuario y qué registros son admisibles.
El resultado final debe estar listo para una auditoría. Usted dispone de un conjunto de datos limpio y reproducible, además de un registro de cambios que justifica cada transformación. La IA puede redactar código, enumerar casos límite y proponer comprobaciones de validación. Usted ratifica las definiciones, elige los umbrales y asume la responsabilidad de los errores posteriores si una decisión de limpieza distorsiona una métrica.
Antes de tocar el código, debe definir qué significa “suficientemente limpio” para este caso concreto. Esa definición se traduce en pruebas de aceptación que el conjunto de datos limpio debe superar.
Cada decisión de limpieza de datos constituye una intervención estadística. Modifica el proceso de generación de datos que se asume produjo la tabla y altera las estimaciones.
El mecanismo de ausencia es la razón por la cual faltan ciertos valores. Si el campo plan_tier es nulo debido a un fallo en la unión con la tabla de facturación durante una semana específica, imputar el nivel más común falseará los recuentos por segmento y sesgará las métricas de retención por nivel. Es necesario etiquetar los valores ausentes como “no medidos”, “no registrados” o “no aplicables” y, solo entonces, decidir entre eliminarlos, imputarlos o asignarlos a una categoría independiente. La IA puede sugerir opciones, pero no puede inferir el mecanismo basándose únicamente en la columna.
La regla de deduplicación representa la definición de negocio de lo que constituye un duplicado. Si eventos retransmitidos comparten los mismos valores de (user_id, event_name, event_ts) en un intervalo de 5 segundos, consolidarlos puede ser correcto para contar el uso, pero erróneo para analizar la latencia. Cuando la IA elimina duplicados mediante drop_duplicates(), selecciona automáticamente las claves y los criterios de precedencia. Usted debe especificar las claves, los criterios de desempate y el impacto en las métricas.
La conversión de tipos altera el orden y la agrupación de los datos. Analizar incorrectamente event_ts puede desplazar eventos entre meses y generar una variación falsa en los MAU (usuarios activos mensuales). Es preciso verificar la tasa de éxito del análisis y la zona horaria asumida.