Un gerente de operaciones de soporte solicita una vista semanal de las quejas de los clientes desglosada por categoría y motivo, y segmentada por canal, para el primer trimestre de 2025. Recibes un archivo complaints.csv con 48.219 filas que abarcan desde el 2025-01-01 hasta el 2025-03-31. El archivo presenta formatos de fecha mixtos en la columna created_at, valores vacíos en motivo, identificadores de ticket (ticket_id) duplicados debido a reintentos del sistema y etiquetas de categoría inconsistentes, como Billing, billing y BILLING.
Tu entregable no es simplemente un archivo limpio; se trata de una tabla lista para el análisis acompañada de un registro de auditoría que explica detalladamente qué cambios se realizaron y por qué. Si una decisión de limpieza resulta errónea, el analista asume la responsabilidad del error resultante en el informe de indicadores clave (KPI), el modelo o la decisión posterior. Aunque la IA puede agilizar la elaboración de transformaciones, no puede asumir la responsabilidad de las consecuencias; por ello, cada regla sugerida debe hacerse explícita y ser ratificada por ti.
Observa cómo puede lucir este conjunto de datos antes y después del proceso de limpieza.
Un LLM (modelo de lenguaje de gran tamaño) genera texto a partir de patrones en sus datos de entrenamiento y de la información que tú proporcionas. En tareas de limpieza de datos, genera reglas y código candidatos, pero no conoce tu proceso de negocio; por ello, puede crear suposiciones plausibles pero incorrectas sobre el significado de un valor nulo o un duplicado.
Un prompt es la instrucción que envías al LLM. En la práctica, el prompt actúa como una especificación. Si no defines invariantes —como si el recuento de filas puede variar—, la IA aplicará valores predeterminados implícitos que tú acabarás heredando.
La ventana de contexto es la cantidad limitada de texto que el LLM puede procesar simultáneamente. Si solo proporcionas una muestra de filas, la IA podría pasar por alto casos límite que ocurren fuera de dicha muestra, como valores en el campo created_at que solo aparecen a final de mes.
Una alucinación es contenido generado que no está respaldado por tus datos ni por tus instrucciones. En la limpieza de datos, las alucinaciones suelen manifestarse como asignaciones de categorías inventadas, suposiciones sobre las causas de valores faltantes o afirmaciones categóricas de que es seguro eliminar duplicados. Puedes evitar esto exigiendo pruebas, como comprobaciones ejecutables y resultados que permitan realizar comparaciones (diffs).
Explora cómo se relacionan estos términos con fallos específicos en los procesos de limpieza de datos.
Comience con el perfilado de datos, ya que no puede elegir reglas que no ha medido previamente. El perfilado genera recuentos de valores nulos por columna, listas de valores distintos para category, tasas de duplicados para ticket_id y tasas de analizabilidad para created_at. La IA puede resumir un informe de perfilado, pero usted decide qué anomalías son errores y cuáles representan variaciones reales del negocio.
A continuación, defina las reglas antes de escribir el código. Por ejemplo, “Estandarizar category a formato de título (mayúsculas iniciales) mediante una tabla de mapeo explícita” es una regla. “Eliminar los ticket_id duplicados conservando el valor de created_at más antiguo” es otra regla. El código es simplemente la implementación; la regla es responsabilidad suya.
Luego, genere las transformaciones. La IA puede redactar un script de pandas, pero usted debe verificar el comportamiento mediante comprobaciones deterministas. La verificación implica establecer invariantes —como recuentos de filas, restricciones de unicidad y restricciones de dominio de valores— y hacer que la ejecución falle si dichas invariantes no se cumplen.
Por último, documente el proceso. Un registro de auditoría es un historial de cambios que documenta qué se modificó, qué se eliminó y qué supuestos se aplicaron, todo ello en un formato que un analista futuro pueda reproducir.
Observe cómo encajan los distintos elementos del flujo de trabajo, desde el perfilado hasta la documentación.