Un responsable des opérations de support demande une vue hebdomadaire des réclamations clients par « catégorie » et « motif », ventilée par « canal », pour le premier trimestre 2025. Vous recevez un fichier complaints.csv contenant 48 219 lignes couvrant la période du 1er janvier au 31 mars 2025. Il présente des formats de date disparates dans la colonne created_at, des valeurs manquantes pour le « motif », des doublons d’identifiants de ticket (ticket_id) dus à des tentatives de relance du système, ainsi que des libellés de « catégorie » incohérents (par exemple : Billing, billing et BILLING).
Votre livrable ne se limite pas à un fichier nettoyé. Il comprend une table prête pour l’analyse accompagnée d’une piste d’audit expliquant précisément les modifications apportées et leurs justifications. Si un choix de nettoyage s’avère erroné, l’analyste assume la responsabilité de l’erreur en aval, qu’elle affecte le tableau de bord des indicateurs (KPI), le modèle ou la décision qui en découle. Bien que l’IA puisse accélérer la conception des transformations, elle ne peut être tenue responsable des conséquences ; par conséquent, chaque règle suggérée doit être explicitée puis validée par vos soins.
Découvrez à quoi peut ressembler ce jeu de données avant et après le nettoyage.
Un LLM (grand modèle de langage) génère du texte en s’appuyant sur des schémas issus de ses données d’entraînement et des informations que vous lui fournissez. Dans le cadre du nettoyage de données, il produit des propositions de règles et de code ; toutefois, comme il ne connaît pas vos processus métier, il peut formuler des hypothèses plausibles mais erronées quant à la signification d’une valeur nulle ou d’un doublon.
Un prompt (ou invite) correspond à l’instruction que vous envoyez au LLM. En pratique, votre prompt constitue un cahier des charges. Si vous ne précisez pas certains invariants — comme la possibilité que le nombre de lignes varie —, l’IA appliquera des paramètres par défaut implicites, que vous devrez ensuite assumer.
La fenêtre de contexte désigne la quantité limitée de texte que le LLM peut traiter simultanément. Si vous ne soumettez qu’un échantillon de lignes, l’IA risque de passer à côté de cas particuliers situés en dehors de cet échantillon, comme des valeurs created_at n’apparaissant qu’à la fin du mois.
Une hallucination désigne un contenu généré qui n’est étayé ni par vos données ni par vos instructions. Lors du nettoyage de données, elle se manifeste souvent par l’invention de correspondances entre catégories, l’attribution arbitraire de causes à des valeurs manquantes ou l’affirmation péremptoire que des doublons peuvent être supprimés sans risque. Vous pouvez prévenir ce phénomène en exigeant des preuves, sous la forme de vérifications exécutables et de résultats comparables (via une analyse comparative ou « diff »).
Découvrez comment ces termes sont liés à des types d’échecs spécifiques lors du nettoyage de données.
Commencez par le profilage des données, car vous ne pouvez pas définir de règles sans avoir d’abord mesuré les données. Le profilage fournit des indicateurs tels que le nombre de valeurs nulles par colonne, la liste des valeurs distinctes pour category, le taux de doublons pour ticket_id et le taux de réussite de l’analyse (parsing) pour created_at. L’IA peut résumer un rapport de profilage, mais c’est à vous de déterminer quelles anomalies constituent de véritables erreurs et lesquelles reflètent des variations métier légitimes.
Ensuite, définissez les règles avant d’écrire le code. Par exemple, « Normaliser category en majuscules initiales (title case) à l’aide d’une table de correspondance explicite » est une règle. « Supprimer les doublons de ticket_id en conservant la valeur created_at la plus ancienne » en est une autre. Le code n’est que la mise en œuvre ; la règle, elle, vous appartient.
Générez ensuite les transformations. L’IA peut rédiger un script pandas, mais vous devez en vérifier le comportement à l’aide de contrôles déterministes. Cette vérification consiste à valider des invariants — tels que le nombre de lignes, les contraintes d’unicité et les contraintes de domaine de valeurs — et à interrompre l’exécution si ces conditions ne sont pas respectées.
Enfin, documentez le processus. Une piste d’audit est un journal des modifications qui consigne ce qui a été modifié ou supprimé et quelles hypothèses ont été appliquées, le tout sous une forme permettant à un futur analyste de reproduire l’opération.
Découvrez comment les différents éléments du flux de travail s’articulent, du profilage jusqu’à la documentation.