Accueil — Metadata Scrubber
1 Metadata Scrubber
Pipeline de dédoublonnage des CodeLists DDI 3.3 / 6.0.
Il analyse un fichier de métadonnées au format DDI, identifie les listes de codes redondantes via un entonnoir en trois niveaux (exact, flou, sémantique) complété par un signal d’usage transversal (var_sig), et propose une interface de validation interactive pour que l’expert métier puisse examiner, approuver ou rejeter chaque paire détectée.
Le résultat est un registre épuré (cleaned_codelists.json) qui ne conserve qu’une CodeList maître par groupe de redondances — injectable de manière itérative via l’option --registry pour traiter les fichiers suivants.
1.1 Documentation
| Document | Description |
|---|---|
| Guide Utilisateur | Comment utiliser l’interface web : lancer le pipeline, examiner les paires, prendre des décisions, sauvegarder le registre. |
| Note Méthodologique | Algorithme de détection en trois niveaux, walkthrough avec les datasets démo, schéma du registre v2. |
| Changements récents | Ce qui a changé depuis le dernier push : onglet Validation en deux colonnes, ajout en lot, correctifs de détection, sorties datées par run. |