Les LLM au coeur du réentraînement d’un modèle d’apprentissage en nouvelle nomenclature

Journée méthodologie statistique 2025

Nathan Randriamanana

nathan.randriamanana@insee.fr

Insee, DSE

25 novembre 2025

Brève présentation

• Qui suis-je ?
  • Data Scientist de l’Insee
  • travaille à la Direction des statistiques d’entreprises
  • administration du répertoire SIRENE des entreprises

Bonjour à tous, je m’appelle ____. Je travaille à la DSE en tant que Data Scientist et administrateur de l’application Sirene. Je vais vous raconter comment nous avons, avec le SSP Lab et les équipes métiers, entraîné notre modèle d’apprentissage en nouvelle nomenclature.

Sommaire

1️⃣ Introduction

2️⃣ Nouvelle nomenclature et données d’entraînement

3️⃣ Annotations humaines et virtuelles

4️⃣ Méthodologie

5️⃣ Résultats

6️⃣ Conclusion

7️⃣ Remerciements

Dans un premier temps, je vais vous présenter le contexte et la problématique, pour comprendre les enjeux du réentraînement. Ensuite, nous verrons l’impact de la révision de la NAF sur cette problématique, et ce que cela implique pour notre jeu d’entraînement. Je vous montrerai ensuite les initiatives d’annotation humaine et virtuelle qui ont permis de développer une méthodologie innovante basée sur les LLM. Puis, je détaillerai comment cette méthodologie permet d’entraîner notre modèle en nouvelle nomenclature, même sans données historiques. Enfin, nous passerons aux résultats du classifieur, avant de conclure et de terminer par un mot de remerciement.

1️⃣ Introduction

Commençons par introduire le contexte, pour bien comprendre la situation dans laquelle nous nous trouvons. Tout ce que nous verrons ensuite prend racine dans ce cadre.

Contexte

• De plus en plus de modèle ML sont voués à être mis en production à l’Insee cf GUÉDÈS et MAUREL (2024)
  • Multiples cas d’usages de codification : COICOP, NA2008, PCS2020, APE
  • 🎯 Présentation axée sur l’Activité Principale Exercée (APE) des entreprises
• Révision de la Nomenclature d’Activités Française (NAF):
  • Adaptation au nouveau paysage économique
  • coordination avec la révision européenne de la NACE
• Des innovations d’autres INS sur la recodification par LLM notamment Iva Spakulova (2024)
• Concurrence forte et mondiale dans le secteur de l’IA générative: course au compute et aux données cf l’essai de Sutton (2019),
• Littérature abondante et en plein essor: Patrick Lewis (2020), RANA (2025), Connor Shorten (2024), Haoyu Huang (2025)

 L’Insee aboutit de plus en plus à la mise en production de modèles de machine learning pour la codification dans différentes nomenclatures : produits, entreprises, et d’autres entités. Nous nous concentrons sur l’APE, l’Activité Principale Exercée, qui repose sur la NAF, récemment révisée pour mieux refléter la réalité économique.

En termes d’innovation, l’exploration du moment est l’utilisation de LLM, comme le font certains instituts au Royaume-Uni. Le secteur de l’IA générative évolue très rapidement : nouveaux modèles sortent régulièrement, la littérature est abondante et il y a beaucoup de joyeusetés à découvrir dans ce domaine. »

La source des données d’entreprises et des libellés d’activités

Loi PACTE

À partir du 1er janvier 2023, l’ensemble des formalités d’entreprise doit être déposé en ligne auprès d’un organisme unique.

Pour comprendre comment l’APE est codifié, il faut d’abord savoir d’où viennent les libellés d’activité des entreprises. Tout commence avec la loi PACTE. Depuis janvier 2023, toutes les formalités d’entreprise doivent être déposées en ligne auprès d’un organisme unique, le Guichet Unique.

INPI = Institut National de la Propriété Industrielle

• Office des brevets
• Opérateur du Guichet Unique des Entreprises (GUE)

Dans ce contexte, un nouvel acteur entre en scène : l’INPI. Loin de se limiter aux brevets ou à la propriété industrielle, il gère désormais le portail du Guichet Unique, qui devient la source principale des déclarations pour le répertoire Sirene.

• Principal flux d’alimentation des déclarations du répertoire Sirene

• Fin des Centre de Formalités des Entreprises (CFE)
  ➡️ description libre du libellé d’activité: texte non-structuré

  Afficher un exemple de libellé d’activité

   Je souhaite développer dans le nettoyage et entretien des bureaux d'entreprise : changelent de poubelles , aspirateur, serpillère

La mise en place du portail change la donne. Aujourd’hui, le répertoire Sirene dépend de l’INPI pour fournir les données nécessaires à l’attribution du code APE.

Avant, les déclarants passaient par plusieurs Centres de formalités : leurs libellés d’activité étaient guidés, relus et en grande partie normalisés. Maintenant, avec le Guichet unique, chaque déclarant décrit librement son activité principale avec toutes les conséquences que cela entraîne sur la qualité du contenu saisi.

Le répertoire Sirene

Sirene = Système Informatique pour le Répertoire des Entreprises et de leurs Établissements

• Répertoire de référence historique gérant le cycle de vie des entreprises
• garant du SIREN, SIRET et de l’APE basé sur la NAF
• Bascule de Sirene 3 à Sirene 4 ➡️ traitement en flux
• Sicore inefficient face au volume à traiter et particulièrement diversité des libellés

On peut se demander quel est le rôle ou simplement qu’est ce que Sirene dans ce contexte. Depuis les années 70, Sirene est le répertoire de référence qui suit la vie des entreprises, de leur création à leur cessation, parfois même leur réactivation. Il attribue le SIREN, le SIRET et le fameux code APE, celui que vous voyez sur vos tickets de caisse.

L’année dernière, Sirene a connu une refonte historique : fini le monde du tout par batch, où le déclarant devait attendre le prochain traitement. Aujourd’hui, tout se fait en flux continu, quasi en temps réel. À l’instant où je vous parle, des entreprises sont en train d’être enregistrées.

Dans ce contexte, avec un volume élevé et une grande variété de libellés, l’ancien système expert Sicore ne suffisait plus : il surchargeait les équipes et ne permettait de codifier que 30 % des cas.

➡️ Mis en place d’un modèle d’apprentissage supervisé fin d’année 2022.

Fin 2022, un classifieur supervisé, basé sur le machine learning, a été mis en place, permettant d’automatiser au moins 65 % du codage du code APE, avec une démarche prudente consistant à présenter les autres cas en reprise gestionnaire.

• évolution dans le temps des activités ou des descriptifs ➡️ dérive des données
• Cas extrême courant pour la statistique publique ➡️ changement de nomenclature

Malgré l’absence naturelle de données, comment entraîner notre modèle en NAF 2025 ?

Un modèle supervisé n’est pertinent que si les données qui l’ont entraîné restent cohérentes avec la réalité. Or, les activités et leurs descriptifs évoluent avec le temps : c’est ce qu’on appelle la dérive des données. Dans ces situations, il faut réentraîner le modèle.

Un cas extrême, fréquent en statistique publique, se produit lorsqu’il y a un changement de nomenclature, comme avec la NAF. Autrement dit, les valeurs possibles de notre variable cible (notre Y) changent, rendant les codes précédents obsolètes.

Alors, comment entraîner un modèle sur la NAF 2025, malgré l’absence de données pour cette nouvelle version ? C’est ce que nous allons explorer.

2️⃣ Révision de la NAF et jeu d’apprentissage

Comme nous l’avons vu, la NAF 2025 pose un vrai défi : certaines données n’existent pas encore. Pour entraîner notre classifieur, il nous faut un jeu d’entraînement. Mais avec la révision de la NAF, certains cas deviennent plus complexes… et c’est exactement ce qui va nous poser problème.

NAF 2025 : les cas multivoques

• Au niveau 5 : 746 sous-classes contre 732 auparavant
• 181 classes multivoques, correspondance 1-pour-N ➡️ cas problématiques ! 🚩
• Besoin d’un expert pour déterminer le nouveau code

Dans la nouvelle NAF, de nombreux codes éclatent et apparaissent de nouveaux cas. Certains cas sont univoques : correspondance 1-pour-1, facile à convertir. Mais les multivoques (1-pour-N) sont problématiques : une simple bijection ne suffit pas, il faut l’expertise d’un humain pour interpréter correctement le libellé d’activité.

Combien représentent-ils ?

Jeu d’apprentissage issues de Sirene 4: \(~2.7\) millions d’observations

C’est un volume conséquent. On pourrait espérer que la majorité des cas soient univoques et que les multivoques restent rares…

Peu en théorie

Table 1: Représentation des multivoques dans la table de correspondance

Part de multivoques	Part d’univoques
25 %	75 %

Beaucoup en pratique

Table 2: Réprésentation des multivoques dans le jeu d’apprentissage

Part de multivoques	Part d’univoques
52 %	48 %

Faux espoirs ! Même si les multivoques semblent minoritaires dans la table de correspondance théorique, la réalité du jeu d’apprentissage est différente. La distribution des codes fait que plus de la moitié des observations à recoder sont multivoques. C’est conséquent et pas automatisable facilement, car il faut l’intervention humaine.

➡️ \(~1.4\) millions de multivoques à recoder manuellement !

3️⃣ Annotations humaines et virtuelles

Pour répondre à ce problème, nous avons donc lancé des campagnes d’annotation d’envergure, combinant expertise humaine et aides virtuelles.

Campagnes d’annotation

Actions possibles: attribuer un code, déléguer la tâche ou classer comme incodables

Pour convertir le jeu d’apprentissage, nous avons mené deux campagnes d’annotation. Chaque annotateur pouvait attribuer un code, déléguer la tâche ou marquer le libellé comme inclassable.

1. En NAF rev 2 ou NAF 2008: gold standard pour évaluer la précision
   • 10 000 annotations pour valider la qualité dans la nomenclature actuelle
   • Pôle Qualité Sirene ➡️ 6 annotateurs à l’aveugle, sans aide à la codification

Cette première campagne visait à s’assurer de la qualité du codage actuel. Le gold standard est ici un jeu de test fiable, qui permet d’évaluer la précision d’un classifieur avant de passer à la NAF 2025. N’ayant aucune expérience en NAF 2025 au départ, il était essentiel de vérifier que le codage NAF rev 2 était fiable, pour pouvoir s’appuyer dessus ensuite.

2. En NAF 2025: ground truth pour servir de référence
   • 30 000 annotations sur les données multivoques uniques
   • réseau complet des experts APE ➡️ environ 25 annotateurs
   • avec proposition de codes multivoques en fonction du code en NAF rev 2

Cette seconde campagne s’appuie sur le codage NAF rev 2 pour annoter plus rapidement et efficacement. La seconde campagne crée la vérité terrain ou ground truth, c’est-à-dire un étalon de référence pour nos LLM et classifieurs. Elle permet aussi de former les experts à la NAF 2025 et de clarifier certaines règles de classement et démarches. Même avec 30 000 annotations, ce n’est pas suffisant pour entraîner un classifieur, mais c’est une étape essentielle pour constituer ce qu’on appelle une vérité terrain ou ground truth.

• 6 % de tâches déléguées
• 6 % de libellés inclassables

Un point intéressant à noter : dans les deux campagnes, le taux de tâches déléguées et de libellés inclassables est identique, ce qui serait intéressant à comparer avec d’autres projets d’annotation.

Concilier l’expertise et l’innovation

Dans quelle mesure, peut-on tirer profit des LLM ?

Nous savons que les humains seuls ne peuvent pas labelliser suffisamment de données. Mais à l’ère des LLM et compte tenu du contexte présenté, des méthodes innovantes peuvent compléter l’expertise humaine.

L’expert apporte une compréhension fine et non native aux LLM, tandis que le robot peut traiter un plus grand nombre de cas.

L’idée : tirer parti des deux en s’inspirant du mode opératoire des experts et en utilisant les libellés annotés comme étalon pour guider les LLM.

4️⃣ Méthodologie appliquée

Ce qui nous amène à la méthodologie suivante:

Méthodologie

• 🎯 Objectif : Reconstruire un jeu d’entraînement le plus exhaustif possible
• 💡Principe : considérer les LLMs comme des annotateurs virtuels

Le principe est de reproduire le travail des experts par LLM et de sélectionner le modèle qui s’aligne le mieux avec les annotations manuelles.

Les cas univoques sont recodés via une table de correspondance.

Les cas multivoques sont recodés via LLM. Cela permet de créer une base d’apprentissage volumineuse pour entraîner le classifieur.

En résumé : les multivoques sont labellisés virtuellement par LLM.

Le prompting

• Prompt système identique pour toutes les observations

  Afficher le prompt sytème

  Tu es un expert de la Nomenclature statistique des Activités économiques dans la Communauté Européenne (NACE). Tu es chargé de réaliser le changement de nomenclature. Ta mission consiste à attribuer un code NACE 2025 à une entreprise, en t'appuyant sur le descriptif de son activité et à partir d'une liste de codes proposés (identifiée à partir de son code NACE 2008 existant). Voici les instructions à suivre :
  1. Analyse la description de l'activité principale de l'entreprise et le code NACE 2008 fourni par l'utilisateur.
  2. À partir de la liste des codes NACE 2025 disponible, identifie la catégorie la plus appropriée qui correspond à l'activité principale de l'entreprise.
  3. Retourne le code NACE 2025 au format JSON comme spécifié par l'utilisateur. Si la description de l'activité de l'entreprise n'est pas suffisamment précise pour identifier un code NACE 2025 adéquat, retourne `null` dans le JSON.
  4. Évalue la cohérence entre le code NACE 2008 fourni et la description de l'activité de l'entreprise. Si le code NACE 2008 ne semble pas correspondre à cette description, retourne `False` dans le champ `nace08_valid` du JSON. Note que si tu arrives à classer la description de l'activité de l'entreprise dans un code NACE 2025, le champ `nace08_valid` devrait `True`, sinon il y a incohérence.
  5. Réponds seulement avec le JSON complété aucune autres information ne doit être retourné.

• Un prompt spécifique pour chaque observation comprenant :

  • le libellé de l’activité principale de l’entreprise
  • l’ancien code NAF 2008 connu
  • La liste des codes possibles issues du mapping avec leurs notes explicatives

• Une instruction sur le format de réponse attendu

Afficher un exemple de réponse attendue

{
    "codable": true,
    "nace_2008_valid": true,
    "nace2025": "0147J" 
}

Le LLM a besoin de directives claires pour produire des réponses fiables : Prompt système : définit sa feuille de route globale, lui donne un rôle d’expert NACE. C’est un exemple parmi les nombreuses techniques du prompt engineering pour optimiser les LLM. Prompt spécifique : fourni pour chaque observation, avec les informations nécessaires pour coder correctement, et surtout pour ajouter le contexte. Nous verrons quelques exemples pour comprendre pourquoi c’est crucial. Consigne de format : pour éviter les réponses volubiles ou incorrectes et garantir une sortie structurée et exploitable.

Importance du contexte

Sans contexte suffisant, le LLM peut halluciner, c’est-à-dire fournir des réponses incorrectes ou inventées. Pour coder correctement en NAF 2025, il est indispensable de lui fournir le contexte nécessaire.

Illustration avec ChatGPT

Réponse formatée

En donnant le prompt système sans le prompt spécifique qui apporte le contexte, le LLM ne connaît pas la NAF 2025 et donne le bon code certes mais en NAF rev 2, ce qui est faux

Illustration avec ChatGPT

Réponse non formatée

Sans demander de formater la réponse, il comprend qu’il y a besoin de consulter la NAF 2025 mais il a fallu une itération supplémentaire, ce qui est coûteux dans le contexte d’inférence par batch.

Injection du contexte

*

C’est pour cela que l’on ajoute du contexte. Il existe différentes techniques dont la plus populaire est le RAG. Le schéma présente le contexte injecté qui constitue notre prompt spécifique ou requête. La quantité de texte que le LLM peut examiner est appelée fenêtre de contexte (sur le schéma, repérée comme “fenêtre étendue”).

5️⃣ Résultats

Précisions par modèle

Figure 1: Comparaison fastText vs torchTextClassifiers

En entraînant notre classifieur sur le nouveau jeu d’apprentissage, nous obtenons des performances similaires à celles de la nomenclature actuelle.

Comme dans toute démarche classique de machine learning :

• Split train/test/validation pour évaluer la performance
• Data editing du jeu d’apprentissage pour corriger les cas problématiques avant la mise en production

Notre futur modèle s’appuiera sur la librairie TorchTextClassifiers, qui sera présenté (par mon collègue, ici présent ?) Jeudi après-midi dans cette même salle.

Cette conclusion montre que notre méthodologie, combinant annotations humaines, LLM et expertise, permet de constituer une base fiable et performante pour la NAF 2025. Elle n’est pas limitée à une nomenclature donnée ni à un classifieur particulier et peut être adaptée à toute problématique similaire, ouvrant des perspectives intéressantes en matière d’innovation.

import { debounce } from "@mbostock/debouncing-input"

6️⃣ Conclusion

En conclusion, ce travail a relevé un gros défi qui apporte des perspectives d’innovation intéressantes dans le cadre de nomenclature à l’INSEE et au-delà. Peut être repris sur des problématiques similaires. Des pistes pour améliorer la démarche sont en cours d’investigation.

7️⃣ Remerciements

• Pôle Qualité Sirene
• Experts APE
• DNE
• SSP Lab
• RIAS

tout ceci n’aurait pas été possible sans mes collègues aussi bien à la Direction Générale qu’en région

Références

Connor Shorten, Charles Pierse et al. 2024. « StructuredRAG: JSON Response Formatting with Large Language Models ». arXiv preprint arXiv:2408.11061, août. http://arxiv.org/abs/2408.11061.

GUÉDÈS, Dominique, et Françoise MAUREL. 2024. « Intégration des innovations de traitement de données dans la production statistique : état des lieux et perspectives ». Document interne.

Haoyu Huang, Yongfeng Huang et al. 2025. « Retrieval-Augmented Generation with Hierarchical Knowledge ». arXiv preprint arXiv:2503.10150, mars. http://arxiv.org/abs/2503.10150.

Iva Spakulova, Philip Lee. 2024. « ClassifAI – Exploring the use of Large Language Models (LLMs) to assign free text to commonly used classifications », juillet. https://datasciencecampus.ons.gov.uk/classifai-exploring-the-use-of-large-language-models-llms-to-assign-free-text-to-commonly-used-classifications/.

Patrick Lewis, Aleksandra Piktus et al., Ethan Perez. 2020. « Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks ». arXiv preprint arXiv:2005.11401, mai. http://arxiv.org/abs/2005.11401.

RANA, Anurag. 2025. « RAG (Retrieval-Augmented Generation) vs CAG (Context-Augmented Generation) ». Medium. janvier 2025. https://medium.com/@anuragrana.anu/rag-retrieval-augmented-generation-vs-cag-context-augmented-generation-f789ea24a168.

Sutton, Rich. 2019. « The Bitter Lesson », mars. http://www.incompleteideas.net/IncIdeas/BitterLesson.html.