Replication packages en économie - Open science Meet-up - 📅 jeudi 2 avril 2026 13h30, visio

Le prochain Open Science Meet-up de l’Insee portera sur le thème : Replication packages en économie : préparation, bonnes pratiques et attentes des revues, surtout lorsque les données sont confidentielles.

Pour s’assurer de la reproducibilité d’une analyse publiée, de nombreuses revues demandent désormais aux auteurs de fournir un replication package, c’est-à-dire l’ensemble des données, du code et de la documentation.

Lors de ce Meet-Up, Lars Vilhuber (Cornell University), data editor à l’American Economic Association, présentera les principes et les bonnes pratiques associés à la préparation et à la diffusion des replication packages. Il reviendra notamment sur les exigences croissantes des revues scientifiques, les standards qui se développent dans la communauté économique et les enjeux de la reproductibilité des travaux empiriques.

Cette rencontre sera l’occasion d’échanger sur la manière dont ces pratiques contribuent au développement d’une recherche plus transparente et plus ouverte, en particulier dans les domaines de l’analyse économique et statistique.

Elle s’adresse à toutes celles et ceux qui souhaitent mieux comprendre les enjeux de la reproductibilité des analyses économiques et de la diffusion ouverte des travaux de recherche.

Rendez-vous le jeudi 2 avril de 13h30 à 14h15 en distanciel à ce lien.

Génération de commentaire de graphiques : retour d’expérience sur les statistiques agricoles et pistes d’amélioration - 📅 mardi 14 avril 14h, Paris (DG Insee) et visio

Le SSM Agriculture essaye de générer par LLM des commentaires sur l’évolution d’indicateurs agricoles à partir de graphiques. Si l’approche semblait prometteuse pour produire un premier jet que les analystes pourraient ensuite affiner, un point d’étape a mis en évidence des limites importantes (erreurs fréquentes sur les valeurs numériques, inversions de tendances, comparaisons incorrectes entre territoires …).

Dans le cadre d’un travail de recherche, un étudiant de l’Ecole polytechnique a travaillé à rendre plus robuste cette expérimentation sous la supervision d’une chercheuse de l’INRIA. Il a ainsi mis en place un cadre d’analyse pour quantifier les erreurs et proposé des améliorations pour répondre aux défauts identifiés.

Ils nous présenteront ainsi leurs travaux le mardi 14 avril à 14h, en visio et en présentiel à l’Insee (en salle 4C-458). La présentation devrait durer 30 minutes. Tout le monde est le bienvenu !

Si vous voulez l’ajouter dans votre agenda, voici une invitation agenda.

Les mises à jour seront faites sur la page de l’événement.

Contribuez à la conférence sur l’utilisation de R dans la statistique publique (uROS) - 📅 18-20 novembre 2026, Paris

L’Insee accueille l’édition 2026 de la conférence uRos (use of R in official statistics) les 18, 19 et 20 novembre 2026 au centre Pierre-Mendès France, à Bercy.

Cette rencontre annuelle des utilisateurs de R en Europe et dans le monde sera l’occasion de valoriser les nombreux investissements en R faits à l’Insee et au sein du SSP. La liste des thèmes ainsi que toutes les informations pratiques sont en ligne sur le site de la conférence.

Si vous souhaitez y assister, vous pouvez d’ores et déjà vous inscrire en ligne.

Si vous souhaitez contribuer, l’appel à contribution va bientôt ouvrir jusqu’au 15 juin sur le site de la conférence. Vous pourrez soumettre :

1. une présentation classique de 15 minutes ;
2. une présentation flash de 5 minutes ;
3. un tutoriel d’environ 2 heures.

N’hésitez pas à contacter directement l’organisation de l’événement sur uros2026@insee.fr.

Données tabulaires : le deep learning est-il devenu une alternative crédible aux méthodes de boosting ?

Ce billet de blog explique que, si le boosting reste une valeur sûre, plusieurs modèles récents - qu’il s’agisse de deep learning “classique” ou de modèles de fondation - deviennent désormais réellement compétitifs. L’émergence de benchmarks plus rigoureux et de nouveaux outils facilite par ailleurs la comparaison et la prise en main de ces nouveaux modèles. Le principal frein reste toutefois le passage à l’échelle sur les très grands jeux de données, qui limite encore leur adoption.

Et pour les séries temporelles ? Le constat est proche: les modèles de fondation progressent, mais les approches plus classiques restent très compétitives, et le principal enjeu est encore celui de l’évaluation, les résultats étant contrastés selon les benchmarks.

Des pistes intéressantes pour la recherche documentaire

Le projet PageIndex explore une approche de recherche documentaire sans base vectorielle, fondée sur une indexation hiérarchique des documents et une navigation par grand modèle de langage (LLM). Au lieu de découper le texte en chunks (des segments de texte issus du découpage d’un document) puis de faire une recherche par similarité dans une base vectorielle (c’est la méthode du RAG classique), l’outil transforme un document long en un arbre hiérarchique - une sorte de table des matières enrichie pour les LLM - puis s’appuie sur cette structure pour guider la recherche des passages pertinents. L’objectif est de mieux traiter les documents longs et structurés, pour lesquels une simple recherche par similarité sur des chunks peut manquer de précision ou de contexte. L’approche est prometteuse et a l’intérêt de rendre le parcours de recherche plus lisible et plus traçable.

Ce billet d’Anthropic sur le Contextual Retrieval propose une approche pour améliorer la recherche documentaire par RAG classique. L’idée est de conserver le schéma habituel (chunks, embeddings, BM25) mais d’ajouter à chaque chunk un court contexte explicatif généré à partir du document complet, afin d’éviter qu’un passage isolé perde les informations qui lui donnent son sens. Le billet indique que cette contextualisation réduit de 49 % les échecs de retrieval, et jusqu’à 67 % lorsqu’on y ajoute une étape de reranking. Le billet rappelle aussi un point utile : pour des bases documentaires “modestes” (moins de 200 000 tokens, soit environ 500 pages), il peut être plus simple de mettre directement tout le corpus dans le prompt, sans passer par l’étape RAG.

dbt + DuckDB : structurer ses pipelines SQL avec une infrastructure légère

Les outils dbt + DuckDB permettent de professionnaliser des traitements analytiques locaux. DuckDB fournit un moteur SQL très rapide pour interroger et transformer des données, y compris directement depuis des fichiers Parquet. dbt permet quant à lui d’ajouter une couche d’organisation : il aide à découper les traitements en étapes claires (sources, staging, tables finales), à gérer les dépendances entre modèles, à documenter les transformations, à tester la qualité des données etc. En d’autres termes, dbt fournit une méthode pour transformer une collection de scripts SQL en pipeline plus lisible, plus reproductible et plus maintenable.

Apprendre avec l’IA

Utiliser l’IA pour apprendre, et pas seulement pour accélérer la production de code ? Le dépôt Learning Opportunities propose un plugin pour Claude Code qui déclenche de courts exercices de 10 à 15 minutes afin d’éviter l’illusion de compréhension que peuvent créer les assistants de code. Une approche intéressantes pour ceux qui souhaitent (continuer à) se former à l’heure du coding assisté par IA.

MicroGPT Visualized : une ressource pour comprendre ce qu’il y a dans un GPT

Pour mieux comprendre ce qui se passe réellement derrière les mots “attention”, “transformer”, “résidus” ou “KV cache”, MicroGPT Visualized est une excellente découverte. Le site reprend le micro-GPT en Python d’Andrej Karpathy et le décompose en six étapes, du simple modèle bigramme jusqu’au transformer complet optimisé avec Adam, le tout avec schémas, animations et explications progressives.

Master Machine Learning with scikit-learn

Le livre en ligne Master Machine Learning with scikit-learn de Kevin Markham est une ressource très intéressante pour développer ou consolider ses bonnes pratiques en machine learning.

Mapinou : un jeu mobile pour alimenter la recherche et mieux comprendre la navigation cartographique

Petite respiration carto ce mois-ci avec Mapinou, un jeu mobile gratuit développé par une équipe de recherche du LASTIG (IGN) dans le cadre du projet européen LostInZoom. En guidant un lapin à travers une carte de France multi-échelles, les joueurs produisent des données anonymes par leurs interactions avec la carte - zooms, déplacements, clics - que les chercheurs utilisent pour mieux comprendre les phénomènes de désorientation après zoom et concevoir des interfaces cartographiques plus fluides.

Extraction d’information dans des documents longs par la DARES - 📅 18 mars 2026 14h (à la DG Insee et visio)

La Dares présentera ses travaux d’analyse des accords d’entreprise, des documents souvent très longs, pouvant compter plusieurs dizaines de pages. On y abordera les méthodes mises en œuvre pour repérer automatiquement les sujets traités dans ces accords et en extraire des informations pertinentes (par exemple, le nombre de jours de télétravail par semaine).

L’atelier se tiendra à la fois en présentiel à la DG de l’Insee (salle 4C-358) et en visio. Les détails sont disponibles dans cette invitation calendrier.

📣 Appel à projets : journées de contribution à l’open-source - 📅 16 & 17 juin 2026 - Paris

L’Insee organise deux journées dédiées à la contribution open-source les 16 et 17 juin 2026. Les deux jours auront lieu au Lieu de la transformation publique à Paris. Le but de ces journées est de démystifier l’open source, d’expliquer comment y contribuer, et d’encourager chacun à soutenir les projets que nous utilisons largement en datascience.

Pour préparer ces journées, nous recherchons quelques sponsors 👑. Leur rôle : proposer des projets (open-source bien sûr) pertinents pour les data-scientists et auxquels les participants pourraient contribuer pendant l’évènement. Cela peut être un package R, Python, un site …

En tant que sponsor, vous devrez connaître le sujet (sans en être expert ou mainteneur) et le besoin associé. En amont, votre rôle sera d’identifier une ou plusieurs issues à traiter et de préparer les pré-requis techniques (repo Git, droits d’accès) pour que les contributeurs puissent se mettre en selle rapidement le jour J. Le jour J, vous pourrez présenter le projet et la problématique, puis participer au travail collectif dont le but sera de produire des contributions (pull-requests) pour répondre aux besoins identifiés.

Si vous avez des questions, que vous êtes intéressé pour proposer un sujet ou simplement pour participer, n’hésitez pas à nous contacter 👋 par mail ou par Tchap.

Agents IA : petites catastrophes (et grandes conséquences ?)

L’usage des agents IA basés sur des grands modèles de langage (LLM) a pris de l’ampleur courant 2025, notamment grâce à l’émergence de frameworks et d’outils facilitant leur utilisation. Pour les plus novices, un agent IA est un système capable d’exécuter des tâches de manière autonome, en s’appuyant sur un LLM qui interprète les entrées et peut mobiliser un ensemble d’outils pour y répondre. L’agent peut ainsi “percevoir”, “raisonner”, “décider” et “agir” dans son environnement afin d’atteindre un objectif donné. On comprend donc qu’il peut exister quelques couacs dans l’utilisation de ces agents IA, c’est ce que nous allons voir dans les témoignages suivants :

• Quand un agent se venge pour un refus de contribution à un projet opensource : ce témoignage nous raconte comment un agent a pu publier des propos diffamants sur l’un des maintainers volontaires de la librarie Python mondialement connue Matplotlib ;

• Quand un agent vole les clés d’API de son utilisateur : ce témoignage raconte cette fois le cas d’un agent qui, pour tester ne hypothèse, a pris quelques libertés… en accédant à un fichier auquel il n’était pas censé avoir accès. Petit rappel : vos clé d’API 🔑, c’est comme vos clés d’appartement — à ne pas laisser traîner, sinon quelqu’un risque de venir squatter… et de vous laisser la facture 👮.

Enfin, ce billet de blog revient sur une utilisation respectueuse de l’IA au sein des équipes de développement (qui peut être élargie à toute équipe travaillant sur un projet commun, qu’il soit statistique ou informatique).

Outils - l’océrisation ou les LLM multimodaux : de nouveaux outils open source pour l’extraction de texte non structuré 📄

Ces derniers mois, différents outils d’extraction d’information issus de textes non structurés ont émergé. On peut y retrouver :

• Le framework EdgeQuake, implémenté en Rust pour des performances élevées, permet de prendre en compte plus d’information sur la composition des textes que les RAG. En effet, là où les RAG se limitent à l’analyse de la similarité sémantique (cf. explications sur les RAG ici par exemple), EdgeQuake va décomposer le document en un graphe de connaissances, permettant de garder les relations structurelles entre les concepts ;

• Plusieurs outils d’OCR (reconnaissance optique de caractère, permettant d’extraire du texte à partir d’images) ont été récemment mis à disposition en open source :

  • Chandra, mis à disposition par datalab, l’entreprise à l’origine du framwork marker-pdf et du moteur OCR surya ;
  • DeepSeek-OCR-2, qui s’inspire de la lecture humaine pour reconstruire l’ordre logique de lecture, en plus de la détection des caractères ;
  • Le modèle OCR multimodal GLM-OCR, qui analyse la structure globale du document en complément de la reconnaissance de caractères.

Un (petit) détour côté R

Et voici quelques news côté R / Posit :

• Après le benchmark des meilleurs codeurs R parmi les LLM le mois dernier, l’infolettre Posit de janvier apporte quelques informations sur l’utilisation de LLM ou d’agents IA dans Rstudio (notamment le tant attendu déploiement de l’IA dans Rstudio !) ;

• Une liste de packages R utilisant des LLM est disponible ici (bien que nous vous conseillons l’utilisation de Python si vous souhaitez travailler avec des LLM 😉) ;

• Un nouvel outil arf - en cours de développement, pas encore stable - se pose en console R moderne multiplateforme ;

• Enfin, ce billet de blog revient sur les limites d’une application R Shiny, par rapport à une “vraie” application web. A l’ère des nouveaux outils de vibe coding, faut-il encore recourir à Rshiny, réputé pour sa simplicité d’utilisation ? Le débat est ouvert 🤔.

Formation 🏋️

Ce mois-ci, voici des ressources intéressantes pour se former aux framework IA :

• DeepLearning.AI propose des cours (gratuits après inscription) sur différents modèles et outils d’IA. Cette plateforme a été fondée par Andrew Ng, qui y enseigne également 🤩 ;

• Pour apprendre à utiliser Pytorch, learnpytorch est une excellente ressource : vidéos, notebooks (avec corrigés) et présentations sont disponibles. Les principaux modèles de deep learning y sont abordés (dont la classification et la computer vision), et il existe même un module consacré au déploiement de ces modèles. Tout ce dont vous avez besoin pour maîtriser le package Insee torchTextClassifier comme personne 👍.

Fun

Vu la longueur de cette infolettre, nous vous gardons des petites pépites pour le mois prochain 😉

Présentation de Cartographia

Le 13 janvier, nous avons reçu Françoise Bahoken et Nicolas Lambert. Ils nous ont présenté leur passionnant livre Cartographia, qui explore ludiquement les grandes questions de la cartographie. Le livre rappelle aussi que toute cartographie est une simplification de la réalité et qu’elle comprend ainsi forcément un parti pris, dont il faut être conscient. L’enjeu est alors de ne pas chercher à manipuler l’information à travers une cartographie et de tenter d’adopter le point de vue le plus neutre possible.

Le replay et leur présentation sont en ligne.

Journée contribution open source 📅 16 & 17 juin 2026 - Paris

A vos agendas ! Le SSPLab organise une journée autour de la contribution open-source les 16 et 17 juin 2026. Cela aura lieu au Lieu de la transformation publique à Paris. Le but de cette journée est de démystifier l’open source, d’expliquer comment y contribuer, et d’encourager chacun à soutenir les projets que nous utilisons largement en datascience.

Le programme est en cours d’élaboration donc si vous avez une idée de projets open-source d’intérêt auquel vous souhaitez contribuer, n’hésitez pas à nous contacter !

LLM

Dans la série agents, cet article de Posit compare différents modèles de LLM pour coder en R (sans les modèles de Mistral 😮🇫🇷😮). Résultat : les modèles les mieux évalués à date, mais attention les classements évoluent très vite, sont Claude Sonnet 4.5, Claude Opus 4.5 et OpenAI GPT-5.

Outils

Deux outils open-source pour synthétiser des données ou les valoriser.

• Si vous cherchez à générer des données synthétiques, il y a NeMo. Open-source, l’objectif de ce package Python est de permettre de générer des données synthétiques facilement, en se branchant au LLM de votre choix.
• Côté valorisation des données, il y a Marmot, un outil open-source pour parcourir plus facilement vos différents jeux de données.
• Un peu plus d’interactivité dans des cellules de code en Quarto ? Quarto-live permet de faire des cellules de code réactives dans une page HTML Quarto.
• Du côté des publications en ligne reproductibles et interactives, l’OFCE a publié depuis plusieurs années son package maison OFCE. Il permet de publier sur Internet les études de l’OFCE, en insérant des graphiques interactifs et en gérant aussi la charte graphique de l’OFCE.

Formation

Quelques ressources intéressantes de formation ou articles de blog.

• Côté Python, le célèbre livre Python datascience Handbook est disponible aussi en version web ;
• Pour comprendre la manière dont fonctionnent les filtres Bloom dans la technologie Parquet, je vous recommande ce très utile post de blog d’Éric Mauvière.

Fun

• Une excellente BD permet d’expliquer les statistiques facilement (aussi pour les enfants). Dans Les statistiques en BD, Laurence Dujourdy et Mathieu Bartoletti vulgarisent simplement les concepts que l’on a appris il y a un certain temps. Le tout est dessiné par Thibault Roy et est porté par l’institut Agro de Dijon.
• Pour avoir une lecture sociale des évolutions de Paris, n’oubliez pas d’aller voir l’analyse Ce que la carte des kebabs révèle de Paris publiée dans Les Echos. A travers les kebabs, Jules Grandin analyse la géographie de Paris et son évolution. Il retrouve ainsi les grandes avenues, les gares, les quartiers densément peuplés et enfin les inégalités d’âge et de revenus.

La troisième journée du réseau a eu lieu le 1^er décembre

Le 1^er décembre 2025, le réseau a organisé sa troisième journée annuelle. Avec quatre présentations, deux interventions extérieures et un atelier de partage, cette édition a réuni une soixantaine de participants en présentiel et distanciel pour des échanges riches et constructifs. Merci à tous les participants pour leur participation active !

Prochain événement : présentation de Cartographia - 📅 13 janvier 2026 - format mixte (Montrouge et en ligne)

Le prochain événement du réseau sera le 13 janvier 2026. Françoise Bahoken et Nicolas Lambert viendront nous parler de leur livre Cartographia et des questions de cartographie passionnantes qu’ils y abordent.

Nicolas Lambert était déjà intervenu pour présenter Observable, une librairie JavaScript très pratique pour faire des dataviz.

Résilience et open-source

IA, IA, IA

Very big data isn’t dead

• Du mal à faire tourner des tables de 2 Go ? Imaginez le CERN, où le laboratoire du LHCb génère 25 millions de collisions de protons par seconde, soit la paille de 4 To de données par seconde. Comment faire ? Comme expliqué dans ce post, ils ont mis en place l’infrastructure pour filtrer les données et ne garder que 10 Go de données générées par seconde. C’est un peu la citation de Einstein :

Do not worry about your difficulties in mathematics; I can assure you that mine are still greater.

Ressources et fun

Présentation de l’offre LLM du SSP Cloud, Insee - Division Innovation instruction technique (DIIT)

createButton(
  "https://minio.lab.sspcloud.fr/ssphub/diffusion/website/2025-12-network/1_SSPCloud_LLM.pdf",
  "Télécharger les slides"
)

Extraire et analyser les compétences numériques dans les offres d’emploi grâce au NLP (Dares - Service statistique ministériel du Ministère du Travail et de l’Emploi & Insee - DEE)

createButton(
  "https://minio.lab.sspcloud.fr/ssphub/diffusion/website/2025-12-network/2_JOCAS_DARES.pdf",
  "Télécharger les slides"
)

Quelles évolutions récentes et à venir sur data.gouv (Dinum)

Présentation disponible sur Figma

Automatisation des Infos rapides Justice grâce au package R chartegraphique.sser (SSER - SSM Justice)

Le papier a été publié lors des journées de méthodologie statistique 2025.

createButton(
  "https://minio.lab.sspcloud.fr/ssphub/diffusion/website/2025-12-network/4_SSER_autoIRJ.pdf",
  "Télécharger les slides"
)

Le package torchTextClassifiers, un cadre unifié pour la classification de texte basé sur PyTorch et PyTorch Lightning (Insee - SSPLab)

createButton(
  "https://minio.lab.sspcloud.fr/ssphub/diffusion/website/2025-12-network/5_TorchTextClassifier_Insee.pdf",
  "Télécharger les slides"
)

Le portail https://data.ina.fr/, produire des indicateurs de suivi des médias grâce à l’IA

Cf. le portail https://data.ina.fr/

function createButton(slides, message="Télécharger les slides"){
  const button = html`
  <p class="text-center">
    <a class="btn btn-primary btn-lg cv-download" href="${slides}" target="_blank">
      <i class="fa-solid fa-file-arrow-down"></i>&ensp;${message}
    </a>
  </p>`
  return button
}

La troisième journée du réseau 📅 1 décembre - La Tréso (Malakoff)

Les inscriptions pour la troisième journée du réseau le 1^er décembre 2025 sont ouvertes. Si vous souhaitez présenter un sujet, n’hésitez pas à me contacter !

Présentation de Cartographia - 📅 13 janvier 2026 - format mixte (Montrouge et en ligne)

Françoise Bahoken et Nicolas Lambert vont venir nous parler de leur livre Cartographia et des questions de cartographie (!) passionnantes qu’ils y abordent. Cela se passera le 13 janvier 2026 en début d’après-midi, en format mixte : présentiel (à la DG de l’Insee) et à distance. Nicolas Lambert était déjà intervenu pour nous présenter Observable, une librairie Javascript très pratique pour faire des dataviz (ici, pour rappel). Si cela vous intéresse, réservez donc votre début d’après-midi !

Datavisualisation

• Une belle carte de migration simulée au niveau infra-national en zone endémique paludéenne africaine. Françoise Bahoken, son autrice, sera notre invitée début 2026.
  
• Pour les passionnés d’espace, voici une carte en 3D et dynamique du système solaire, comprenant les planètes mais aussi les astéroïdes! Vous pouvez jouer avec le temps pour savoir où sera la Terre quand vous aurez 30/40/50/60/70 ans (spoiler alert : c’est cyclique), et vérifier aussi qu’aucun astéroïde ne passe sur la Terre d’ici là.
• Pour les autres candidats à l’infographie du mois :
  • pour voir l’ensemble des livres publiés en une seule carte interactive, cela donne cela.
  • la cheffe de l’infographie d’Epsiloon (magazine de sciences) a publié les étapes avant / après de ses infographies. Je vous recommande celle sur les habitudes de sommeil par pays.
• Enfin, un petit jeu à la SUTOM en version graphique : un graphique par jour, devinez le pays !

Cartographie

• Des chercheurs de l’Université de Charles (en Tchéquie) et de Freiburg ont publié une (très belle) taxonomie des bâtiments urbains, disponible en ligne. Tout est ici et vous pouvez explorer le bâti urbain de six pays d’Europe centrale et de l’est.
  
• L’IGN a publié une cartographie très détaillée des risques d’inondation et de submersion sur tout le territoire national, notamment grâce aux images LIDAR. Par exemple, vous habitez à Saint-Maur-des-Fossés? Vous pouvez y voir la simulation d’une inondation majeure chez vous.
  
• Utiliser l’IA pour faire des fonds de carte à partir d’image satellite ? Cela semble bien fonctionner d’après ce post.
• A partir des données d’utilisateurs de Facebook, des chercheurs ont bâti des indicateurs mensuels de flux migratoires couvrant 181 pays.
• Après la prévisualisation de données Parquet en ligne, cette fois ce site permet de visualiser très facilement des fichiers de données géographiques types STAC (dont Geoparquet). Explications sur la plomberie ici.
• La communauté Apache Sedona publie SedonaDB, un moteur de base de données analytique open source et pensé nativement aussi pour des données spatiales.

Le reste c’est le R

• Le package R tinytable, permet de faire des tableaux de qualité en de multiples formats. L’ambition de ce package est d’être simple, léger (0 dépendance à des packages externes), flexible et de différencier les données de l’affichage.
• Le package R redoc devrait être mis à jour. Il permet notamment de faire le lien entre Quarto, et la suite Office, par exemple si vous générez des documents qui seront relus par des personnes utilisant Word comme outil de travail 😉.
  
• En machine learning, quels sont les problèmes posés par des classes d’apprentissage de tailles très différentes ? Selon cet article, il s’agit surtout 1/ d’avoir des métriques de performance adéquates, 2/ d’avoir un nombre absolu d’observations dans la classe minoritaire suffisant (et non une part dans le total) et enfin 3/ de faire attention à la fongibilité entre classes.

IA

• Qu’est-ce que les paramètres des modèles publiés disent des données d’entraînement sous-jacentes, confidentielles ? Des chercheurs sont allés fouiller ce que cache GPT-5.
• Du côté de l’entraînement des modèles, la gamme des données disponibles s’enrichit pour que ses données soient mieux reprises par l’IA. C’est un nouvel épisode de la course à ne pas finir page 15 des résultats Google ou page 259 des blogs Myspace.
  • Wikidata, qui stocke les données structurées de Wikipédia et consorts, propose maintenant ses données sous format de données vectorielles.
  • Un programme d’harmonisation des metadata et d’API, l’Open Semantic Interchange Initiative, a été lancé pour enrichir les données d’apprentissage et la précision des IA. L’idée est d’avoir un langage YAML commun pour permettre aux IA d’échanger des données de manière robuste, par exemple par API et sans perte de sens au fur et à mesure de leur traitement par des agents d’IA.
  • Une fois que l’on a les données, on cherche ensuite à savoir de combien de GPU j’ai besoin pour entraîner mon modèle. La Dinum a développé un outil pour estimer ses besoins pour cette étape.
• Des faiblesses des modèles de LLM sont, comme toujours, remontées, notamment sur l’importance des données d’apprentissage et d’un prompt propre. Cela met notamment en valeur le fait que les modèles ne sont pour le moment pas très efficaces quand il s’agit de trier des CV ou des articles.
  • Le “prompt injection” : c’est l’idée de truquer l’IA dans son CV/projet d’article scientifique/sur Linkedin, par exemple avec des instructions écrites en « blanc sur blanc », pour avoir plus de chance d’être sélectionné/de détecter les messages écrits par l’IA. Cela marche à presque 100 % des cas selon cet article, d’autant plus que l’IA a un biais positif naturel.
  • Une étude confirme que l’IA est particulièrement sensible à la qualité de la donnée d’apprentissage. Ainsi, 250 observations fausses suffisent pour empoisonner durablement un LLM, et ce quel que soit sa taille. Une présentation intéressante à une conférence PyData présentait par ailleurs ce qu’il se passait quand on entraîne une IA sur des images générés par une IA, avec des résultats similaires.
    
• Le site AI Darwin Awards rassemble des exemples d’usage raté d’IA. Globalement, les cas d’usage où l’IA est mis directement face à un client peuvent rapidement mal tourner… Peut-être que Diella, la première et seule ministre à être une IA dans le monde, rejoindra cette liste ?
• Si vous voulez comparer le résultat de deux LLM et leur empreinte carbone, n’oubliez pas l’outil ComparIA créé par une start-up d’État du ministère de la Culture.

La troisième journée du réseau 📅 1 décembre - La Tréso (Malakoff)

Réservez votre 1^er décembre ! Pour la troisième année consécutive, le SSPLab organise la journée du réseau pour rassembler les data-scientists de la statistique publique. Au menu : présentation de projets innovants, retour d’expérience et moments d’échanges informels (autrement appelés “pots” 🎉).

Comme les années précédentes, l’événement sera en présentiel et à distance pour permettre à tous de participer. Les détails seront publiés sur le site du réseau et si jamais vous voulez déjà vous inscrire alors que l’agenda n’est pas finalisé, c’est possible ici.

• 👉️ Ajouter cet événement à votre agenda Outlook

Le site du réseau évolue

L’inscription à la liste de diffusion a été revue et utilise maintenant Grist. Pour s’inscrire à la liste de diffusion, c’est par ici. Une fois inscrit, vous pouvez créer un compte sur Grist et vous connecter directement sur l’annuaire pour mettre à jour vos données, demander votre désinscription en cochant la case “Supprimez mon compte”.

Par ailleurs, le site du réseau devrait évoluer dans les prochaines semaines. Il va s’étoffer pour présenter plus de projets en cours et permettre ainsi à tout un chacun de savoir qu’un projet existe et pouvoir échanger entre pairs. Si vous souhaitez valoriser un projet, n’hésitez pas à nous le faire savoir !

IA

Comme toujours, une flopée d’articles a été publiée sur l’IA : le nouveau modèle d’OpenAI (GPT-5) a été déployé cet été, l’usage de l’IA se développe, des craintes se font entendre sur l’existence d’une bulle financière et, avec l’augmentation de son utilisation, de plus en plus de failles de sécurité liées sont découvertes. Un petit florilège rapide, non exhaustif :

• En France, l’IA est de plus en plus utilisée par les entreprises d’après une étude de l’Insee. En 2024 ainsi, une entreprise sur dix utilise l’IA, et ce phénomène concerne particulièrement 33% des grandes entreprises et 42% de celles de l’information. L’usage de l’IA augmente de 4 points par rapport à 2023. L’IA est par ailleurs légèrement moins utilisée par les entreprises en France que dans l’Europe, où 13% des entreprises disent utiliser l’IA en 2024.

• Sur l’impact de l’IA, notamment sur le travail et la productivité, de nombreuses études continuent d’être publiées. Petit disclaimer, la technologie évolue encore très vite : depuis son arrivée il y a moins de trois ans, les bugs relevés au début ne sont plus du tout d’actualité aujourd’hui : les images sont de bien meilleure qualité, des RAG ont été mis en place … Face à un domaine aussi changeant, les résultats des études varient donc encore beaucoup.

  • Ceci étant dit, les études montrent globalement que l’IA permettrait d’améliorer l’efficacité des travailleurs, particulièrement des non-experts, et réduit les inégalités de performance, même si les résultats sont contrastés. Selon cette étude, l’IA commence à avoir un impact négatif sur l’emploi, quand celle-ci estime à l’inverse que les gains de productivité pour les développeurs sont sur-estimés.
  • L’usage de l’IA serait particulièrement efficace pour effectuer des tâches moyennement rares, l’humain restant plus efficace sur les tâches courantes (cf. par exemple ce papier). Par ailleurs, sur les tâches complexes ou rares, l’IA serait largement moins efficace que l’humain et produirait des résultats de qualité moindre (cf. ce papier).

• Concernant la technologie en soit, des chercheurs ont réussi, à partir d’un petit modèle d’IA générative, à classifier du texte aussi efficacement qu’avec un gros modèle et nécessitant bien moins de données. Pour ce faire, ils ont utilisé un modèle de régression pénalisée (type Lasso/Ridge) sur la représentation numérique sous-jacente du texte. Plus de détails dans leur article.

• De nombreux articles font craindre l’existence d’une bulle financière autour de l’IA.

  • Edward Zitron, un publiciste britannique, auteur et podcasteur, rappelle sur son blog toutes les raisons pour laquelle une bulle existerait actuellement sur l’IA. Il rappelle notamment que les 560Md$ investis par les GAFAM dans l’IA n’ont généré que très peu de bénéfices et que le seul gagnant est Nvidia. Comme le dit le proverbe, “Pendant la ruée vers l’or, ce ne sont pas les chercheurs d’or qui se sont le plus enrichis, mais les vendeurs de pelles et de pioches”.
  • L’adoption de l’IA par les entreprises prendrait par ailleurs plus de temps qu’anticipé et n’aurait pas des rendements aussi rapides qu’espéré.
  • Plus généralement, des articles, comme cet article de Forbes, rappellent que l’IA reste très utilisée aujourd’hui et que, même si aujourd’hui des investissements sont fait vers des projets peu productifs, l’adoption de nouvelles technologies prend du temps. Les articles citent beaucoup l’exemple d’internet, et de la bulle du début des années 2000 : les attentes du marché étaient trop hautes par rapport à tout le travail qu’il restait à faire, et cela n’empêche pas que aujourd’hui, 25 ans après cette bulle, les investissements dans le réseau internet ont permis de changer la société.

• Enfin, avec l’augmentation de son utilisation, la sécurité de la technologie est un enjeu qui est de plus en plus discuté, au-delà du détournement à des fins illégales qui attend toute innovation numérique :

  • Des données confidentielles de Microsoft ont fuité après le piratage d’agents Copilot. Les hackeurs ont ainsi reçu par mail des extraits des contacts et des ventes de Microsoft.
  • Selon le rapport d’Anthropic sur les menaces liées à l’IA, cette technologie a notamment été détournée pour :
    • s’assurer des postes bien payés pour des Nord-Coréens, qui leur ont permis de rapatrier les capitaux au pays ;
    • massifier les fraudes aux données personnelles ;
    • automatiser les attaques par ransomware.

Parquet

• Le site Hyperparam permet d’afficher très rapidement des données Parquet volumineuses sur son explorateur web très rapidement (en moins de 500ms). Pour la tuyauterie, tout est expliqué sur ce blog.

Kubernetes

• Comment détecter facilement des pods Kubernetes peu actifs et les désactiver? Un début de processus a été publié sur Devops.dev.

Nouveautés

• Une nouvelle version des notebooks Observable est disponible en pré-production, avec un kit open source pour générer des notebooks et des sites statiques et une application pour Mac pour éditer ses notebooks en local, intégrant de manière plus fluide les apports de l’IA. Plus de détails par ici et une galerie d’exemples de sites.
• L’université allemande de Hanovre a publié une base d’embedding des entités d’Openstreetmap directement utilisable pour entraîner des modèles de machine learning.
• Selon une étude de Posit, le meilleur modèle d’IA pour aider à coder en Python serait ceux d’OpenAI (o3-mini, o4-mini) ou d’Anthropic (Claude Sonnet 4).

Fun

• Vous vous êtes déjà demandé comment résoudre un SUTOM avec les dépendances de Python ? Non ? Et bien quelqu’un a trouvé le moyen de résoudre des Sudoku et des Motus grâce à cela ! Tout est expliqué ici
• Avez-vous déjà vu une intelligence artificielle jouer au Loup-Garou ? Des étudiants de l’ENSAE se sont amusés ont étudié quelles IA étaient meilleures au jeu du Loup-Garou. Ce jeu nécessite en effet de mentir, de convaincre, et d’adapter sa stratégie pour survivre (pour les villageois) ou tuer tous les villageois (pour les loup-garous). A la fin, GPT-5 gagne dans 97 % des 60 matchs joués, contre 15% pour GPT-OSS-120b.

Première interview avec Nicolas, qui travaille à l’Insee (SSPLab)

L’interview à laquelle vous avez échappé

Quelle est la plus-value de l’IA par rapport à un travail humain ? J’ai comparé les questions que j’avais trouvées avec des idées produites par une IA. Voici les questions qu’il m’a proposées, que j’ai proposé de ne pas suivre. Remarquez, ces questions sont le résultat de deux ou trois échanges avec l’IA, je n’y ai pas passé beaucoup plus de temps.

Voici une proposition de questions adaptées à des data scientists ou des managers de data scientists travaillant dans l’administration publique :

1. Formations et influences “Quelle formation ou influence majeure a façonné votre approche des données et de la gestion dans l’administration ?”

2. Expériences professionnelles “Quelles ont été les étapes clés de votre carrière dans l’administration qui ont influencé votre façon de gérer ou d’analyser les données ?”

3. Motivations et passions “Qu’est-ce qui vous motive le plus dans l’analyse ou la gestion des données au sein de l’administration publique ?”

4. Réalisations majeures “Quels sont vos principaux accomplissements en matière de gestion ou d’analyse de données dans votre rôle actuel ?”

5. Développement personnel “Quels défis spécifiques aux données avez-vous rencontrés dans le secteur public et comment les avez-vous surmontés ?”

6. Projets actuels “Sur quels projets liés aux données travaillez-vous actuellement, et qu’est-ce qui les rend particulièrement intéressants ou innovants ?”

7. Regrets ou aspirations “Y a-t-il des projets ou réalisations en lien avec les données que vous auriez aimé accomplir dans votre carrière mais qui ne se sont pas concrétisés ?”

8. Vision future “Comment voyez-vous l’évolution de l’importance des données dans l’administration publique dans les années à venir, et quel rôle aimeriez-vous y jouer ?”

9. Conseils aux jeunes générations “Quel conseil donneriez-vous à un jeune professionnel qui souhaite devenir data scientist ou manager de data scientists dans le secteur public ?”

10. Philosophie personnelle “Si vous deviez partager une philosophie ou un credo concernant la gestion ou l’analyse des données dans l’administration, quelle serait-elle ?”

Ces questions devraient aider à explorer les nuances spécifiques du travail des data scientists et de leurs managers dans le secteur public. Si vous souhaitez ajuster davantage ou ajouter des thèmes spécifiques, n’hésitez pas à me le faire savoir !

Chistophe Dervieux, “Quarto : Une évolution de R Markdown pour des travaux statistiques reproductibles” (📅 2 mai)

Pour fiabiliser la production de documents construits en valorisant des données (tableaux, graphiques, etc.), RStudio (devenu Posit depuis) a construit il y a quelques années l’écosystème R Markdown permettant de produire du document en mélangeant code et texte.

Cette problématique des publications reproductibles est devenue incontournable dans l’écosystème R et la solution R Markdown est dorénavant largement utilisée. Pour étendre les vertus de cette approche à d’autres langages, Posit a commencé à développer Quarto, un écosystème reprenant le principe de R Markdown mais étendant ces fonctionnalités à d’autres langages de programmation, notamment Python et Observable.

Le 2 mai de 15h à 16h, Christophe Dervieux (Posit) nous présentera Quarto, l’écosystème de publications reproductibles qui succède à R Markdown. Cet événement est proposé de manière hybride : par le biais de Zoom ou, pour les agents en poste à la Direction Générale de l’Insee, en salle 4-C-458.

• 👉️ Ajouter cet événement à votre agenda Outlook
• 👉️ Lien zoom

Vos besoins de formation

L’an dernier, nous avions organisé un questionnaire pour connaître les besoins de formations des membres du réseau. Ce questionnaire est utile pour que les événements organisés dans le cadre du réseau répondent au mieux aux besoins.

Afin de connaître les attentes et centres d’intérêt en cette année 2024, nous vous proposons un nouveau questionnaire. Celui-ci est également l’occasion d’accueillir vos retours sur les masterclass menées en 2023 en collaboration avec Datascientest si vous avez participé à celles-ci.

• 👉️ Questionnaire

Replay de la présentation d’Eric Mauvière “La dataviz pour donner du sens aux données et communiquer un message”

La présentation d’Eric Mauvière sur les bonnes pratiques de dataviz a rencontré un réel succès avec près de 150 participants. Le replay et les slides de cette présentation essentielle sont disponibles ci-dessous :

html`${slides_button}`

slides = "https://minio.lab.sspcloud.fr/ssphub/diffusion/website/2024-02-09-mauviere/conf_ssphub_item7-1.pdf"

slides_button = html`<p class="text-center">
  <a class="btn btn-primary btn-lg cv-download" href="${slides}" target="_blank">
    <i class="fa-solid fa-file-arrow-down"></i>&ensp;Télécharger les slides
  </a>
</p>`

Les IA génératives toujours au coeur des débats

Dans la continuité de la sortie de ChatGPT en décembre 2022, les IA génératives ont continué en 2023 à focaliser une part importante de l’attention portée à la data science. Outre la publication de GPT-4 en mars (modèle embarqué dans la version Pro de ChatGPT), de nombreux grands modèles de langage (LLM) généralistes ont été publiés cette année : Llama-2 (Meta), Mixtral 7B (Mistral), Falcon 180B (Technology Innovation Institute), PaLM 2 (Google)…

Ces publications ont mis en avant le caractère stratégique de la mise à disposition de modèles open source. La récupération et la structuration de corpus massifs, l’entraînement de modèles intégrant des milliards de paramètres et l’évaluation ex post de ceux-ci est à la portée d’un nombre restreint d’acteurs. La publication en open source de modèles et de codes sources est dès lors indispensable pour, entre autres, être en mesure d’évaluer la pertinence scientifique des modèles ou permettre aux acteurs n’ayant pas ces moyens techniques et humains de pouvoir tout de même réutiliser ces modèles sur leurs propres données.

Néanmoins, malgré l’ouverture progressive de modèles, notamment par le biais d’une mise à disposition sur la plateforme Hugging Face, des contraintes limitent encore la réutilisation de ces modèles dans des infrastructures internes. Ces réseaux de neurones étant très gourmands en calculs du fait de leur architecture complexe (des milliards de paramètres pour les grands modèles de langage), afin d’obtenir une réponse du modèle il est généralement nécessaire d’effectuer les calculs par le biais de cartes graphiques (GPU), celles-ci permettant plus de parallélisme dans les calculs que les processeurs (CPU). Cependant, comme les GPU sont plus consommatrices d’énergie et plus coûteuses à l’achat du fait notamment d’une demande excédant l’offre, l’accès à cette ressource est limité pour de nombreux acteurs. Le retour à des modèles plus légers, pouvant être exploités depuis des architectures informatiques plus accessibles, constitue l’un des défis de l’année 2024.

Les débats concernant les droits d’exploitation commerciale d’informations collectées sur internet ont été nombreux en 2023. Après les plaintes médiatisées de Getty Images (envers Stability AI), d’un collectif d’auteurs célèbres (envers OpenAI), la grève des acteurs à Hollywood contre l’exploitation de leur image par des IA et des scénaristes contre l’utilisation des générateurs de texte, c’est maintenant le New York Times qui a déposé en décembre 2023 une plainte envers OpenAI auprès de la Cour Fédérale de Manhattan. A partir d’exemples, le journal américain met en avant le degré de confiance élevé que ChatGPT attribue aux informations issues des articles du quotidien, sans pour autant en citer la provenance, ni compenser financièrement le journal. Cela entraînerait un préjudice commercial dû à la réduction du trafic sur le site du New York Times. A contrario, le journal met en avant l’effet négatif sur son image que peuvent avoir des hallucinations attribuées au quotidien. Cette plainte fait suite à l’échec des négociations entre les deux acteurs au cours de l’année 2023. Ces actualités relatives aux droits d’auteurs interviennent dans un contexte où il s’agit de l’un des principaux axes d’intervention de l’“Artificial Intelligence Act” européen (voir Infolettre #16).

Des avancées scientifiques en arrière plan

La tendance des LLM à l’hallucination, c’est-à-dire à la production de contenu plausible par sa forme mais factuellement faux, a été l’objet d’inquiétudes quant à la véracité des informations pouvant être mises en avant par les IA amenées à occuper une place croissante dans la diffusion de contenu. Pour faire face à ce défi, au cours de l’année 2023, les équipes de conception des LLM ont utilisé de manière croissante la technique du RAG (Retrieval Augmentated Generation). Celle-ci consiste, pour les modélisateurs, à cadrer le comportement du LLM en faisant en sorte qu’il privilégie des informations issues d’un corpus adapté spécialement à une tâche. Pour faire l’analogie avec l’apprentissage humain, les modèles où le RAG intervient peuvent être comparés à des étudiants préparant une dissertation s’appuyant sur un dossier préparé par les évaluateurs. Ce contexte pourra être utilisé pour construire une réponse argumentée et des exemples plus pertinents.

Le succès des IA de discussion comme ChatGPT est intrinsèquement lié au travail humain qui a été mis en œuvre pour évaluer la pertinence des réponses proposées par le modèle afin de régulièrement mettre à jour le comportement du modèle. Sur une question donnée, l’humain évalue la réponse la plus pertinente faite par l’IA. A partir d’un volume suffisant d’évaluations, l’algorithme pourra, dans les prochaines situations similaires, faire un choix plus pertinent s’il apprend de ses erreurs. La technique ayant gagné cette année en popularité pour cette tâche est la DPO (Direct Preference Optimization) qui vise à simplifier l’intégration des retours humains dans le cycle de réentraînement d’un modèle. Cette problématique de supervision et d’amélioration continue d’un modèle dépasse d’ailleurs le cadre des modèles de langage : afin de s’assurer que les algorithmes ne perdent pas en qualité, l’évaluation humaine par le biais, par exemple, de campagnes de labellisation ou de retours des utilisateurs, est un enjeu important dans le cycle de vie de tout modèle mis en production.

Les bases de données vectorielles gagnent en popularité

Le langage de programmation Python est le point d’entrée de référence dans le domaine de la data science, mais pour des besoins plus spécialisés, des logiciels dédiés viennent s’y intégrer.

C’est le cas notamment des bases de données vectorielles comme ChromaDB. Ces bases facilitent la recherche de similarité entre documents textuels en exploitant des transformations de ceux-ci en vecteurs numériques (technique des embeddings).

Par exemple, dans l’image ci-dessous, une base de données vectorielle pourra évaluer la similarité entre les termes en utilisant des techniques d’algèbre linéaire de manière plus efficace que ne le permettrait Python. Ce dernier est en effet un langage informatique généraliste, moins performant que des logiciels spécialisés pour faire de la recherche de similarité dans des corpus massifs. Dans une chaîne de production exploitant ce type de technique, Python servira de point d’entrée et déléguera ensuite les calculs complexes à la base de données vectorielle.

“La dataviz pour donner du sens aux données et communiquer un message” par Eric Mauvière (📅 29 février, 15h-16h)

Le 29 février (15h - 16h), Eric Mauvière nous fera une présentation, avec de nombreux exemples issus de la statistique publique, de la manière dont une visualisation de données peut être construite pour transmettre un message clair aux lecteurs. Cette présentation permettra d’évoquer les bonnes pratiques et les outils simples pour construire des visualisations de données faciles à lire et à comprendre afin de rendre le message intelligible, efficace et utile à un large spectre de publics.

Cet événement aura lieu en visio sur Zoom, il est ouvert à tous les membres du réseau. Pour les agents de la DG de l’Insee, une retransmission en salle 4-C-458 est organisée pour assister à la présentation puis échanger à l’issue de celle-ci.

Éric Mauvière est statisticien, passé par la diffusion et les études régionales de l’Insee. Il a ensuite créé le logiciel cartographique web Géoclip utilisé, par exemple, par le site https://statistiques-locales.insee.fr/. Plus récemment, il a participé à la conception du site https://vizagreste.agriculture.gouv.fr/, portail de visualisation de données du service statistique ministériel du ministère de l’Agriculture et de la Souveraineté alimentaire. Depuis 3 ans, au sein d’Icem7, il participe à la diffusion de connaissances sur les problématiques de dataviz et forme sur mesure en sémiologie graphique et analyse de données.

• Invitation outlook
• Lien Zoom

Masterclass datascientest

De nouvelles masterclass en partenariat avec datascientest seront organisées prochainement. Un questionnaire pour recenser les besoins, similaire à celui proposé l’an dernier, sera transmis prochainement pour évaluer le contenu à prioriser.

Programme 10%

La saison 3 du programme 10% démarre prochainement. Ce programme, issu des recommandations du rapport de l’Inspection Générale de l’Insee et de la DINUM, permet à des experts de la donnée de l’administration de monter en compétence en consacrant jusqu’à 10 % de leur temps de travail à des projets transversaux, à des formations ou encore à des moments informels qui favorisent l’échange entre pairs.

Le premier événement de la saison aura lieu le 11 mars 2024 au Lieu de la Transformation Publique (Paris XV). L’objectif de cette journée est de définir collectivement les projets mutualisables pouvant entraîner des collaborations entre data scientists de différentes administrations pendant l’année 2024.
Plus d’informations à venir sur le site du programme.

• Inscription sur Eventbrite.

Autoformation de découverte à Python

Depuis quelques semaines, une nouvelle formation est apparue au catalogue de formation de l’Insee et sur le portail de formation du SSPCloud : une auto-formation de découverte de Python, construite et mentorée par les équipes innovation de l’Insee.

Chaque chapitre de formation, disponible sous la forme de notebooks Jupyter, peut être ouvert en un clic à partir du catalogue de formation du SSPCloud. Ces ressources sont disponibles en continu, au-delà des périodes délimitées pour la formation.

Des cycles de 6 semaines pendant lesquels les participants peuvent bénéficier d’un mentorat ont vocation à être organisés régulièrement. Les premiers formés selon cette modalité ont commencé leur apprentissage en ce début d’année 2024.

Ce système de mentorat prend deux formes :

• tout au long de la formation : vous pouvez poser toutes vos questions sur le canal Tchap dédié ; les mentors de la formation répondent rapidement, afin que vous ne restiez jamais bloqué ;
• ponctuellement : une visio est réalisée si vous le désirez avec 1-2 mentors afin de pouvoir discuter plus en détail des problèmes que vous pouvez rencontrer.

Ce système de mentorat a l’avantage à la fois de favoriser une pédagogie par la pratique continue qui a fait ses preuves pour l’apprentissage des langages de programmation, tout en laissant à chacun la possibilité d’avancer à son rythme.

Les dates des prochains cycles de mentorat seront prochainement communiquées. Il est néanmoins possible, en attendant, d’explorer les ressources disponibles sur le SSPCloud ainsi que rejoindre le canal Tchap SSPy - Formation "Initiation à Python" afin d’échanger sur celle-ci (poser des questions de compréhension, comprendre un bug, assister les collègues bloqués, etc.).

Une audience en progression

html`<div><span class = "underline-big">${start_count}</span> personnes faisaient partie de la liste de diffusion en début d'année 2023.</div><br>`

html`<div>${plot_bar_participants}</div><br>`

html`<div>${message}</div><br>`

html`<div><span class = "underline-big">${start_count}</span> personnes faisaient parti de la liste de diffusion en début d'année.</div><br>`
html`<div>${plot_bar_participants}</div><br>`
html`<div>${message}</div>`

A l’exception du mois d’août (pause estivale oblige), la progression de l’audience a été assez régulière grâce aux événements et contenus publiés sur le site du SSP Hub.

html`<div>Pendant l'année 2023, le réseau a ainsi connu <span class="underline-big">${events.length}</span> événements et publications de contenu (${countEvents("Infolettre")}, ${countEvents("Post de blog")}, ${countEvents("Evénement virtuel ou présentiel")}, ${countEvents("Masterclass")}).</div><br>`

html`<div>${lineplot}</div>`

html`<div>${warm_strip}</div>`

md`__Choisir les événements du réseau à afficher 👇️__`

html`<div>${viewof events_chosen_figure1}</div>`

html`<div>${table_events}</div>`

// Voir plus bas 👇️ les arrays utilisés
// Animation faite avec le Scrubber ci-dessous
lineplot = Plot.plot({
    y: {
        grid: true,
        label: "Nombre d'inscrits"
    },
    x: {
        label: "Date",
        domain: [new Date("2023-01-10"), new Date("2023-12-09")]
    },
    color: {
        range: Object.values(color_mapping_events),
        domain: Object.keys(color_mapping_events),
        label: "Type d'événement"
    }, 
    marginLeft: 50,
    marks: [
        Plot.line(
          serie_contacts, {
            x: "date", y: "mail",
            stroke: "#6886bb",
            tip: "xy"
            }),
1        Plot.crosshairX(serie_contacts_complete, {
            x: (d) => new Date(d.date), y: "mail", stroke: "red"
            }),
        Plot.dot(
          serie_contacts_complete,
2          Plot.pointerX({x: (d) => new Date(d.date), y: "mail", stroke: "red"})),
        Plot.dot(serie_contacts, {
            x: "date", y: "mail",
            stroke: "#6886bb",
            fill: "#6886bb",
            title: "Effectif"
            }),
        Plot.tickX(events_data_figure1_b, {
            x: (d) => new Date(d.date), text: html``,
            stroke: "type",
            opacity: 0.1,
            color: "x",
            tip: true
            }),            
        Plot.axisX(events_data_figure1_b, {
            x: (d) => new Date(d.date),
            text: "",
            color: "type"
            }),
    ]
})

1warm_strip = Plot.plot({
  height: 40,
  marginLeft: 50,
  color: {
    scheme: "ylorrd",
    },
  marks: [
    Plot.crosshair(serie_contacts_complete, {
      x: (d) => new Date(d.date),
      strokeOpacity: 0.2,
      fill: "mail",
      interval: d3.utcDay.every(3),
      inset: 0 // no gaps
    }),
    Plot.barX(serie_contacts_complete, {
      x: (d) => new Date(d.date),
      strokeOpacity: 0.2,
      fill: "mail",
      interval: d3.utcDay.every(3),
      inset: 0 // no gaps
    })
  ]
})

function underline_event(x){
    const x_underlined = `<span style="text-transform: capitalize; border-bottom: solid 4px ${color_mapping_events[x]}; margin-bottom: -2px;">${x}</span>` ;
    return x_underlined
}

viewof events_chosen_figure1 = Inputs.checkbox(
    unique(events.map(d => d.type)),
    {
        value: unique(events.map(d => d.type)),
        format: x => html`${underline_event(x)}`
    }
)

table_events = Inputs.table(
    events_data_figure1_b,
    {
        columns: ["date", "event", "type"],
        header: {
            date: "Date",
            event: "Evénement du réseau",
            type: "Type d'événement"
        },
        format: {
            type: (x) => html`
            <span style="text-transform: capitalize; display: inline-flex; align-items: center;">
    <span style="border-bottom: solid 1px ${color_mapping_events[x]}; margin-bottom: -2px;">${x}</span>
    <span style="width: 10px; height: 10px; margin-left: 5px; background-color: ${color_mapping_events[x]};"></span>
    </span>
            `,
        event: (x) => html`<a ${links_website_ssphub[x] !== undefined ? `href="${links_website_ssphub[x]}" target="_blank"` : ''}>${x}</a>`
        }
    })

Du contenu qui intéresse au-delà des statisticiens publics

Si les statistiques concernant la composition du réseau parmi les organismes de la statistique publique sont relativement stables par rapport à l’an dernier, le changement principal ayant eu lieu en 2023 est l’ouverture progressive à des publics hors de la statistique publique (administrations hors du SSP, chercheurs et étudiants…)

html`<div>${barplot_ssp}</div>`

barplot_ssp = Plot.plot({
  marginLeft: 60,
  marginRight: 100,
  x: {label: "Frequency"},
  y: {label: null},
  color: {
    domain: ["Hors du SSP", "Service Statistique Public (SSP)"],
    range: ["forestgreen", "#6886bb"]
    },
  marks: [
    Plot.barX(hors_ssp_data,
    {
      y: "SSP",
      fy: (d) => new Date(d.date).toLocaleString("fr", {
        "month": "long",
        "year": "numeric"
      }),
      x: "mail", inset: 0.5, fill: "SSP", sort: "mail",
      tip: true, channels: {share: (d)  => `${100*d.share.toFixed(2)}%`}
    }),
    Plot.axisY({textAnchor: "start", fill: "black", dx: 14}),
    Plot.ruleX([0])
  ]
})

Les deux dernières publications sur le site du réseau, à savoir l’infolettre #15 sur le réentrainement des modèles de langage et, surtout, le post de blog sur la publication du recensement de la population au format Parquet ont connu un écho important hors des cercles de data scientist du service statistique public et ont amené de nouveaux publics à suivre les contenus proposés par le réseau.

La startup Mistral AI publie un modèle à l’état de l’art

Mistral AI, une startup française spécialisée dans l’intelligence artificielle, vient de publier un modèle nommé Mixtral qui repose sur le principe du mixture of experts. Cette technique consiste à privilégier une architecture construite à partir de sous-modèles spécialisés plutôt qu’un modèle généraliste qui s’adapte en fin de procédure à une question spécialisée. Dans ce type de modèles, l’enjeu est ainsi d’interpréter la question pour diriger la réponse vers l’expert adéquat : si une question porte sur un sujet de cuisine, un.e expert.e spécialisé.e en code sera de peu de secours.

D’après les premières évaluations publiées, ce modèle surpasserait les capacités des autres modèles ouverts (notamment Llama 2) et s’approcherait des performances de GPT 3.5, le modèle derrière la version gratuite de ChatGPT. Cette annonce a eu lieu en pleine période de levée de fonds pour Mistral AI qui aurait obtenu un financement de 385 millions d’euros.

L’Europe parvient à un accord sur les premières règles au monde en matière d’IA

Dans un accord provisoire signé le 9 décembre 2023 et nommé “Artificial Intelligence Act”, les États Membres et le Parlement européen ont établi une proposition relative à des règles harmonisées concernant l’intelligence artificielle (IA).

Débutées en 2018, avant que les IA génératives ne deviennent si populaires, ces discussions dépassent le cadre exclusif de ces dernières. Néanmoins, concernant celles-ci, le compromis prévoit une approche différenciée suivant le contexte de développement et l’usage de ces modèles. Outre le respect des règles européennes de propriété intellectuelle, les développeurs de modèles génératifs devront s’assurer que les produits diffusés sont bien identifiés comme artificiels, afin de limiter la diffusion de deepfakes. Les développeurs de ces modèles devront également communiquer sur la qualité des données utilisées pour entraîner les modèles et sur le coût énergétique de ceux-ci. Les modèles open source et ceux construits à des fins de recherche bénéficient d’exemptions de ces règles.

Des contraintes renforcées s’appliqueront aux systèmes jugés à “haut risque” dans des domaines comme la défense, l’éducation, les ressources humaines ou encore la santé. Pour ces systèmes, il sera nécessaire de réaliser une analyse d’impact avant la mise sur le marché. Par ailleurs, une obligation de transparence et d’explicabilité des modèles est mise en place afin d’être en mesure de comprendre les règles de décision de ces IA.

L’accord provisoire interdit également l’utilisation de l’IA dans quelques domaines, jugés trop sensibles. Par exemple, la reconnaissance faciale de masse est interdite, hormis lorsque celle-ci est justifiée par des motifs de sécurité nationale. D’autres utilisations, qui peuvent amener à des dérives, comme la notation sociale basée sur le comportement ou des caractéristiques personnelles, sont interdits. Les travaux se poursuivront maintenant au niveau technique dans les semaines à venir afin de mettre au point les détails du nouveau règlement. Une fois ces travaux terminés, la présidence présentera le texte de compromis aux représentants des États membres pour approbation.

Nouveau post de blog: diffusion du recensement de la population au format Parquet

Chaque année, l’Insee diffuse des statistiques construites à partir du recensement de la population, l’une des enquêtes phares de l’institut. Pour accompagner ces résultats et permettre à de nombreux acteurs de creuser ces données très riches dans des dimensions qui les intéressent, l’Insee diffuse également des bases de données détaillées construites après anonymisation de près de 20 millions de données individuelles.

Ces données, d’une extrême richesse, étaient historiquement complexes à manipuler du fait de leur volumétrie. La diffusion de celles-ci sous le format Parquet, une première mondiale parmi les instituts de statistique publique, vise à simplifier leur exploitation. Pour accompagner cette innovation, en partenariat avec les services de diffusion de l’Insee, le dernier post de blog du réseau présente un guide pratique d’utilisation de ces données dans plusieurs langages de traitement ( , Python et Observable ) par le biais de DuckDB.

Combien d’habitants de Toulouse ont changé de logement sur l’année ? Quels sont les départements avec le plus de centenaires ? Le post de blog vous montrera comment calculer ces statistiques. Et si vous désirez découvrir ce format avec des exemples additionnels, ce post d’Eric Mauvière vous intéressera également.

Le SSPCloud se dote d’un explorateur de fichiers basé sur DuckDB

DuckDB est un outil extrêmement efficace pour lire des fichiers Parquet et CSV. Outre son efficacité, DuckDB présente l’avantage d’être disponible par le biais de plusieurs clients: , Python mais aussi un navigateur web grâce à Javascript . Des acteurs majeurs de l’écosystème de la data science, notamment Observable, ont fait de DuckDB une pierre angulaire de leurs explorateurs de données. L’avantage de cette approche, typique du web assembly (approche visant à mettre à disposition des logiciels de calculs scientifiques par le biais d’un simple navigateur), est que seul Javascript , qui est disponible sur tout navigateur, est nécessaire pour visualiser et effectuer des traitements analytiques sur des données.

Le SSPCloud, la plateforme moderne de traitement de données développée par l’Insee et mise à disposition de près de 3000 agents de l’administration ou étudiants, vient de mettre en oeuvre un explorateur aux fonctionnalités similaires 🚀.

Celui-ci s’appuie sur DuckDB et permet de visualiser de manière très fluide les fichiers aux formats Parquet et CSV. Il ne se restreint pas aux données disponibles sur les espaces de stockage personnels du SSPCloud: n’importe quel fichier, au format adéquat et disponible sur internet, peut être lu avec ce visualiseur. Il n’est d’ailleurs pas nécessaire d’avoir un compte sur le SSPCloud pour l’utiliser, il suffit que le fichier que l’on souhaite lire soit un fichier open data 😍 !

L’accessibilité de Jupyter améliorée avec le concours de l’Insee

Afin de ne pas pénaliser certains publics, les logiciels doivent respecter des critères d’accessibilité. Ils doivent notamment avoir de nombreuses fonctionnalités accessibles sans souris, exclusivement par le biais du clavier. Cependant, Jupyter, logiciel bien connu des data scientists, par la structure complexe de son interface, présentait plusieurs défauts, comme la difficulté à naviguer dans la page pour trouver le menu nécessaire pour éditer du code.

Grâce à une subvention de l’Insee, des travaux d’amélioration de l’accessibilité de Jupyter ont pu être menés. Les prochaines versions du logiciel devraient être plus accessibles, et, entre autres, plus pratiques d’usage pour les data scientists qui privilégient le clavier à la souris pour se déplacer dans un document.

Requêtes sur les colonnes (SELECT)

La liste des colonnes à extraire du fichier peut être renseignée avec la clause SELECT. Celles-ci peuvent être renommées en appliquant au passage la clause AS.

```{ojs}
Inputs.table(
    db.query("SELECT IPONDI AS poids, AGED, VOIT FROM table_individu LIMIT 10")
)
```

duckdb.sql("SELECT IPONDI AS poids, AGED, VOIT FROM table_individu LIMIT 10")

dbGetQuery(
  con,
  "SELECT IPONDI AS poids, AGED, VOIT FROM table_individu LIMIT 10"
)

table_individu %>%
  select(poids = IPONDI, AGED, VOIT) %>%
  head(10)

Inputs.table(
    db.query("SELECT IPONDI AS poids, AGED, VOIT FROM table_individu LIMIT 10")
)

DuckDB propose également des fonctionnalités pour extraire des colonnes à travers des expressions régulières. De nombreux exemples peuvent être trouvés sur cette page.

```{ojs}
Inputs.table(
    db.query("SELECT IPONDI AS poids, COLUMNS('.*AGE.*') FROM table_individu LIMIT 10")
)
```

duckdb.sql("SELECT IPONDI AS poids, COLUMNS('.*AGE.*') FROM table_individu LIMIT 10")

dbGetQuery(
  con,
  "SELECT IPONDI AS poids, COLUMNS('.*AGE.*') FROM table_individu LIMIT 10"
)

table_individu %>%
  select(poids = IPONDI, contains("AGE")) %>%
  head(10)

Inputs.table(
    db.query("SELECT IPONDI AS poids, COLUMNS('.*AGE.*') FROM table_individu LIMIT 10")
)

Requêtes sur les lignes (WHERE)

Pour extraire un sous-échantillon des données complètes, la clause WHERE permet d’appliquer des filtres à partir de conditions logiques. Par exemple, il est possible de ne conserver, du fichier national, que les données de l’Aude (11), de la Haute-Garonne (31) et de l’Hérault (34).

```{ojs}
Inputs.table(
    db.query("SELECT * FROM table_individu WHERE DEPT IN ('11', '31', '34') LIMIT 10")
)
```

duckdb.sql("SELECT * FROM table_individu WHERE DEPT IN ('11', '31', '34')")

dbGetQuery(
  con,
  "SELECT * FROM table_individu WHERE DEPT IN ('11', '31', '34')"
)

table_individu %>%
  filter(DEPT %in% c("11", "31", "34")) %>%
  head(10)

Inputs.table(
    db.query("SELECT * FROM table_individu WHERE DEPT IN ('11', '31', '34') LIMIT 10")
)

Il est également possible de formater cette liste telle qu’attendue par SQL à partir d’une liste Python ou d’un vecteur R plus classique. Pour cela, le code suivant peut servir de modèle :

```{ojs}
liste_regions = ["11", "31", "34"]
liste_regions_sql = liste_regions.map(item => `'${item}'`).join(",")
Inputs.table(
    db.query(`SELECT * FROM table_individu WHERE DEPT IN (${liste_regions_sql}) LIMIT 10`)
)
```

con = duckdb.connect()

con.execute('''
  CREATE OR REPLACE VIEW table_individu
  AS SELECT * FROM read_parquet("FD_INDCVI_2020.parquet")
'''
)

liste_regions = ["11", "31", "34"]

dep_slots = ", ".join(["?" for _ in liste_regions])
query = "SELECT * FROM table_individu WHERE DEPT IN ({})".format(dep_slots)
liste_regions_sql = ", ".join([f"'{dep}'" for dep in liste_regions])
con.execute(query, liste_regions).fetchdf()

liste_regions <- c("11", "31", "34")
liste_regions_sql <- glue_sql_collapse(
  lapply(
    liste_regions, function(dep) glue_sql("'{`dep`}'", .con=con)
    ),
  ", "
)
query <- glue_sql(
  "SELECT * FROM table_individu WHERE DEPT IN ({liste_regions_sql})",
  .con=con
)
dbGetQuery(con, query)

liste_regions <- c("11", "31", "34")
table_individu %>%
  filter(DEPT %in% liste_regions)

liste_regions = ["11", "31", "34"]
liste_regions_sql = liste_regions.map(item => `'${item}'`).join(",")
Inputs.table(
    db.query(`SELECT * FROM table_individu WHERE DEPT IN (${liste_regions_sql}) LIMIT 10`)
)

Pour en savoir plus sur les prepared statements avec DuckDB en Python, et plus généralement pour avoir des exemples d’utilisations différentes, c’est ici que ça se passe.

Les filtres sur les observations peuvent être faits à partir de critères sur plusieurs colonnes. Par exemple, pour ne conserver que les observations de la ville de Nice où la date d’emménagement est postérieure à 2020, la requête suivante peut être utilisée :

```{ojs}
Inputs.table(
    db.query(
        "SELECT * FROM table_logement WHERE COMMUNE = '06088' and AEMM > 2020"
    )
)
```

query = "SELECT * FROM table_logement WHERE COMMUNE = '06088' and AEMM > 2020"
duckdb.sql(query)

dbGetQuery(
  con,
  "SELECT * FROM table_logement WHERE COMMUNE = '06088' and AEMM > 2020"
)

table_logement %>%
  filter(COMMUNE == "06088") %>%
  filter(AEMM > 2020)
# Peut aussi s'écrire en une fois :
# table_logement %>% filter(COMMUNE == "06088", AEMM > 2020)

Inputs.table(
    db.query(
        "SELECT * FROM table_logement WHERE COMMUNE = '06088' and AEMM > 2020"
    )
)