Présentation

L’émergence rapide des grands modèles de langage (LLM) redéfinit en profondeur le paysage de l’informatique, particulièrement dans les domaines du raisonnement automatisé et du génie logiciel. Si ces modèles sont largement connus pour le traitement des langues naturelles, leur capacité à comprendre, générer et vérifier du code source ouvre de nouvelles frontières pour la sûreté numérique et la productivité des développeurs.

L’objectif de cette école est d’offrir un panorama scientifique complet du cycle de vie des LLM, avec un focus particulier sur les applications liées à la programmation. Le programme est conçu pour mener les participants des mécanismes internes de l’architecture Transformer jusqu’aux applications avancées comme la génération automatisée de tests et la vérification formelle. En faisant le pont entre la recherche fondamentale en IA et les exigences de rigueur du génie logiciel, l’école vise à donner aux chercheurs et ingénieurs les clés pour construire des systèmes assistés par l’IA plus fiables et transparents.

Contenu scientifique

Le programme s’articule autour de quatre piliers principaux :

• Fondements et Pré-apprentissage : Compréhension de l’architecture Transformer, des stratégies de nettoyage de données et des processus d’apprentissage permettant aux modèles de saisir la logique des langages de programmation.
• Spécialisation et Alignement : Exploration des techniques de post-entraînement (RLHF, Fine-tuning) et de la génération augmentée de récupération (RAG) pour adapter les modèles aux documentations techniques et aux bases de code spécifiques.
• Autonomie et Sécurité : Étude du développement d’agents de programmation et des « modèles du monde » pour permettre aux LLM d’interagir avec des compilateurs et des environnements d’exécution de manière sécurisée et prévisible.
• Vérification et Interprétabilité : Analyse approfondie de l’utilisation des LLM pour la génération de tests et l’interprétabilité mécaniste, afin de garantir que le code produit est non seulement fonctionnel, mais aussi vérifiable et sûr.

Programme préliminaire

Lundi 9h-12h :
Introduction aux Transformers
Nathanaël Fijalkow (NukkAI / CNRS)
Cette session présente l’architecture Transformer et le mécanisme d’auto-attention qui a révolutionné le traitement du langage naturel (NLP). Nous explorerons comment ces modèles traitent les données séquentielles, posant ainsi les bases nécessaires pour comprendre comment les LLM gèrent à la fois les langages naturels et les langages de programmation structurés.

Lundi 15h-18h :
Nettoyage des données et pré-entraînement
Wissam Antoun (INRIA Paris)
Nous examinons le cycle de vie d’un modèle avant qu’il ne soit « prêt », de la collecte de données à grande échelle à l’apprentissage auto-supervisé. Le cours aborde les défis de la qualité et de la diversité des données, y compris le rôle spécifique du code source dans l’amélioration des capacités de raisonnement logique d’un modèle.

Mardi 9h-12h :
Post-entraînement
Nathanaël Fijalkow (NukkAI / CNRS)
Ce cours traite du passage d’un modèle de base brut à un assistant fonctionnel grâce au réglage fin supervisé (SFT) et à l’apprentissage par renforcement. Nous verrons comment ces techniques sont utilisées pour aligner les modèles sur l’intention humaine, plus précisément pour suivre des instructions techniques complexes.

Mardi 15h-18h :
LLM et Sécurité de l’IA
Wissam Antoun (INRIA Paris)
Cette session explore les garde-fous éthiques et techniques nécessaires au déploiement des LLM. Nous discuterons de l’alignement, de l’atténuation des biais et du « red teaming », en mettant l’accent sur la fiabilité et la sécurité des sorties du modèle dans des contextes sensibles comme le développement logiciel.

Mercredi 9h-12h :
State Space Models : Fondements Mathématiques et Efficacité Computationnelle
Yannis Bendi-Ouis (INRIA Bordeaux)
Peut-on combiner l’entraînement parallèle des Transformers avec l’inférence rapide des RNNs ? C’est la promesse des State Space Models (SSM) modernes. Ce cours propose une plongée approfondie dans les State Space Models (SSM), une alternative puissante aux architectures basées sur l’attention. Nous explorerons comment ces modèles font le pont entre les systèmes dynamiques continus et le Deep Learning discret. À travers l’étude de modèles emblématiques comme S4, H3 et Mamba, nous détaillerons les mécanismes mathématiques clés, notamment la diagonalisation et la discrétisation sélective, qui permettent une inférence rapide et une gestion optimale de la mémoire.

Jeudi 9h-12h :
Entraînement d’Agents
Laetitia Teodorescu (Adaptive-ML)
Au-delà de la simple génération de texte, cette session présente les agents basés sur les LLM capables d’utiliser des outils et d’interagir avec des environnements. Les participants apprendront comment les modèles sont entraînés pour planifier et exécuter des tâches multi-étapes, comme naviguer dans une base de code ou interagir avec un compilateur.

Jeudi 15h-18h :
Modèles du Monde (World Models)
Václav Volhejn (Kyutai)
Ce cours approfondit le concept de « Modèles du Monde », les représentations internes que les LLM construisent des processus qu’ils décrivent. Nous verrons comment la compréhension des « règles » sous-jacentes d’un système (physique ou logique) permet aux modèles de prédire et de simuler des résultats complexes.

Vendredi 9h-12h :
Les LLM pour la génération de tests
Xavier Blanc (Université de Bordeaux)
Cette session se concentre sur l’application pratique des LLM à l’assurance qualité logicielle. Nous étudierons comment les modèles peuvent être exploités pour générer automatiquement des tests unitaires, identifier des cas limites et aider à la vérification formelle, comblant ainsi le fossé entre les exigences en langage naturel et le code exécutable.

Vendredi 15h-18h :
Interprétabilité mécaniste
David Louapre (Hugging Face)
La session finale pose la question : comment un modèle pense-t-il ? En « ouvrant la boîte noire », nous explorons les méthodes de rétro-ingénierie des neurones et des circuits d’un Transformer. Cette compréhension est cruciale pour vérifier la logique interne des modèles utilisés dans des tâches de programmation et de preuve mathématique à enjeux élevés.

Informations pratiques

Dates

Du 15 au 19 juin 2026

Lieu

Centre CNRS La Vieille Perrotine (Oléron).

Inscription

Pour participer, merci de remplir le formulaire d’inscription et de l’envoyer avant le 15 mai 2026 à Régis Vizet et Tifenn Baril-Graffin.

Contacts

Secrétariat des écoles
Régis Vizet – CEA
Tifenn Baril-Graffin – INRIA
Tél : 01 69 26 47 45
Fax : 01 69 26 70 05

Coordinateurs de l’école d’informatique 2026
Nathanaël Fijalkow
Marc Lelarge
Philippe Suignard
Guillaume Baudart
Xavier Hinaut