StrucTime-7B : notre modèle de fondation français, entraîné de zéro

Aeon Systems développe sa propre famille de modèles de langue. Le pivot de cette gamme s'appelle StrucTime-7B : un modèle de fondation français, entraîné de zéro dans notre lab, dont chaque étage, du tokenizer aux poids, est développé en interne. Des déclinaisons à plus grande échelle complètent la gamme pour les usages qui demandent davantage de profondeur d'analyse.

Ce billet ouvre le journal de ce programme. Il décrit le rôle que nous donnons au modèle, les choix techniques qui en découlent, et la discipline avec laquelle nous comptons en rendre compte.

Le rôle du modèle : orchestrer, en s'appuyant sur le savoir externe

Notre architecture d'ensemble, décrite dans le projet Ares, repose sur une séparation stricte : le savoir vit à l'extérieur du modèle. Les faits, les référentiels, l'état d'un site ou d'une entreprise sont stockés dans des graphes et des bases où ils restent traçables, datés et corrigeables. Le modèle de langue joue le rôle d'orchestrateur : il interprète une demande, interroge ces sources, déclenche des calculs ou des simulations, puis assemble une réponse en citant son chemin.

Ce rôle définit le cahier des charges du modèle. Il doit raisonner avec précision en français, manipuler sans les corrompre les objets structurés du monde de la gestion et des opérations, fonctionner sur l'infrastructure du client, y compris dans des environnements isolés d'internet, et rester auditable de bout en bout.

La classe des 7 milliards de paramètres répond bien à ce cahier des charges. Elle offre une capacité de raisonnement substantielle tout en restant déployable sur site, à un coût d'exploitation et une empreinte énergétique compatibles avec un usage quotidien. Le dimensionnement de StrucTime-7B résulte de cette analyse. Pour les terrains où la profondeur d'analyse prime, le raisonnement opérationnel complexe de Furnace ou les environnements de Citadel, la même lignée se décline en variantes plus capacitaires, dont nous parlerons dans ce journal à mesure qu'elles atteindront le niveau que nous nous imposons.

Une lignée complète, développée en interne

L'expression « entraîné de zéro » recouvre chez nous un périmètre précis : les quatre étages du modèle sont conçus, développés et maîtrisés dans notre lab.

Le tokenizer. Avant tout apprentissage, un modèle découpe le texte en unités élémentaires, et la qualité de ce découpage conditionne l'efficacité de toute la chaîne. Le tokenizer de StrucTime-7B est entraîné sur notre corpus français : la morphologie de la langue y est représentée nativement, ce qui améliore à la fois la compression du texte et la finesse des représentations apprises. Nous y ajoutons des marqueurs dédiés aux objets structurés du domaine (dates, montants, identifiants d'entreprise, références de documents), afin que le modèle traite ces objets comme des entités à part entière dès le pré-entraînement.

L'architecture. StrucTime-7B est un transformeur dense qui assemble les composants les mieux établis des architectures récentes : attention groupée (GQA), encodage positionnel rotatif (RoPE), normalisation RMSNorm, activations SwiGLU, stabilisation des projections d'attention. Chaque composant est implémenté en interne, instrumenté et testé isolément. Cette maîtrise fine nous permet d'intégrer nos propres travaux au fil du programme, comme l'isolation des documents à l'entraînement (un masque d'attention qui empêche les documents accolés dans une même séquence de se contaminer, pour un signal d'apprentissage plus propre) ou les régimes d'apprentissage par curriculum, qui ordonnent le corpus par phases.

Le corpus. Le corpus de pré-entraînement est majoritairement français et bâti sur des sources dont la licence est vérifiée document par document : domaine public, corpus ouverts sous licences permissives, textes patrimoniaux et encyclopédiques. Chaque document franchit une batterie de garde-fous automatiques avant d'entrer au corpus : contrôle de licence, déduplication, filtres de langue et de qualité, et un filtre d'identité qui écarte les textes susceptibles d'induire chez le modèle des représentations héritées d'autres systèmes. Des milliers de documents sont rejetés à ces portes. Ce niveau d'exigence ralentit la constitution du corpus ; il produit en contrepartie des poids dont la provenance est intégralement documentable, une propriété que nous considérons comme constitutive du modèle au même titre que son architecture.

L'atelier. Un modèle de fondation est le produit d'une chaîne industrielle : préparation des corpus, lancement et suivi des entraînements, évaluation systématique de chaque version, traçabilité de chaque lot de données. Cet outillage s'appelle Factory chez nous, et nous y investissons avec la même rigueur que dans le modèle. Les versions d'un modèle se succèdent ; la capacité à les produire s'accumule.

Notre position

Il existe d'excellents modèles généralistes, et pour une grande partie des usages, y compris en entreprise, ils constituent la bonne solution. Notre programme répond à un besoin différent, que nous rencontrons chez nos clients industriels et institutionnels : des systèmes dont l'origine complète peut être documentée, qui fonctionnent en français comme langue première, qui s'opèrent sur l'infrastructure de l'organisation, et dont le comportement s'audite.

Ces exigences se satisfont difficilement par l'adaptation d'un modèle existant, car un modèle adapté conserve son tokenizer, ses données de pré-entraînement et les propriétés qui en découlent. Elles se satisfont naturellement quand la lignée est maîtrisée depuis l'origine. C'est le sens de ce programme : couvrir, sur notre terrain, des besoins auxquels l'offre générale répond mal par construction, et le faire avec un niveau d'exigence qui rende le résultat digne de confiance.

Le français y occupe une place particulière. Un modèle dont le tokenizer, le corpus et l'évaluation sont conçus en français depuis le premier jour développe de la langue une représentation plus fidèle que celle qu'autorise un traitement du français parmi des dizaines d'autres langues. Pour des systèmes destinés aux entreprises et institutions françaises, cette fidélité a une valeur directe : elle se mesure dans la précision des réponses, la justesse du vocabulaire réglementaire et la qualité de la langue produite.

La discipline de publication

Ce journal rendra compte du programme selon une règle simple : nous publions ce que nous savons reproduire. Les prochains billets couvriront notre méthodologie d'évaluation (comment mesurer rigoureusement un modèle français de spécialité, au-delà des classements généralistes), nos travaux sur le raisonnement outillé, et l'arrivée des déclinaisons hautes de la gamme. Notre conception d'ensemble d'une IA opérée en France est exposée dans le guide de l'IA souveraine.

Construire un modèle de fondation français dont chaque étage est maîtrisé en interne est un programme long, exigeant, et rare à cette échelle. Nous le menons parce que nos terrains l'exigent, et nous le documenterons ici, étape par étape.

Questions fréquentes

Pourquoi la classe 7 milliards de paramètres ? Parce que le rôle du modèle dans notre architecture est l'orchestration : le savoir vit dans les graphes et les bases, où il reste traçable et corrigeable. Pour ce rôle, cette classe offre un très bon équilibre entre capacité de raisonnement, déployabilité sur site et coût d'exploitation. Les déclinaisons plus capacitaires de la gamme couvrent les usages où la profondeur d'analyse justifie des ressources supérieures.

Quelle différence avec un modèle open source adapté ? L'adaptation d'un modèle existant en conserve les fondations : tokenizer, données de pré-entraînement, propriétés héritées. Pour la plupart des usages, c'est un compromis raisonnable. Nos terrains demandent une documentation complète de l'origine du système, et cette exigence se satisfait par la maîtrise de la lignée entière.

StrucTime-7B est-il déjà dans vos produits ? Il les rejoint progressivement, en commençant par les fonctions où sa spécialité apporte une différence mesurable. Nos produits s'appuient par ailleurs sur des briques éprouvées, et chaque intégration sera annoncée lorsqu'elle sera en production.

Peut-on l'essayer, ou rejoindre le programme ? Les organisations dont les contraintes correspondent à notre terrain (souveraineté, déploiement sur site, données sensibles) peuvent nous écrire via la page contact. Les ingénieurs que la construction d'un modèle de fondation français attire y trouveront aussi une porte ouverte.