Créer son propre LLM : ce que K2 Horizon rend possible — et ce qu’il ne change pas

« Entièrement ouvert » : ce que disent les fiches au 7 septembre

Commençons par la licence, parce que c’est elle qui engage. Apache 2.0 couvre les poids et le code : usage commercial, modification, redistribution, sans clause territoriale. Les jeux de données, eux, ont chacun leur propre licence — le corpus principal de pré-entraînement est publié en Creative Commons avec attribution. Ce n’est pas un piège, c’est une nuance : « tout est Apache » est une phrase vraie pour le modèle et fausse pour ce qui l’a nourri. On lit les deux.

Ensuite, modèle par modèle, au 7 septembre. Pour le 3,7 milliards et le 7 milliards, tout est en ligne : poids finaux, points de sauvegarde intermédiaires, données, code d’entraînement. Pour le 0,9 milliard, les poids et les sauvegardes sont là, les données et le code sont annoncés. Le 32 milliards n’est publié qu’à sa première étape d’entraînement, autrement dit un modèle inachevé. Et pour les deux modèles à mélange d’experts — le 36 milliards dont 4 actifs, le 375 milliards dont 23 actifs, ceux qui font les gros titres — seuls les poids finaux sont disponibles ; données, sauvegardes et recette « seront publiées », sans date. Le dépôt de données de pré-entraînement que l’on trouve nommé sur la plateforme répond par une erreur d’accès. « Entièrement ouvert » est donc vrai pour deux modèles sur six le jour de la sortie. Pour les quatre autres, c’est une promesse.

Une promesse crédible, il faut le dire. Cette équipe publie ses données depuis 2023, sous le nom LLM360, et l’a fait pour chaque génération précédente. Elle a aussi signalé elle-même une contamination de deux de ses jeux de test et écarté un résultat trop beau pour être honnête — un geste que l’on voit rarement dans une annonce de modèle. Cela ne change pas notre méthode : une promesse n’est pas une livraison, et nous datons ce que nous vérifions. Dernier détail des fiches : les modèles sont étiquetés anglais. Le français se jugera sur nos questions, pas sur le communiqué.

Pourquoi les données pèsent plus lourd que les poids

Un modèle dont on publie les poids est un binaire. On peut l’exécuter, on ne peut pas le reconstruire. C’est exactement recevoir un programme compilé sans son code source : utile, parfaitement fonctionnel, et opaque sur ce qu’il contient. La quasi-totalité des modèles dits « ouverts » sont de cette nature, et c’est déjà beaucoup — nous en faisons tourner tous les jours. Mais on ne sait pas ce qu’ils ont lu.

Avec les données, la recette et les sauvegardes intermédiaires, trois choses deviennent possibles qui ne l’étaient pas. On peut auditer ce que le modèle a lu — et la question de la provenance, que le règlement européen sur l’IA pose aux fournisseurs de modèles à usage général, cesse d’être déclarative pour devenir vérifiable. On peut reprendre l’entraînement à partir d’une sauvegarde plutôt que de zéro, ce qui est la seule voie réaliste pour ajouter une langue ou un domaine. Et on peut reproduire les résultats annoncés, donc les contester : un score que personne ne peut refaire est un communiqué de presse.

Nous écrivions il y a quelques jours, à propos des modèles chinois, que le modèle est un fichier, que la licence est le vrai risque, et que l’endroit où il tourne — votre machine ou un hébergeur français — est une question distincte de l’endroit d’où il vient. L’ouverture des données ajoute une couche à cette grille : l’origine devient auditable. Elle ne remplace aucune des autres vérifications. Elle rend l’une d’elles enfin possible.

« Créer son LLM » : quatre chantiers sous un seul mot

Quand une entreprise nous dit « nous voulons notre propre LLM », elle veut dire l’une de quatre choses très différentes. Nous les classons par coût, et l’écart entre deux niveaux voisins est grossièrement d’un facteur cent.

Premier niveau : pré-entraîner de zéro. Il faut des milliers de milliards de mots dont on détient les droits, un budget de calcul qui se compte en dizaines ou centaines de milliers d’heures de GPU, et une équipe qui l’a déjà fait. La règle de coin de table publiée par les chercheurs est simple : environ six opérations par paramètre et par mot lu. Appliquée à un modèle d’un milliard de paramètres sur mille milliards de mots, elle donne quelques milliers d’heures de GPU de dernière génération, soit de l’ordre de dix mille euros de location dans le meilleur des cas ; pour un modèle de sept milliards sur dix mille milliards de mots, quelques centaines de milliers d’heures et plusieurs centaines de milliers d’euros. Ce sont des ordres de grandeur, pas un devis, et ils ne comptent pas les entraînements ratés, qui sont la norme. Ce niveau est celui des laboratoires et des États. K2 Horizon y change une chose : la recette est lisible. Il ne réduit pas la facture.

Deuxième niveau : reprendre une sauvegarde intermédiaire et poursuivre l’entraînement sur son propre corpus. C’est précisément ce que la publication des données et des sauvegardes rend possible, et c’est le seul chemin sérieux pour donner à un modèle anglais une vraie compétence en français, ou le vocabulaire d’une filière. La facture se compte en dizaines de milliers d’heures de GPU : un consortium, une filière, une ETI, un laboratoire public. Pas une PME seule. Et la question des données ne disparaît pas — il faut ses propres milliards de mots, avec leurs droits.

Troisième niveau : affiner. Quelques centaines à quelques milliers d’exemples soignés, quelques heures sur une station de travail bien équipée ou une courte location. L’affinage fait très bien une chose : apprendre un format, un ton, une tâche — extraire, classer, répondre dans votre gabarit. Il fait très mal l’autre chose qu’on lui demande : apprendre des connaissances. Un modèle affiné sur votre documentation ne « sait » pas votre catalogue de façon fiable ; il inventera, avec votre ton. Deux risques s’ajoutent : l’oubli de ce que le modèle savait faire avant, et l’absence de mesure — sans jeu de test, on ne saura pas si l’on a amélioré ou abîmé. Précision honnête sur K2 Horizon : son architecture n’est pas encore prise en charge par les outils légers d’affinage que nous utilisons sur station de travail ; aujourd’hui, nous ferions cet exercice avec d’autres familles de modèles ouverts. Cela changera.

Quatrième niveau : ne rien entraîner. Le modèle lit vos documents au moment de la question, et seulement ceux qui la concernent. La connaissance reste dans vos fichiers, se met à jour à l’instant où un document change, et chaque réponse cite sa source. C’est ce que la plupart des entreprises veulent dire quand elles disent « notre propre IA » : un assistant qui connaît nos documents. On ne crée pas de modèle à ce niveau. On en choisit un, on le confine, et on le garde remplaçable. C’est aussi le niveau où la question « quel modèle ? » cesse d’être une affaire de confiance pour devenir une affaire de test.

Ce qu’il faut dans les quatre cas

Un jeu d’évaluation sur vos tâches réelles, avant tout choix. Vingt à cinquante questions avec les réponses attendues, écrites par les gens qui font le métier — pas par nous. Les classements publics ne disent rien de votre activité ; nous l’avons mesuré assez de fois sur notre propre station pour en faire une règle. Sans ce jeu, on ne sait pas si un affinage a aidé, ni si le modèle sorti hier vaut le changement.

Les droits sur les données. Pour entraîner, à n’importe quel niveau, il faut les droits des textes utilisés — le droit européen prévoit une réserve que les éditeurs opposent à la fouille de textes, et elle s’applique — et un fondement pour toute donnée personnelle : un modèle entraîné sur les courriels de vos clients est un traitement, qui se justifie, et cela vaut quel que soit l’endroit où tourne la machine, dans vos murs ou chez un hébergeur. Les licences des jeux de données publics s’ajoutent, avec leurs conditions ; l’attribution en est une. Au quatrième niveau, les obligations sont les mêmes, mais la donnée reste dans un index que vous contrôlez et pouvez effacer — c’est pour cela que le chemin de conformité y est plus court.

La licence, et le statut réglementaire qui vient avec. Apache 2.0 sur les poids est claire et sans réserve pour l’usage commercial. Mais le règlement européen sur l’IA impose des obligations aux fournisseurs de modèles à usage général — documentation technique, résumé du contenu d’entraînement — et un entraînement ou un affinage suffisamment lourd peut faire de vous un fournisseur. Où passe la limite ? Nous ne la citerons pas de mémoire : la Commission a publié des lignes directrices, et leur lecture précède l’entraînement, pas l’inverse. Au quatrième niveau, vous restez déployeur, avec des obligations plus légères et mieux connues.

K2 Horizon vu de notre atelier, le 7 septembre

État pratique. Les modèles ne figurent pas dans la bibliothèque standard du moteur local que la plupart des stations de travail utilisent ; les faire tourner en format compressé demande une version dérivée de l’outil d’inférence, maintenue par l’institut, en attente d’intégration. Le 375 milliards réclame huit cartes de centre de calcul de dernière génération : une machine de laboratoire, pas une machine d’entreprise. Celui que nous testerons dès que la prise en charge sera fusionnée est le 36 milliards à 4 actifs — la taille qui tient sur une station bien équipée, et où la conception à experts promet de la vitesse. Anglais seul d’après les fiches ; le français se jugera sur notre jeu de questions.

Pour une entreprise en France, aujourd’hui, cela donne : rien à installer, une chose à noter. Ce que cette sortie change n’est pas ce que vous pouvez faire tourner cette semaine. C’est ce que vous pouvez vérifier. Un modèle entièrement ouvert est un modèle dont on peut auditer l’origine, reprendre l’entraînement, reproduire les résultats. C’est le critère que nous ajoutons à notre grille, à côté de la licence et du temps de remplacement. Et c’est un critère que deux modèles sur six remplissent ce jour ; nous relirons les fiches quand la promesse sera livrée.

Ce que nous faisons concrètement

Notre ordre des opérations, quand un client dit « notre propre LLM », est toujours le même. D’abord le jeu de test, écrit avec le métier. Ensuite le quatrième niveau, avec un modèle ouvert existant, confiné, sur les vrais documents — et l’on mesure. On n’affine que si le test montre un plafond de forme, de format ou de ton, jamais un plafond de connaissance : un trou de connaissance se corrige dans le corpus, pas dans les poids. Le deuxième niveau ne se discute qu’en consortium, avec un budget de calcul et un juriste à la table. Le premier, nous disons non dès la première heure.

Une journée de cadrage suffit à placer un projet sur cette échelle, avec la facture de chaque barreau et les tests qui justifieraient d’en monter un. La plupart s’arrêtent au quatrième, et ce n’est pas un renoncement : c’est le barreau où la connaissance reste la vôtre, se met à jour sans réentraîner, et où le modèle — ce fichier — se remplace quand un meilleur sort. Y compris, un jour, un modèle dont nous aurons lu les données.