Définition
Loi d’échelle (scaling laws)
Les lois d’échelle décrivent comment les modèles s’améliorent quand on augmente leur taille, leurs données et leur calcul.
En clair
Les lois d’échelle sont des régularités observées : en augmentant conjointement la taille du modèle, la quantité de données et la puissance de calcul, la performance s’améliore de manière régulière et prévisible.
Comment ça marche
On a constaté que l’erreur baisse selon des courbes stables quand on « scale ». Cela permet d’estimer à l’avance ce qu’un modèle plus gros devrait donner — et de justifier des investissements massifs.
Un exemple concret
C’est cette logique qui a poussé à entraîner des modèles toujours plus grands : les gains étaient prévisibles et réels, jusqu’à une certaine mesure.
Les limites
Ce n’est pas infini : les données de qualité s’épuisent, les coûts explosent, et l’efficacité (mieux entraîner, pas juste plus gros) prend le relais.
À retenir
Plus gros, plus de données, plus de calcul = meilleur — de façon étonnamment prévisible.
Questions fréquentes
Plus gros = toujours mieux ?+
Longtemps oui, mais avec des rendements décroissants et des limites de données et de coût.
Pourquoi c’est important ?+
Ça a guidé la stratégie de toute l’industrie ces dernières années.
Lien avec les capacités émergentes ?+
En scalant, certaines aptitudes nouvelles apparaissent — voir la fiche dédiée.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.