Définition
Mixture of Experts (MoE)
Le Mixture of Experts est une architecture où seule une partie du modèle s’active pour chaque requête, pour plus d’efficacité.
En clair
Un modèle Mixture of Experts (MoE) est composé de nombreux sous-réseaux spécialisés (les « experts »). Pour chaque entrée, un « routeur » n’en active que quelques-uns, plutôt que la totalité du modèle.
Comment ça marche
Le routeur décide, mot après mot, quels experts sont les plus pertinents et leur passe la main. On obtient ainsi un modèle très grand en nombre de paramètres, mais dont seule une fraction travaille à chaque requête — donc plus rapide et moins coûteux à faire tourner.
Un exemple concret
Un modèle MoE peut afficher des centaines de milliards de paramètres au total, tout en n’en activant qu’une petite partie par token : la puissance d’un géant, au coût d’un modèle plus modeste.
Pourquoi ça compte
Le MoE est l’un des ingrédients qui permettent de repousser les limites de taille des modèles sans exploser les coûts d’inférence.
À retenir
Au lieu de tout mobiliser à chaque fois, le modèle n’active que les « experts » utiles : puissant mais économe.
Questions fréquentes
C’est plus rapide qu’un modèle classique ?+
À taille totale égale, oui, car tout ne s’active pas à chaque fois.
Y a-t-il un inconvénient ?+
C’est plus complexe à entraîner et à équilibrer (éviter que certains experts soient sous-utilisés).
Beaucoup de modèles l’utilisent ?+
Oui, plusieurs grands modèles récents reposent sur cette architecture.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.