EMO : modèle MoE performant avec seulement 12,5% d'experts
Des chercheurs de l'Allen Institute et UC Berkeley ont créé EMO, un modèle MoE qui conserve quasi-pleine performance avec seulement 12,5% de ses experts. Ce modèle réduit les coûts de calcul tout en maintenant l'efficacité.
