Mellum2 : le modèle MoE open-source de JetBrains pour le code
JetBrains présente Mellum2, un modèle MoE open-source de 12 milliards de paramètres spécialisé dans le traitement du texte et du code. Avec seulement 2.5B paramètres activés par token, il offre une inférence 2x plus rapide que des modèles de taille comparable. Le modèle cible spécifiquement les workflows logiciels sensibles à la latence.
« Mellum2 delivers competitive benchmark performance while achieving more than 2x faster inference. » — Hugging Face Blog
Que faut-il retenir ?
- Mellum2 est un modèle MoE de 12 milliards de paramètres avec seulement 2.5B activés par token.
- Le modèle offre des performances comparables aux modèles similaires avec une inférence 2x plus rapide.
- Mellum2 est spécialisé pour le texte et le code sous licence Apache 2.0.
- Cas d'usage : routage, pipelines RAG, sous-agents et déploiements privés.
Pourquoi cette nouvelle compte-t-elle ?
Mellum2 répond au besoin croissant de modèles spécialisés et efficaces pour les workflows logiciels. Son architecture MoE et sa vitesse d'inférence en font une solution pertinente pour les systèmes nécessitant des opérations à faible latence comme le routage ou le RAG. Son ouverture permet des déploiements privés sécurisés.
2.5B paramètres activés par token
Public concerné : développeurs, entreprises
Quels sont les avantages de Mellum2 par rapport à d'autres modèles génératifs ?
Mellum2 se distingue par son architecture MoE qui n'active que 2.5B paramètres par token, permettant une inférence 2x plus rapide que des modèles de taille similaire. Il est spécialement optimisé pour les tâches de traitement de texte et de code avec une licence open-source Apache 2.0.
