Nvidia bat des records MLPerf avec 288 GPUs
Nvidia établit de nouveaux records avec 288 GPUs dans le benchmark MLPerf Inference v6.0, tandis qu'AMD et Intel se concentrent sur des segments différents. Les résultats montrent des gains significatifs grâce à des optimisations logicielles.
Points clés
- Nvidia utilise 288 GPUs pour atteindre 2,49 millions de tokens par seconde sur DeepSeek-R1.
- AMD franchit le cap d'un million de tokens par seconde avec l'Instinct MI355X.
- Intel cible un segment de marché différent avec des GPUs pour stations de travail.
- Nvidia a cumulé 291 victoires dans MLPerf depuis 2018, neuf fois plus que tous les autres participants combinés.
Pourquoi c'est important
Ces benchmarks montrent des avancées significatives dans les performances des GPUs pour l'IA générative, avec des optimisations logicielles qui doublent le débit sur le même matériel. Cela impacte directement les professionnels de l'IA en réduisant les coûts et en améliorant l'efficacité des modèles.
Public concerné : développeurs, entreprises
Quels sont les avantages des optimisations logicielles de Nvidia dans MLPerf ?
Les optimisations logicielles de Nvidia ont doublé le débit sur le même matériel, réduisant les coûts de production de tokens de plus de 60% et améliorant les performances des modèles comme DeepSeek-R1.
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !