DeepSeek-V4 : 1M tokens pour agents IA
DeepSeek lance V4, un modèle avec fenêtre de contexte d'1 million de tokens optimisé pour les tâches d'agents. Les versions Pro (1,6T paramètres) et Flash (284B) réduisent les FLOPs de 27% et la mémoire KV cache de 90% par rapport à V3.2.
Points clés
- DeepSeek-V4-Pro a 1,6T paramètres totaux avec 49B actifs, et DeepSeek-V4-Flash 284B totaux avec 13B actifs.
- Réduction de 27% des FLOPs et 90% de la mémoire KV cache par rapport à V3.2 pour 1M tokens.
- Mécanismes d'attention hybride CSA (compression 4x) et HCA (compression 128x) alternés sur 61 couches.
- Stockage en FP8 pour la plupart des entrées KV et BF16 uniquement pour les dimensions RoPE.
Pourquoi c'est important
Cette avancée permet d'exécuter des tâches longues avec agents sans interruption, réduisant les coûts et améliorant la fiabilité. Les professionnels bénéficieront de performances stables sur des contextes étendus, essentiel pour le développement d'applications complexes comme SWE-bench ou les sessions de navigation multi-étapes.
Public concerné : développeurs, entreprises
Comment DeepSeek-V4 améliore-t-il les performances des agents IA ?
DeepSeek-V4 utilise des mécanismes d'attention hybride (CSA et HCA) pour réduire les FLOPs de 27% et la mémoire KV cache de 90%, permettant des tâches longues sans interruption.
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !