Attention (mécanisme)
Attention Mechanism
📖 Définition
💬 En termes simples
Pensez à un traducteur professionnel qui lit une longue phrase et qui, pour bien traduire un mot précis, revient mentalement sur certains mots clés situés plus tôt ou plus loin dans la phrase. Le mécanisme d'attention fonctionne de la même façon, comme un réviseur linguistique de l'OQLF qui porte une attention particulière aux termes ambigus en fonction du contexte global.
🎯 Exemple concret
En 2026, un système de traduction du gouvernement du Québec exploite l'attention pour des traductions français-anglais qui respectent les nuances terminologiques du droit civil québécois. Un outil d'analyse de courriels dans une firme de génie-conseil repère les passages critiques dans de longs échanges. Un assistant de rédaction pour journalistes s'appuie sur l'attention multi-têtes pour vérifier la cohérence factuelle entre le début et la fin d'un article.
💡 Le saviez-vous ?
L'article « Attention Is All You Need » (2017) est l'un des articles les plus cités de l'histoire de l'informatique et a introduit l'architecture Transformer. Un modèle de langage moderne calcule des milliards de scores d'attention en une fraction de seconde, considérant les relations entre chaque mot d'un texte et tous les autres.