Rétropropagation

La rétropropagation est un algorithme fondamental de l'apprentissage profond qui permet de calculer efficacement le gradient de la fonction de perte par rapport à chaque poids d'un réseau de neurones. En propageant l'erreur de la couche de sortie vers la couche d'entrée à l'aide de la règle de chaîne (dérivation en chaîne), elle indique dans quelle direction et de combien ajuster chaque poids. Elle fournit ainsi les gradients nécessaires à la descente de gradient, ce qui est essentiel pour minimiser la fonction de perte au cours de l'entraînement. Popularisée pour les réseaux multicouches par Rumelhart, Hinton et Williams en 1986, elle forme, avec la fonction de perte et la descente de gradient, le trio au cœur de l'apprentissage supervisé. En permettant aux réseaux d'apprendre à partir de leurs erreurs, la rétropropagation est devenue une technique incontournable du deep learning moderne.