Batch (lot d'entraînement)

Un batch (lot) est le sous-ensemble d'exemples d'entraînement que le modèle traite en une seule passe — une propagation avant puis arrière — avant de mettre à jour ses paramètres. La taille du lot (batch size) est le nombre d'exemples qu'il contient ; c'est un hyperparamètre courant (32, 64, 128…). Plutôt que de calculer le gradient sur tout le jeu de données (coûteux) ou sur un seul exemple à la fois (très bruité), on adopte le plus souvent une voie intermédiaire, la descente de gradient par mini-lots (mini-batch gradient descent), qui calcule le gradient sur un petit lot. La taille du lot a deux effets majeurs. Sur la mémoire : un grand lot exige davantage de mémoire vive (RAM/VRAM du GPU). Sur l'apprentissage : un petit lot donne un gradient plus « bruité » mais des mises à jour plus fréquentes (souvent meilleure généralisation) ; un grand lot donne un gradient plus stable mais moins de mises à jour par époque. Choisir la taille du lot est donc un compromis entre vitesse, stabilité, consommation mémoire et qualité de généralisation. Le batch est l'unité de travail concrète qui relie l'époque (passage complet) et l'itération (une mise à jour).