Chunking

Le chunking est une technique qui consiste à découper un document en petites unités appelées « chunks » (segments), faciles à récupérer dans un pipeline RAG (génération augmentée par récupération). Chaque chunk est ensuite transformé en embedding (vecteur) et stocké dans une base vectorielle. Deux grandes stratégies existent : la taille fixe (couper tous les N tokens) et le découpage sémantique (couper quand le sujet change). Pour ne pas casser une idée à la frontière de deux segments, on ajoute souvent un chevauchement (overlap) de 10 à 20 %, soit environ 50 à 100 tokens. Les tailles courantes vont de 256 à 1024 tokens, 512 étant une valeur fréquente. Un chunk trop long mélange plusieurs idées dans un seul vecteur et dégrade la précision de la recherche ; trop court, il perd le contexte. Le chunking est donc une étape clé qui conditionne directement la qualité des réponses d'un système RAG.