LLM-as-a-judge

« LLM-as-a-judge » (le LLM-juge, ou évaluation par un grand modèle de langage) est une technique consistant à utiliser un modèle de langage puissant pour évaluer automatiquement les réponses produites par un autre modèle. Plutôt que de comparer mot à mot à une réponse de référence — ce qui rate les reformulations valables — on demande au modèle-juge de noter une réponse selon des critères comme la pertinence, l'exactitude, la cohérence ou le respect d'une consigne, parfois en comparant deux réponses pour désigner la meilleure. Cette approche s'est imposée à partir de 2023 parce qu'elle est rapide, peu coûteuse et qu'elle s'adapte bien aux tâches ouvertes où il n'existe pas une seule bonne réponse. Elle a toutefois des limites connues : le modèle-juge peut présenter des biais (préférer les réponses longues, ou celles issues de modèles proches du sien), d'où l'importance de bien calibrer le prompt d'évaluation et de vérifier l'accord de ses jugements avec ceux d'évaluateurs humains.