Token

Unité de traitement

Définition

Unité de base traitée par un modèle de langage, correspondant à un mot ou à un fragment de mot.