Un modèle de langage ne lit pas des mots mais des tokens. En français, un token correspond en moyenne à un peu moins d’un mot : « formation » peut tenir en un token, « anticonstitutionnellement » en plusieurs.
Pourquoi c’est utile à savoir
- La longueur maximale d’une conversation ou d’un document lu par l’IA se mesure en tokens : c’est la fenêtre de contexte. Au-delà, le début est oublié ou le document est tronqué.
- Le coût des usages professionnels par API se facture au nombre de tokens lus et produits.
- Les longues conversations dérivent : mieux vaut repartir d’une nouvelle conversation avec un résumé.