← Glossaire FintechIA & LLM
Tokenisation (IA)
La tokenisation en IA est le processus de division du texte en unités appelées tokens que le modèle peut traiter. Les LLM utilisent des algorithmes comme BPE ou WordPiece.
Dans les services financiers
La tokenisation a des implications pratiques pour l'IA financière. Les documents financiers sont lourds en tokens — un document d'enregistrement universel peut utiliser 100K+ tokens. Le choix du tokeniseur affecte l'efficacité et le coût.
Exemple concret
Une banque mondiale traite des rapports trimestriels en anglais et français. Les différences de tokenisation entre langues ajoutent des coûts significatifs pour les gros volumes.
Pourquoi c'est important en Finance
La tokenisation affecte à la fois la capacité et le coût de l'IA financière. Comprendre la tokenisation aide à estimer les coûts et optimiser l'utilisation.
Termes associés
Explorer dans Finatune
Questions fréquentes
Qu'est-ce que la tokenisation ?
Processus de division du texte en tokens.
Impact sur les documents financiers ?
Les documents financiers sont lourds en tokens.
Différences entre langues ?
L'arabe nécessite plus de tokens que l'anglais.