Scaling Indic Pretraining : 2,8 billions de tokens et un pipeline de données ouvert
En bref
- 22 langues indiennes couvertes par le prétraitement.
- 2,8 billions de tokens générés pour l'entraînement des modèles.
- Pipeline open source disponible pour reproduire ou étendre le jeu de données.
NVIDIA et Hugging Face dévoilent un projet de prétraitement de données linguistiques pour 22 langues indiennes, atteignant 2,8 billions de tokens. Un pipeline open source permet de générer et partager ces données massivement.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face - Blog.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur