MemT-1.0 : des modèles de fondation centrés sur la mémoire
En bref
- MemT-1.0 intègre la mémoire comme capacité native des modèles de fondation via une architecture dédiée.
- Les modèles MemT-1.0-Nano et MemT-1.0-Flash réduisent les coûts d'inférence de 1,86 fois et le stockage persistant de 66 fois pour 128K tokens d'historique.
- Ils surpassent les baselines de mémoire paramétrique tout en restant compétitifs face aux méthodes augmentées par récupération.
Des chercheurs proposent MemT-1.0, une architecture de modèles de fondation intégrant la mémoire comme capacité native. Selon l'annonce, MemT-1.0 utilise un mécanisme de mise à jour de mémoire au niveau des tokens et une approche « Mixture-of-Storage » pour étendre la capacité mémoire. D'après les tests, les modèles MemT-1.0-Nano et MemT-1.0-Flash surpassent les baselines de mémoire paramétrique tout en restant compétitifs face aux méthodes augmentées par récupération, sans altérer leurs capacités générales.
L'équipe souligne que MemT-1.0 réduit significativement les coûts d'inférence et de stockage persistant, avec un gain de vitesse de 1,86 fois et une réduction de 66 fois du stockage pour une longueur d'historique de 128K tokens. L'architecture vise à améliorer les performances sur des tâches agentiques en internalisant l'expérience procédurale récupérée, ouvrant la voie à une évolution native de la mémoire dans les modèles de fondation.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur