Block dévoile un modèle vocal IA fonctionnant localement

Block, la société de Jack Dorsey, annonce le lancement de Dessa, un modèle vocal IA capable de fonctionner localement sur un MacBook M4 Max. Selon l'entreprise, ce modèle, entraîné uniquement sur des données vocales et avec un seul GPU NVIDIA, reproduit des expressions humaines comme les rires, les pauses ou les pleurs.

Dessa est un modèle full-duplex, permettant une interaction simultanée à l'écoute et à la parole, similaire au modèle GPT-Live d'OpenAI sorti plus tôt cette année. Contrairement aux modèles classiques qui s'appuient sur un traitement textuel intermédiaire, Block affirme que l'émotion est intégrée directement dans le modèle, sans recourir à des balises externes. L'entreprise publie des exemples de conversations où le bot adopte des voix, des cadences et des émotions variées, comme une voix fatiguée ou émotionnelle.

Block, spécialisée dans les solutions financières pour les petites entreprises, mise sur ce modèle pour enrichir ses services vocaux existants, comme ceux utilisés par Square pour la gestion des commandes. Bien que Dessa ne soit pas encore accessible publiquement, Block invite des chercheurs en sécurité à le tester afin d'évaluer les risques de tromperie par des agents vocaux.