Canary

Canary est une famille de modèles de parole de l’équipe NeMo de NVIDIA. Le principal, Canary-1B, est sorti en avril 2024. Contrairement à un modèle ASR typique, qui ne fait que transcrire l’audio, Canary fait à la fois la reconnaissance vocale et la traduction de la parole pour l’anglais, le français, l’allemand et l’espagnol : il convertit l’audio parlé en texte dans la même langue, ou le traduit vers une autre. Il combine un encodeur FastConformer et un décodeur transformer, une architecture que NVIDIA a réglée pour tirer une bonne précision d’un modèle relativement petit. À sa sortie, il a pris la tête du classement Open ASR de Hugging Face, devant des concurrents plusieurs fois plus gros.

NVIDIA distribue Canary-1B via Hugging Face et son framework NeMo pour un usage auto-hébergé, et aussi via NVIDIA NIM comme API hébergée. Le Canary-1B d’origine est publié sous licence CC-BY-NC 4.0, ce qui le réserve à un usage non commercial. NVIDIA a depuis publié de nouvelles variantes, dont Canary-1B-Flash et Canary-1B-v2, sous la licence plus permissive CC-BY-4.0, avec une autorisation commerciale explicite et une inférence plus rapide.