Fuyu-8B

Fuyu-8B est un modèle multimodal publié par Adept AI en octobre 2023, conçu pour des agents numériques qui doivent voir des écrans et agir dessus, plutôt que pour servir de chatbot généraliste. Adept l’a construit autour d’une architecture simplifiée : les patchs d’image vont directement dans un transformer décodeur seul standard, sans encodeur d’image séparé, ce qui lui permet d’accepter les images à la résolution où elles arrivent, au lieu de tout redimensionner à une taille fixe. Ça compte pour le cas d’usage d’Adept, qui doit lire des éléments d’interface, des boutons et du texte à la résolution native pour répondre à des questions sur des captures d’écran, des graphiques et des schémas, et pour localiser des éléments précis à l’écran. Adept a publié le modèle de 8 milliards de paramètres sur Hugging Face sous licence CC-BY-NC, donc libre d’usage et de modification, mais pas à des fins commerciales, et le présente comme un aperçu public plus petit du modèle qui fait tourner son propre produit, plutôt qu’une offre entièrement à part. Il prend en charge une fenêtre de contexte de 16K tokens. Adept a depuis été racheté, une grande partie de l’équipe étant passée chez Amazon en 2024, ce qui laisse Fuyu-8B comme un instantané de cette direction de recherche tournée vers les agents.