Emu Video

Emu Video ist ein Text-zu-Video-Forschungsmodell, das Meta im November 2023 auf Basis des Emu-Bildgenerators vorstellte. Statt ein Video in einem Schritt direkt aus einer Texteingabe zu erzeugen, teilt es die Aufgabe in zwei Schritte: Zuerst generiert Emu aus der Eingabe ein Einzelbild, anschließend wird ein Video erzeugt, das sowohl durch den Text als auch durch dieses Bild gesteuert ist. Meta zufolge konnte der aufgeteilte Ansatz auf eine tiefe Kaskade separater Modelle verzichten, wie sie frühere Systeme wie Googles Imagen Video und Metas eigenes Make-A-Video nutzten, und dennoch Videos mit höherer Auflösung erzeugen. In Bewertungen menschlicher Präferenzen bevorzugten die Bewertenden Emu Videos Clips laut Meta in der großen Mehrheit der Fälle gegenüber Imagen Video und Make-A-Video. Das Modell wurde als Forschungsarbeit und Demo statt als öffentliches Produkt veröffentlicht. Seine Techniken flossen in spätere Videofunktionen von Meta ein, statt als eigenständiges Modell auf den Markt zu kommen.