Metas KI-Reise wird ihn definitiv in den wachsenden Bereich der Video-KI führen. Jetzt, Eigentümer ist das von Mark Zuckerberg geführte Unternehmen FilmgeneralEin weiterer Videogenerator, der aus kurzen Textbefehlen realistische Videos erstellen kann. Meta behauptet, dass dies für Hollywood und den durchschnittlichen Instagrammer nützlich sei, auch wenn es niemandem außerhalb von Meta zur Verfügung steht. Movie Gen kann Audio erstellen, es erstellen der leistungsfähigste Deep-Fake-Generator, den wir je gesehen haben.
In einem BlogbeitragMeta zeigte mehrere Videobeispiele, darunter ein glückliches Nilpferdbaby, das unter Wasser schwimmt, irgendwie knapp unter der Oberfläche schwebt und offenbar kein Problem damit hat, den Atem anzuhalten. In einem anderen Video sind Pinguine zu sehen, die „viktorianische“ Kleidung tragen, deren Ärmel und Röcke zu kurz sind, um den Zeitraum darzustellen. Es gab ein weiteres Video von einer Frau, die neben einem Geparden auflegte und vom Beat zu sehr abgelenkt war, um sich um die Gefahr zu kümmern, in der sie schwebte.
Jeder ist am KI-generierten Videoraum beteiligt. In diesem Jahr versprechen Microsofts VASA-1 und OpenAIs Sora „realistische“ Videos, die aus einfachen Textbefehlen generiert werden. Auch wenn er im Februar gehänselt wurde, hat Sora immer noch keinen Lichtblick gefunden. Movie Gen Meta bietet einige weitere Funktionen als die Konkurrenz, darunter das Bearbeiten vorhandener Videos mit Textbefehlen, das Erstellen von Videos auf der Grundlage von Bildern und das Hinzufügen von KI-generiertem Ton zu erstellten Videos.
Die Videobearbeitungssuite scheint sehr neu zu sein. Dies funktioniert sowohl bei generierten Videos als auch bei Aufnahmen aus der realen Welt. Meta behauptet, dass sein Modell „den ursprünglichen Inhalt beibehält“, während es dem Filmmaterial Elemente hinzufügt, sei es Hintergründe oder Kleidung für die Hauptfiguren der Szene. Meta zeigt, wie man auch Personen fotografieren und in den resultierenden Film einfügen kann.
Meta verfügt bereits über ein Musik- und Tonerzeugungsmodell, aber der Social-Media-Riese präsentierte mehrere Beispiele seines 13B-Parameter-Audiogenerators, der zusätzlich zu Videos Soundeffekte und Soundtracks hinzufügt. Die Texteingabe kann so einfach sein wie „raschelnde Blätter und brechende Zweige“, um sie dem resultierenden Video hinzuzufügen, das eine Schlange zeigt, die sich über den Waldboden schlängelt. Der Audiogenerator ist derzeit auf 45 Sekunden begrenzt und kann daher nicht den gesamten Film ausdrucken. Zumindest ist das noch nicht passiert.
Und nein, tut mir leid, Sie können es noch nicht verwenden. Chris Cox, Chief Product Officer von Meta, schrieb in Threads: „Wir sind noch nicht bereit, dieses Produkt in absehbarer Zeit auf den Markt zu bringen – es ist immer noch teuer und die Bauzeit ist zu lang.“
Darin weißes Papier Bei der Erörterung von Movie Gen sagte Meta, dass die gesamte Software-Suite aus mehreren Grundmodellen bestehe. Das größte Videomodell des Unternehmens ist das 30B-Parametertransformatormodell mit einer maximalen Kontextlänge von 73.000 Video-Tokens. Der Audiogenerator ist ein 13B-Parameter-Basismodell, das sowohl Video-zu-Audio als auch Text-zu-Audio umwandeln kann.
Es ist schwer, es mit den größten KI-Videogeneratoren für Unternehmen zu vergleichen, insbesondere seit OpenAI beanspruchen Sora verwendet „Daten, die Patches genannt werden, von denen jeder einem Token in GPT ähnelt“. Meta ist eines der wenigen großen Unternehmen, das immer noch Daten mit seinen neuen KI-Tools veröffentlicht, eine Praxis, die aufgrund der übermäßigen Kommerzialisierung der KI aufgegeben wurde. Allerdings bietet das Whitepaper von Meta nicht viele Einblicke in die Herkunft der Trainingsdaten für Movie Gen. Höchstwahrscheinlich stammt ein Teil des Datensatzes aus Videos von Facebook-Nutzern. Meta verwendet auch Fotos, die Sie mit der Meta Ray-Ban-Datenbrille aufnehmen, um seine KI-Modelle zu trainieren.
Sie können Movie Gen noch nicht verwenden. Im Gegensatz dazu gefällt es anderen KI-Filmgeneratoren RunwayML Generation 3 bietet eine begrenzte Anzahl an Token an, mit denen Sie einen kleinen Clip erstellen können, bevor Sie mit der Zahlung beginnen müssen. Ein Bericht von 404 Medien Anfang dieses Jahres zeigte sich, dass Runway seine KI anhand Tausender YouTube-Videos trainierte und wie die meisten KI-Startups nie um Erlaubnis fragte, bevor es den Inhalt entfernte.
Meta sagte, es habe bei der Entwicklung dieses Modells eng mit Filmemachern und Videoproduzenten zusammengearbeitet und werde dies auch weiterhin tun, während es an Movie Gen arbeitet. Berichte von Anfang des Jahres deuten darauf hin, dass Studios bereits damit beginnen, KI-Unternehmen zu akzeptieren. Neuer unabhängiger Liebling A24 Zusammenarbeit mit VC-Firmen sind auf KI spezialisiert, und einige haben einen Bezug zu OpenAI. Auf der anderen Seite ist Meta gemeldet ist in Gesprächen mit Hollywoodstars wie Judi Dench und Awkwafina darüber, ihre Stimmen für zukünftige KI-Projekte zu nutzen.
