#OpenAI #präsentiert #Sora #ein #neues #KITool #zur #Umwandlung #von #Text #Videos
Sora kann Text in Videos umwandeln und minutenlange Videos erstellen, die echt aussehen. Derzeit ist dieses Tool jedoch nicht allgemein verfügbar. Derzeit befindet es sich noch in der Red-Teaming-Phase. OpenAI hat sie ausgewählten Partnern zum Testen zur Verfügung gestellt, darunter: Experten für Desinformation oder hasserfüllte Inhalte, bildende Künstler, Designer und Filmemacher. Dadurch möchte er sicherstellen, dass Sora keine schädlichen oder unangemessenen Inhalte erstellt, und außerdem Feedback zur Verbesserung des Modells erhalten.
Sora ist in der Lage, komplexe Szenen mit mehreren Charakteren, spezifischen Bewegungsarten und präzisen Objekt- und Hintergrunddetails zu generieren. Wie Vertreter von OpenAI betonen, ermöglicht ein tiefes Verständnis der natürlichen Sprache dem Modell, Eingabeaufforderungen genau zu interpretieren und Zeichen zu generieren, die lebendige Emotionen ausdrücken. Sora kann auch mehrere Aufnahmen innerhalb eines einzigen generierten Videos erstellen, die die Charaktere und den visuellen Stil genau widerspiegeln.
Technische Details des Modells
Wie GPT-Modelle verwendet Sora eine Transformatorarchitektur. Videos und Bilder werden als Sammlungen kleinerer Dateneinheiten, sogenannte Patches, dargestellt, die jeweils einem Token in GPT ähneln. Durch die Standardisierung der Datendarstellung können OpenAI-Experten Diffusionstransformatoren für ein breiteres Spektrum visueller Daten trainieren als bisher, und zwar über unterschiedliche Dauern, Auflösungen und Seitenverhältnisse.
Sora baut auf früheren Forschungen zu DALL-E- und GPT-Modellen auf. Es nutzt die Recaptioning-Technik von DALL-E 3, bei der sehr aussagekräftige Untertitel für visuelle Trainingsdaten generiert werden. Dadurch ist dieses Modell noch besser in der Lage, den Textanweisungen des Benutzers im generierten Video zu folgen.
Lesen Sie auch
60 % der polnischen Unternehmen glauben, dass die Arbeitskosten zu hoch sind – wie können sie gesenkt werden?
Das Modell ist nicht nur in der Lage, Videos ausschließlich auf der Grundlage von Textanweisungen zu generieren, sondern ist auch in der Lage, ein vorhandenes Standbild aufzunehmen und daraus ein Video zu generieren, das den Bildinhalt mit Genauigkeit und Liebe zum Detail animiert. Das Modell kann auch vorhandene Videos aufnehmen und erweitern oder fehlende Frames ergänzen.
Sora dient als Grundlage für Modelle, die die reale Welt verstehen und simulieren können, was laut OpenAI-Vertretern ein wichtiger Meilenstein auf dem Weg zur künstlichen allgemeinen Intelligenz (AGI) sein wird.
Leider weist das Modell auch Schwächen auf. Nun, es kann sein, dass er Schwierigkeiten hat, die Physik einer komplexen Szene genau zu simulieren, und dass er möglicherweise bestimmte Ursache-Wirkungs-Fälle nicht versteht. Beispielsweise kann es sein, dass eine Person in einen Keks beißt, später jedoch auf demselben Keks keine Bissspur mehr zu sehen ist. Das Modell verwechselt möglicherweise auch räumliche Details (z. B. links und rechts) und hat Schwierigkeiten, Ereignisse, die im Laufe der Zeit auftreten, genau zu beschreiben, z. B. das Verfolgen einer bestimmten Kamerabahn.
Sie können die Fähigkeiten des Sora-Modells unter dem folgenden Link sehen.
Sora und Sicherheit
Neben der bereits erwähnten Zusammenarbeit mit Fachexperten in Bereichen wie Desinformation, Hassinhalten und Voreingenommenheit kündigte OpenAI auch die Entwicklung von Tools zur Erkennung irreführender Inhalte an, beispielsweise eines Erkennungsklassifikators, der erkennen kann, ob ein Video von Sora erstellt wurde.
Neben der Entwicklung neuer Techniken werden auch bestehende Sicherheitsmethoden genutzt, die für Produkte mit DALL-E 3 erstellt wurden und auch auf das Sora-Modell anwendbar sind.
