- CGOF++: Steuerbare 3D-Gesichtssynthese mit bedingten generativen Belegungsfeldern (arXiv)
Autor: Keqiang Sun, Shangzhe Wu, Ning Zhang, Zhaoyang Huang, Quan Wang, Hongsheng Li
Zusammenfassung: Bestehende steuerbare Gesichtsbildsynthesemethoden nutzen die jüngsten Fortschritte bei Bilderzeugungsmodellen und sind in der Lage, hochauflösende Bilder mit einem gewissen Grad an Steuerbarkeit zu erzeugen, z. B. durch die Steuerung der Formen, Ausdrücke, Texturen und Posen der generierten Gesichtsbilder. Bisherige Methoden konzentrieren sich jedoch auf kontrollierbare 2D-Bilderzeugungsmodelle, die bei großen Gesichtsausdrucks- und Posenänderungen dazu neigen, inkonsistente Gesichtsbilder zu erzeugen. In diesem Artikel schlagen wir ein neues NeRF-basiertes bedingtes 3D-Gesichtssynthese-Framework vor, das eine 3D-Kontrolle über die generierten Gesichtsbilder ermöglicht, indem explizite 3D-Bedingungen aus 3D-Gesichtsprioritäten auferlegt werden. Im Kern handelt es sich um ein bedingtes Generative Occupancy Field (cGOF++), das effektiv erzwingt, dass die Form des generierten Gesichts einem bestimmten 3D Morphable Model (3DMM)-Netz entspricht, das auf EG3D aufbaut [1], ein aktuelles generatives Modell auf Dreiebenenbasis. Um eine genaue Kontrolle über feinkörnige 3D-Gesichtsformen der synthetisierten Bilder zu erreichen, integrieren wir zusätzlich einen 3D-Markierungsverlust sowie einen Volumenverzerrungsverlust in unser Synthese-Framework. Experimente bestätigen die Wirksamkeit der vorgeschlagenen Methode, die in der Lage ist, hochauflösende Gesichtsbilder zu erzeugen und eine präzisere 3D-Steuerbarkeit aufweist als die hochmoderne 2D-basierte steuerbare Gesichtssynthesemethode
2.Kontrollierbare 3D-Gesichtssynthese mit bedingten generativen Belegungsfeldern (arXiv)
Autor: Keqiang Sun, Shangzhe Wu, Zhaoyang Huang, Ning Zhang, Quan Wang, HongSheng Li
Zusammenfassung: Bestehende steuerbare Gesichtsbildsynthesemethoden nutzen die jüngsten Fortschritte bei Bilderzeugungsmodellen und sind in der Lage, hochauflösende Bilder mit einem gewissen Grad an Steuerbarkeit zu erzeugen, z. B. durch die Steuerung der Formen, Ausdrücke, Texturen und Posen der generierten Gesichtsbilder. Diese Methoden konzentrieren sich jedoch auf 2D-Bildgenerierungsmodelle, die bei großen Gesichtsausdrucks- und Posenänderungen dazu neigen, inkonsistente Gesichtsbilder zu erzeugen. In diesem Artikel schlagen wir ein neues NeRF-basiertes bedingtes 3D-Gesichtssynthese-Framework vor, das eine 3D-Kontrolle über die generierten Gesichtsbilder ermöglicht, indem explizite 3D-Bedingungen aus 3D-Gesichtsprioritäten auferlegt werden. Im Kern handelt es sich um ein bedingtes Generative Occupancy Field (cGOF), das die Form des generierten Gesichts effektiv dazu zwingt, sich an ein bestimmtes 3D-Morphable-Model-Netz (3DMM) anzupassen. Um eine genaue Kontrolle über feinkörnige 3D-Gesichtsformen des synthetisierten Bildes zu erreichen, integrieren wir zusätzlich einen 3D-Landmark-Verlust sowie einen Volumen-Warping-Verlust in unseren Synthesealgorithmus. Experimente bestätigen die Wirksamkeit der vorgeschlagenen Methode, die in der Lage ist, hochauflösende Gesichtsbilder zu erzeugen und eine präzisere 3D-Steuerbarkeit aufweist als modernste 2D-basierte steuerbare Gesichtssynthesemethoden. Code und Demo finden Sie unter https://keqiangsun.github.io/projects/cgof
