KI-Lichtfeldkamera liest 3D-Gesichtsausdrücke – –

Ein gemeinsames Forschungsteam unter der Leitung der Professoren Ki-Hun Jeong und Doheon Lee vom KAIST Department of Bio and Brain Engineering berichtete über die Entwicklung einer Technik zur Erkennung von Gesichtsausdrücken durch die Verschmelzung von Nahinfrarot-Lichtfeldkameratechniken mit Technologie der künstlichen Intelligenz (KI). .

Im Gegensatz zu einer herkömmlichen Kamera enthält die Lichtfeldkamera Mikrolinsenarrays vor dem Bildsensor, wodurch die Kamera klein genug ist, um in ein Smartphone zu passen, und gleichzeitig die räumlichen und Richtungsinformationen des Lichts mit a erfassen kann einzelner Schuss. Die Technik hat Aufmerksamkeit erregt, da sie Bilder auf vielfältige Weise rekonstruieren kann, einschließlich Mehrfachansichten, Refokussierung und 3D-Bilderfassung, was zu vielen potenziellen Anwendungen führt.

Das optische Übersprechen zwischen Schatten, die durch externe Lichtquellen in der Umgebung und der Mikrolinse verursacht werden, hat jedoch bestehende Lichtfeldkameras daran gehindert, einen genauen Bildkontrast und eine 3D-Rekonstruktion bereitzustellen.

Das gemeinsame Forschungsteam wandte einen oberflächenemittierenden Laser mit vertikaler Kavität (VCSEL) im nahen IR-Bereich an, um die Genauigkeit der 3D-Bildrekonstruktion zu stabilisieren, die zuvor vom Umgebungslicht abhing. Wenn eine externe Lichtquelle in einem Winkel von 0, 30 und 60 Grad auf ein Gesicht gerichtet wird, reduziert die Lichtfeldkamera 54 % der Bildrekonstruktionsfehler. Durch das Einfügen einer lichtabsorbierenden Schicht für sichtbare und nahe IR-Wellenlängen zwischen den Mikrolinsenarrays konnte das Team außerdem das optische Übersprechen minimieren und gleichzeitig den Bildkontrast um das 2,1-fache erhöhen.

Durch diese Technik konnte das Team die Einschränkungen bestehender Lichtfeldkameras überwinden und seine NIR-basierte Lichtfeldkamera (NIR-LFC) entwickeln, die für die 3D-Bildrekonstruktion von Gesichtsausdrücken optimiert ist. Unter Verwendung des NIR-LFC erwarb das Team hochwertige 3D-Rekonstruktionsbilder von Gesichtsausdrücken, die verschiedene Emotionen ausdrücken, unabhängig von den Lichtverhältnissen der Umgebung.

Die Gesichtsausdrücke in den erfassten 3D-Bildern wurden durch maschinelles Lernen mit einer Genauigkeit von durchschnittlich 85 % unterschieden – eine statistisch signifikante Zahl im Vergleich zur Verwendung von 2D-Bildern. Darüber hinaus konnte das Team durch die Berechnung der Abhängigkeit von Entfernungsinformationen, die mit dem Gesichtsausdruck in 3D-Bildern variieren, die Informationen identifizieren, die eine Lichtfeldkamera verwendet, um menschliche Gesichtsausdrücke zu unterscheiden.

Professor Ki-Hun Jeong sagte: „Die vom Forschungsteam entwickelte Subminiatur-Lichtfeldkamera hat das Potenzial, die neue Plattform zur quantitativen Analyse der Gesichtsausdrücke und Emotionen von Menschen zu werden.“ Um die Bedeutung dieser Forschung hervorzuheben, fügte er hinzu: “Sie könnte in verschiedenen Bereichen angewendet werden, darunter mobile Gesundheitsversorgung, Felddiagnose, soziale Kognition und Mensch-Maschine-Interaktionen.”

Diese Studie wurde veröffentlicht in Fortschrittliche intelligente Systeme online am 16. Dezember unter dem Titel „Machine-Learned Light-field Camera that Reads Facial Expression from High Contrast and Illumination Invariant 3D Facial Images“. Diese Forschung wurde vom Ministerium für Wissenschaft und IKT und vom Ministerium für Handel, Industrie und Energie finanziert.

Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.