Ein Softwarepaket zur Erleichterung der Nutzung neuronaler Strahlungsfelder in der Robotikforschung

Neural Radiance Fields (NeRFs) sind fortschrittliche Techniken des maschinellen Lernens, die aus zweidimensionalen (2D) Bildern dreidimensionale (3D) Darstellungen von Objekten oder Umgebungen erzeugen können. Da diese Techniken komplexe reale Umgebungen realistisch und detailliert modellieren können, könnten sie die Robotikforschung erheblich unterstützen.

Die meisten vorhandenen Datensätze und Plattformen zum Training von NeRFs sind jedoch für die Offline-Nutzung konzipiert, da sie die Durchführung eines Posenoptimierungsschritts erfordern, der die Erstellung fotorealistischer Darstellungen erheblich verzögert. Dies hat die meisten Robotiker bisher daran gehindert, diese Techniken zu nutzen, um ihre Algorithmen in Echtzeit an physischen Robotern zu testen.

Ein Forschungsteam der Stanford University hat kürzlich NerfBridge vorgestellt, ein neues Open-Source-Softwarepaket zum Trainieren von NeRF-Algorithmen, das letztendlich deren Verwendung in Online-Robotikexperimenten ermöglichen könnte. Dieses Paket wurde in einem vorab veröffentlichten Artikel vorgestellt arXivist darauf ausgelegt, ROS (das Roboter-Betriebssystem), eine renommierte Softwarebibliothek für Robotikanwendungen, und Nerfstudio, eine Open-Source-Bibliothek zum Trainieren von NeRFs in Echtzeit, effektiv zu verbinden.

„Kürzlich waren Mitglieder meines Labors, dem Stanford Multi-Robot Systems Lab, begeistert von der Erforschung von Anwendungen von Neural Radiance Fields (NeRFs) in der Robotik, aber wir haben festgestellt, dass es derzeit keine einfache Möglichkeit gibt, diese Methoden mit einem zu nutzen „Es handelt sich um echte Roboter, daher ist es unmöglich, echte Experimente mit ihnen durchzuführen“, sagte Javier Yu, der Erstautor des Artikels, gegenüber Tech Xplore. „Da die Werkzeuge noch nicht existierten, beschlossen wir, sie selbst zu bauen, und aus diesem technischen Vorstoß, um zu sehen, wie NeRFs an Robotern funktionieren, haben wir ein nettes Werkzeug bekommen, von dem wir glauben, dass es für viele Leute in der Robotik-Community nützlich sein wird.“ ”

NeRFs sind hochentwickelte Techniken, die auf künstlichen neuronalen Netzen basieren und erstmals von der Computergrafik-Forschungsgemeinschaft eingeführt wurden. Sie erstellen im Wesentlichen detaillierte Karten der Welt, indem sie ein neuronales Netzwerk trainieren, um die 3D-Geometrie und Farbe der in einem Foto oder 2D-Bild erfassten Szene zu rekonstruieren.

„Das Problem der Kartierung anhand von Bildern ist eines, an dem wir in der Robotik-Community schon seit langem arbeiten, und NeRFs bieten eine neue Perspektive für die Lösung“, erklärte Yu. „Normalerweise werden NeRFs offline trainiert, wobei alle Bilder im Voraus gesammelt werden und dann der NeRF der Szene auf einmal trainiert wird. In der Robotik wollen wir den NeRF jedoch direkt für Aufgaben wie die Navigation verwenden.“ Daher ist das NeRF nicht nützlich, wenn wir es erst erhalten, wenn wir an unserem Ziel ankommen. Stattdessen möchten wir das NeRF inkrementell (online) erstellen, während der Roboter seine Umgebung erkundet. Das ist genau das Problem, das NerfBridge löst.“

NerfBridge, das von Yu und seinen Kollegen eingeführte Paket, nutzt Bilder, die von den in physischen Robotern integrierten Sensoren und Kameras aufgenommen wurden. Diese Bilder werden kontinuierlich in die leistungsstarke NeRF-Trainingsbibliothek von Nerfstudio gestreamt und ermöglichen so die Erstellung von NeRFs, die sich ständig aktualisieren und verbessern, wenn der Roboter neue Bilder seiner Umgebung aufnimmt.

Um das Potenzial ihrer Methode zu demonstrieren, trainierten Yu und seine Kollegen damit ein NeRF auf der Grundlage von Bildern, die von einer Kamera aufgenommen wurden, die auf einem Quadrotor, einer Drohne mit vier Rotoren, montiert war, während sie sowohl in Innen- als auch im Außenbereich umherflog. Ihre Ergebnisse waren bemerkenswert und unterstrichen den Wert von NerfBridge für die Erleichterung des Einsatzes von NeRFs in der Robotikforschung.

Diese vielversprechende Methode könnte daher bald von anderen Forschern genutzt werden, um NERFs zu trainieren und ihre Algorithmen an physischen Robotern zu testen, während diese durch ihre Umgebung navigieren. Unterdessen planen Yu und seine Kollegen, zusätzliche Strategien zu erforschen, die den Einsatz von NeRFs in der Robotik erweitern könnten.

„Letztendlich hoffen wir, dass NerfBridge die Eintrittsbarriere für andere Forscher senken wird, sich mit Anwendungen von NeRFs in der Robotik zu befassen und ihre neuen Algorithmen an Robotern in der realen Welt zu testen“, fügte Yu hinzu. „Ausgehend von NerfBridge werden wir nach Methoden zur Verbesserung des NeRF-Trainings suchen, wenn Bilder von einem Roboter gestreamt werden, und die konkreten Vorteile der Verwendung von NeRF-basierten Karten für andere Aufgaben in der Robotik wie Lokalisierung und Navigation demonstrieren.“

© 2023 Science X Network