Forscher erstellen einen Datensatz, um das Problem der Objekterkennung beim maschinellen Lernen anzugehen

Wann ist ein Apfel kein Apfel? Wenn Sie ein Computer sind, ist die Antwort, wenn er halbiert wurde.

Während in den letzten Jahren erhebliche Fortschritte im Bereich Computer Vision erzielt wurden, ist es auf diesem Gebiet immer noch schwierig, einem Computer beizubringen, Objekte zu identifizieren, wenn sie ihre Form ändern, insbesondere bei Systemen der künstlichen Intelligenz (KI). Jetzt gehen Informatikforscher der University of Maryland das Problem an, indem sie Objekte verwenden, die wir jeden Tag verändern – Obst und Gemüse.

Ihr Produkt ist Chop & Learn, ein Datensatz, der maschinellen Lernsystemen beibringt, Produkte in verschiedenen Formen zu erkennen – selbst wenn sie geschält, in Scheiben geschnitten oder in Stücke geschnitten werden.

Das Projekt wurde Anfang dieses Monats auf der International Conference on Computer Vision 2023 in Paris vorgestellt.

„Sie und ich können uns vorstellen, wie ein geschnittener Apfel oder eine Orange im Vergleich zu einer ganzen Frucht aussehen würde, aber Modelle für maschinelles Lernen erfordern viele Daten, um zu lernen, wie man das interpretiert“, sagte Nirat Saini, ein Informatik-Doktorand und Leiter im fünften Jahr Autor des Papiers. „Wir mussten eine Methode entwickeln, die dem Computer hilft, sich unsichtbare Szenarien genauso vorzustellen wie Menschen.“

Um die Datensätze zu entwickeln, filmten Saini und ihre Informatik-Doktoranden Hanyu Wang und Archana Swaminathan sich selbst beim Zerkleinern von 20 Obst- und Gemüsesorten in sieben Stilen mit Videokameras, die in vier Winkeln aufgestellt waren.

Die Vielfalt an Blickwinkeln, Menschen und Zubereitungsstilen sei für einen umfassenden Datensatz notwendig, sagte Saini.

„Jemand schält vielleicht seinen Apfel oder seine Kartoffel, bevor er sie schneidet, während andere das nicht tun. Der Computer wird das anders erkennen“, sagte sie.

Neben Saini, Wang und Swaminathan gehören zum Chop & Learn-Team die Informatik-Doktoranden Vinoj Jayasundara und Bo He; Kamal Gupta Ph.D. ’23, jetzt bei Tesla Optimus; und ihr Berater Abhinav Shrivastava, ein Assistenzprofessor für Informatik.

„Die Fähigkeit, Objekte zu erkennen, während sie unterschiedliche Transformationen durchlaufen, ist für den Aufbau langfristiger Videoverständnissysteme von entscheidender Bedeutung“, sagte Shrivastava, der auch eine Anstellung am Institute for Advanced Computer Studies der University of Maryland hat. „Wir glauben, dass unser Datensatz ein guter Anfang ist, um echte Fortschritte bei der Lösung des grundlegenden Kerns dieses Problems zu erzielen.“

Kurzfristig, so Shrivastava, werde der Chop & Learn-Datensatz zur Weiterentwicklung von Bild- und Videoaufgaben wie 3D-Rekonstruktion, Videogenerierung sowie Zusammenfassung und Analyse von Langzeitvideos beitragen.

Diese Fortschritte könnten eines Tages umfassendere Auswirkungen auf Anwendungen wie Sicherheitsfunktionen in selbstfahrenden Fahrzeugen haben oder Beamten dabei helfen, Bedrohungen für die öffentliche Sicherheit zu erkennen, sagte er.

Und obwohl es nicht das unmittelbare Ziel sei, sagte Shrivastava, könnte Chop & Learn zur Entwicklung eines Roboterkochs beitragen, der auf Befehl Produkte in Ihrer Küche in gesunde Mahlzeiten verwandeln könnte.