Fußballroboter haben ein Upgrade erhalten. Zweibeinige Roboter, die mithilfe von Deep Reinforcement Learning trainiert wurden, das auf künstlicher Intelligenz basiert, können schneller gehen, sich umdrehen, um einen Ball zu treten, und nach einem Sturz wieder aufstehen als Roboter, die nach vorgefertigten Lektionen arbeiten.
Guy Lever von Google DeepMind und seine Kollegen haben batteriebetriebene Robotis OP3-Roboter, die etwa 50 Zentimeter groß sind und über 20 Gelenke verfügen, 240 Stunden tiefem Verstärkungslernen unterzogen.
Diese Technik vereint zwei Grundprinzipien des KI-Trainings: Reinforcement Learning sorgt dafür, dass Agenten Fähigkeiten durch Versuch und Irrtum erwerben, mit dem Ziel, dafür belohnt zu werden, dass sie häufiger richtig als falsch wählen, während Deep Learning Schichten neuronaler Netze nutzt – Versuche, den Menschen nachzuahmen Gehirn – um Muster innerhalb der Daten zu analysieren, die der KI angezeigt werden.
Die Forscher verglichen ihre Bots mit Robotern, die mit vorgefertigten Fähigkeiten arbeiten. Diejenigen, die mit Deep Reinforcement Learning trainiert wurden, konnten 181 Prozent schneller gehen, sich 302 Prozent schneller drehen, einen Ball 34 Prozent härter treten und nach einem Sturz in einem Eins-gegen-Eins-Spiel 63 Prozent schneller aufstehen als die anderen. „Diese Verhaltensweisen lassen sich nur sehr schwer manuell entwerfen und skripten“, sagt Lever.
Die Forschung bringt das Gebiet der Robotik voran, sagt Jonathan Aitken von der University of Sheffield, Großbritannien. „Eines der wichtigsten Probleme, die in diesem Artikel behandelt werden, besteht darin, die Lücke zwischen Simulation und Realität zu schließen“, sagt er. Hier lassen sich in Simulationen erlernte Fähigkeiten nicht unbedingt gut auf reale Umgebungen übertragen.
Die vom Google DeepMind-Team vorgeschlagene Lösung – eine Physik-Engine zu verwenden, um Trainingsfälle zu simulieren, anstatt den Roboter immer wieder Dinge im wirklichen Leben ausprobieren zu lassen und diese als Trainingsdaten zu verwenden, die vom neuronalen Netzwerk analysiert werden – sei nützlich, sagt er.
Aber „Fußball spielende Roboter sind nicht das Endziel“, sagt Teammitglied Tuomas Haarnoja.
„Ziel dieser Arbeit ist es nicht, bald humanoide Roboter zu produzieren, die in der Premier League spielen“, sagt Aitken, „sondern vielmehr zu verstehen, wie wir schnell komplexe Roboterfähigkeiten aufbauen können, indem wir synthetische Trainingsmethoden verwenden, um Fähigkeiten zu entwickeln, die es können.“ schnell und vor allem robust auf reale Arbeitsanwendungen übertragen werden.“
Themen:
