Roboter erkennt und teilt Änderungen in 3D in Echtzeit

Selbst kleine Veränderungen in der Umgebung eines Soldaten können auf eine Gefahr hinweisen. Jetzt kann ein Roboter diese Veränderungen erkennen und eine Warnung könnte die Soldatin sofort über ein Display in ihrer Brille warnen. Die Forscher demonstrierten in einer realen Umgebung das erste Mensch-Roboter-Team, bei dem der Roboter physische Veränderungen in 3D erkennt und diese Informationen durch Augmented Reality in Echtzeit mit einem Menschen teilt. Der Mensch ist dann in der Lage, die erhaltenen Informationen auszuwerten und Folgemaßnahmen zu entscheiden.

Die Arbeit wurde durchgeführt, um autonomen Roboter-Bodenplattformen in Manöver- und Mobilitätsszenarien Kontextbewusstsein zu verleihen. Die meisten akademischen Forschungen zur Verwendung von Mixed-Reality-Schnittstellen für das Teaming von Mensch und Roboter treten nicht in reale Umgebungen ein, sondern verwenden externe Instrumente in einem Labor, um die Berechnungen zu verwalten, die für den Informationsaustausch zwischen Mensch und Roboter erforderlich sind. Ebenso untersuchen die meisten technischen Bemühungen, Menschen mit Mixed-Reality-Schnittstellen auszustatten, nicht die Zusammenarbeit mit autonomen mobilen Robotern.

Die neue Forschung koppelte einen kleinen autonomen mobilen Bodenroboter, der mit Laser-Entfernungssensoren, bekannt als LiDAR, ausgestattet ist, um eine Darstellung der Umgebung mit einem menschlichen Teamkollegen zu erstellen, der eine Augmented-Reality-Brille trägt. Während der Roboter die Umgebung patrouillierte, verglich er seine aktuellen und früheren Messwerte, um Veränderungen in der Umgebung zu erkennen. Diese Änderungen wurden dann sofort in der Brille des Menschen angezeigt, um festzustellen, ob der Mensch die Änderungen in der Umgebung interpretieren konnte.

Bei der Untersuchung der Kommunikation zwischen dem Roboter- und dem menschlichen Team testeten die Forscher LiDAR-Sensoren mit unterschiedlichen Auflösungen am Roboter, um Messungen der Umgebung zu erfassen und Veränderungen zu erkennen. Als diese Änderungen mithilfe von Augmented Reality an den Menschen weitergegeben wurden, stellten die Forscher fest, dass menschliche Teamkollegen Änderungen interpretieren konnten, die selbst die LiDARs mit niedrigerer Auflösung erkannten. Dies deutet darauf hin, dass je nach Größe der erwarteten Änderungen leichtere, kleinere und kostengünstigere Sensoren genauso gut funktionieren und dabei schneller laufen könnten.

Zukünftige Studien werden weiterhin untersuchen, wie die Zusammenarbeit zwischen Menschen und autonomen Agenten gestärkt werden kann, indem dem Menschen ermöglicht wird, mit den erkannten Änderungen zu interagieren, wodurch der Roboter mehr Informationen über den Kontext der Änderung erhält. zum Beispiel Änderungen, die von Gegnern gegenüber natürlichen Umweltänderungen oder Fehlalarmen vorgenommen wurden. Dies wird das autonome Kontextverständnis und die Schlussfolgerungsfähigkeiten der Roboterplattform verbessern, beispielsweise indem der Roboter lernen und vorhersagen kann, welche Arten von Änderungen eine Bedrohung darstellen. Die Bereitstellung dieses Verständnisses für die Autonomie wiederum wird den Forschern dabei helfen, zu lernen, wie sie die Teambildung von Soldaten mit autonomen Plattformen verbessern können.