Echtzeit-3D-Änderungserkennung durch Roboter erhöht Soldatensicherheit via AR

Selbst kleine Veränderungen in der Umgebung eines Soldaten könnten Gefahr anzeigen. Jetzt kann ein Roboter diese Veränderungen erkennen und eine Warnung könnte den Soldaten sofort über ein Display in ihrer Brille alarmieren. Forscher demonstrierten in einer realen Umgebung das erste Mensch-Roboter-Team, in dem der Roboter physische Veränderungen in 3D erkennt und diese Informationen in Echtzeit über Augmented Reality mit einem Menschen teilt. Der Mensch kann dann die empfangenen Informationen bewerten und Folgemaßnahmen entscheiden.

Die Arbeit wurde durchgeführt, um autonomen robotischen Bodenplattformen in Manöver- und Mobilitätsszenarien kontextuelles Bewusstsein zu verleihen. Die meisten akademischen Forschungen zur Nutzung von Mixed-Reality-Schnittstellen für Mensch-Roboter-Teaming finden nicht in realen Umgebungen statt, sondern nutzen externe Instrumentierung im Labor, um die für den Informationsaustausch zwischen Mensch und Roboter notwendigen Berechnungen zu verwalten. Ebenso untersuchen die meisten ingenieurtechnischen Bemühungen, Menschen Mixed-Reality-Schnittstellen bereitzustellen, kein Teaming mit autonomen mobilen Robotern.

Die neue Forschung koppelte einen kleinen autonomen mobilen Bodenroboter, ausgestattet mit Laserdistanzsensoren (LiDAR), um eine Darstellung der Umgebung aufzubauen, mit einem menschlichen Teamkollegen, der Augmented-Reality-Brillen trug. Während der Roboter die Umgebung patrouillierte, verglich er seine aktuellen und früheren Messwerte, um Veränderungen in der Umgebung zu erkennen. Diese Veränderungen wurden dann sofort im Augenausweis des Menschen angezeigt, um zu bestimmen, ob der Mensch die Veränderungen in der Umgebung interpretieren konnte.

Bei der Untersuchung der Kommunikation zwischen Roboter und Mensch testeten die Forscher LiDAR-Sensoren mit unterschiedlicher Auflösung am Roboter, um Umgebungsmessungen zu sammeln und Veränderungen zu erkennen. Wenn diese Veränderungen über Augmented Reality an den Menschen weitergegeben wurden, stellten die Forscher fest, dass menschliche Teamkollegen Veränderungen interpretieren konnten, die sogar die niedrigerauflösenden LiDARs detektierten. Dies deutet darauf hin, dass je nach Größe der erwarteten Veränderungen leichtere, kleinere und günstigere Sensoren genauso gut funktionieren und dabei schneller laufen könnten.

Zukünftige Studien werden weiter erforschen, wie das Teaming zwischen Menschen und autonomen Agenten gestärkt werden kann, indem dem Menschen ermöglicht wird, mit den erkannten Veränderungen zu interagieren, was dem Roboter mehr Informationen über den Kontext der Veränderung liefert; beispielsweise Veränderungen durch Feinde versus natürliche Umweltveränderungen oder False Positives. Dies wird das autonome Kontextverständnis und die Schlussfolgerungsfähigkeiten der robotischen Plattform verbessern, indem es dem Roboter ermöglicht, zu lernen und vorherzusagen, welche Arten von Veränderungen eine Bedrohung darstellen. Umgekehrt wird das Bereitstellen dieses Verständnisses für die Autonomie Forschern helfen, zu lernen, wie das Teaming von Soldaten mit autonomen Plattformen verbessert werden kann.