Fragen und Antworten:Team of Robots Maps Zusammensetzung einer Umgebung

Dr. David Lary von der University of Texas in Dallas leitet eine Forschungsgruppe, die ein Team von autonomen Robotergeräten entwickelt hat, die an gefährlichen oder schwer zugänglichen Orten eingesetzt werden können, um Umfragen durchzuführen und Daten zu sammeln – wodurch mehr und schnellere Erkenntnisse gewonnen werden als Menschen liefern können.

Technische Informationen: Was hat Sie dazu inspiriert, mehrere autonome Geräte zu verwenden, um ganzheitliche Sätze von Umweltdaten zu sammeln?

Dr. David Lary: Nun, diese Reise besteht aus zwei Teilen. Das erste ist die Leidenschaft, die mich antreibt. Ich wünsche mir zutiefst eine umfassende ganzheitliche Wahrnehmung, um Menschen vor Gefahren zu bewahren, damit es die angemessenen umsetzbaren Erkenntnisse gibt, um rechtzeitig Entscheidungen zu treffen. Das ist meine Motivation, aber die eigentliche Reise zu diesem Punkt begann für mich vor ein paar Jahren – nun, vor fast 30 Jahren.

Als ich in Cambridge promovierte, war die Person, die ganz in der Nähe war und das Ozonloch entdeckte, ein Typ namens Joe Farman. Also habe ich für meine Promotion das erste 3-dimensionale globale Modell für den Ozonabbau entwickelt. Es war ein chemisches Modul, das ein Plug-in für das globale Modell war, das vom Europäischen Zentrum für mittelfristige Wettervorhersage verwendet wurde. Mit meinem Plug-in konnte ich globale Simulationen für ozonbezogene Chemie durchführen. Und so war die offensichtliche Frage, die ich stellen wollte:Wie gut ist dieses Modell? Um es zu verifizieren, musste ich so viele Datenquellen wie möglich zusammenbringen:Satelliten, Flugzeuge, bodengestützte Sensoren und Ballons. Einer der

Eines der schädlichen Dinge, mit denen ich konfrontiert war, war die Voreingenommenheit zwischen den Instrumenten. Also suchte ich nach einer Möglichkeit, mit diesen Vorurteilen umzugehen. Obwohl das schon 30 Jahre her ist, bin ich eher zufällig auf maschinelles Lernen gestoßen. Das war, bevor es die große Akzeptanz erreichte, die es heute hat, und ich fand, dass es wirklich gute Arbeit geleistet hat. Das hat mich veranlasst, darüber nachzudenken, was wir sonst noch damit machen könnten. Dabei waren wir die ersten, die die Assimilation chemischer Daten entwickelt haben, die heute von Agenturen auf der ganzen Welt als Teil ihrer Systeme zur Vorhersage der Luftqualität verwendet wird.

Eines der Dinge, die wir bei der Datenassimilation tun, ist, Unsicherheiten viel Aufmerksamkeit zu schenken. Ein Teil meiner Arbeit bei der NASA bestand darin, globale Fernerkundungsdatenprodukte zu erstellen. Das funktioniert so, dass Sie die Fernerkundungsinformationen verwenden, um ein Datenprodukt zu erstellen, z. B. über die Zusammensetzung der Atmosphäre oder der Landoberfläche oder die Zusammensetzung der Unterwasserwelt, z. B. für globale Ozeane. Sie erhalten die Fernerkundungsdaten vom Satelliten und vergleichen sie mit der Bodenwahrheit vor Ort. Typischerweise kann das Sammeln der Trainingsdaten dafür bis zu einem Jahrzehnt oder so dauern. Es ist eine ziemliche Aufgabe, weil Sie in der Lage sein möchten, so viele verschiedene Bedingungen und Kontexte zu testen, wie Sie wahrscheinlich weltweit antreffen werden.

Unser autonomes Roboterteam sammelte in etwa 15 Minuten die gleiche Datenmenge, die normalerweise verwendet wird, um diese satellitengestützten Fernerkundungsdatenprodukte zu erstellen, wenn auch für einen Standort. So könnte es in eine neue Umgebung gehen, die es noch nie zuvor gesehen hat, und schnell präzise koordinierte Beobachtungen machen. In diesem Fall bestand das Team aus einem Boot und einem Luftfahrzeug. Wir haben uns für das Boot entschieden, weil das aufgrund der Zugangsprobleme etwas schwieriger ist als eine bodengestützte Messung.

Diese Art von Paradigma ist nicht nur nützlich, um schnell neue Produkte zu entwickeln, sondern auch für die Kalibrierung und Validierung von Satellitenbeobachtungen, es ist auch nützlich, um Menschen aus dem Weg zu räumen. Wenn Sie eine stark kontaminierte Umgebung haben oder eine Umgebung, in der Menschen, die sie betreten, bedroht sind, kann das Roboterteam dorthin gehen und auf koordinierte Weise die entsprechenden Daten sammeln.

Die Studie in unserem Artikel verwendete ein Luftfahrzeug mit einem hyperspektralen Bildgeber, der sehr schnell eine riesige Datenmenge sammelt. Selbst unsere derzeit schnellsten Datenleitungen, vielleicht die 5G-Mobilfunkkommunikation, sind nicht schnell genug, um mit der erforderlichen Bandbreite für das Streamen von Hyperspektralbildern fertig zu werden. Wir gehen dieses Problem mit der On-Board-Verarbeitung an, die es uns ermöglicht, diese Datenprodukte mithilfe von On-Board-Maschinenlernen im Handumdrehen zu erstellen und sie dann zu streamen. Das endgültige Datenprodukt, beispielsweise die Häufigkeit eines Schadstoffs, ist eine viel kleinere Datenmenge, die wir problemlos in Echtzeit streamen können.

Es ist also wirklich die Fähigkeit, schnell umfassende Daten zu sammeln, die verwendet werden könnten, um Menschen vor Schaden zu bewahren, Ökosysteme zu charakterisieren, Teil einer Notfallmaßnahme zu sein, beispielsweise nach einem Hurrikan, der eine Nachbarschaft in der Nähe einer Chemiefabrik überschwemmt hat , oder eine Reihe solcher Anwendungen:schädliche Algenblüten, Ölverschmutzungen oder verschiedene landwirtschaftliche Anwendungen.

Es ist als flexibler Satz von Komponenten konzipiert. So wie wir es heute gewohnt sind, einen App Store auf unserem Telefon zu haben, oder Tesla-Autos Over-the-Air-Updates haben – das sind softwaredefinierte Sensoren mit ihrem eigenen App Store, die aktualisiert werden können, um ihre Fähigkeiten mit der Zeit zu verbessern.

Technische Informationen: Sie haben fliegende Sensoren und Bodensensoren und senden die Informationen wohin zurück? Wie wird das alles verarbeitet? Wo wird es verarbeitet?

Dr. Lary: Stellen Sie sich dies als ein Ensemble intelligenter Sensoren vor. Es gibt eine Reihe von Dingen:Zuerst gibt es also einen softwaredefinierten Sensor. Der softwaredefinierte Sensor wäre ein intelligentes Sensorpaket, das das physikalische Sensorsystem kombiniert, beispielsweise eine Kamera, eine Hyperspektralkamera, eine Wärmebildkamera oder ein Massenspektrometer. Es könnte sich um ein beliebiges Sensorgerät handeln, das mit etwas Software/maschinellem Lernen ausgestattet ist, das dann die Möglichkeit bietet, einige kalibrierte und/oder abgeleitete Datenprodukte bereitzustellen. Die meisten Sensoren müssen in irgendeiner Form kalibriert werden.

Durch die Kopplung des Sensors mit einem Software-/Machine-Learning-Wrapper können wir eine komplizierte Kalibrierung durchführen, die uns ein viel flexibleres System ermöglicht. Dieser softwaredefinierte Sensor kann also auch einen eigenen App Store haben. Einer oder mehrere dieser softwaredefinierten Sensoren können sich auf einer Plattform befinden, die den Sensor mit Strom, Zeit- und Ortsstempeln für alle von ihm erzeugten Daten sowie Kommunikationskonnektivität und gegebenenfalls Mobilität versorgt.

Technische Informationen: Das ist also eine physische Plattform?

Dr. Lary: Ja – in diesem Beispiel hatten wir zwei Plattformen. Wir hatten das Flugroboter mit der Hyperspektralkamera und der Thermalkamera und ein paar anderen Sensoren an Bord. Und dann war die zweite Plattform das Roboterboot, das eine ganze Reihe von Sensoren im Wasser darunter hatte, darunter Sonar und verschiedene Zusammensetzungssensoren und oben drauf eine Ultraschall-Wetterstation.

Der softwaredefinierte Sensor und die Plattform bilden einen Wächter. Dieser Wächter ist etwas, das sich normalerweise bewegen, Messungen durchführen, Daten verarbeiten und/oder streamen kann.

Mehrere zusammenarbeitende Sentinels können ein Roboterteam bilden, das zusammenarbeiten kann, um mehr Fähigkeiten bereitzustellen, als jeder von ihnen alleine leisten kann. In diesem Fall kooperiert der Flugroboter mit seinen Sensoren mit dem Wasserroboter – dem Roboterboot und seinen Sensoren. Da sie sich im selben Netzwerk befinden, gleiten die Flugroboter per Design über denselben Weg wie das Boot. Das Boot misst, was sich im Wasser befindet, während der Flugroboter mit seiner entfernten Hyperspektralkamera von oben auf das Wasser blickt und mithilfe von maschinellem Lernen die Zuordnung von dem, was unsere Hyperspektralkamera sieht, zur Zusammensetzung des Wassers lernt. Sobald es diese Kartierung gelernt hat, kann es jetzt schnell über ein viel größeres Gebiet fliegen und uns beispielsweise eine großflächige Zusammensetzungskarte der Ölkonzentration, der Chlorophyllhäufigkeit, des gelösten organischen Kohlenstoffs oder eines beliebigen Bestandteils des Wassers liefern wir wieder interessiert an.

Wir können das tun, da wir diese Umgebung noch nie zuvor gesehen haben – das Roboterteam arbeitet zusammen, um diese Trainingsdaten zu sammeln. Die Trainingsdaten werden vom maschinellen Lernen verwendet, um neue Datenprodukte wie die großflächige Zusammensetzungskarte zu erstellen. Sobald dieses Modell trainiert wurde, kann die hyperspektrale Erfassung nur anhand der Luftmessungen erfolgen, sie kann an Bord des Luftfahrzeugs verarbeitet und die Ergebnisse dann in Echtzeit gestreamt werden. Normalerweise ist das eine so große Datenmenge, dass es sehr lange dauern kann, die Zahlen zu verarbeiten. Da Sie es nicht in Echtzeit streamen können, weil es so groß ist, bietet Ihnen die Möglichkeit, es an Bord zu verarbeiten und dann zu streamen, nicht nur eine neue Fähigkeit, sondern reduziert auch die Latenz, die Verzögerung, um es auszugleichen eine solche Aufgabe erledigen.

Technische Informationen: Es ist wie das, worüber sie mit Sensoren für die Edge-Verarbeitung sprechen, um die Datenmenge zu reduzieren, die Sie senden müssen.

Dr. Lary: Genau.

Technische Informationen: Würden Sie die Arbeit, die Sie gerade geleistet haben, als Prototyping bezeichnen?

Dr. Lary: Ja, wir müssen irgendwo anfangen, also ist dies unser erster Schritt.

Technische Informationen: Wie würden Sie sich die praktische Nutzung vorstellen – sagen wir, es gibt eine Katastrophe und die Behörden wollen Ihr System benutzen, was würden sie tun?

Dr. Lary: Dieser Prototyp ist nur ein Beispiel einer viel umfassenderen Vision, es ist die minimale Umsetzung dessen, was ein Multi-Roboter-Team sein könnte. Hier hatten wir nur zwei Roboter, den Luftroboter und das Roboterboot. Wir haben uns für diese beiden entschieden, weil der Zugang zu Wasser schwierig ist, wenn man in der Lage ist, Wasser zu spüren. Aber dieses Team könnte leicht viel mehr Mitglieder haben, sagen wir einen Bodenroboter oder ein Amphibienfahrzeug, das das gesamte Roboterteam in eine potenziell gefährliche Umgebung transportieren könnte, um es ferngesteuert einzusetzen.

Es könnte auf eine Ölpest wie Deepwater Horizon reagieren, wo wir die Bilder der Auswirkungen auf Wildtiere, betroffene Fischereien usw. gesehen haben – und Ölverschmutzungen passieren ständig. Oder es könnten Chemikalien verschüttet werden. Als zum Beispiel der Hurrikan Harvey Houston mit seiner großen Anzahl an Verarbeitungsbetrieben traf, wurden diese Einrichtungen schwer überschwemmt, und einige nahe gelegene Stadtteile waren auf drei Seiten von kontaminiertem Wasser umgeben. Flüchtige organische Verbindungen im Wasser entgasten schließlich, was zu schweren Atemproblemen führte – die Menschen wussten nicht, was sie atmeten, aber sie wussten, dass es sie beeinträchtigte. Arbeiter, die zur Reinigung gingen, waren ebenfalls von dem kontaminierten Wasser betroffen.

Mit unserem Sensorsystem wissen Sie genau, womit Sie es zu tun haben, sodass Sie Ihre Reaktion entsprechend anpassen können. Aber es könnte genauso gut auf andere Fälle wie schädliche Algenblüten zutreffen. Selbst wenn keine Katastrophe eintritt, kann diese Art von Fähigkeit zur Charakterisierung von Ökosystemen und zur Durchführung von Infrastrukturuntersuchungen verwendet werden. Sagen wir, Straßen, Eisenbahnen und Brücken, wo die autonomen Roboter mit ihrer Sensorik schnell detaillierte Messungen vornehmen können.

Stellen Sie sich nun ein anderes Szenario vor. Angenommen, Sie haben die Flugroboter ähnlich wie in diesem Beispiel. Mit dem hyperspektralen, thermischen und sagen wir synthetischen Aperturradar, das die Textur einer Oberfläche betrachtet, könnte es mit einem Bodenroboter gekoppelt werden, der ein bodendurchdringendes Radar hat, das nach Hohlräumen oder anderen Fehlern sucht. Ob Tunnel oder Straße, durch Nutzung und Verwitterung entstehen Hohlräume. Es gibt auch viele verschiedene Szenarien für die Landwirtschaft. Es ist als umfassende Sensorik konzipiert, die Sie wie Lego-Blöcke wie Plug-and-Play zusammen verwenden können. Sie wären schnell in der Lage, sie für eine Vielzahl von realen Anwendungsfällen einzusetzen, bei denen datengesteuerte Entscheidungen in Echtzeit zu mehr Transparenz führen und Menschen vor Gefahren bewahren.

Technische Informationen: Möchte jemand, der dieses System verwenden möchte, speziell angefertigte Roboter und Drohnen haben, oder hätten Sie ein Paket, das Sie auf einem vorhandenen Gerät montieren könnten? Wie stellen Sie sich die Umsetzung vor?

Dr. Lary: Ich musste viele Jahre damit kämpfen, die Dinge zum Laufen zu bringen. Es ist eine Sache, die Ausrüstung zu kaufen, eine andere Sache, wenn die Komponenten zusammenarbeiten. Alles, was wir gekauft haben, war von der Stange, weil wir uns – in Ermangelung eines besseren Wortes – auf die Smarts wie die Softwareintegration konzentriert haben.

Allerdings ist ein wichtiger Schritt für diese per Software entwickelten Sensoren, für die wir das maschinelle Lernen verwenden, die Kalibrierung gegen eine Referenz oder das spontane Lernen. Wir verwenden die gleiche Art von Idee für die Luftqualität und verteilen kostengünstige Sensoren in Städten, die gegen wirklich teure Referenzsensoren kalibriert wurden. Wir können Sensoren im Nachbarschaftsmaßstab einsetzen, was früher unerschwinglich gewesen wäre.

Indem wir die kostengünstigen Sensoren ähnlich wie in diesem Roboterteam gegen eine Referenz kalibrieren konnten, kalibrierten wir die hyperspektralen Messungen der Fernerkundungsfunktion gegen die In-situ-Zusammensetzung, in diesem Fall das Wasser, und Sie können Dinge erreichen, die sonst sehr, sehr herausfordernd wären.

Es ist wirklich das Netzwerk von Sensoren, das Netzwerk autonomer Wächter, die mithilfe von maschinellem Lernen kooperativ zusammenarbeiten, mit dem Sie weit mehr tun können, als jede dieser Komponenten alleine tun könnte.

Technische Informationen: Sehen Sie voraus, dass dies kommerzialisiert, von privaten Unternehmen gebaut wird, oder sehen Sie, dass sich die Regierung daran beteiligt? Was sehen Sie für die Zukunft?

Dr. Lary: Mein Traum für die Zukunft ist es, ein Geschäft zu haben, in dem Einzelpersonen, Kommunen oder Unternehmen direkten Zugriff auf diese Art von Funktionen haben und nicht nur die Sensoren, sondern auch die Back-End-Dienste erhalten können. Wenn Sie also dieses Zeug zusammenstecken und spielen, funktioniert es einfach und Sie müssen keine lange Entwicklung durchlaufen. Die National Science Foundation kategorisiert dies als cyber-physisches System. Cyber-physische Systeme sind im Grunde Sensorsysteme, die mit Algorithmen gekoppelt sind, um Ihnen zu helfen, bessere und zeitnahe Entscheidungen zu treffen.

Also, mein Traum für all dies, und worauf mehrere von uns hinarbeiten – und wir begrüßen Partner aller Art –, ist ein cyber-physisches soziales Observatorium. Es müsste eine nationale Einrichtung sein, genauso wie ein astronomisches Observatorium mit einem riesigen Teleskop, weil sich sonst niemand etwas in dieser Größenordnung leisten kann.

Stellen Sie sich jetzt vor, Sie haben eine Reihe von Sensorfunktionen mit mehreren Komponenten, die in unserem Projekt Flugroboter und ein Roboterboot sind. Aber unser System hat tatsächlich neun Sentinel-Typen für verschiedene Arten von Situationen. Wir können die Fernerkundung von Satelliten und Wetterradaren nutzen. Neben Luftfahrzeugen haben wir Straßensensoren, die rund um die Uhr Luftqualität, Lichtintensität, ionisierende Strahlung und so weiter streamen. Wir haben Laufroboter, wir haben elektrische Bodenfahrzeuge und Roboterboote, aber wir haben auch tragbare Sensoren.

Wir möchten auch in der Lage sein, Multiskalen-Sensorik aus dem globalen Gesamtbild von einem Satelliten aus zu haben. Nehmen wir also an, wir gehen jetzt zurück zum Beispiel des Hurrikans Harvey. Lange bevor der Hurrikan Harvey auf Land traf, konnten wir ihn mit den Satelliten sehen und dann, als er sich dem Landfall näherte, mit dem Wetterradar. Aber sobald es auf Land trifft, werden die Details der Mikroumgebung kritisch. Die genaue Höhe bestimmter Bäche könnte einen wirklich großen Unterschied für die lokale Umgebung machen. Wir möchten also Informationen sowohl auf globaler Ebene als auch auf hyperlokaler Ebene haben, weil Sie und ich auf dieser sehr lokalisierten Ebene leben. Um in der Lage zu sein, gleichzeitig sowohl großen als auch lokalen Maßstab zu erfassen, brauchen wir wirklich mehrere Wächter.

Aber dann ist auch Wearable Sensing wirklich wichtig. Beispielsweise sehen Sie in einigen unserer parallelen Arbeiten Schlagzeilen, die besagen, dass schlechte Luftqualität Sie „dumm“ macht. Aber wie dumm ist dumm? Welche Schadstoffe können uns dümmer machen als die anderen? In einer unserer Studien verwenden wir also umfassende biometrische Erfassung und messen über 16.000 Parameter pro Sekunde, zusammen mit umfassender Umgebungserfassung von etwa 2.000 Umgebungsparametern, um zu sehen, wie sich der Umweltzustand auf unsere autonome Reaktion auswirkt.

All dies dient sowohl der ganzheitlichen Wahrnehmung, um Menschen vor Gefahren zu bewahren, als auch um den unsichtbaren Elefanten im Raum zu finden, der unsere Gesundheit beeinträchtigen kann. Sobald wir erkennen, was das ist, und wir es quantifizieren können, gibt es normalerweise einen offensichtlichen Weg von datengesteuerten Entscheidungen, um die Dinge zu verbessern und dann die geeigneten nächsten Schritte zu unternehmen, um unseren Fortschritt zu überwachen.

Das ist wirklich mein Traum – ein Katalysator für diese ganzheitliche Wahrnehmung zu sein, um Menschen vor Schaden zu bewahren:Wahrnehmung im Dienste der Gesellschaft. Wir haben viele Prototypen, die wir versuchen auf den Punkt zu bringen, dass sie nutzbar sind. Daher begrüßen wir immer Partnerschaften, um dies zu beschleunigen – von Regierungen, von Einzelpersonen, Kommunen, Gemeindegruppen und Unternehmen. Wir arbeiten mit all diesen Arten von Entitäten zusammen.

Technische Informationen: Klingt, als würden Sie eine ganz neue Art von Infrastruktur erfinden.

Dr. Lary: Wir versuchen es – es wird im Grunde von Bedürfnissen getrieben. Ganzheitliche Informationen können einen so großen Unterschied machen, indem sie uns Informationen liefern, um angemessene Entscheidungen zu treffen. Ohne die entsprechende Infrastruktur wäre das nicht trivial.

Technische Informationen: Es klingt wunderbar, ich hoffe nur, dass es eines Tages umgesetzt werden kann.

Dr. Lary: Ich auch, ich auch. Wir sind weit gekommen. Ich denke, wir machen den ersten Schritt.

Der andere Teil ist außerhalb des Physischen, worauf ich nicht gekommen bin, ist, dass Sie Dinge wie Schulabsentismus haben können, was dann zu schlechten Lernergebnissen führt. Aber es stellt sich oft heraus, dass die Fehlzeiten auf Dinge wie Asthma zurückzuführen sein können. Das Asthma ist auf eine hohe Pollen- oder Luftverschmutzung zurückzuführen, und es ist eigentlich eine Kaskade von Effekten – das Soziale interagiert mit der Umwelt. Wir wollen nicht, dass dies nur eine Einbahnstraße bleibt. Wir möchten, dass die Auslöser für die Beobachtungen sowohl das sind, was wir direkt von der Erfassung sehen, als auch von gesellschaftlichen Problemen wie Häufungen von Gesundheitsfolgen oder Algenblüten, die Fischereien auslöschen können, oder einer Ölpest – es ist eine wechselseitige Interaktion.

Eine Datenplattform zu haben, die all diese Schichten von Umweltparametern mit den gesellschaftlichen Schichten wie Sterblichkeitstrends, Fehlzeiten, Krebsinzidenz usw. zusammenbringen kann, kann dazu beitragen, den Entscheidungsprozess, um Einzelpersonen zu helfen, so viel transparenter und effektiver zu gestalten.

Technische Informationen: An was arbeitest du jetzt? Was ist Ihr nächster Schritt?

Dr. Lary: Der allernächste Schritt für dieses spezielle Roboterteam mit den Booten und dem Luftfahrzeug wäre die Verbesserung verschiedener Aspekte dieses autonomen Teams. Und dann wollen wir es erweitern, um mehr Teammitglieder zu haben. Zum Beispiel ein amphibisches Bodenfahrzeug zu haben, das vielleicht sowohl das Boot als auch das Luftfahrzeug in eine kontaminierte Umgebung transportieren und dann einsetzen kann, während es auch selbst Messungen durchführt. Außerdem sollen die Roboter Teil der Behebung sein.

Es sind die verschiedenen Komponenten, die zusammenarbeiten. Die gleiche Art von Team kann auch für die Instandhaltung der Infrastruktur eingesetzt werden, seien es Straßen, Schienen oder Brücken, und auch für andere Aspekte der Umweltqualität – Luftqualität, Wasserqualität. Dieser Proof of Concept war also wirklich nur ein Prototyp, um zu zeigen:„Hey, das kann wirklich gemacht werden, und jetzt würden wir es gerne in so vielen verschiedenen Anwendungen skalieren.“

Dies können auch Prototypen für Satellitenmissionen sein. Sie können sich eine Pipeline vorstellen, bei der Sie einen Machbarkeitsnachweis für ein Luftfahrzeug haben. Dann könnte es auf andere Plattformen wie zum Beispiel CubeSat übergehen. Dies kann auch Teil des Validierungsprozesses sein, das Sammeln von Daten für Satellitenmissionen sowie das Sammeln von Daten für einen der verschiedenen Zwecke, die ich erwähnt habe.

Eine bearbeitete Version dieses Interviews erschien in der Juni-Ausgabe 2021 der Tech Briefs.