Wie ein Roboterschwarm Umgebungen kartiert: Q&A mit Dr. David Lary

Dr. David Lary von der University of Texas at Dallas leitet eine Forschungsgruppe, die ein Team autonomer Robotergeräte entwickelt hat, die an gefährlichen oder schwer zugänglichen Standorten für Vermessungen und Datenerfassung eingesetzt werden können – und schnellere, umfassendere Einblicke liefern als Menschen es könnten.

Inspiration für multiple autonome Geräte

Tech Briefs: Was hat Sie inspiriert, multiple autonome Geräte zur Erfassung ganzheitlicher Umweltdatensätze einzusetzen?

Dr. David Lary: Nun, es gibt zwei Teile dieser Reise. Der erste ist die Leidenschaft, die mich antreibt. Ich wünsche mir zutiefst ganzheitliches, umfassendes Sensing, um Menschen aus Gefahrenbereichen fernzuhalten, damit es die geeigneten umsetzbaren Erkenntnisse für zeitnahe Entscheidungen geben kann. Das ist meine Motivation, aber die eigentliche Reise zu diesem Punkt begann vor einigen Jahren – nun, fast 30 Jahre her.

Als ich meine Promotion in Cambridge machte, war die Person, die ganz in der Nähe war und das Ozonloch entdeckte, ein Typ namens Joe Farman. Für meine Promotion entwickelte ich das erste 3-dimensionale globale Modell für Ozonabbau. Es war ein chemisches Modul, ein Plug-in für das globale Modell, das vom Europäischen Zentrum für mittelfristige Wettervorhersage verwendet wurde. Mit meinem Plug-in konnte ich globale Simulationen für ozonspezifische Chemie durchführen. Die offensichtliche Frage, die ich stellen wollte, war: Wie gut ist dieses Modell? Um es zu verifizieren, musste ich so viele Datenquellen wie möglich zusammenbringen: Satelliten, Flugzeuge, bodenbasierte Sensoren und Ballons. Eines der

tückischen Probleme, mit denen ich konfrontiert war, war der Inter-Instrument-Bias. Ich suchte nach einem Weg, um damit umzugehen. Obwohl dies 30 Jahre her ist, stieß ich zufällig auf maschinelles Lernen. Das war vor seiner heutigen breiten Akzeptanz, und ich fand, es machte einen wirklich guten Job. Das brachte mich dazu, zu schauen, was wir sonst noch damit machen könnten. Auf dem Weg waren wir die ersten, die chemische Datenassimilation entwickelten, die heute von Agenturen weltweit als Teil ihrer Luftqualitätsvorhersagesysteme genutzt wird.

Eines der Dinge, die wir in der Datenassimilation tun, ist, viel Aufmerksamkeit auf Unsicherheiten zu richten. Ein Teil meiner Arbeit bei der NASA war die Erstellung globaler Fernerkundungs-Datenprodukte. Das funktioniert so: Man nutzt Fernerkundungsinformationen, um ein Datenprodukt zu erstellen, sagen wir über die Zusammensetzung der Atmosphäre, der Landoberfläche oder der Unterwasserzusammensetzung, sagen wir für globale Ozeane. Man erhält die Fernerkundungsdaten vom Satelliten und vergleicht sie mit der In-situ-Bodenwahrheit. Typischerweise kann das Sammeln der Trainingsdaten dafür bis zu einem Jahrzehnt dauern. Es ist eine ziemliche Aufgabe, weil man so viele verschiedene Bedingungen und Kontexte wie möglich global abdecken will.

Unser autonomes Roboterteam sammelte in etwa 15 Minuten das gleiche Datenvolumen, das typischerweise für die Erstellung dieser satellitenbasierten Fernerkundungs-Datenprodukte verwendet wird, wenn auch für einen Standort. Es konnte also in eine neue Umgebung gehen, eine, die es noch nie gesehen hat, und schnell präzise koordinierte Beobachtungen machen. In diesem Fall bestand das Team aus einem Boot und einem Luftfahrzeug. Wir wählten das Boot, weil das etwas herausfordernder ist als bodenbasierte Messungen aufgrund von Zugangsproblemen.

Dieser Paradigmatyp ist nicht nur nützlich, um neue Produkte schnell zu erstellen, sondern auch für die Kalibrierung und Validierung von Satellitenbeobachtungen, und er hilft auch, Menschen aus Gefahrenbereichen fernzuhalten. Wenn Sie eine stark kontaminierte Umgebung haben oder eine Umgebung, in der Bedrohungen für Menschen bestehen, die sie betreten, kann das Roboterteam dorthin gehen und koordiniert die entsprechenden Daten sammeln.

Die Studie in unserem Paper nutzte ein Luftfahrzeug mit einem hyperspektralen Imager, der riesige Datenmengen sehr schnell sammelt. Selbst unsere schnellsten Datenleitungen derzeit, vielleicht 5G-Mobilfunk, sind nicht schnell genug, um die erforderliche Bandbreite für das Streaming hyperspektraler Bilder zu bewältigen. Wir lösen dieses Problem mit On-Board-Verarbeitung, die es uns ermöglicht, diese Datenprodukte on-the-fly zu erstellen, indem wir On-Board-Maschinelles Lernen nutzen, und sie dann zu streamen. Die endgültigen Datenprodukte, sagen wir die Häufigkeit eines Kontaminanten, sind eine viel kleinere Datenmenge, die wir problemlos in Echtzeit streamen können.

Es ist wirklich die Fähigkeit, schnell umfassende Daten zu sammeln, die verwendet werden können, um Menschen aus Gefahrenbereichen fernzuhalten, Ökosysteme zu charakterisieren, Teil einer Notfallreaktion zu sein, sagen wir nach einem Hurrikan, der eine Nachbarschaft in der Nähe einer Chemiefabrik überflutet hat, oder eine Vielzahl solcher Anwendungen: schädliche Algenblüten, Ölunfälle oder verschiedene landwirtschaftliche Anwendungen.

Es ist als flexibler Komponentensatz konzipiert. Genau wie wir jetzt gewohnt sind, einen App-Store auf unserem Handy zu haben, oder Tesla-Autos Over-the-Air-Updates haben – dies sind softwaredefinierte Sensoren mit ihrem eigenen App-Store, der aktualisiert werden kann, um ihre Fähigkeiten im Laufe der Zeit zu verbessern.

Datenverarbeitung und -übertragung

Tech Briefs: Sie haben fliegende Sensoren und Bodensensoren und senden die Informationen zurück an wen? Wie wird das alles verarbeitet? Wo wird es verarbeitet?

Dr. Lary: Denken Sie an dies als Ensemble intelligenter Sensoren. Es gibt eine Reihe von Dingen: Zuerst gibt es einen softwaredefinierten Sensor. Der softwaredefinierte Sensor wäre ein intelligentes Sensorpaket, das das physische Sensorsystem kombiniert, sagen wir eine Kamera, eine hyperspektrale Kamera, Wärmebildkamera oder ein Massenspektrometer. Es könnte jedes Sensorggerät sein, mit etwas Software/Maschinellem Lernen drumherum, das dann die Möglichkeit bietet, kalibrierte und/oder abgeleitete Datenprodukte bereitzustellen. Die meisten Sensoren benötigen eine gewisse Kalibrierung.

Durch Kopplung des Sensors mit einem Software/Maschinelles-Lernen-Wrapper können wir eine komplizierte Kalibrierung durchführen, die es uns ermöglicht, ein viel flexibleres System zu haben. So kann dieser softwaredefinierte Sensor auch seinen eigenen App-Store haben. Einer oder mehrere dieser softwaredefinierten Sensoren können auf einer Plattform sein, die dem Sensor Strom und Zeit- und Ortsstempel für alle Daten liefert, die er produziert, sowie Kommunikationskonnektivität und, wo relevant, Mobilität.

Tech Briefs: Also ist das eine physische Plattform?

Dr. Lary: Ja – in diesem Beispiel hatten wir zwei Plattformen. Wir hatten das robotische Luftfahrzeug mit der hyperspektralen Kamera und der Wärmebildkamera und ein paar anderen Sensoren an Bord. Und dann war die zweite Plattform das robotische Boot, das eine ganze Suite von Sensoren im Wasser darunter hatte, einschließlich Sonar und verschiedener Zusammensetzungssensoren, und oben drauf eine ultraschallbasierte Wetterstation.

Der softwaredefinierte Sensor plus die Plattform bildet einen Sentinel (Wächter). Dieser Sentinel ist etwas, das sich typischerweise bewegen kann, Messungen machen, Daten verarbeiten und/oder streamen kann.

Mehrere Sentinels, die zusammenarbeiten, können ein Roboterteam bilden, das kooperieren kann, um mehr Fähigkeiten zu bieten als jedes einzelne allein. In diesem Fall kooperiert der Luftroboter mit seinen Sensoren mit dem Wasserroboter – dem robotischen Boot und seinen Sensoren. Da sie im selben Netzwerk sind, gleiten die Luftroboter by design über denselben Pfad wie das Boot. Das Boot misst, was im Wasser ist, während der Luftroboter von oben mit seiner hyperspektralen Fernkamera auf das Wasser schaut und, maschinelles Lernen nutzend, die Abbildung von dem lernt, was unsere hyperspektrale Kamera sieht, zur Zusammensetzung des Wassers. Einmal gelernt, kann es nun schnell über ein viel größeres Gebiet fliegen und uns z. B. eine großflächige Zusammensetzungskarte der Ölkonzentration, Chlorophyll-Häufigkeit, gelöstem organischem Kohlenstoff oder welchem Wasserbestandteil wir auch immer interessiert sind, liefern.

Wir können das tun, ohne diese Umgebung je zuvor gesehen zu haben – das Roboterteam kooperiert, um diese Trainingsdaten zu sammeln. Die Trainingsdaten werden vom maschinellen Lernen genutzt, um neue Datenprodukte wie die großflächige Zusammensetzungskarte zu erstellen. Einmal trainiert, kann die hyperspektrale Erfassung nur noch aus den Luftmessungen erfolgen, sie kann an Bord des Luftfahrzeugs verarbeitet und die Ergebnisse in Echtzeit gestreamt werden. Normalerweise ist das ein so riesiges Datenvolumen, dass das Number-Crunching erhebliche Zeit in Anspruch nimmt. Da man es nicht in Echtzeit streamen kann, weil es so groß ist, gibt die Fähigkeit, es an Bord zu edge-prozessieren und dann zu streamen, nicht nur eine neue Fähigkeit, sondern reduziert auch die Latenz, die Verzögerung, um eine solche Aufgabe überhaupt ausführen zu können.

Tech Briefs: Das ist wie das, worüber sie bei Sensoren für Edge Processing sprechen, um die Datenmenge zu reduzieren, die man senden muss.

Dr. Lary: Genau.

Tech Briefs: Würden Sie die Arbeit, die Sie gerade gemacht haben, als Prototyping betrachten?

Dr. Lary: Ja, wir müssen irgendwo anfangen, also ist dies unser erster Schritt.

Tech Briefs: Wie würden Sie es praktisch eingesetzt sehen – sagen wir, es gibt eine Katastrophe und die Behörden wollen Ihr System nutzen, was würden sie tun?

Dr. Lary: Dieser Prototyp ist nur eine Instanz einer viel umfassenderen Vision, es ist die Minimalimplementierung dessen, was ein Multi-Roboter-Team sein könnte. Hier hatten wir nur zwei Roboter, den Luftroboter und das robotische Boot. Wir wählten diese beiden, weil das Erfassen von Wasser Zugangsherausforderungen hat. Aber dieses Team könnte leicht viele weitere Mitglieder haben, sagen wir einen bodenlaufenden Roboter oder ein amphibisches Fahrzeug, das das gesamte Roboterteam in eine potenziell gefährliche Umgebung transportieren und dort ferngesteuert einsetzen könnte.

Es könnte auf einen Ölunfall wie Deepwater Horizon reagieren, wo wir die Bilder der Auswirkungen auf die Tierwelt, der betroffenen Fischereien usw. sahen – und Ölunfälle passieren ständig. Oder es könnte chemische Unfälle geben. Zum Beispiel, als Hurrikan Harvey Houston traf, mit seiner großen Anzahl an Verarbeitungsanlagen, gab es eine starke Überflutung dieser Anlagen und einige nahegelegene Viertel waren an drei Seiten von kontaminiertem Wasser umgeben. Flüchtige organische Verbindungen im Wasser gelangten aus, was schwere Atemwegsprobleme verursachte – die Leute wussten nicht, was sie einatmeten, aber sie wussten, dass es sie beeinträchtigte. Arbeiter, die zur Beseitigung hineingingen, wurden auch vom kontaminierten Wasser beeinträchtigt.

Mit unserem Sensorsystem wüssten Sie genau, womit Sie es zu tun haben, sodass Sie Ihre Reaktion entsprechend anpassen könnten. Aber es könnte genauso gut auf andere Fälle wie schädliche Algenblüten zutreffen. Oder sogar wenn keine Katastrophe vorliegt, kann diese Art von Fähigkeit genutzt werden, um Ökosysteme zu charakterisieren und Infrastrukturvermessungen durchzuführen. Sagen wir, Straßen, Schienen und Brücken, wo die autonomen Roboter mit ihrem Sensing schnell detaillierte Messungen durchführen können.

Stellen Sie sich jetzt ein anderes Szenario vor. Sagen Sie, Sie haben die Luftroboter ähnlich wie in diesem Beispiel. Mit hyperspektraler, thermischer und synthetischer Aperturradar, die die Textur einer Oberfläche betrachten, könnte es mit einem Bodenroboter gekoppelt werden, der ein bodenpenetrierendes Radar hat, das nach Hohlräumen oder anderen Fehlern sucht. Ob es ein Tunnel oder eine Straße ist, Hohlräume bilden sich durch Nutzung und Verwitterung. Es gibt auch viele verschiedene Szenarien für die Landwirtschaft. Es ist als umfassendes Sensing konzipiert, das wie Lego-Steine zusammen verwendet werden kann, wie Plug-and-Play. Sie könnten sie schnell für eine ganze Vielzahl von realen Anwendungsfällen einsetzen, wo Echtzeit-datengestützte Entscheidungen zu mehr Transparenz führen und Menschen aus Gefahrenbereichen fernhalten.

Tech Briefs: Wenn jemand dieses System nutzen möchte, bräuchte er dann maßgeschneiderte Roboter und Drohnen, oder hätten Sie ein Paket, das man auf einem bestehenden Gerät montieren könnte? Wie stellen Sie sich vor, dass dies praktisch wird?

Dr. Lary: Ich habe viele Jahre damit gekämpft, Dinge zum Zusammenarbeiten zu bringen. Es ist eine Sache, die Ausrüstung zu kaufen, es ist eine andere, dass die Komponenten zusammenarbeiten. Alles, was wir kauften, war Off-the-Shelf, weil unser Aufwand in die, mangels eines besseren Wortes, die „Smarts“ ging, wie die Softwareintegration.

Angesagt, ein Schlüsselschritt für diese softwaredefinierten Sensoren, für die wir maschinelles Lernen nutzen, ist die Kalibrierung gegen eine Referenz oder das On-the-fly-Lernen. Wir nutzen dieselbe Art von Idee für Luftqualität und die Verteilung kostengünstiger Sensoren in Städten, die gegen wirklich teure Referenzsensoren kalibriert wurden. Wir können Sensoren auf Nachbarschaftsebene einsetzen, was zuvor aufgrund der Kosten prohibitiv gewesen wäre.

Indem wir in der Lage sind, die kostengünstigen Sensoren gegen eine Referenz zu kalibrieren, ganz ähnlich wie in diesem Roboterteam, wo wir die hyperspektralen Messungen der Fernerkundungsfähigkeit gegen die In-situ-Zusammensetzung, in diesem Fall des Wassers, kalibrierten, können Sie Dinge erreichen, die sonst sehr, sehr herausfordernd wären.

Es ist wirklich das Netzwerk von Sensoren, das Netzwerk autonomer Sentinels, die kooperativ mit maschinellem Lernen zusammenarbeiten, das es Ihnen ermöglicht, weit mehr zu tun als jede dieser Komponenten allein.

Tech Briefs: Sehen Sie vor, dass dies kommerzialisiert wird, von privaten Unternehmen gebaut oder dass die Regierung sich daran beteiligt? Was sehen Sie für die Zukunft?

Dr. Lary: Mein Traum für die Zukunft ist, einen Store zu haben, wo Einzelpersonen, Kommunen oder Unternehmen sofortigen Zugriff auf diese Art von Fähigkeiten haben, und nicht nur die Sensoren bekommen, sondern auch die Backend-Services. So dass, wenn Sie Plug-and-Play diese Dinge zusammenstecken, es einfach funktioniert, und Sie nicht durch eine lange Entwicklung gehen müssen. Die National Science Foundation kategorisiert dies als Cyber-Physical System. Cyber-physische Systeme sind im Grunde Sensorsysteme, gekoppelt mit Algorithmen, die Ihnen helfen, bessere, zeitnahe Entscheidungen zu treffen.

Also, mein Traum für all das, und woran mehrere von uns arbeiten – und wir begrüßen Partner aller Art – ist ein cyber-physisches soziales Observatorium. Es müsste eine nationale Einrichtung sein, genau wie ein astronomisches Observatorium mit einem Riesenteleskop, weil niemand sonst sich etwas in diesem Maßstab leisten kann.

Stellen Sie sich jetzt vor, Sie haben einen Satz Sensorkapazitäten mit mehreren Komponenten, die in unserem Projekt Luftroboter und ein robotisches Boot sind. Aber unser System hat tatsächlich neun Sentinel-Typen für verschiedene Situationen. Wir können Fernerkundung von Satelliten und Wetterradaren nutzen. Neben Luftfahrzeugen haben wir straßenniveau Sensoren, die 24/7 Luftqualität, Lichtintensität, ionisierende Strahlung usw. streamen. Wir haben Laufroboter, elektrische Bodenfahrzeuge und robotische Boote, aber auch tragbare Sensoren.

Wir wollen auch multiskaliges Sensing vom globalen großen Bild vom Satelliten aus ermöglichen. Sagen wir, wir kehren zum Hurrikan-Harvey-Beispiel zurück. Lange bevor Hurrikan Harvey Land erreichte, konnten wir ihn mit Satelliten sehen und dann, als er sich dem Land näherte, mit Wetterradar. Aber in der Minute, in der er Land erreicht, werden die Mikroumgebungsdetails kritisch. Die genaue Höhe bestimmter Bäche könnte einen wirklich großen Unterschied für die lokale Umwelt machen. Also wollen wir Informationen sowohl auf der globalen großen Skala als auch auf der hyper-lokalen Skala haben, weil Sie und ich auf dieser sehr lokalisierten Skala leben. Um gleichzeitig sowohl große als auch lokale Skala zu erfassen, brauchen wir wirklich multiple Sentinels.

Aber tragbares Sensing ist auch wirklich wichtig. Zum Beispiel in einigen der parallelen Arbeiten, die wir machen, sehen Sie Schlagzeilen, die sagen, schlechte Luftqualität macht Sie „dumm“. Aber wie dumm ist dumm? Welche Schadstoffe können uns dümmer machen als den Rest? In einer unserer Studien nutzen wir umfassendes biometrisches Sensing und messen über 16.000 Parameter pro Sekunde, zusammen mit umfassendem Umweltsensing von etwa 2.000 Umwelparametern, um zu sehen, wie der Umweltzustand unsere autonome Reaktion beeinflusst.

All das ist darauf ausgelegt, sowohl das ganzheitliche Sensing zu sein, um Menschen aus Gefahrenbereichen fernzuhalten, aber auch den unsichtbaren Elefanten im Raum zu finden, der unsere Gesundheit beeinflussen kann. Einmal realisiert, was das ist und quantifiziert, gibt es normalerweise einen offensichtlichen Pfad datengestützter Entscheidungen, um Dinge besser zu machen und dann die geeigneten nächsten Schritte zu unternehmen, um unseren Fortschritt zu überwachen.

Das ist wirklich mein Traum – ein Katalysator für dieses ganzheitliche Sensing zu sein, um Menschen aus Gefahrenbereichen fernzuhalten: Sensing im Dienste der Gesellschaft. Wir haben viele Prototypen, die wir versuchen, an den Punkt zu bringen, dass sie nutzbar sind. Also begrüßen wir immer Partnerschaften, um das zu beschleunigen – von Regierungen, von Einzelpersonen, lokalen Gemeinden, Community-Gruppen, Unternehmen. Wir arbeiten mit all diesen Arten von Entitäten zusammen.

Tech Briefs: Klingt so, als ob Sie eine völlig neue Art von Infrastruktur erfinden.

Dr. Lary: Wir versuchen es – es wird im Grunde durch Bedürfnisse getrieben. Ganzheitliche Informationen können einen so großen Unterschied machen, indem sie uns Informationen geben, um geeignete Entscheidungen zu treffen. Es wäre nicht trivial, das ohne die entsprechende Infrastruktur zu tun.

Tech Briefs: Es klingt wunderbar, ich hoffe nur, dass es irgendwann umgesetzt werden kann.

Dr. Lary: Ich auch, ich auch. Wir haben einen langen Weg zurückgelegt. Ich denke, wir machen den ersten Schritt.

Der andere Teil ist außerhalb des Physischen, worauf ich nicht eingegangen bin: Man kann Dinge wie Schulabwesenheit haben, die dann zu schlechten Lernergebnissen führen. Aber es stellt sich oft heraus, dass die Abwesenheit auf Dinge wie Asthma zurückzuführen ist. Das Asthma ist auf hohe Pollenwerte oder Luftverschmutzung zurückzuführen, und es ist eigentlich eine Kaskade von Effekten – das Soziale interagiert mit dem Umweltbezogenen. Wir wollen nicht, dass dies nur ein Einweg-Ding ist. Wir wollen, dass die Auslöser für Beobachtungen sowohl das sind, was wir direkt vom Sensing sehen, sondern auch von gesellschaftlichen Themen wie Clustern von Gesundheitsergebnissen oder Algenblüten, die Fischereien auslöschen können, oder einem Ölunfall – es ist eine Zwei-Wege-Interaktion.

Eine Datenplattform, die all diese Umweltparameter-Lagen mit den gesellschaftlichen Lagen wie Mortalitätstrends, Abwesenheit, Krebsinzidenz usw. zusammenbringen kann, kann den Entscheidungsprozess, um Individuen zu helfen, so viel transparenter und effektiver machen.

Tech Briefs: Woran arbeiten Sie jetzt? Was ist Ihr ganz nächster Schritt?

Dr. Lary: Der ganz nächste Schritt für dieses spezielle Roboterteam mit den Booten plus dem Luftfahrzeug wäre, verschiedene Aspekte dieses autonomen Teams zu verbessern. Und dann wollen wir es erweitern, um mehr Teammitglieder zu haben. Zum Beispiel, ein amphibisches Bodenfahrzeug zu haben, das vielleicht sowohl das Boot als auch das Luftfahrzeug in eine kontaminierte Umgebung transportieren und sie dort einsetzen kann, während es selbst auch Messungen macht. Auch die Roboter Teil der Sanierung zu machen.

Es sind die verschiedenen Komponenten, die zusammenarbeiten. Dieselbe Art von Team kann auch für die Wartung von Infrastruktur genutzt werden, ob Straßen, Schienen oder Brücken, und auch für andere Aspekte der Umweltqualität – Luftqualität, Wasserqualität. Also wirklich, dieser Proof-of-Concept war nur ein Prototyp, um zu zeigen: „Hey, wirklich, das kann gemacht werden und jetzt möchten wir es in so vielen verschiedenen Anwendungen skalieren.“

Auch können diese Prototypen für Satellitenmissionen sein. Sie können sich eine Pipeline vorstellen, wo Sie einen Proof-of-Concept auf einem Luftfahrzeug haben. Dann könnte es zu anderen Plattformen übergehen wie einem CubeSat, zum Beispiel. Dies kann auch Teil des Validierungsprozesses sein, Daten für Satellitenmissionen zu sammeln, sowie Daten für all die verschiedenen Zwecke zu sammeln, die ich erwähnt habe.

Eine bearbeitete Version dieses Interviews erschien in der Juni-2021-Ausgabe von Tech Briefs.