Fortgeschrittener Handgelenk-montierter Hautsensor übersetzt Fingerbewegungen in Echtzeit-3D-Virtuelle Hand

Ein leistungsstarker, einzeln belasteter elektronischer Hautsensor wurde entwickelt, der menschliche Bewegung aus der Ferne erfassen kann. Der Dehnungssensor, am Handgelenk platziert, dekodiert komplexe Fünf-Finger-Bewegungen in Echtzeit mit einer virtuellen 3D-Hand, die die ursprünglichen Bewegungen spiegelt. Das tiefe neuronale Netzwerk, verstärkt durch Rapid Situation Learning (RSL), gewährleistet stabilen Betrieb unabhängig von seiner Position auf der Hautoberfläche.

Konventionelle Ansätze erfordern mehrere Sensornetzwerke, die die gesamten gekrümmten Oberflächen des Zielbereichs abdecken. Im Gegensatz zur herkömmlichen Wafer-basierten Fertigung bietet diese Laserfertigung ein neues Sensordesign-Paradigma für Bewegungstracking. Das Messsystem extrahiert Signale, die mehreren Fingerbewegungen entsprechen, indem es Risse in Metallnanopartikel-Filmen mittels Lasertechnologie erzeugt. Der Sensor-Patch wurde dann am Handgelenk eines Benutzers befestigt, um die Fingerbewegungen zu detektieren.

Das Konzept dieser Forschung startete von der Idee, dass die Fokussierung auf einen einzelnen Bereich effizienter für die Identifizierung von Bewegungen wäre als das Anbringen von Sensoren an jedem Gelenk und Muskel. Um diese Zielstrategie funktionieren zu lassen, muss sie die Signale aus verschiedenen Bereichen an dem Punkt, an dem sie alle zusammenlaufen, präzise erfassen und dann die in den konvergierten Signalen verwickelten Informationen entkoppeln. Um die Benutzbarkeit und Mobilität der Nutzer zu maximieren, verwendete das Forschungsteam einen Einkanal-Sensor, um die Signale zu erzeugen, die komplexen Handbewegungen entsprechen.

Das RSL-System sammelt Daten von willkürlichen Teilen am Handgelenk und trainiert das Modell automatisch in einer Echtzeit-Demonstration mit einer virtuellen 3D-Hand, die die ursprünglichen Bewegungen spiegelt. Um die Empfindlichkeit des Sensors zu erhöhen, nutzten Forscher laserinduzierte Nanoskalen-Risse.

Dieses Sensorsystem kann die Bewegung des gesamten Körpers mit einem kleinen Sensornetzwerk verfolgen und die indirekte Fernmessung menschlicher Bewegungen erleichtern, was für tragbare VR/AR-Systeme anwendbar ist. Das Forschungsteam analysierte die Sensorsignalmuster in einen latenten Raum, der das zeitliche Sensorverhalten einkapselt, und mappten dann die latenten Vektoren auf Fingerbewegungs-Metrikräume.

Das System ist auf andere Körperteile erweiterbar; beispielsweise ist es in der Lage, Gangbewegungen aus dem Becken zu extrahieren. Diese Technologie wird voraussichtlich Anwendungen in Gesundheitsmonitoring, Bewegungstracking und Soft Robotics finden.