Erzielen einer genauen Bewegungsverfolgung in tragbaren Verbrauchern

Unser Leben wurde durch tragbare, vernetzte Geräte verändert – am offensichtlichsten das Smartphone, aber auch eine Vielzahl anderer, wie Smartwatches, Fitnesstracker und Hearables. Diese Geräte kombinieren Datenerfassung mit Rechenleistung und drahtloser Konnektivität.

Aber neben all ihren anderen Funktionen übersieht man leicht die Bedeutung von Bewegungssensoren, um unsere Geräte funktionaler und intuitiver zu machen. Egal, ob es darum geht, die Bildschirmausrichtung auf unseren Telefonen zu ändern, Schritte auf einer Smartwatch zu zählen, die Bewegungen unseres Kopfes mit unserer XR-Brille abzugleichen oder auf Ohrhörer zu tippen, um den Song zu ändern, Bewegungserkennung ist ein wichtiger Bestandteil der Benutzererfahrung und Benutzeroberfläche.

Für Embedded-Ingenieure kann die Auswahl und Integration von Bewegungssensoren schwierig sein. Wie können Sie sicherstellen, dass Sie die richtige Technologie auswählen, um die erforderliche Genauigkeit zu erreichen, ohne die Kosten oder den Stromverbrauch unnötig zu erhöhen? Und wie sollten Sie sicherstellen, dass Sie die Sensoren optimal nutzen und keine Leistung oder Funktionen verpassen, die Ihr Endprodukt verbessern könnten?

Grundlagen von Bewegungssensoren

Zuerst eine kurze Zusammenfassung dessen, was wir unter Bewegungssensoren verstehen. Es gibt drei häufig verwendete Arten:Beschleunigungsmesser, Gyroskop und Magnetometer.

Der Beschleunigungsmesser misst die Beschleunigung, die eine Erdbeschleunigung umfassen kann. Dies bedeutet, dass er die Richtung der Schwerkraft relativ zum Sensor erkennen kann – im Wesentlichen, welche Richtung oben ist. Das Gyroskop misst die Änderung der Winkelposition, indem es die Winkelgeschwindigkeit misst.

Mit drei Freiheitsgraden oder Achsen für jeden Beschleunigungsmesser und Gyroskop ergibt die Kombination beider einen 6-Achsen-Bewegungssensor oder eine Trägheitsmesseinheit (IMU) (siehe Abbildung 1). Für viele Anwendungen müssen wir ein Magnetometer hinzufügen, das die Stärke und Richtung des Erdmagnetfelds misst, damit wir unseren Kurs abschätzen können. Durch Hinzufügen eines 3-Achsen-Magnetometers über dem Beschleunigungsmesser und dem Gyroskop entsteht eine 9-Achsen-IMU.

In diesem Beitrag werden wir IMUs diskutieren. Obwohl es bestimmte Eigenschaften gibt, die wir besprechen, die allein auf einen Beschleunigungsmesser, Gyroskop oder Magnetometer angewendet werden können, möchten wir die Herausforderungen der Kombination von mindestens zwei dieser Sensoren beleuchten.

Abbildung 1:Bewegungserkennung mit einer IMU (Quelle:CEVA)

Aufrechterhaltung der Genauigkeit

Jetzt haben wir uns an die Theorie erinnert, wie funktioniert sie in der Praxis? Wie können wir die erforderliche Genauigkeit erreichen?

Für eine IMU ist die Genauigkeit, die bei der Bestimmung des Kurses unseres Geräts erreicht wird, eine grundlegende Metrik, mit der wir beginnen können. Unsere Anforderungen können innerhalb von ein oder zwei Grad liegen, während eine geringere Genauigkeit für eine andere Anwendung akzeptabel sein könnte. Zum Beispiel werden die Genauigkeitsanforderungen eines XR-Headsets viel strenger sein als die eines Roboterspielzeugs für Kinder. Wir sollten dann die Stabilität dieser Daten berücksichtigen und ob sie sich im Laufe der Zeit und mit der Temperatur ändern.

Um die Ausgabe mit höchster Genauigkeit von unserer IMU zu erhalten, ist die Verwendung von Sensorfusion erforderlich, bei der Daten von mehreren Sensoren kombiniert werden, um eine Summe zu bilden, die größer ist als ihre Teile. Jeder Sensor unserer IMU hat unterschiedliche Stärken und Schwächen, die verschmelzen zusammen für diese Lösung.

Eine Möglichkeit, über die Sensorfusion nachzudenken, besteht darin, sie auf „Vertrauen“ aufzubauen. In diesem Fall können wir „Vertrauen“ verwenden, um zu bedeuten, dass die Daten eines bestimmten Sensors ein angemessenes Maß an Vertrauen in Bezug auf ihre Genauigkeit und Relevanz haben. Angenommen, Sie sind der Präsident eines Landes und müssen die Richtlinien festlegen. Sie haben einen Wirtschafts-, Gesundheits- und Militärberater. Jeder gibt dir Input, aber sie alle kennen unterschiedliche Bereiche. Sie haben Vermutungen, wie sich ihre Meinungen auf ihre Kollegen auswirken würden, aber leider sind sie nur Vermutungen. Es liegt an Ihnen, ihre Informationen zu verarbeiten und in die beste Entscheidung zu integrieren.

Ebenso haben Sie zwei oder drei „Berater“, die Sie für Orientierungsdaten von Ihrer IMU anrufen können:den Beschleunigungsmesser, das Gyroskop und manchmal den Magnetometer. Das Gyroskop ist am einfachsten zu erklären. Bei relativen Orientierungsänderungen über kurze Zeiträume von wenigen Sekunden kann man sich auf Gyroskope der Verbraucherklasse verlassen, aber die Ausgabe wird über längere Zeitintervalle, mehr als zehn Sekunden, driften. Der Beschleunigungsmesser ist hilfreich, um die Schwerkraft langfristig zu messen, kann jedoch durch bestimmte Szenarien, wie beispielsweise eine konstante Beschleunigung in einem Auto, verwirrt werden. Wir können dem Magnetometer in stabilen magnetischen Umgebungen vertrauen, wie auf dem Land oder im Wald, aber weniger, wenn es magnetische Interferenzen gibt, zum Beispiel in einem mit Stahlsäulen gebauten Büro.

Kurz gesagt, das Gyroskop ist für kurzfristige Messungen und Beschleunigungsmesser und Magnetometer für längerfristige Messungen genau. Bei sorgfältigem Verständnis ihrer Einschränkungen können ihre Daten zusammengeführt werden, um ein genaueres Bild der Ausrichtung eines Geräts zu erhalten.

Wenn wir mehrere Sensorausgänge haben, z. B. eine 9-Achsen-IMU, bietet uns die Sensorfusion die Möglichkeit, Daten zu kombinieren und zu vergleichen, um die Genauigkeit zu verbessern. Wenn unsere Sensorfusionssoftware beispielsweise einen Algorithmus enthält, um unerwartete oder plötzliche Änderungen der Magnetometerausgabe aufgrund magnetischer Interferenzen zu erkennen, kann sie den Beschleunigungsmesser- und Gyroskopdaten automatisch mehr Vertrauen schenken, bis der Magnetometer wieder stabil ist.

Auch die Abtastrate ist wichtig für die Genauigkeit – liefert der von Ihnen gewählte Sensor oft genug Daten, um Ihre Anforderungen zu erfüllen? Dies ist natürlich anwendungsabhängig:Beispielsweise können einige Messwerte pro Sekunde für einen einfachen Schrittzähler ausreichend sein, aber für die meisten Anwendungen werden 100 Hz bis 400 Hz empfohlen. Für präzises Head-Tracking in XR-Anwendungen können jedoch Abtastraten von 1 kHz oder höher erforderlich sein (XR ist ein Sammelbegriff für Virtual, Mixed und Augmented Reality). Eine schnelle Abtastrate ist auch wichtig, um eine niedrige Latenz zu erreichen, die in unserem Head-Tracking-Beispiel den Unterschied zwischen einem immersiven VR-Erlebnis und einem Gefühl der Reisekrankheit ausmacht!

Wir müssen auch die Kalibrierung berücksichtigen. Viele Sensoren werden „wie besehen“ mit wenig mehr als dem, was auf dem Datenblatt steht, geliefert, damit Sie es berücksichtigen können. Jede Art von Kalibrierung, die durchgeführt werden kann, trägt dazu bei, die konsistente Leistung zwischen verschiedenen einzelnen Sensoren zu maximieren. Die Werkskalibrierung kann eine gute Möglichkeit sein, die individuelle Leistung zu verbessern, ist jedoch relativ teuer. Die dynamische Kalibrierung im Feld ist eine weitere Option, die ein detailliertes Verständnis der Sensoren selbst oder zumindest Ihrer Anwendung erfordert. Sensoren erfahren Verzerrungen, die sich, wenn sie nicht berücksichtigt werden, negativ auf die Gesamtausgabe bis zu einem Punkt auswirken können, der bestehende Fehler verschlimmert.

Schließlich müssen wir darüber nachdenken, wie wir die Sensordaten, die wir erhalten und zusammengeführt haben, überprüfen können. Dies hängt zwar davon ab, was wir verfolgen, aber das Grundprinzip besteht darin, eine andere, unabhängige Informationsquelle zu verwenden, um uns eine Wahrheit zu liefern, mit der wir unsere Ausgabe überprüfen können. Ein Roboterarm könnte zum Beispiel immer wieder sehr genau an einen bekannten Punkt bewegt werden und wir können dann schauen, ob uns unsere Sensoren die gleichen Positionsdaten liefern. Wenn wir einen Fehler entdecken, kann dieser möglicherweise durch eine Berechnung ausgeglichen werden oder er muss als Fehler gekennzeichnet werden, der weiterer Aufmerksamkeit bedarf.

Neue Funktionen aktivieren

Sobald wir in der Lage sind, Bewegungen mit hoher Genauigkeit zu messen, hilft dies nicht nur bei bestehenden Anwendungen – es kann die Möglichkeit für neue Fähigkeiten in tragbaren Geräten eröffnen. Bei Hearables (Abbildung 2) beispielsweise sind herkömmliche Benutzeroberflächen problematisch:Nutzer wollen nicht gezwungen werden, ihr Telefon zur Steuerung herauszuziehen, und die Hearables selbst sind zu klein, um praktische Tasten zu haben. Stattdessen können durch Tippen auf die Hörbaren ein Lied übersprungen werden, und das Erkennen der Bewegung beim Herausnehmen aus den Ohren könnte verwendet werden, um den gesamten Ton stummzuschalten – da dies wahrscheinlich ist, wenn Sie möchten, dass der Ton sowieso stoppt. Die Verwendung von Bewegung und „Klassifikatoren“, die Algorithmen zur Identifizierung verschiedener Bewegungen sind, führt zu einer bequemeren und intuitiveren Benutzererfahrung.

Abbildung 2:Hörbares (Quelle:CEVA)

Genaue Informationen von Bewegungssensoren können auch bedeuten, dass Ihr tragbares Gerät eine bessere Vorstellung davon hat, was um Sie herum passiert oder an welchen Aktivitäten Sie beteiligt sind. Dies wird als Kontextbewusstsein bezeichnet und kann verwendet werden, um ein umfassenderes Erlebnis zu bieten, wie z Reduzieren Sie die Lautstärke Ihrer Musik, wenn ein Hörgerät erkennt, dass Sie zu einer Fußgängerüberquerung gegangen sind, damit Sie die Sirene eines nahegelegenen Krankenwagens hören können.

Bei Fitness-Tracking-Anwendungen kann eine erhöhte Präzision zwischen verschiedenen Benutzeraktivitäten unterscheiden. Wenn Ihr Schrittzähler beispielsweise die Größe, Geschwindigkeit oder andere Merkmale Ihrer Bewegungen messen kann, kann er herausfinden, ob Sie nur normal gehen oder vielleicht Treppen steigen oder hinuntergehen. In Kombination mit anderen Sensordaten wie Luftdruck und GPS-abgeleiteter Position kann die Software ein detailliertes Bild Ihrer Bewegungen erstellen und die verbrannten Kalorien schätzen.

Zusammenfassung:Sensorfusion und Software

Wie wir bereits besprochen haben, reicht es nicht aus, einfach einen Rohdaten-Feed zu erstellen, um die Genauigkeit und den Nutzen von Bewegungsdaten zu maximieren. Geräte müssen die Daten verarbeiten, systematische Ungenauigkeiten kompensieren und Informationen von mehreren Sensoren kombinieren.

Hier gibt es viel zu meistern. Sensorfusion ist kompliziert und erfordert ein gewisses Know-how, um die besten Ergebnisse in einem kleinen Paket zu erzielen. Es gibt jedoch verschiedene Produkte, die die erforderliche Sensorik und Verarbeitung integrieren – zum Beispiel das BNO080/085, das in einer Partnerschaft zwischen Bosch und CEVA Hillcrest Labs entwickelt wurde, enthält einen Hochleistungs-Beschleunigungsmesser, Magnetometer und Gyroskop sowie einen niedrigen - Macht 32-Bit ARM Cortex M0+ MCU.

Die MotionEngine™-Sensor-Hub-Software von Hillcrest Labs, die auf dem BNO085 vorprogrammiert ist, bietet 6- und 9-Achsen-Bewegungsverfolgung sowie intelligente Funktionen wie die Klassifizierung von Benutzeraktivitäten wie Gehen, Laufen und Stehen (Abbildung 3). Der MotionEngine-Sensor-Hub ist mit den führenden eingebetteten Verarbeitungsarchitekturen und Betriebssystemen kompatibel, wobei spezielle Versionen für Hörgeräte, Smart-TV, Robotik, mobile Computer, Fernbedienungen, mobile Anwendungen mit geringem Stromverbrauch und mehr verfügbar sind.

Klicken für Bild in voller Größe

Abbildung 3:Umfassende Sensorfusion und Algorithmen (Quelle:CEVA)

Das Zusammentragen all dieser Daten in Echtzeit kann eine Herausforderung darstellen und erfordert eine nicht unerhebliche Menge an Verarbeitungsleistung. Es ist möglicherweise am besten, integrierte Sensoren zu wählen, die einige dieser Algorithmen auf einem MCU-Kern im Sensorgerät selbst ausführen, anstatt einen Hauptanwendungsprozessor für diese Aufgaben zu benötigen. Insbesondere bei „always on“-Aufgaben wie der Schrittzählung kann der Hauptprozessor, wenn er nicht bei jeder erkannten Bewegung aufgeweckt wird, im Schlafmodus bleiben – wodurch der Gesamtstromverbrauch reduziert und die Akkulaufzeit verlängert wird. Um auf unsere vorherige Analogie zurückzukommen:Ein SiP, das sich auf die Sensorfusion konzentriert, ist so, als ob ein Vizepräsident bestimmte Entscheidungen trifft, damit sich der Präsident, der Hauptprozessor, auf unmittelbarere Aufgaben konzentrieren kann.

Schlussfolgerungen

Bewegungssensoren spielen in vielen Anwendungen eine wichtige Rolle, aber es ist nicht immer klar, wie Sie das richtige Gerät auswählen und wie Sie die für Ihre Anwendung erforderliche Genauigkeit erreichen – oder sogar wie genau Sie sein müssen. Unterschiedliche Anwendungsfälle erfordern unterschiedliche Genauigkeitsstufen und stellen unterschiedliche Anforderungen an die Art der benötigten Daten.

Integrierte Sensoren und Sensorfusion können dieses Problem oft lösen. Durch die Zusammenarbeit mit einem geeigneten Anbieter können Sie sicherstellen, dass Sie beim Erhalt genauer, zuverlässiger Daten sowie Mehrwertfunktionen für bestimmte Anwendungen keine Kompromisse eingehen – und gleichzeitig Kosten und Stromverbrauch auf ein Minimum reduzieren.