System verwendet Smartphone- oder Computerkameras zur Gesundheitsmessung

Telemedizin ist zu einem wichtigen Mittel für Ärzte geworden, um weiterhin Gesundheitsversorgung zu leisten und gleichzeitig den persönlichen Kontakt während COVID-19 zu minimieren. Aber bei Telefon- oder Online-Terminen ist es für Ärzte schwieriger, wichtige Vitaldaten eines Patienten, wie z. B. seinen Puls oder seine Atemfrequenz, in Echtzeit zu erhalten.

Eine Methode verwendet die Kamera auf dem Smartphone oder Computer einer Person, um ihr Puls- und Atmungssignal aus einem Echtzeitvideo ihres Gesichts zu entnehmen. Damit maschinelles Lernen bei der Gesundheitsfernerkundung hilfreich ist, muss das System den interessierenden Bereich in einem Video identifizieren, der die stärkste Quelle physiologischer Informationen enthält – wie z. B. den Puls – und diesen dann im Laufe der Zeit messen. Da jede Person anders ist, muss sich das System schnell an die einzigartige physiologische Signatur jeder Person anpassen und diese von anderen Variationen trennen, z. B. wie sie aussieht und in welcher Umgebung sie sich befindet.

Das System des Teams schützt die Privatsphäre – es läuft auf dem Gerät statt in der Cloud – und nutzt maschinelles Lernen, um subtile Änderungen in der Lichtreflexion vom Gesicht einer Person zu erfassen, die mit einem sich ändernden Blutfluss korrelieren. Dann wandelt es diese Änderungen in Puls und Atemfrequenz um.

Die erste Version dieses Systems wurde mit einem Datensatz trainiert, der sowohl Videos von Gesichtern von Menschen als auch „Ground Truth“-Informationen enthielt:Puls und Atemfrequenz jeder Person, gemessen mit Standardinstrumenten im Feld. Anschließend nutzte das System räumliche und zeitliche Informationen aus den Videos, um beide Vitalfunktionen zu berechnen. Es übertraf ähnliche maschinelle Lernsysteme bei Videos, in denen sich die Probanden bewegten und sprachen. Aber während das System bei einigen Datensätzen gut funktionierte, hatte es noch Probleme mit anderen, die unterschiedliche Personen, Hintergründe und Beleuchtungen enthielten – ein häufiges Problem, das als „Overfitting“ bekannt ist.

Die Forscher verbesserten das System, indem sie es ein personalisiertes maschinelles Lernmodell für jede Person erstellen ließen. Insbesondere hilft es bei der Suche nach wichtigen Bereichen in einem Videobild, die wahrscheinlich physiologische Merkmale enthalten, die mit der Veränderung des Blutflusses in einem Gesicht unter verschiedenen Kontexten wie unterschiedlichen Hauttönen, Lichtverhältnissen und Umgebungen korrelieren. Von dort aus kann es sich auf diesen Bereich konzentrieren und Puls und Atemfrequenz messen.

Während dieses neue System seinen Vorgänger bei anspruchsvolleren Datensätzen übertrifft, insbesondere für Menschen mit dunkleren Hauttönen, bleibt noch mehr zu tun. Es gibt immer noch einen Trend zu schlechterer Leistung, wenn der Hauttyp des Motivs dunkler ist, teilweise weil Licht von dunklerer Haut anders reflektiert wird, was zu einem schwächeren Signal führt, das die Kamera aufnehmen kann.

Jede Möglichkeit, Puls oder Atemfrequenz aus der Ferne zu erfassen, bietet neue Möglichkeiten für die Fernversorgung und Telemedizin von Patienten. Dies könnte Selbstversorgung, Nachsorge oder Triage umfassen, insbesondere wenn jemand keinen bequemen Zugang zu einer Klinik hat.