Echtzeit-Gesundheitsmonitoring mit Smartphone- & Computer-Kameras

Telehealth ist zu einem kritischen Weg für Ärzte geworden, um Gesundheitsversorgung bereitzustellen, während persönlicher Kontakt während COVID-19 minimiert wird. Aber bei Telefon- oder Online-Terminen ist es für Ärzte schwerer, wichtige Vitalzeichen von einem Patienten in Echtzeit zu erhalten, wie Puls oder Atemfrequenz.

Eine Methode nutzt die Kamera eines Smartphones oder Computers, um Puls- und Atemsignale aus einem Echtzeit-Video des Gesichts zu erfassen. Damit Machine Learning im Remote-Health-Sensing hilfreich sein kann, muss das System die Region of Interest in einem Video identifizieren, die die stärkste Quelle physiologischer Information hält – wie Puls – und diese über die Zeit messen. Da jeder Mensch anders ist, muss das System sich schnell an jedes individuelle physiologische Signature anpassen und dies von anderen Variationen trennen, wie Aussehen und Umgebung.

Das System des Teams ist privacy-preserving – es läuft auf dem Gerät statt in der Cloud – und nutzt Machine Learning, um subtile Änderungen zu erfassen, wie Licht von einem Gesicht reflektiert wird, was mit sich änderndem Blutfluss korreliert. Dann wandelt es diese Änderungen in sowohl Puls- als auch Atemfrequenz um.

Die erste Version dieses Systems wurde mit einem Datensatz trainiert, der sowohl Videos von Gesichtern als auch „Ground Truth“-Informationen enthielt: Puls und Atemfrequenz jedes Menschen, gemessen mit Standardinstrumenten im Feld. Das System nutzte dann räumliche und zeitliche Informationen aus den Videos, um beide Vitalzeichen zu berechnen. Es übertraf ähnliche Machine-Learning-Systeme auf Videos, wo sich Probanden bewegten und sprachen. Aber während das System auf manchen Datensätzen gut funktionierte, kämpfte es noch mit anderen, die unterschiedliche Menschen, Hintergründe und Beleuchtung enthielten – ein häufiges Problem, bekannt als „Overfitting“.

Die Forscher verbesserten das System, indem sie es eine personalisierte Machine-Learning-Modell für jeden Individuum produzieren ließen. Spezifisch hilft es, wichtige Bereiche in einem Videoframe zu finden, die wahrscheinlich physiologische Features enthalten, die mit sich änderndem Blutfluss in einem Gesicht unter verschiedenen Kontexten korrelieren – wie verschiedene Hauttöne, Beleuchtungsbedingungen und Umgebungen. Von dort kann es sich auf diesen Bereich fokussieren und Puls und Atemfrequenz messen.

Während dieses neue System seinen Vorgänger bei anspruchsvolleren Datensätzen übertrifft, besonders für Menschen mit dunkleren Hauttönen, gibt es noch mehr zu tun. Es gibt immer noch einen Trend zu inferiorer Performance, wenn der Hauttyp des Probanden dunkler ist, teilweise weil Licht anders von dunklerer Haut reflektiert wird, was in einem schwächeren Signal für die Kamera resultiert.

Jede Fähigkeit, Puls oder Atemfrequenz remote zu erfassen, bietet neue Möglichkeiten für Remote-Patientenversorgung und Telemedizin. Dies könnte Selbstfürsorge, Follow-up-Pflege oder Triage einschließen, besonders wenn jemand keinen bequemen Zugang zu einer Klinik hat.