NISTs Neuronales Netzwerk detektiert winzige geometrische Formen in dichten Bildern mit 97% Genauigkeit

In Bemühungen, wichtige Daten aus wissenschaftlichen Papers automatisch zu erfassen, haben Informatiker am National Institute of Standards and Technology (NIST) eine Methode entwickelt, um kleine geometrische Objekte wie Dreiecke in dichten, qualitativ minderwertigen Plots in Bilddaten präzise zu detektieren. Durch einen neuronalen Netzwerkansatz, der darauf ausgelegt ist, Muster zu detektieren, hat das NIST-Modell viele mögliche Anwendungen im modernen Leben.

Das NIST-Neuronale-Netzwerk-Modell erfasste 97 % der Objekte in einem definierten Satz von Testbildern und lokalisierte die Objektzentren auf wenige Pixel genau zu manuell ausgewählten Positionen. Die Forscher nahmen die Daten aus Fachartikeln, die bis in die frühen 1900er Jahre zurückreichen, in einer Datenbank metallischer Eigenschaften im NIST Thermodynamics Research Center (TRC). Oft wurden die Ergebnisse nur in grafischem Format präsentiert, manchmal von Hand gezeichnet und durch Scannen oder Kopieren degradiert. Die Forscher wollten die Positionen der Datenpunkte extrahieren, um die ursprünglichen Rohdaten für zusätzliche Analysen wiederherzustellen. Bislang wurden solche Daten manuell extrahiert.

Die Bilder präsentieren Datenpunkte mit einer Vielzahl verschiedener Marker, hauptsächlich Kreise, Dreiecke und Quadrate, sowohl gefüllt als auch offen, in variierender Größe und Klarheit. Solche geometrischen Marker werden oft verwendet, um Daten in einem wissenschaftlichen Graphen zu kennzeichnen. Text, Zahlen und andere Symbole, die fälschlicherweise als Datenpunkte erscheinen können, wurden manuell aus einer Teilmenge der Abbildungen mit Grafikbearbeitungssoftware entfernt, bevor die neuronalen Netze trainiert wurden.

Das präzise Detektieren und Lokalisieren der Datenmarker war aus mehreren Gründen eine Herausforderung. Die Marker sind in Klarheit und exakter Form inkonsistent; sie können offen oder gefüllt sein und sind manchmal unscharf oder verzerrt. Einige Kreise erscheinen extrem kreisförmig, während andere nicht genug Pixel haben, um ihre Form vollständig zu definieren. Zusätzlich enthalten viele Bilder sehr dichte Flecken sich überlappender Kreise, Quadrate und Dreiecke.

Die Forscher suchten ein Netzwerkmodell zu erstellen, das Plotpunkte mindestens so präzise identifiziert wie manuelle Detektion – innerhalb von 5 Pixeln der tatsächlichen Position auf einem Plot der Größe mehrerer tausend Pixel pro Seite.

NIST-Forscher übernahmen eine Netzwerkarchitektur, die ursprünglich von deutschen Forschern für die Analyse biomedizinischer Bilder entwickelt wurde, genannt U-Net. Zuerst werden die Bilddimensionen kontrahiert, um räumliche Information zu reduzieren, und dann werden Schichten von Feature- und Kontextinformation hinzugefügt, um präzise, hochauflösende Ergebnisse aufzubauen.

Um das Netzwerk zu trainieren, Markerformen zu klassifizieren und ihre Zentren zu lokalisieren, experimentierten die Forscher mit vier Arten, die Trainingsdaten mit Masken zu markieren, indem sie unterschiedlich große Zentrumsmarkierungen und Umrisse für jedes geometrische Objekt verwendeten.

Die Forscher fanden heraus, dass das Hinzufügen von mehr Information zu den Masken, wie dickere Umrisse, die Genauigkeit der Klassifizierung von Objektformen erhöhte, aber die Genauigkeit der Ortung ihrer Positionen auf den Plots verringerte. Am Ende kombinierten die Forscher die besten Aspekte mehrerer Modelle, um die beste Klassifizierung und kleinste Ortungsfehler zu erhalten. Das Verändern der Masken erwies sich als der beste Weg, die Netzwerkleistung zu verbessern, effektiver als andere Ansätze wie kleine Änderungen am Ende des Netzwerks.

Die beste Leistung des Netzwerks – eine Genauigkeit von 97 % bei der Lokalisierung von Objektzentren – war nur für eine Teilmenge von Bildern möglich, in denen Plotpunkte ursprünglich durch sehr klare Kreise, Dreiecke und Quadrate dargestellt wurden. Die Leistung ist gut genug für das TRC, das neuronale Netzwerk zu nutzen, um Daten aus Plots in neueren Journal-Papieren wiederherzustellen.