Wiederherstellung von Daten:Das neurale Netzwerkmodell von NIST findet kleine Objekte in dichten Bildern

In dem Bemühen, wichtige Daten aus wissenschaftlichen Arbeiten automatisch zu erfassen, haben Informatiker des National Institute of Standards and Technology (NIST) eine Methode entwickelt, um kleine, geometrische Objekte wie Dreiecke in dichten, qualitativ minderwertigen Plots, die in Bilddaten enthalten sind, genau zu erkennen. Das NIST-Modell, das einen neuronalen Netzwerkansatz zur Erkennung von Mustern verwendet, hat viele mögliche Anwendungen im modernen Leben.

Das neuronale Netzwerkmodell von NIST erfasste 97 % der Objekte in einem definierten Satz von Testbildern und lokalisierte die Mittelpunkte der Objekte innerhalb weniger Pixel von manuell ausgewählten Orten. Die Forscher nahmen die Daten aus Zeitschriftenartikeln aus den frühen 1900er Jahren in eine Datenbank mit metallischen Eigenschaften im Thermodynamics Research Center (TRC) des NIST auf. Oft wurden die Ergebnisse nur in grafischer Form präsentiert, manchmal von Hand gezeichnet und durch Scannen oder Fotokopieren verschlechtert. Die Forscher wollten die Standorte von Datenpunkten extrahieren, um die ursprünglichen Rohdaten für zusätzliche Analysen wiederherzustellen. Bisher wurden solche Daten manuell extrahiert.

Die Bilder zeigen Datenpunkte mit einer Vielzahl unterschiedlicher Markierungen, hauptsächlich Kreise, Dreiecke und Quadrate, sowohl gefüllt als auch offen, von unterschiedlicher Größe und Klarheit. Solche geometrischen Markierungen werden häufig verwendet, um Daten in einem wissenschaftlichen Diagramm zu kennzeichnen. Text, Zahlen und andere Symbole, die fälschlicherweise als Datenpunkte erscheinen können, wurden vor dem Training der neuronalen Netze mit einer Grafikbearbeitungssoftware manuell aus einer Teilmenge der Zahlen entfernt.

Die genaue Erkennung und Lokalisierung der Datenmarker war aus mehreren Gründen eine Herausforderung. Die Markierungen sind in Bezug auf Klarheit und exakte Form uneinheitlich; Sie können offen oder gefüllt sein und sind manchmal verschwommen oder verzerrt. Einige Kreise erscheinen beispielsweise extrem kreisförmig, während andere nicht genügend Pixel haben, um ihre Form vollständig zu definieren. Darüber hinaus enthalten viele Bilder sehr dichte Flecken überlappender Kreise, Quadrate und Dreiecke.

Die Forscher versuchten, ein Netzwerkmodell zu erstellen, das Plotpunkte mindestens so genau identifiziert wie die manuelle Erkennung – innerhalb von 5 Pixeln von der tatsächlichen Position auf einem Plot mit einer Größe von mehreren tausend Pixeln pro Seite.

NIST-Forscher übernahmen eine Netzwerkarchitektur namens U-Net, die ursprünglich von deutschen Forschern zur Analyse biomedizinischer Bilder entwickelt wurde. Zuerst werden die Bildabmessungen zusammengezogen, um räumliche Informationen zu reduzieren, und dann werden Schichten von Merkmals- und Kontextinformationen hinzugefügt, um präzise, ​​hochauflösende Ergebnisse zu erzielen.

Um das Netzwerk zu trainieren, Markerformen zu klassifizieren und ihre Zentren zu lokalisieren, experimentierten die Forscher mit vier Möglichkeiten, die Trainingsdaten mit Masken zu markieren, wobei sie unterschiedlich große Zentrumsmarkierungen und Umrisse für jedes geometrische Objekt verwendeten.

Die Forscher fanden heraus, dass das Hinzufügen von mehr Informationen zu den Masken, wie z. B. dickere Umrisse, die Genauigkeit der Klassifizierung von Objektformen erhöhte, aber die Genauigkeit der Lokalisierung ihrer Positionen auf den Plots verringerte. Am Ende kombinierten die Forscher die besten Aspekte mehrerer Modelle, um die beste Klassifizierung und kleinste Ortungsfehler zu erhalten. Es hat sich herausgestellt, dass das Ändern der Masken der beste Weg ist, um die Netzwerkleistung zu verbessern, effektiver als andere Ansätze wie kleine Änderungen am Ende des Netzwerks.

Die beste Leistung des Netzwerks – eine Genauigkeit von 97 % bei der Lokalisierung von Objektzentren – war nur für eine Teilmenge von Bildern möglich, in denen Plotpunkte ursprünglich durch sehr klare Kreise, Dreiecke und Quadrate dargestellt wurden. Die Leistung ist gut genug für die TRC, um das neuronale Netzwerk zu verwenden, um Daten aus Diagrammen in neueren Zeitschriftenartikeln wiederherzustellen.