Unüberwachtes Lernen mit künstlichen Neuronen

Manuel Le Gallos Forschung wird eine neue Generation extrem dichter neuromorpher Computersysteme inspirieren. (Quelle:IBM Research – Zürich)

Inspiriert von der Funktionsweise des menschlichen Gehirns hat ein Team von Wissenschaftlern von IBM Research in Zürich die Art und Weise nachgeahmt, wie Neuronen in die Höhe schnellen, beispielsweise wenn wir eine Kochplatte berühren. Mit diesen sogenannten künstlichen Neuronen lassen sich Muster und Zusammenhänge in Big Data mit Leistungsbudgets und Dichten aufdecken, die mit denen in der Biologie vergleichbar sind, woran Wissenschaftler jahrzehntelang strebten. Sie können auch unbeaufsichtigt bei hohen Geschwindigkeiten mit sehr wenig Energie lernen.

Das Papier mit dem Titel „Stochastic phase-change neurons“, das heute auf dem Titelblatt von Nature Nanotechnology . erschienen ist , skizziert die Forschung und ihre Ergebnisse.

Ich habe mit dem Co-Autor des Papers und IBM Research gesprochen – dem Zürcher Wissenschaftler Manuel Le Gallo, der derzeit an seiner Doktorarbeit an der ETH Zürich arbeitet.

Wie funktioniert ein künstliches Neuron?

Manuel Le Gallo: Das Neuron hat eine bestimmte Funktionalität, die wir „Integrieren und Feuern“ nennen. Das Neuron fungiert als Akkumulator – wenn Sie weiterhin mehrere Eingaben an das Neuron senden, integriert das Neuron alle diese Eingaben. Abhängig von der Menge der Eingänge und deren Stärke erreicht das Membranpotential einen bestimmten Schwellenwert und das Neuron wird „feuern“ oder „spitzen“. Mit einem solchen Akkumulator lassen sich überraschend komplexe Rechenaufgaben lösen.

Wie inspiriert das menschliche Gehirn die Entwicklung künstlicher Neuronen?

ML: Das künstliche Neuron ist so gebaut, dass es nachahmt, was ein biologisches Neuron tut. Ein künstliches Neuron hat nicht genau die gleiche Funktionalität, ist aber immer noch nahe genug, dass Sie die vom Gehirn mit diesen Neuronen durchgeführten Berechnungen durchführen können. Normalerweise werden künstliche Neuronen mit CMOS-basierten Schaltkreisen gebaut, der Standard-Transistortechnologie, die wir in unseren Computern verwenden. Unser Artikel konzentriert sich auf die Verwendung von Nicht-CMOS-Geräten, wie z. B. Phasenwechselgeräten, um ähnliche Funktionen bei reduziertem Stromverbrauch und erhöhter Flächendichte zu reproduzieren.

Was ist Ihr Beitrag zum Papier?

ML: Durch die Charakterisierungs- und Modellierungsarbeiten, die ich in den letzten drei Jahren geleistet habe, haben wir ein Verständnis der Physik von Phasenwechselgeräten gewonnen. Dies war entscheidend, um basierend auf diesen Geräten künstliche Neuronen zu entwerfen und deren Funktionsweise zu verstehen. Darüber hinaus habe ich einige der experimentellen Daten erhalten, die in der Arbeit vorgestellt werden, und zur Analyse und Interpretation der Ergebnisse beigetragen.

"Wir glauben, dass unser Ansatz effizienter sein wird, insbesondere bei der Verarbeitung großer Datenmengen."

—Manuel Le Gallo, IBM Research-Wissenschaftler

In welchen Kontexten können künstliche Neuronen eingesetzt werden?

Der kleine Quadrate sind Kontaktpads, die verwendet werden, um auf die Phasenwechselzellen im Nanometerbereich zuzugreifen (nicht sichtbar). Die scharfen Sonden berühren die Kontaktpads, um die in den Zellen gespeicherte Phasenkonfiguration als Reaktion auf die neuronale Eingabe zu ändern. Jeder Sondensatz kann auf eine Population von 100 Zellen zugreifen.

ML: In unserem Beitrag zeigen wir, wie Sie Korrelationen aus mehreren Ereignisströmen erkennen können. Angenommen, Sie haben mehrere Streams binärer Ereignisse und möchten herausfinden, welche Streams temporär korreliert sind, beispielsweise wenn die Einsen gleichzeitig auftreten.

In dem Artikel haben wir gezeigt, wie Sie Korrelationen aus mehreren Ereignisströmen erkennen können.

Was meinst du mit Ereignissen?

ML: Ereignisse können beispielsweise Twitter-Daten, Wetterdaten oder sensorische Daten sein, die durch das Internet der Dinge gesammelt werden. Angenommen, Sie haben mehrere Ströme binärer Ereignisse und möchten herausfinden, welche Ströme temporär korreliert sind, beispielsweise wenn die Einsen gleichzeitig auftreten. Wir zeigen in der Arbeit, wie wir diese Unterscheidung mit nur einem Neuron erreichen könnten, das mit mehreren Plastiksynapsen verbunden ist, die die Ereignisse empfangen.

Was macht neuromorphes Computing effizienter als konventionelles Computing?

ML: Beim konventionellen Computing haben wir einen separaten Speicher und eine logische Einheit. Wenn Sie eine Berechnung durchführen möchten, müssen Sie zuerst auf den Speicher zugreifen, Ihre Daten abrufen und an die Logikeinheit übertragen, die die Berechnung zurückgibt. Und wenn Sie ein Ergebnis erhalten, müssen Sie es zurück in den Speicher senden. Dieser Prozess geht ständig hin und her. Wenn Sie es also mit riesigen Datenmengen zu tun haben, wird es zu einem echten Problem.

In einem neuronalen Netzwerk befinden sich Computer und Speicher zusammen. Sie müssen keine Kommunikation zwischen Logik und Gedächtnis herstellen; Sie müssen nur geeignete Verbindungen zwischen den verschiedenen Neuronen herstellen. Dies ist der Hauptgrund, warum wir glauben, dass unser Ansatz effizienter sein wird, insbesondere bei der Verarbeitung großer Datenmengen.

Manuel Le Gallo kam nach Zürich, um seinen Master in Elektrotechnik an der Eidgenössischen Technischen Hochschule (ETH Zürich) zu absolvieren. Seine Diplomarbeit schloss er bei IBM ab, wo ein Stellenangebot zu seinem Hintergrund und seinen Interessen passte. Derzeit arbeitet er an seiner Doktorarbeit.

Über den Autor:  Millian Gehrer ist Sommerpraktikant bei IBM Research – Zürich, wo er Wissenschaftler interviewt, um mehr über ihre Arbeit und Motivation zu erfahren. Im Herbst beginnt er ein Informatikstudium als Bachelor an der Princeton University.