16.384 Windows-Apps in 5 Minuten auf Linux-Supercomputer starten

• MIT-Forscher entwickeln Modell für simultanen Start von 16.384 Windows-Applikationen auf Linux-Supercomputern innerhalb 5 Minuten.
• Einsatz: Lincoln Lab LLMapReduce Technology + Wine Windows Compatibility Layer.

Da Moores Law langsamer wird, wird Parallel Processing notwendig für Applikations-Performance-Steigerung. Neural Networks, Physical Simulation, Data Analysis Apps entwickeln sich rasant & nutzen Parallel Processing für Performance-Ziele.

Für solche datenintensiven Applikationen: Software basierend auf bestimmten OS (z. B. Microsoft Windows mit langjähriger Parallel-Computing-Erfahrung).

Aber: Top 500 Supercomputer laufen auf Linux – fähig, interaktive Applikationen auf Tausenden Cores in Sekunden auszuführen. Üblicherweise: Virtual Machines (VMs) für Windows-Programme auf Linux – hoher Overhead.

Mehrere VMs auf Supercomputer: Sekunden bis Minuten pro VM. Skalierung auf Tausende Cores → Effizienz- & Performance-Probleme, gleichzeitiger Start zahlreicher Windows-Apps erschwert.

MIT-Forscher: Neue Technik für schnellen Launch & Execution von Windows-Apps auf Tausenden Prozessoren moderner Supercomputer. Demo: 16.000 Windows-Apps in 5 Minuten (je App ein Core).

Funktionsweise

Für schnellen Launch: Lincoln Lab LLMapReduce (Multi-Level Map-Reduce) + Wine Windows Compatibility Layer. High-Performance Computing: Multi-Level Scheduling ändert Analysis Code leicht → Verarbeitung zahlreicher Datasets mit single Job Launch.

MIT SuperCloud Software Stack: Easy-to-use Interface für LLMapReduce – effizientes Ausführen Tausender Tasks auf Cluster, reduziert komplexes Parallel Scheduling, Dependency Resolution, Task Submission auf eine Code-Zeile, minimiert Task-Latency → gesteigerte Task Performance.

LLMapReduce: sprachunabhängig → funktioniert mit jedem Executable → ideal für simultanen Launch zahlreicher Wine-Instanzen.

Komponenten des SLURM Schedulers | Courtesy of researchers

Open Source Job Scheduler: Slurm Workload Manager – schnelle Ressourcen-Identifikation, Allokation, Scheduling, Launch, Monitoring, Epilog Clean-up bei Task-Terminierung.

Referenz: arXiv:1808.04345

Ergebnisse

Launch Times & Launch Rates von Windows-Instanzen

Implementierung auf Supercomputer: 648 Compute Nodes (je Node ≥64 Xeon Phi Cores) → 41.472 Cores total. Single Window Instance auf 1,2,4,8…256 Nodes, dann 2,4,8…64 Instanzen auf jedem der 256 Nodes → 16.384 gleichzeitige Instanzen.

Alle Instanzen: ~5 Minuten Execution → breite Palette ausführbarer Windows-Applikationen auf Supercomputern. Team plant Extension auf größere Prozessorzahlen & diversere Programme.

Lesen Sie auch: Memory Processing Units implementieren KI-Algorithmen effizient