Neuromorphes Computing Hala Point: Intel baut das bisher größte neuromorphe Netzwerk

Anbieter zum Thema

Intel Corp

duagon Germany GmbH

ISH Ingenieursozietät GmbH

E.E.P.D. Electronic Equipment Produktion & Distribution GmbH

Bei den Forschern der Sandia National Laboratories kommt das bislang größte neuromorphe Netzwerk der Welt zum Einsatz, das auf Basis von Intels Loihi-2-Prozessoren gebaut wurde. Im Vergleich zur Vorgängergeneration des Netzwerks erreicht Hala Point eine zehnmal höhere Neuronenkapazität, was in einer zwölffachen Leistung resultiert.

Insbesondere wenn es um die Effizienz und die Parallelverarbeitungsfähigkeit von künstlicher Intelligenz geht, kommen die Entwickler bei der Suche nach einem Vorbild für ihre Netzwerk-Architektur nicht darum herum, sich ihre Inspiration von einem der effizientesten Rechner der Natur zu holen: dem menschlichen Gehirn. Eigenschaften des menschlichen Gehirns wie die erwähnte Effizienz, die Fähigkeit zu asynchroner, ereignisbasierter Verarbeitung, Lern- und Anpassungsfähigkeit inspirieren die Entwicklung von KI-Systemen, primär von neuronalen und neuromorphen Systemen.

Ein neuromorphes System namens Hala Point kommt neuerdings bei Sandia National Laboratories zum Einsatz und es handelt sich dabei um das Größte seiner Art. Gebaut wurde es aus mehr als 1.000 Loihi-2-Prozessoren von Intel. Es handelt sich dabei um eine Weiterentwicklung des 2019 von Intel realisierten Großforschungssystem Pohoiki Springs, für das ebenfalls neuromorphe Chips zum Einsatz kamen. Architektonische Verbesserungen von Hala Point sorgen im Vergleich für eine zehnmal höhere Neuronenkapazität sowie für eine zwölfmal höhere Leistung.

Bildergalerie

Warum sich Intel für ein neuromorphes Netzwerk entschieden hat? Die Antwort ist relativ simpel: KI-Modelle benötigen eine große Menge an Rechenpower. „Deswegen haben wir Hala Point entwickelt, das die Effizienz von Deep Learning mit neuartigen, vom Gehirn inspirierten Lern- und Optimierungsfunktionen kombiniert“, so Mike Davies, Direktor des Neuromorphic Computing Lab bei Intel Labs.

Was hat Hala Point auf dem Kasten?

Das neuromorphe System ist laut den Aussagen von Intel Labs in der Lage, bis zu 20 Billiarden Operationen pro Sekunde auszuführen, oder 20 Petaops „mit einer Effizienz von über 15 Billionen 8-Bit-Operationen pro Sekunde pro Watt (TOPS/W) bei der Ausführung konventioneller tiefer neuronaler Netze“ zu unterstützen. Hala Point könnte in Zukunft kontinuierliches Lernen in Echtzeit für KI-Anwendungen wie wissenschaftliche und technische Problemlösungen, Logistik, Smart-City-Infrastrukturmanagement und mehr ermöglichen.

Hala Point nutzt 1.152 neuromorphe Loihi-2-Prozessoren, um die Energieeffizienz und Leistung zu steigern. Das kompakte Gesamtpaket unterstützt bis zu 1,15 Milliarden Neuronen und 128 Milliarden Synapsen, die auf 140.544 neuromorphen Rechenkernen verteilt sind und maximal 2.600 Watt Strom verbrauchen. Zusätzliche Berechnungen können mit mehr als 2.300 x86-Prozessoren vorgenommen werden.

Mit einer Gesamtspeicherbandbreite von 16 Petabyte pro Sekunde und einer Verarbeitungsgeschwindigkeit von über 240 Billionen Neuronenoperationen pro Sekunde ist Hala Point extrem leistungsstark. Durch die Nutzung von Loihi-basierten Systemen können KI-Inferenz und Optimierungsprobleme mit 100-mal weniger Energie und bis zu 50-mal schneller als herkömmliche CPU- und GPU-Architekturen gelöst werden.

„Bei Anwendung auf bio-inspirierte Spiking-Neural-Network-Modelle kann das System seine volle Kapazität von 1,15 Milliarden Neuronen 20-mal schneller ausführen als ein menschliches Gehirn und bei geringerer Kapazität bis zu 200-mal schneller. Hala Point ist zwar nicht für neurowissenschaftliche Modellierung gedacht, doch seine Neuronenkapazität entspricht in etwa der eines Eulengehirns oder des Kortex eines Kapuzineräffchens“, erklären die Designer.

Hala Point in Stichpunkten

• 1.152 Loihi-2-Prozessoren, die auf dem Intel-4-Prozessknoten hergestellt wurden,

• stecken in einem Gehäuse mit sechs Racks mit der Größe einer Mikrowelle.

• Das System unterstützt bis zu 1,15 Milliarden Neuronen und 128 Milliarden Synapsen.

• Die verteilen sich auf 140.544 neuromorphe Rechenkerne und verbrauchen maximal 2.600 Watt Strom.

• Hala Point bietet eine Speicherbandbreite von insgesamt 16 Petabyte pro Sekunde (PB/s),

• eine Kommunikationsbandbreite von 3,5 PB/s zwischen den Kernen,

• eine Kommunikationsbandbreite von 5 Terabyte pro Sekunde (TB/s) zwischen den Chips.

• Das System kann über 380 Billionen 8-Bit-Synapsen und über 240 Billionen Neuronenoperationen pro Sekunde verarbeiten

• Durch die Ausnutzung einer spärlichen Konnektivität von bis zu 10:1 und einer ereignisgesteuerten Aktivität zeigen frühe Ergebnisse zu Hala Point, dass das System eine Effizienz von bis zu 15 TOPS/W2 für tiefe neuronale Netze erreichen kann, ohne dass Eingabedaten in Stapeln gesammelt werden müssen.

Die Zukunft von Hala Point

Die Forscher der Sandia National Laboratories planen, Hala Point für die Forschung im Bereich des fortgeschrittenen Brain-Scale-Computing zu nutzen. Die Organisation wird sich auf die Lösung wissenschaftlicher Berechnungsprobleme in den Bereichen Gerätephysik, Computerarchitektur, Computerwissenschaft und Informatik konzentrieren.

Neuromorphes Computing basiert auf Erkenntnissen aus der Neurowissenschaft und integriert Speicher und Rechenleistung mit hoher Parallelität, um Datenbewegungen zu minimieren – und damit Energieeinsparungen im Gigawattstundenbereich zu ermöglichen, denn ein regelmäßiges Neutraining mit stets weiter wachsenden Datensätzen entfällt.

Die jüngsten Trends in der Skalierung von Deep-Learning-Modellen haben die Herausforderungen der KI-Nachhaltigkeit verdeutlicht und die Notwendigkeit innovativer Ansätze in der Hardwarearchitektur aufgezeigt. Ergebnisse, die diesen Monat auf der International Conference on Acoustics, Speech, and Signal Processing (ICASSP) veröffentlicht wurden, zeigen, dass Loihi 2 die Effizienz, Geschwindigkeit und Anpassungsfähigkeit von Edge-Workloads erheblich verbessert hat. (sb)

Forschung

Hybridtransistoren integrieren Biologie und Mikroelektronik

Hardware für Next Generation Computing

Forschungsfabrik für Quanten- und neuromorphes Computing

(ID:50020091)