Eingebaute KI
Samsung hat das weltweit erste große Computersystem mit GPUs mit integrierten PIM-Chips (Processing-in-Memory) entwickelt.
p>
Laut Business Korea wurden die Speichermodule in 96 AMD Instinct MI100 GPUs gesteckt und steigerten die KI-Trainingsleistung um das 2,5-fache.
Für diejenigen, die zu spät kamen, ist PIM eine neue Generation von Computerspeicher, der rechentechnisch komplexe Arbeitsabläufe beschleunigen kann, die von Prozessoren wie CPUs und GPUs verarbeitet werden. Jedes Speichermodul verarbeitet Daten unabhängig, wodurch die Datenmenge, die für die Übertragung zwischen Speicher und Prozessor benötigt wird, drastisch reduziert wird.
Samsung hat die PIM-modifizierten GPUs im Oktober demonstriert, aber der kombinierte Cluster aus 96 PIM-modifizierten GPUs ist neu. Im Vergleich zu normalem Videospeicher leisteten diese modifizierten MI100-Chips nicht nur eine 2,5-mal bessere Leistung, sie senkten auch den Stromverbrauch um das 2,67-fache.
Als Samsung den Sprachmodellalgorithmus T5 mit diesem System trainierte, verbesserte sich seine Leistung um das 2,5-fache und sein Stromverbrauch ist um das 2,67-fache gesunken, verglichen mit der Zeit ohne PIMs.
Das Unternehmen entwickelt PIM schon seit einiger Zeit. Das Unternehmen demonstrierte 2021 mehrere Implementierungen mit verschiedenen Speichertypen, darunter DDR4, LPDDR5X, GDDR6 und HBM2. In LPDDR5-Form
Samsung verzeichnete eine 1,8-fache Leistungssteigerung bei einer 42,6-prozentigen Reduzierung des Stromverbrauchs und einer 70-prozentigen Reduzierung der Latenz bei einem Testprogramm mit einer Meta-KI-Workload. Dies basierte auf einem Standard-Serversystem ohne Änderungen an Motherboard oder CPU.
PIM sieht langsam so aus, als hätte es Beine, wenn es darum geht, KI-beschleunigte Arbeitsabläufe zu beschleunigen.