NVIDIA ha ha annunciato l’H100 NVL, una nuova variante della sua GPU Hopper appositamente progettata per Large Language Models (LLM) come GPT-4 di OpenAI.
La doppia scheda GPU ha due schede PCIe H100 già collegate insieme e una grande capacità di memoria, che la rende la più memoria per GPU all’interno della famiglia H100 e di qualsiasi prodotto NVIDIA fino ad oggi.
L’H100 NVL è rivolto a un mercato unico di utilizzo di modelli linguistici su larga scala sul carrozzone e per promuovere il successo dell’IA di NVIDIA. I grandi modelli linguistici come la famiglia GPT sono, per molti versi, limitati nella capacità di memoria. Anche l’acceleratore H100 si riempie rapidamente per contenere tutti i parametri (175B per il modello GPT-3 più grande). Pertanto, NVIDIA ha sviluppato nuove SKU H100 con più memoria per GPU rispetto alle normali parti H100 che hanno un limite di 80 GB per GPU.
Tutte le GPU GH100 sono dotate di sei stack di memoria HBM (HBM2e o HBM3) con 16 GB di capacità per stack. Tuttavia, a causa di problemi di rendimento, NVIDIA fornisce solo parti H100 regolari con cinque dei sei stack HBM abilitati, il che significa che ogni GPU ha 96 GB nominali di VRAM, ma le SKU normali hanno solo 80 GB disponibili.
L’H100 NVL sarà una SKU speciale con tutti e sei gli stack abilitati, offrendo 14 GB di memoria per GPU GH100, un aumento della memoria del 17,5%. La doppia GPU/doppia scheda H100 NVL sembra la versione SXM5 dell’H100 disposta su una scheda PCIe. Il normale PCIe H100 è in qualche modo frenato dal più lento utilizzo della memoria HBM2e, dal minor utilizzo di SM/tensor core attivi e da velocità di clock inferiori, ma i Tensor Core NVIDIA stanno presentando per H100 NVL. I numeri delle prestazioni sono tutti alla pari con l’H100 SXM5, il che indica che questa scheda non è ulteriormente ridotta come le normali schede PCIe.
La grande caratteristica dell’H100 NVL è la sua grande capacità di memoria, come offre la doppia scheda GPU 188 GB di memoria HBM3 (94 GB per scheda). Ha anche una larghezza di banda di memoria totale di 7,8 TB/s e 3,9 TB/s su singole schede, il che la rende la più ampia memoria per GPU all’interno della famiglia H100 e di qualsiasi prodotto NVIDIA fino ad oggi.
La fornitura di questa SKU è probabilmente in previsione del successo esplosivo di ChatGPT e del rapido aumento della domanda di AI dovuto alla successiva comparsa di Bing e Bard. Il prezzo aumenterà di conseguenza, ma dato il boom del mercato LLM, ci sarà la domanda di pagare un premio abbastanza alto per un pacchetto GH100 quasi perfetto.
In conclusione, l’H100 NVL è una nuova variante di La GPU Hopper di NVIDIA progettata specificamente per Large Language Models (LLM) come GPT-4 di OpenAI. La sua grande capacità la rende la più memoria per GPU all’interno della famiglia H100 e di qualsiasi prodotto NVIDIA. La sua maggiore capacità di memoria contribuirà a promuovere il successo dell’IA di NVIDIA. L’H100 NVL rappresenta un significativo passo avanti nel mercato LLM e sarà interessante vedere come si comporterà rispetto ad altre GPU in futuro.