NVIDIA มี ประกาศ H100 NVL ซึ่งเป็นตัวแปรใหม่ของ Hopper GPU ที่ออกแบบมาโดยเฉพาะสำหรับ Large Language Models (LLM) เช่น GPT-4 ของ OpenAI
การ์ด GPU คู่มีบอร์ด H100 PCIe สองบอร์ดที่เชื่อมต่อกันแล้วและมีความจุหน่วยความจำขนาดใหญ่ ทำให้เป็นการ์ดที่มีหน่วยความจำมากที่สุดต่อ GPU ในตระกูล H100 และผลิตภัณฑ์ NVIDIA ใด ๆ จนถึงปัจจุบัน
H100 NVL มุ่งเป้าไปที่ตลาดเดียวของการใช้โมเดลภาษาขนาดใหญ่บนแบนด์แวกอน และเพื่อต่อยอดความสำเร็จด้าน AI ของ NVIDIA โมเดลภาษาขนาดใหญ่เช่นตระกูล GPT นั้นถูกจำกัดในด้านความจุของหน่วยความจำในหลายๆ ด้าน แม้แต่ตัวเร่งความเร็ว H100 ก็เต็มอย่างรวดเร็วเพื่อเก็บค่าพารามิเตอร์ทั้งหมด (175B สำหรับรุ่น GPT-3 ที่ใหญ่ที่สุด) ดังนั้น NVIDIA จึงได้พัฒนา H100 SKU ใหม่ที่มีหน่วยความจำต่อ GPU มากกว่าชิ้นส่วน H100 ปกติที่จำกัดไว้ที่ 80GB ต่อ GPU
GPU GH100 ทั้งหมดมาพร้อมกับหน่วยความจำ HBM หกสแต็ก (HBM2e หรือ HBM3) พร้อมความจุ 16GB ต่อสแต็ก. อย่างไรก็ตาม เนื่องจากข้อกังวลเกี่ยวกับผลตอบแทน NVIDIA จึงจัดส่งเฉพาะชิ้นส่วน H100 ปกติโดยเปิดใช้งาน HBM ห้าในหกชุด ซึ่งหมายความว่า GPU แต่ละตัวมี VRAM ขนาด 96GB เล็กน้อย แต่ SKU ปกติจะมีเพียง 80GB เท่านั้น
H100 NVL จะเป็น SKU พิเศษที่เปิดใช้งานทั้ง 6 สแต็ก โดยมีหน่วยความจำ 14GB ต่อ GPU GH100 เพิ่มหน่วยความจำ 17.5% GPU คู่/การ์ดคู่ H100 NVL ดูเหมือนรุ่น SXM5 ของ H100 ที่จัดเรียงบนการ์ด PCIe H100 PCIe ปกติถูกรั้งไว้บ้างเนื่องจากการใช้หน่วยความจำ HBM2e ที่ช้าลง การใช้ SM/tensor cores ที่ใช้งานน้อยลง และความเร็วสัญญาณนาฬิกาที่ลดลง แต่ Tensor Cores NVIDIA นำเสนอสำหรับ H100 NVL ตัวเลขประสิทธิภาพเทียบเท่ากับ H100 SXM5 ซึ่งบ่งชี้ว่าการ์ดใบนี้ไม่ได้ถูกลดขนาดลงเหมือนการ์ด PCIe ทั่วไป
คุณลักษณะเด่นของ H100 NVL คือความจุหน่วยความจำขนาดใหญ่ เนื่องจากการ์ด GPU คู่มีให้ หน่วยความจำ HBM3 188GB (94GB ต่อการ์ด) นอกจากนี้ยังมีแบนด์วิดท์หน่วยความจำรวม 7.8TB/s และ 3.9TB/s ในแต่ละบอร์ด ทำให้เป็นหน่วยความจำสูงสุดต่อ GPU ในตระกูล H100 และผลิตภัณฑ์ NVIDIA ใดๆ จนถึงปัจจุบัน
ข้อกำหนด ของ SKU นี้น่าจะเป็นการคาดหมายว่า ChatGPT จะได้รับความนิยมอย่างล้นหลาม และความต้องการ AI ที่เพิ่มขึ้นอย่างรวดเร็วเนื่องจากการปรากฏตัวที่ตามมาของ Bing and Bard ราคาก็จะสูงขึ้นตามไปด้วย แต่เนื่องจากตลาด LLM ที่กำลังเฟื่องฟู ก็จะมีความต้องการที่จะจ่ายเบี้ยประกันที่สูงพอสำหรับแพ็คเกจ GH100 ที่เกือบจะสมบูรณ์แบบ
สรุปได้ว่า H100 NVL เป็นตัวแปรใหม่ของ GPU Hopper ของ NVIDIA ออกแบบมาโดยเฉพาะสำหรับโมเดลภาษาขนาดใหญ่ (LLM) เช่น GPT-4 ของ OpenAI ความจุขนาดใหญ่ทำให้เป็นหน่วยความจำสูงสุดต่อ GPU ภายในตระกูล H100 และผลิตภัณฑ์ NVIDIA ใดๆ ความจุหน่วยความจำที่เพิ่มขึ้นจะช่วยส่งเสริมความสำเร็จของ AI ของ NVIDIA H100 NVL เป็นก้าวสำคัญในตลาด LLM และน่าสนใจที่จะได้เห็นประสิทธิภาพเมื่อเทียบกับ GPU อื่นๆ ในอนาคต