NVIDIA H100 NVL

Für LLMs mit bis zu 175 Milliarden Parametern nutzt die PCIe-basierte NVIDIA H100 NVL mit NVLink-Brücke die Transformer Engine, NVLink und 188 GB HBM3-Speicher, um optimale Leistung und einfache Skalierung in jedem Rechenzentrum zu ermöglichen und LLMs in den Mainstream zu bringen. Server, die mit H100 NVL-GPUs ausgestattet sind, steigern die Leistung des GPT-175B-Modells im Vergleich zu NVIDIA DGX A100-Systemen um das bis zu 12-fache, während die Latenzzeit in Rechenzentrumsumgebungen mit eingeschränktem Stromverbrauch niedrig bleibt.