Die Lösung der größten KI- und HPC-Probleme erfordert Speicher mit hoher Kapazität und mit hoher Bandbreite (HBM). Die vierte Generation des NVIDIA NVLink-C2C bietet eine bidirektionale Bandbreite von 900 Gigabyte pro Sekunde (GB/s) zwischen der NVIDIA Grace-CPU und den NVIDIA-GPUs. Die Verbindung stellt einen einheitlichen, cachekohärenten Speicheradressraum bereit, der System- und HBM-GPU-Speicher für eine vereinfachte Programmierbarkeit kombiniert. Diese nahtlose Verbindung mit hoher Bandbreite zwischen CPU und GPUs ist der Schlüssel zur Beschleunigung der komplexesten Probleme der Zukunft.

NVIDIA Grace ist die erste Server-CPU, die LPDDR5X-Speicher mit der Zuverlässigkeit der Serverklasse durch Mechanismen wie Fehlerkorrekturcode (ECC) nutzt, um den Anforderungen des Rechenzentrums gerecht zu werden, und dabei eine zweimal höhere Speicherbandbreite und eine bis zu zehnmal bessere Energieeffizienz im Vergleich zu aktuell verfügbaren Serverspeichern bietet. Die NVIDIA Grace-CPU integriert ARM Neoverse V2-Recheneinheiten in eine von NVIDIA entwickelte Scalable Coherency Fabric, um eine hohe Leistung in einem vorteilhaften Design zu liefern und so Wissenschaftlern und Forschern die Arbeit zu erleichtern.

Auch wenn die parallelen Rechenkapazitäten von GPUs immer weiter fortschreiten, können Workloads nach wie vor durch serielle Aufgaben, die auf der CPU ausgeführt werden, eingeschränkt werden. Eine schnelle und effiziente CPU ist eine entscheidende Komponente des Systemaufbaus, um eine optimale Beschleunigung der Workloads zu ermöglichen. Die NVIDIA Grace-CPU integriert Arm Neoverse V2-Cores, um eine hohe Leistung in einem stromsparenden System zu erzielen und Wissenschaftlern und Forschern die Arbeit zu erleichtern.

Generative KI ist speicher- und rechenintensiv. Der NVIDIA GB200-Superchip verwendet 380 GB HBM-Speicher und bietet damit mehr als die 4,5-fache Bandbreite des GPU-Speichers im Vergleich zum NVIDIA H100 Tensor Core-Grafikprozessor. Der Speicher mit hoher Bandbreite von Grace Blackwell wird über NVLink-C2C mit dem CPU-Speicher kombiniert, um fast 800 GB Speicher mit Schnellzugriff für die GPU bereitzustellen. Dies liefert die Speicherkapazität und Bandbreite, die für die weltweit komplexesten Workloads im Bereich der generativen KI und des beschleunigten Computings erforderlich sind.