Stworzony specjalnie dla AI i obliczeń wysokowydajnych
AI, złożone symulacje i ogromne zbiory danych wymagają wielu GPU z ekstremalnie szybkimi połączeniami oraz w pełni przyspieszonego stosu oprogramowania. Platforma NVIDIA HGX™ łączy pełną moc procesorów graficznych NVIDIA, NVLink™, sieci NVIDIA oraz w pełni zoptymalizowane stosy oprogramowania AI i HPC, aby zapewnić najwyższą wydajność aplikacji i przyspieszyć czas pozyskiwania informacji w każdym centrum danych.
Niezrównana platforma
przyspieszonego obliczania end-to-end
NVIDIA HGX B300 NVL16 integruje procesory graficzne NVIDIA Blackwell Ultra z szybkimi interkonektami, aby wprowadzić centrum danych w nową erę przyspieszonych obliczeń i generatywnej AI. Jako wiodąca platforma do skalowania z przyspieszeniem, oferująca do 11 razy większą wydajność wnioskowania niż poprzednia generacja, systemy HGX oparte na architekturze Blackwell są zaprojektowane do obsługi najbardziej wymagających obciążeń generatywnej AI, analizy danych i HPC.
NVIDIA HGX obejmuje zaawansowane opcje sieciowe — o prędkości do 800 gigabitów na sekundę (Gb/s) — z wykorzystaniem NVIDIA Quantum-X800 InfiniBand i Spectrum™-X Ethernet dla najwyższej wydajności AI. HGX zawiera również jednostki przetwarzania danych NVIDIA BlueField®-3 (DPU), które umożliwiają sieci chmurowe, kompozytową pamięć masową, bezpieczeństwo o zerowej ufności i elastyczność obliczeń GPU w hiperskalowych chmurach AI.
Wnioskowanie AI: Wydajność i wszechstronność
Wnioskowanie w czasie rzeczywistym dla dużych modeli językowych
HGX B300 NVL16 osiąga do 11 razy wyższą wydajność wnioskowania w porównaniu do poprzedniej generacji NVIDIA Hopper™ dla modeli takich jak Llama 3.1 405B. Silnik Transformer drugiej generacji wykorzystuje technologię rdzeni Tensor Blackwell w połączeniu z innowacjami TensorRT™-LLM, aby przyspieszyć wnioskowanie dla dużych modeli językowych (LLM).
Prognozowana wydajność może ulec zmianie. Latencja token-to-token (TTL) = 20 ms w czasie rzeczywistym; Latencja pierwszego tokena (FTL) = 5 s; Długość sekwencji wejściowej = 32,768; Długość sekwencji wyjściowej = 1,028. Porównanie wydajności na GPU: 8x osiem jednostek HGX H100 chłodzonych powietrzem w porównaniu do 1x HGX B300 NVL16 chłodzonego powietrzem; dostarczane z wykorzystaniem rozdzielonego wnioskowania.
Trening AI: Wydajność i skalowalność
Wydajność treningu na nowym poziomie
Silnik Transformer drugiej generacji, z obsługą 8-bitowego formatu zmiennoprzecinkowego (FP8) i nowymi precyzjami, umożliwia wyjątkowo 4-krotne przyspieszenie treningu dla dużych modeli językowych, takich jak Llama 3.1 405B. Ten przełom wspierany jest przez piątą generację NVLink z przepustowością 1,8 TB/s dla połączenia GPU do GPU, networking InfiniBand oraz oprogramowanie NVIDIA Magnum IO™. Razem te elementy zapewniają efektywną skalowalność dla przedsiębiorstw i rozbudowanych klastrów obliczeniowych GPU.
Porównanie wydajności na GPU: 8x osiem jednostek HGX H100 w porównaniu do 1x HGX B300 NVL16.
Przyspieszanie HGX z siecią NVIDIA
Centrum danych stało się nową jednostką obliczeniową, a sieć odgrywa integralną rolę w skalowaniu wydajności aplikacji w tym obszarze. W połączeniu z NVIDIA Quantum InfiniBand, HGX zapewnia wydajność i efektywność klasy światowej, co gwarantuje pełne wykorzystanie zasobów obliczeniowych.
Dla centrów danych AI w chmurze, które wdrażają Ethernet, HGX jest najlepiej używany z platformą sieciową NVIDIA Spectrum-X™, która zapewnia najwyższą wydajność AI przez Ethernet. Obejmuje przełączniki Spectrum-X i NVIDIA SuperNIC, zapewniając optymalne wykorzystanie zasobów i izolację wydajności, co skutkuje stałymi, przewidywalnymi rezultatami dla tysięcy równoczesnych zadań AI na każdym poziomie. Spectrum-X umożliwia zaawansowane zarządzanie wieloma najemcami w chmurze oraz bezpieczeństwo o zerowej ufności. Jako projekt referencyjny, NVIDIA zaprojektowała Israel-1, hiperskalowy superkomputer generatywnej AI zbudowany na serwerach Dell PowerEdge XE9680 opartych na platformie NVIDIA HGX 8-GPU, SuperNIC-ach BlueField-3 oraz przełącznikach Spectrum-4.
Specyfikacje NVIDIA HGX
NVIDIA HGX jest dostępny w pojedynczych płytach bazowych z czterema lub ośmioma GPU Hopper, ośmioma GPU NVIDIA Blackwell lub szesnastoma GPU NVIDIA Blackwell Ultra. Te potężne zestawy sprzętu i oprogramowania stanowią fundament dla bezprecedensowej wydajności superkomputingu AI.