Przegląd
Zapewnia wydajność wnioskowania AI
NVIDIA GB300 NVL72 charakteryzuje się w pełni chłodzonym cieczą, skalowalnym designem rackowym, który łączy 72 procesory graficzne NVIDIA Blackwell Ultra i 36 procesorów NVIDIA Grace® opartych na architekturze Arm w jednej platformie zoptymalizowanej do wnioskowania w czasie testu. Fabryki AI zasilane przez GB300 NVL72, korzystające z technologii NVIDIA Quantum-X800 InfiniBand lub Ethernet Spectrum™-X w połączeniu z ConnectX®-8 SuperNICS, oferują 50 razy wyższą wydajność wnioskowania modeli w porównaniu do platformy NVIDIA Hopper™.
Wydajność
Skalowanie fabryk AI do bezprecedensowych poziomów
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 z rozdzieleniem FP4 Dynamo. H100 z FP8 w trybie batch. Prognozowana wydajność może ulec zmianie.
Doświadcz wydajności wnioskowania AI na nowym poziomie z platformą NVIDIA GB300 NVL72. W porównaniu do Hopper, GB300 NVL72 oferuje imponujący 10-krotny wzrost responsywności użytkowników (TPS na użytkownika) oraz 5-krotną poprawę wydajności (TPS na megawat (MW)). Razem te udoskonalenia przekładają się na niezwykły 50-krotny wzrost ogólnej wydajności fabryki AI.
Cechy
Przełomy Technologiczne
Wnioskowanie AI
Skalowanie w czasie testu i wnioskowanie AI zwiększają moc obliczeniową niezbędną do osiągnięcia jakości usług i maksymalnej wydajności. Rdzenie Tensor NVIDIA Blackwell Ultra są wzmocnione, oferując 2-krotny przyspieszenie warstwy uwagi oraz 1,5-krotną większą moc obliczeniową operacji zmiennoprzecinkowych na sekundę (FLOPS) w porównaniu do procesorów graficznych NVIDIA Blackwell.
288 GB pamięci HBM3e
Większa pojemność pamięci pozwala na większe rozmiary wsadów i maksymalną wydajność. Procesory graficzne NVIDIA Blackwell Ultra oferują 1,5-krotnie większą pamięć HBM3e w połączeniu z dodatkową mocą obliczeniową AI, co zwiększa wydajność wnioskowania AI dla największych długości kontekstu.
Architektura NVIDIA Blackwell
Architektura NVIDIA Blackwell wprowadza przełomowe osiągnięcia w zakresie obliczeń przyspieszonych, napędzając nową erę niezrównanej wydajności, efektywności i skali.
NVIDIA ConnectX-8 SuperNIC
Moduł wejścia/wyjścia (IO) NVIDIA ConnectX-8 SuperNIC obsługuje dwa urządzenia ConnectX-8, zapewniając 800 gigabitów na sekundę (Gb/s) łączności sieciowej dla każdego GPU w NVIDIA GB300 NVL72. Oferuje to najlepsze w swojej klasie możliwości zdalnego dostępu do pamięci (RDMA) z wykorzystaniem technologii sieciowej NVIDIA Quantum-X800 InfiniBand lub Spectrum-X Ethernet, co umożliwia maksymalną efektywność obciążeń AI.
Procesor NVIDIA Grace
Procesor NVIDIA Grace to przełomowa jednostka zaprojektowana z myślą o nowoczesnych obciążeniach w centrach danych. Oferuje doskonałą wydajność i szerokość pasma pamięci, osiągając 2-krotną efektywność energetyczną w porównaniu do dzisiejszych wiodących procesorów serwerowych.
Piąta generacja NVIDIA NVLink
Odblokowanie pełnego potencjału obliczeń przyspieszonych wymaga płynnej komunikacji między każdym GPU. Piąta generacja NVIDIA NVLink™ to interfejs skalowalny, który uwalnia przyspieszoną wydajność dla modeli wnioskowania AI.
NVIDIA GB300 Grace Blackwell Ultra Superchip
Jako element konstrukcyjny skalowalnego rozwiązania rackowego NVIDIA GB300 NVL72, NVIDIA GB300 Grace Blackwell Ultra Superchip składa się z czterech procesorów graficznych NVIDIA Blackwell Ultra, dwóch procesorów Grace oraz czterech SuperNIC-ów ConnectX-8. Dzięki technologii przełączników NVIDIA NVLink i układom DPU NVIDIA BlueField®-3, 18 superchipów łączy się w jeden ogromny GPU, zaprojektowany specjalnie z myślą o erze wnioskowania AI.
NVIDIA GB300 NVL72¹
| Konfiguracja | 72 procesory graficzne NVIDIA Blackwell Ultra, 36 procesorów NVIDIA Grace |
| Pasmo NVLink | 130 TB/s |
| Pamięć szybka | Do 40 TB |
| Pamięć GPU | Pasmo | Do 21 TB | Do 576 TB/s |
| Pamięć CPU | Pasmo | Do 18 TB SOCAMM z LPDDR5X | Do 14.3 TB/s |
| Liczba rdzeni CPU | 2,592 rdzeni Arm Neoverse V2 |
| Rdzeń Tensor FP4 | 1,400 | 1,100² PFLOPS |
| Rdzeń Tensor FP8/FP6 | 720 PFLOPS |
| Rdzeń Tensor INT8 | 23 PFLOPS |
| Rdzeń Tensor FP16/BF16 | 360 PFLOPS |
| Rdzeń Tensor TF32 | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| FP64 / Rdzeń Tensor FP64 | 100 TFLOPS |
1. Wstępne specyfikacje. Mogą ulec zmianie. Wszystkie specyfikacje rdzeni Tensor dotyczą rozrzedzenia, chyba że zaznaczone inaczej.
2. Bez rozrzedzenia.
Zasoby
Dowiedz się więcej o Grace Blackwell
NVIDIA Project DIGITS, superkomputer AI Grace Blackwell na Twoim biurku
Zasilany nowym superchipem GB10 Grace Blackwell, Project DIGITS jest w stanie obsługiwać duże modele generatywnej AI o wielkości do 200 miliardów parametrów.
Udoskonalanie obciążeń Ansys z wykorzystaniem NVIDIA Grace i NVIDIA Grace Hopper
Obliczenia przyspieszone pozwalają na ogromne skoki w wydajności i efektywności energetycznej w porównaniu do tradycyjnych obliczeń CPU.
NVIDIA Blackwell podwaja wydajność treningu LLM w MLPerf Training v4.1
W miarę jak modele stają się coraz większe i są trenowane na większej ilości danych, stają się bardziej zdolne, co czyni je bardziej użytecznymi. Aby szybko trenować te modele, potrzebna jest większa wydajność...
Gotowy, aby zacząć?
Porozmawiaj z ekspertem produktowym NVIDIA, aby dowiedzieć się, jak
NVIDIA GB300 NVL72
może odmienić Twoją pracę związaną
ze sztuczną inteligencją.