Przegląd
Potrzeba szybszych łączników skalujących
Odkrycie pełnego potencjału obliczeń eksaskalowych i modeli AI z miliardami parametrów wymaga szybkiej, płynnej komunikacji między każdym GPU w klastrze serwerów. Piąta generacja NVIDIA NVLink™ to skalowalny łącznik, który potęguje zdolności AI do rozumowania i przyspiesza wydajność dla modeli inferencyjnych z miliardami parametrów.
Maksymalizuj przepustowość systemu z NVIDIA NVLink
Piąta generacja NVLink znacznie poprawia skalowalność większych systemów wielogPU poprzez umożliwienie GPU dzielenia się pamięcią i obliczeniami przy treningu, inferencji i workflow rozumowania. Pojedynczy GPU NVIDIA Blackwell obsługuje do 18 połączeń NVLink 100 GB/s, zapewniając łącznie przepustowość 1,8 TB/s — to dwukrotnie więcej niż w poprzedniej generacji i ponad 14 razy więcej niż PCIe Gen5. Platformy serwerowe, takie jak NVIDIA GB300 NVL72, korzystają z tej technologii, dostarczając większą skalowalność dla najbardziej złożonych obecnie dużych modeli.
Wydajność NVLink na dużą skalę
NVLink in NVIDIA GB300 increases inter-GPU communication bandwidth 2X compared to the previous generation, so researchers can use larger, more sophisticated applications to solve more complex problems.
Zwiększ przepustowość rozumowania dzięki komunikacji NVLink
W pełni połączone GPU z NVIDIA NVLink i NVLink Switch
NVLink to dwukierunkowe, 1,8 TB/s bezpośrednie połączenie GPU z GPU, które umożliwia skalowanie wejścia/wyjścia (IO) wielu GPU w obrębie serwera. Układy NVIDIA NVLink Switch łączą wiele NVLinków, zapewniając komunikację GPU "wszystko do wszystkiego" z pełną prędkością NVLink w obrębie jednego racka i między rackami. Aby umożliwić szybkie operacje kolektywne, każdy NVLink Switch posiada układy obsługujące protokół NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™, który realizuje skróty w sieci i przyspiesza multicast.
Przyspiesz rozumowanie w czasie testów dla modeli z trylionem parametrów z systemem NVLink Switch
Dzięki NVLink Switch, połączenia NVLink mogą być rozbudowane na poziomie wielu węzłów, tworząc spójny, wysokopasmowy klaster GPU — w efekcie formując GPU wielkości data center. NVIDIA NVLink Switch umożliwia przepustowość GPU do 130 TB/s w konfiguracji GB300 NVL72 dla dużej równoległości modeli. Klastry z wieloma serwerami obsługującymi NVLink skalują komunikację GPU w sposób zrównoważony z rosnącymi obliczeniami, co pozwala na obsługę nawet 9 razy więcej GPU niż system z 8 GPU.
NVIDIA NVLink Switch
NVIDIA NVLink 5 Switch wyposażony jest w 144 porty NVLink, zapewniając nieblokującą przepustowość przełączania do 14,4 TB/s. Switch rackowy jest zaprojektowany, aby zapewnić wysoką przepustowość i niskie opóźnienia w systemach NVIDIA GB300 NVL72, obsługujących zewnętrzną łączność NVLink piątej generacji.
Skalowanie od przedsiębiorstw do eksaskali
Pełne połączenie dla niezrównanej wydajności
NVLink Switch to pierwszy switch chip na poziomie racka, który obsługuje do 576 w pełni połączonych GPU w nieblokującej sieci obliczeniowej. Interfejs NVLink łączy każdą parę GPU z przepustowością do 1 800 GB/s, zapewniając pełną komunikację typu wszyscy do wszystkich. 72 GPU w systemie NVIDIA GB300 NVL72 mogą działać jako jeden wysokowydajny akcelerator o mocy obliczeniowej do 1,4 eksaFLOPS w AI.
Najpotężniejsza platforma AI i HPC
NVLink i NVLink Switch stanowią kluczowe elementy kompletnych rozwiązań NVIDIA dla centrów danych, obejmujących sprzęt, sieci, oprogramowanie, biblioteki oraz zoptymalizowane modele i aplikacje AI z pakietu NVIDIA AI Enterprise i katalogu NVIDIA NGC™. To najbardziej zaawansowana, pełna od początku do końca platforma AI i HPC, która pozwala naukowcom osiągać wyniki w realnym świecie i wdrażać rozwiązania do produkcji, zapewniając niespotykany przyrost wydajności na każdym poziomie skalowania.
Specyfikacje
Buduj rozwiązania AI szybciej, mając wszystkie potrzebne oprogramowanie
Kolekcje ułatwiają odkrywanie kompatybilnych kontenerów frameworków, modeli, notebooków Jupyter i innych zasobów, aby szybciej rozpocząć pracę z AI. Odpowiednie kolekcje zawierają również szczegółową dokumentację do wdrażania treści dla konkretnych przypadków użycia.
Katalog NGC oferuje gotowe do użycia kolekcje dla różnych aplikacji, w tym NLP, ASR, inteligentnej analizy wideo oraz wykrywania obiektów.
Kontenery NGC zapewniają potężne i łatwe w wdrożeniu oprogramowanie
Szybsze wdrażanie i uruchamianie obciążeń z kontenerami
Katalog NGC zawiera kontenery dla najlepszych oprogramowań AI i nauki o danych, dostosowanych, testowanych i zoptymalizowanych przez NVIDIA. Dostępne są również w pełni przetestowane kontenery dla aplikacji HPC i analizy danych, umożliwiające użytkownikom budowanie rozwiązań na podstawie przetestowanego frameworku z pełną kontrolą.
Gotowy, aby zacząć?
Porozmawiaj z ekspertem produktowym NVIDIA, aby dowiedzieć się więcej o rozwiązaniach NVIDIA NVLink.