NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Referencja techniczna

Niniejsze opracowanie techniczne jest przeznaczone dla architektów sieci, inżynierów ds. przedsprzedaży i kierowników operacyjnych. Skupiony naNVIDIA Mellanox MQM8790-HS2FPrzełącznik InfiniBand zapewnia szczegółowe informacje dotyczące projektowania, wdrażania i obsługi wysokowydajnych sieci szkieletowych, które obsługują szkolenia AI na dużą skalę i symulacje HPC — ze szczególnym uwzględnieniem akceleracji RDMA i deterministycznej komunikacji o niskim opóźnieniu.

Współczesne obciążenia AI i HPC kierują klastry GPU do dziesiątek tysięcy węzłów. Tradycyjne sieci Ethernet, nawet z RoCE, wykazują niespójności wydajności w przypadku wzorców incast i charakteryzują się większym obciążeniem procesora. Kluczowe wymagania dotyczące wzajemnych połączeń klastrowych nowej generacji obejmują:

• Opóźnienie między punktami wynoszące mniej niż mikrosekundę dla zsynchronizowanych operacji zbiorowych
• Bezstratny i wolny od zatorów transport, aby zapobiec maruderom, którzy przekroczą limit czasu
• Pełne odciążenie przetwarzania komunikacji z rdzeni CPU/GPU
• Skalowalne topologie Fat Tree lub Dragonfly+ z nieblokującą przepustowością
• Ekonomiczna ścieżka migracji z istniejącej optyki 100G/200G

Wychodząc naprzeciw tym żądaniom,Przełącznik InfiniBand MQM8790-HS2Fzapewnia 200 Gb/s HDR na port, 40 portów QSFP56 na jednostkę oraz natywną obsługę RDMA i przetwarzania w sieci. To rozwiązanie zostało zaprojektowane specjalnie dla środowisk, w których wydajność wzajemnych połączeń bezpośrednio przekłada się na czas realizacji zadania i całkowity koszt posiadania.

Zalecana topologia fizyczna dla klastrów AI/HPC korzystających zNVIDIA Mellanox MQM8790-HS2Fto dwu- lub trzypoziomowe drzewo tłuszczowe (znane również jako kręgosłup liściowy). Każdy przełącznik typu Leaf łączy się z serwerami GPU za pośrednictwem łączy HDR lub HDR100, natomiast przełączniki typu Spine zapewniają łączność w trybie pełnej siatki pomiędzy liśćmi. Typowa konfiguracja 800-GPU wykorzystuje:

• 20 przełączników liściowych: każdyMQM8790-HS2F 40-portowy QSFP56 200 Gb/s HDRobsługa do 20 serwerów (połączenia dwuszynowe)
• 4 przełączniki typu spine: w pełni połączone z liśćmi za pomocą łączy uplink 200 Gb/s
• Współczynnik nieblokujący 1:1 na każdym poziomie

W przypadku większych klastrów (ponad 2000 procesorów graficznych) architektura trójwarstwowa dodaje warstwę super-spine. Całość zarządzania siecią szkieletową jest obsługiwana przez menedżera podsieci (SM) — działającego na dedykowanym kontrolerze lub wbudowanego w oprogramowanie sprzętowe przełącznika w przypadku mniejszych sieci szkieletowych.

W ramach tej architektury,MQM8790-HS2Fsłuży zarówno jako element liścia, jak i kręgosłupa. Do jego podstawowych wyróżników należą:

• HDR 200 Gb/s na port:Pełna dwukierunkowa przepustowość z łączną, nieblokującą zdolnością przełączania wynoszącą 16 Tb/s
• Trasowanie adaptacyjne (AR):Dynamicznie rozdziela ruch na wiele ścieżek, aby uniknąć gorących punktów, co ma kluczowe znaczenie dla wydajności grubego drzewa
• SHARPv2 (skalowalny protokół hierarchicznej agregacji i redukcji):Przenosi zbiorowe operacje (All-Reduce, Reduce-Scatter) bezpośrednio do sieci przełączników, skracając czas bezczynności procesora graficznego
• Kontrola zatorów:Drobnoziarnista kontrola przepływu za pomocą mechanizmów FECN/BECN zapewnia bezstratną tkaninę
• Wysoka gęstość portów:40 portów QSFP56 na obudowę 1U, co upraszcza rozmieszczenie w szafie i zmniejsza złożoność okablowania między szafami

Inżynierowie mogą odwoływać się doArkusz danych MQM8790-HS2FISpecyfikacje MQM8790-HS2Faby uzyskać szczegółowe dane dotyczące mocy, temperatury i opóźnień. Platforma teżKompatybilny z MQM8790-HS2Fz szeroką gamą optyki HDR, HDR100, a nawet EDR, umożliwiając stopniowe aktualizacje.

W przypadku zrównoważonego klastra AI z 1000 procesorami graficznymi zalecana jest następująca sekwencja wdrażania:

• Krok 1 – Warstwa liści:Zainstaluj 25xMQM8790-HS2Fjednostki jako przełączniki liściowe. Podłącz każdy serwer GPU (8 procesorów graficznych na serwer) przez dwa porty HDR do dwóch różnych liści, aby zapewnić redundancję i przepustowość.
• Krok 2 – Warstwa kręgosłupa:Wdróż 8xNVIDIA Mellanox MQM8790-HS2Fw miarę zmiany kręgosłupa. Połącz każdy liść z każdym grzbietem za pomocą łączy 200 Gb/s (40 łączy nadrzędnych na liść, ale zazwyczaj podzbiór wystarczający do utrzymania współczynnika blokowania ≤1:1).
• Krok 3 – Umieszczenie Menedżera podsieci:Uruchom nadmiarowe instancje SM na dwóch lekkich serwerach lub użyj wbudowanego SM dla klastrów poniżej 2000 portów.
• Krok 4 – Partycjonowanie:Użyj partycji InfiniBand, aby odizolować przepływy ruchu związanego z produkcją, programowaniem i pamięcią masową w tej samej strukturze fizycznej.

W celu rozbudowy do ponad 2500 procesorów graficznych dodaj warstwę super-spine za pomocą dodatkowych jednostek MQM8790-HS2F i zwiększ gęstość łącza nadrzędnego typu liść do kręgosłupa. TheRozwiązanie przełącznika InfiniBand MQM8790-HS2Fskaluje się liniowo bez zmiany architektury rdzenia.

Codzienna eksploatacja zabudowanej tkaninyMQM8790-HS2Fprzełącznikami zarządza się za pomocą Menedżera tkanin firmy NVIDIA i systemu MLNX-OS. Kluczowe praktyki obejmują:

• Monitorowanie:Użyj `ibdiagnet` do sprawdzania topologii, `perfquery` do liczników portów i dashboardów Grafana z eksporterami Prometheusa do telemetrii w czasie rzeczywistym (wykorzystanie łącza, błędy symboli, znaczniki przeciążenia).
• Oprogramowanie sprzętowe i oprogramowanie:Zachowaj spójne oprogramowanie sprzętowe na wszystkich przełącznikach. Zapoznaj się z informacjami o najnowszym wydaniu w plikuArkusz danych MQM8790-HS2Fdla zgodności wersji.
• Rozwiązywanie problemów:Typowe problemy — trzepotanie łączy, niedopasowany MTU lub błędna konfiguracja partycji — są szybko izolowane przy użyciu poleceń `ibstatus`, `smpquery` i przełącznika syslog. Adaptacyjne dzienniki routingu mogą wskazywać źródła zatorów.
• Optymalizacja:Dostosuj adaptacyjne progi routingu i parametry kontroli zatorów w oparciu o profilowanie obciążenia. W przypadku szkoleń AI na dużą skalę włącz SHARP w odpowiednich bibliotekach MPI (np. NCCL z wtyczką SHARP).

Planując budżet lub rozbudowę, poprośCena MQM8790-HS2Fwyceny od autoryzowanych partnerów i zweryfikowaćDo sprzedania MQM8790-HS2Fdostępność. Kompatybilność platformy z istniejącym okablowaniem QSFP56 zmniejsza ryzyko zakupu.

TheMQM8790-HS2Fto nie tylko przełącznik — to podstawowy element konstrukcyjny deterministycznych sieci HPC i AI o niskim opóźnieniu. Połączenie 200 Gb/s HDR, gęstości 40 portów, routingu adaptacyjnego i obliczeń wewnątrz sieci firmy SHARP bezpośrednio rozwiązuje kluczowe problemy nowoczesnych połączeń klastrowych. W porównaniu do alternatywnych rozwiązań Ethernet 200G, ekosystem InfiniBand oferuje:

• Niższe obciążenie procesora (prawdziwe RDMA ze sprzętowym odciążeniem transportu)
• Deterministyczne opóźnienie w skali mikrosekundowej pod rzeczywistym obciążeniem
• Uproszczone zarządzanie siecią szkieletową dzięki scentralizowanemu menedżerowi podsieci
• Sprawdzona skalowalność do dziesiątek tysięcy punktów końcowych

W przypadku organizacji budujących lub rozwijających klastry GPU, przyjęcieNVIDIA Mellanox MQM8790-HS2Foznacza osiągnięcie wyższej efektywnej liczby FLOPS na dolara, skrócenie czasu realizacji zadania i zabezpieczenie połączenia międzysieciowego na przyszłość dla aktualizacji HDR200 nowej generacji (400 Gb/s). Szczegółowe projekty referencyjne, w tym kompletneSpecyfikacje MQM8790-HS2Fi matryce okablowania są dostępne za pośrednictwem portalu partnerskiego NVIDIA.