NVIDIA Mellanox 920-9B210-00FN-0D0 Referencja techniczna: 400Gb/s NDR Optymalizacja łącza międzyłącza niskiego opóźnienia

NVIDIA Mellanox 920-9B210-00FN-0D0 Dokumentacja Techniczna: Optymalizacja ultraszybkiego połączenia NDR 400 Gb/s dla klastrów RDMA/HPC/AI

1. Tło projektu i analiza wymagań

W miarę jak klastry treningowe AI skalują się od tysięcy do dziesiątek tysięcy GPU, a symulacje HPC zbliżają się do wydajności Exascale, połączenia sieciowe stają przed bezprecedensowymi wymaganiami dotyczącymi przepustowości, opóźnień i determinizmu. Przejście z 200 Gb/s HDR na 400 Gb/s NDR nie jest już opcjonalne – jest to strategiczna konieczność dla organizacji wdrażających modele z bilionami parametrów i obliczenia równoległe na ekstremalną skalę. W wielu wiodących środowiskach wdrożeniowych kluczowe wymagania można podsumować następująco:

• Deterministyczne ultraszybkie opóźnienia: Komunikacja zbiorcza MPI i all-to-all musi utrzymywać opóźnienie port-do-port poniżej 100 ns, aby zminimalizować wpływ narzutu komunikacyjnego na zbieżność treningu.
• Bezstratna sieć w skali: Zero utraconych pakietów na tysiącach punktów końcowych, zapewniające, że wydajność RDMA nie ulegnie degradacji pod wpływem przeciążenia.
• Odciążenie obliczeń w sieci: Odciążenie operacji zbiorczych (all-reduce, all-to-all, broadcast) do warstwy przełączników, aby zwolnić zasoby CPU/GPU hosta.
• Skalowalność o wysokim współczynniku radix: Obsługa topologii fat-tree i dragonfly+ z pełną przepustowością bisekcji przy ponad 8000 węzłach.
• Ochrona inwestycji: Bezproblemowa kompatybilność z istniejącymi kablami, optyką i narzędziami do zarządzania HDR w celu stopniowych modernizacji.

Aby sprostać tym wymaganiom, to rozwiązanie przyjmuje NVIDIA Mellanox 920-9B210-00FN-0D0 jako podstawowy element budulcowy – przełącznik InfiniBand 400 Gb/s NDR zaprojektowany specjalnie do wdrożeń klasy Exascale.

2. Ogólny projekt architektury sieciowej

Proponowane rozwiązanie wykorzystuje dwupoziomową topologię leaf-spine, zapewniającą skalowalną, nieblokującą sieć o deterministycznych opóźnieniach i uproszczonym okablowaniu. Na poziomie leaf, każdy stojak obliczeniowy jest wyposażony w jedną lub dwie jednostki 920-9B210-00FN-0D0 InfiniBand switch OPN, zapewniające 64 porty łączności 400 Gb/s NDR do serwerów GPU za pomocą miedzianych kabli bezpośrednich OSFP (DAC) lub aktywnych kabli optycznych (AOC). Na poziomie spine, druga warstwa przełączników 920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDR łączy wszystkie przełączniki leaf, tworząc sieć fat-tree o pełnej przepustowości bisekcji.

Dla klastrów przekraczających 5000 węzłów można zastosować trójpoziomową architekturę folded-Clos, w której 920-9B210-00FN-0D0 służy zarówno jako leaf, jak i spine, aby utrzymać spójną wydajność na wszystkich poziomach. Przełącznik obsługuje do 64 przełączników w jednej sieci pod jednym menedżerem podsieci, umożliwiając zunifikowane sterowanie dużymi topologiami.

Poniższa tabela podsumowuje kluczowe parametry skalowania dla dwupoziomowej sieci NDR opartej na 920-9B210-00FN-0D0:

3. Rola i kluczowe cechy NVIDIA Mellanox 920-9B210-00FN-0D0

W ramach tej architektury NVIDIA Mellanox 920-9B210-00FN-0D0 służy jako podstawowy element przełączający, zapewniając kilka kluczowych możliwości, które bezpośrednio odpowiadają wymaganiom zidentyfikowanym w Sekcji 1:

• 64 porty 400 Gb/s NDR: Każdy port OSFP obsługuje dwukierunkowe 400 Gb/s z korekcją błędów do przodu (FEC) dla niezawodnej łączności o rozszerzonym zasięgu. Agregowana przepustowość przełączania wynosząca 51,2 Tb/s zapewnia wystarczający zapas nawet dla najbardziej intensywnych obliczeniowo obciążeń.
• Ultraszybkie opóźnienie cut-through: Opóźnienie port-do-port poniżej 100 ns, zgodnie z dokumentacją w arkuszem danych 920-9B210-00FN-0D0, zapewnia minimalny narzut dla operacji MPI i RDMA.
• Zintegrowany SHARPv3: Odciąża operacje zbiorcze od procesorów hosta, zmniejszając opóźnienie all-reduce o nawet 40% i all-to-all o nawet 35% w zadaniach na dużą skalę.
• Routing adaptacyjny i kontrola przeciążeń: Dynamicznie przekierowuje ruch, aby unikać wąskich gardeł, utrzymując przewidywalną wydajność w niekorzystnych wzorcach ruchu. Zaawansowana telemetria zapewnia widoczność dla poszczególnych przepływów i portów w celu proaktywnego zarządzania.
• Kompleksowe zarządzanie: Pełna integracja z narzędziem NVIDIA Unified Fabric Manager (UFM) w celu zero-dotykowego udostępniania, monitorowania stanu i automatycznego przełączania awaryjnego.

Produkt specyfikacji 920-9B210-00FN-0D0 podkreślają również podwójne redundantne zasilacze, moduły wentylatorów z możliwością wymiany podczas pracy oraz obsługę redundantnych konfiguracji menedżerów podsieci, zapewniając dostępność na poziomie 99,999% dla krytycznych obciążeń.

4. Zalecenia dotyczące wdrożenia i skalowalności

Dla organizacji planujących wdrożenie rozwiązania 920-9B210-00FN-0D0 InfiniBand switch OPN, zaleca się następujące wytyczne dotyczące wdrożenia:

• Strategia okablowania: Używaj kabli DAC OSFP-do-OSFP do połączeń wewnątrz stojaka (do 3 m) oraz kabli AOC lub nadajników-odbiorników optycznych do połączeń między stojakami i między leaf-spine (do 100 m). Sprawdź, czy wszystkie kable są kompatybilne z 920-9B210-00FN-0D0 zgodnie z macierzą kompatybilności NVIDIA, aby uniknąć problemów z integralnością sygnału.
• Redundancja: Wdróż podwójne zasilacze podłączone do oddzielnych PDU. Użyj co najmniej dwóch przełączników spine na leaf, aby wyeliminować pojedyncze punkty awarii. W przypadku krytycznych obciążeń rozważ redundancję N+1 na poziomie spine.
• Zarządzanie oprogramowaniem układowym: Upewnij się, że wszystkie przełączniki działają na identycznych wersjach oprogramowania układowego NVIDIA. Użyj funkcji automatycznej aktualizacji oprogramowania układowego UFM do aktualizacji bez przestojów. Zweryfikuj kompatybilność oprogramowania układowego z adapterami hosta i kablami przed wdrożeniem.
• Ścieżka skalowania: Dla klastrów powyżej 4096 węzłów przejdź na trójpoziomową architekturę folded-Clos lub wykorzystaj dragonfly+ z routingiem adaptacyjnym. 920-9B210-00FN-0D0 obsługuje do 64 przełączników w jednej sieci, z wieloma sieciami połączonymi przez bramy dla większych wdrożeń.
• Walidacja wydajności: Przed wdrożeniem produkcyjnym przeprowadź kompleksowe testy obciążeniowe przy użyciu benchmarków wydajności OpenFabrics Enterprise Distribution (OFED), aby zweryfikować wydajność sieci w porównaniu ze specyfikacjami z arkuszem danych 920-9B210-00FN-0D0.

Przy obliczaniu całkowitego kosztu posiadania uwzględnij zmniejszoną liczbę poziomów przełączników i uproszczone okablowanie w porównaniu z alternatywami o niższym współczynniku radix. Chociaż cena 920-9B210-00FN-0D0 za jednostkę jest wyższa niż w przypadku przełączników HDR, koszt za port i koszt sieci na GPU są znacznie niższe w dużych wdrożeniach, co czyni go opłacalnym wyborem dla projektów Exascale.

5. Operacje, monitorowanie i rozwiązywanie problemów

Efektywne zarządzanie siecią NDR wymaga kompleksowego systemu monitorowania i rozwiązywania problemów. Narzędzie NVIDIA UFM zapewnia pojedynczy punkt widzenia dla całej sieci opartej na NVIDIA Mellanox 920-9B210-00FN-0D0, oferując:

• Wizualizacja topologii: Automatyczne wykrywanie i graficzna reprezentacja wszystkich przełączników, połączeń i punktów końcowych z aktualizacjami statusu w czasie rzeczywistym.
• Pulpity nawigacyjne wydajności: Widoki w czasie rzeczywistym wykorzystania portów, wskaźników błędów, wskaźników przeciążenia i zajętości buforów w całej sieci.
• Proaktywne alerty: Alarmy oparte na progach dla degradacji połączeń, anomalii temperatury, awarii zasilaczy i zużycia kabli.
• Izolacja błędów: Kierowane przepływy pracy rozwiązywania problemów, które identyfikują wadliwe kable, nadajniki-odbiorniki lub porty przełączników, skracając średni czas do rozwiązania (MTTR).
• Analiza historyczna: Analiza trendów i planowanie pojemności na podstawie historycznych danych wydajności, umożliwiające proaktywne decyzje dotyczące skalowania.

W przypadku zaawansowanego rozwiązywania problemów wykorzystaj wbudowane narzędzia diagnostyczne przełącznika, w tym testy pętli zwrotnej, analizę BER (współczynnik błędów bitowych) i monitorowanie diagnostyczne modułów optycznych (DOM). Typowe problemy napotykane we wczesnych wdrożeniach NDR obejmują suboptymalny routing spowodowany nierównymi prędkościami połączeń, niedopasowanymi typami kabli lub niespójnościami oprogramowania układowego. Włączenie routingu adaptacyjnego, weryfikacja, czy wszystkie połączenia działają z prędkością 400 Gb/s z włączonym FEC, oraz zapewnienie spójnego oprogramowania układowego na wszystkich przełącznikach rozwiązuje większość anomalii wydajności.

Inżynierowie sieciowi powinni również ustalić podstawowy poziom specyfikacji 920-9B210-00FN-0D0 podczas fazy walidacji, w tym oczekiwane opóźnienia, przepustowość i wskaźniki błędów. Odchylenia od tego poziomu podstawowego mogą być wykorzystywane jako wczesne wskaźniki potencjalnych problemów. 920-9B210-00FN-0D0 InfiniBand switch OPN obsługuje również kompleksowe logowanie zdarzeń za pomocą syslog i SNMP, umożliwiając integrację z istniejącymi stosami monitorowania centrum danych.

6. Podsumowanie i ocena wartości

Produkt 920-9B210-00FN-0D0 oferuje atrakcyjną propozycję wartości dla organizacji budujących lub rozbudowujących klastry HPC i AI oparte na NDR. Zapewnia 64 porty 400 Gb/s NDR z opóźnieniem poniżej 100 ns, odciążenie SHARPv3, zarządzanie klasy korporacyjnej i pełną kompatybilność z istniejącym ekosystemem HDR – wszystko w kompaktowej platformie 1U. Kluczowe punkty wartości obejmują:

• Wydajność: Redukcja opóźnień komunikacji all-to-all o nawet 75% i opóźnień all-reduce o nawet 40% dzięki odciążeniu SHARPv3 i przepustowości NDR.
• Efektywność kosztowa: Niższy koszt sieci na GPU w porównaniu z alternatywami HDR w dużych wdrożeniach, wynikający z wyższego współczynnika radix i zmniejszonej liczby poziomów przełączników.
• Prostota operacyjna: Głęboka integracja z UFM w celu zunifikowanego zarządzania, automatycznego udostępniania, proaktywnego monitorowania i szybkiego rozwiązywania problemów.
• Ochrona inwestycji: Pełna kompatybilność z istniejącymi kablami, optyką i stosami oprogramowania HDR, umożliwiająca stopniowe modernizacje bez zakłócania obciążeń produkcyjnych.
• Skalowalność przyszłościowa: Obsługa trójpoziomowych topologii folded-Clos i dragonfly+, zapewniająca skalowalność sieci do ponad 8000 węzłów wraz ze wzrostem zapotrzebowania na moc obliczeniową.

Dla organizacji oceniających 920-9B210-00FN-0D0 do sprzedaży za pośrednictwem partnerów kanałowych NVIDIA, zalecamy zapoznanie się ze szczegółowym arkuszem danych 920-9B210-00FN-0D0 i współpracę z certyfikowanym architektem rozwiązań w celu walidacji projektu pod kątem konkretnych wymagań dotyczących obciążeń i skali. Produkt NVIDIA Mellanox 920-9B210-00FN-0D0 jest gotowy do produkcji, oferując wysokowydajną, skalowalną podstawę połączeń dla następnej generacji innowacji w dziedzinie AI i HPC.