Rozwiązanie techniczne przełącznika InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

Niniejsza biała księga techniczna zapewnia architektom, inżynierom ds. sprzedaży i zespołom operacyjnym kompleksowy projekt referencyjny skupiający się naMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Przełącznik InfiniBand. Rozwiązanie odpowiada na najpilniejsze wyzwania współczesnych środowisk AI i HPC: opóźnienia wywołane siecią, przeciążenia i ograniczenia skalowalności tradycyjnych struktur Ethernet.

1. Analiza tła projektu i wymagań

Organizacje wdrażające wielkoskalowe klastry procesorów graficznych na potrzeby uczenia modeli dużych języków, symulacji dynamiki molekularnej lub prognozowania pogody napotykają typowe wąskie gardło: strukturę połączeń wzajemnych. Konwencjonalny stratny Ethernet nie może zagwarantować deterministycznego opóźnienia poniżej mikrosekundy wymaganego do wydajnych operacji zbiorowych typu „wszystko-redukcja” i „wszystko do wszystkich”. Kluczowe wymagania zidentyfikowane na podstawie wdrożeń w świecie rzeczywistym obejmują:

• Opóźnienie od końca do końca poniżej 1 µs dla obciążeń MPI wrażliwych na opóźnienia
• Bezstratna prędkość łącza 400 Gb/s na port, bez blokowania nagłówka linii
• Przetwarzanie w sieci w celu odciążenia zbiorczych operacji od procesorów hosta
• Bezproblemowa skalowalność od 8 do 2000+ węzłów GPU bez konieczności zmiany architektury szkieletu

Te wymagania skłoniły nasz zespół projektowy do wyboru920-9B210-00FN-0D0jako podstawowy element konstrukcyjny struktury nowej generacji o niskim opóźnieniu.

2. Ogólny projekt architektury sieci/systemu

Proponowana architektura przyjmuje dwuwarstwową topologię typu „liść grzbietu”, zoptymalizowaną pod kątem nieblokującej przepustowości o pełnej dwusiecznej. Wszystkie węzły obliczeniowe (serwery GPU, urządzenia pamięci masowej, hosty zarządzające) łączą się z przełącznikami typu „liście”, natomiast przełączniki typu „spine” zapewniają łączność „każdy z każdym” między liśćmi. Taka konstrukcja eliminuje nadsubskrypcję i zapewnia przewidywalne opóźnienia niezależnie od wzorców komunikacji.

W przypadku referencyjnego klastra 512-GPU wdrażamy 16 przełączników liściowych i 8 przełączników typu „spine”, z których każdy jestNVIDIA Mellanox 920-9B210-00FN-0D0. Łącza typu Leaf-Spine działają z szybkością 400 Gb/s NDR, co daje łączną przepustowość sieci szkieletowej przekraczającą 200 Tb/s. Na wszystkich portach włączone są algorytmy routingu adaptacyjnego (AR) i kontroli przeciążenia, aby dynamicznie równoważyć ruch i unikać hotspotów podczas zdarzeń incast.

3. Rola 920-9B210-00FN-0D0 i kluczowych wyróżników

The920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDRPrzełącznik służy zarówno jako liść, jak i kręgosłup, zapewniając stałą wydajność w całej tkaninie. Do jego najważniejszych zalet architektonicznych należą:

Inżynierowie oceniający zamówienia znajdą920-9B210-00FN-0D0 Przełącznik InfiniBand OPN(numer części zamówienia) ułatwia wycenę i dostawę. W celu sprawdzenia interoperacyjności,Karta katalogowa 920-9B210-00FN-0D0ISpecyfikacje 920-9B210-00FN-0D0zapewniają szczegółowe matryce kompatybilności z modułami DPU ConnectX-7, BlueField-3 i urządzeniami pamięci masowej innych firm.

4. Zalecenia dotyczące wdrożenia i skalowania

Zalecamy wdrażanie etapowe, aby zminimalizować zakłócenia w produkcji:

• Faza 1 (pilotażowa):8 do 16 węzłów GPU + 2920-9B210-00FN-0D0przełączniki (topologia jednoszynowa). Sprawdź wydajność RDMA i zbierz podstawowe wskaźniki.
• Faza 2 (Częściowa produkcja):Skalowanie do 128 procesorów graficznych przy użyciu 4 liści + 2 kolców. Włącz routing adaptacyjny i SHARPv3.
• Faza 3 (Pełna produkcja):Wdróż 16 liści + 8 kolców dla ponad 512 procesorów graficznych. Wprowadź routing wielościeżkowy i partycjonowanie w sieci szkieletowej za pomocą NVIDIA UFM.

Do okablowania należy używać aktywnych kabli optycznych (AOC) lub aktywnych kabli miedzianych w przypadku odcinków krótszych niż 5 metrów; w przypadku dłuższych łączy lub łączy typu cross-rack należy zastosować transceivery NDR 400 Gb/s ze światłowodem jednomodowym. Wszystkie porty naKompatybilny z 920-9B210-00FN-0D0ekosystem obsługuje automatyczną negocjację między trybami pracy 400 Gb/s i 200 Gb/s.

5. Operacje, monitorowanie i rozwiązywanie problemów

Gotowość produkcyjna wymaga solidnej obserwacji. Integrujemy920-9B210-00FN-0D0 Przełącznik InfiniBand Rozwiązanie OPNz NVIDIA Unified Fabric Manager (UFM). Kluczowe możliwości operacyjne obejmują:

• Telemetria w czasie rzeczywistym:Liczniki dla poszczególnych portów, histogramy opóźnień, zajętość bufora i powiadomienia o przeciążeniach eksportowane za pośrednictwem Prometheus/Graphite.
• Automatyczne przełączanie awaryjne:Przekierowanie łącza subsekundowego w przypadku awarii kabla lub transceivera.
• Diagnostyka wydajnościowa:Wbudowane liczniki wydajności firmy SHARP i narzędzia do analizowania sieci szkieletowej umożliwiające identyfikację węzłów zużywających się powoli.

W przypadku typowych problemów zapoznaj się z sekcjąKarta katalogowa 920-9B210-00FN-0D0w celu uzyskania kodów błędów i sugerowanych działań naprawczych. Planując zwiększenie wydajności, należy zapoznać się z920-9B210-00FN-0D0 cenamodele kompromisów między ekspansją samych liści i całego kręgosłupa.

6. Podsumowanie i ocena wartości

TheNVIDIA Mellanox 920-9B210-00FN-0D0oparte na nim rozwiązanie zapewnia deterministyczne opóźnienie poniżej mikrosekundy, bezstratną przepustowość 400 Gb/s i przyspieszenie obliczeń w sieci dla klastrów RDMA/HPC/AI. W porównaniu z alternatywnymi konstrukcjami Ethernet 400 Gb, ta struktura InfiniBand osiąga 2,5 razy mniejsze opóźnienia w trybie all-redukcji i eliminuje do 90% zbiorowego ruchu za pośrednictwem SHARPv3. Dla organizacji oceniającychSprzedam 920-9B210-00FN-0D0opcji całkowity koszt posiadania zwraca się zwykle w ciągu 6–12 miesięcy dzięki większemu wykorzystaniu procesora graficznego i skróceniu czasu realizacji zadań. Zalecamy natychmiastowe wdrożenie pilotażowe w przypadku każdej nowej lub skalowalnej infrastruktury AI.