Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Biała Księga Techniczna: Optymalizacja Połączeń o Niskim Opóźnieniu

Niniejszy techniczny dokument white paper jest przeznaczony dla architektów sieci, inżynierów ds. przedsprzedaży i menedżerów operacyjnych, oferując kompleksowe rozwiązanie skoncentrowane na przełączniku InfiniBand Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0. Badamy, w jaki sposób ta platforma umożliwia deterministyczne, ultraszybkie opóźnienia dla obciążeń intensywnie korzystających z RDMA w środowiskach klastrów HPC i AI.

Nowoczesne frameworki do trenowania AI (PyTorch DDP, DeepSpeed, Megatron) i kody symulacyjne HPC (CFD, modelowanie pogody, dynamika molekularna) w dużym stopniu opierają się na prymitywach komunikacji zbiorowej. Tradycyjne sieci Ethernet wprowadzają trzy fundamentalne problemy: utratę pakietów z powodu przeciążenia typu incast, zmienne opóźnienia wynikające z przełączania typu store-and-forward oraz wysokie obciążenie procesora związane z przetwarzaniem stosu TCP/IP. Problemy te powodują 30-50% czasu bezczynności GPU w rozproszonym trenowaniu na dużą skalę, co bezpośrednio przekłada się na wydłużony czas do uzyskania rozwiązania i zwiększone koszty operacyjne.

Przełącznik 920-9B110-00FH-0D0 rozwiązuje te problemy dzięki natywnej technologii InfiniBand, oferując sprzętowe RDMA, przełączanie typu cut-through i kontrolę przepływu opartą na kredytach. Docelowe przypadki użycia obejmują laboratoria badawcze AI zarządzające klastrami 64-1024 GPU, centra HPC wymagające opóźnień MPI poniżej mikrosekundy oraz dostawców chmury budujących rodziny instancji AI typu bare-metal.

Nasza rekomendowana architektura wykorzystuje dwupoziomową topologię fat-tree (folded Clos), która równoważy przepustowość bisekcyjną, koszt i skalowalność. Parametry projektowe zakładają do 512 węzłów obliczeniowych, każdy wyposażony w dwuportowe adaptery HDR ConnectX-6.

Ta konfiguracja zapewnia pełną przepustowość bisekcyjną 200 Gb/s na węzeł, wydajność bez blokowania dla wzorców komunikacji all-to-all oraz opóźnienia wynoszące zaledwie 130 ns na przeskok (cut-through). Rozwiązanie 920-9B110-00FH-0D0 InfiniBand switch OPN obsługuje zarówno standardowe, jak i niestandardowe SKU, umożliwiając elastyczne konfiguracje podziału portów (np. 4x 50 Gb/s na port HDR).

W proponowanej architekturze przełącznik NVIDIA Mellanox 920-9B110-00FH-0D0 służy jako zunifikowany element sieciowy na poziomach liści i grzbietu. Kluczowe różnice techniczne obejmują:

• Sprzętowe RDMA: Omija jądro i procesor, umożliwiając transfery pamięć-do-pamięci z prędkością linii przy opóźnieniu poniżej <1µs.
• Routing adaptacyjny (AR): Dynamicznie przekierowuje pakiety w oparciu o bieżące przeciążenie portów, rozkładając ruch na wszystkie dostępne ścieżki bez zmiany kolejności pakietów.
• Kontrola przeciążenia: Mechanizmy powiadamiania i ograniczania na poziomie sprzętowym zapobiegają blokowaniu head-of-line, jak szczegółowo opisano w karty katalogowej 920-9B110-00FH-0D0.
• Ostre telemetry: Zintegrowane monitory sprzętowe zapewniają obłożenie bufora na port, opóźnienia i liczniki błędów do proaktywnego zarządzania.

Inżynierowie oceniający zakup powinni zapoznać się z pełną specyfikacją 920-9B110-00FH-0D0, która potwierdza obsługę do 40 portów HDR (każdy po 200 Gb/s) w obudowie 1U, ze zużyciem energii poniżej 300 W typowo. Ekosystem kompatybilny z 920-9B110-00FH-0D0 obejmuje wszystkie standardowe moduły optyczne HDR (QSFP56) i pasywne kable miedziane do 5 metrów.

W przypadku początkowego wdrożenia zalecamy podejście etapowe:

• Etap 1 (Pilot – 32 węzły): Wdrożyć 1 przełącznik liścia (920-9B110-00FH-0D0) w konfiguracji jednoprzełącznikowej. Zweryfikować wydajność RDMA za pomocą testów ib_write_bw i MPI. Odnieść się do statusu 920-9B110-00FH-0D0 na sprzedaż, aby zapewnić, że czasy realizacji są zgodne z kamieniami milowymi projektu.
• Etap 2 (Produkcja – 128 węzłów): Zaimplementować pełną sieć fat-tree z 4 przełącznikami liści i 2 przełącznikami grzbietu. Włączyć routing adaptacyjny i kontrolę przeciążenia. Przeprowadzić rozszerzone testy obciążeniowe z testami NCCL (all-reduce, all-gather).
• Etap 3 (Skalowanie – 512+ węzłów): Rozszerzyć do 16 przełączników liści i 8 przełączników grzbietu. Rozważyć modernizację do architektury wielosieciowej (oddzielne sieci obliczeniowe/magazynujące). Ocenić ceny 920-9B110-00FH-0D0 za port w porównaniu do dodawania większej liczby przełączników vs. modeli o wyższym radiksie.

Przy obliczaniu całkowitego kosztu posiadania należy zauważyć, że przełącznik 920-9B110-00FH-0D0 eliminuje potrzebę stosowania oddzielnych przełączników TOR, złożoność konfiguracji ECN (w przeciwieństwie do RoCE) i licencje na zastrzeżone zarządzanie przeciążeniem – wszystko to jest zawarte natywnie w InfiniBand.

Zarządzanie produkcyjne sieciami NVIDIA Mellanox 920-9B110-00FH-0D0 opiera się na dwóch głównych narzędziach: OpenSM (subnet manager) do podstawowego uruchamiania sieci i NVIDIA UFM (Unified Fabric Manager) do telemetrii i automatyzacji na skalę przedsiębiorstwa.

• Codzienne kontrole stanu: Użyj `ibnetdiscover` do weryfikacji topologii sieci, `ibstat` do monitorowania stanu portów i `perfquery` do śledzenia liczników błędów.
• Optymalizacja wydajności: Ustaw routing adaptacyjny na "statyczny" dla deterministycznych opóźnień lub "dynamiczny" dla maksymalnej przepustowości. Dostosuj mapowanie SL2VL, aby nadać priorytet ruchowi sterującemu vs. ruchowi danych.
• Rozwiązywanie typowych problemów: Błędy CRC łącza zazwyczaj wskazują na problemy z integralnością kabla/sygnału – zapoznaj się z karty katalogowej 920-9B110-00FH-0D0, aby uzyskać informacje o prawidłowych SKU kabli. Przekroczenia limitu czasu menedżera podsieci często wymagają dostosowania `max_hop_count` dla dużych sieci.
• Planowanie pojemności: Wykorzystaj analitykę predykcyjną UFM do prognozowania wykorzystania portów i identyfikowania hotspotów, zanim wpłyną one na zadania. Rozwiązanie 920-9B110-00FH-0D0 InfiniBand switch OPN umożliwia elastyczne, możliwe do wymiany w terenie optyki, aby dostosować się do zmieniających się wymagań przepustowości.

Dla organizacji oceniających wielu dostawców, porównanie ceny 920-9B110-00FH-0D0 z alternatywnymi przełącznikami HDR powinno uwzględniać prostotę operacyjną – jednolity, pionowo zintegrowany stos InfiniBand skraca czas debugowania między zespołami o szacunkowo 40%.

Przełącznik Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 stanowi gotową do produkcji podstawę dla klastrów RDMA/HPC/AI wymagających deterministycznych, niskich opóźnień połączeń. Kluczowe propozycje wartości obejmują:

• Wydajność: Do 200 Gb/s na port z opóźnieniem przełączania poniżej 130 ns, umożliwiające liniowe skalowanie GPU do tysięcy węzłów.
• Efektywność operacyjna: Natywne odciążenia sprzętowe eliminują interwencję procesora w operacje wejścia/wyjścia sieci, uwalniając rdzenie do obliczeń.
• Zabezpieczenie na przyszłość: Kompatybilność wsteczna z EDR (100 Gb/s) i kompatybilność do przodu z NDR (400 Gb/s) poprzez tłumaczenie prędkości portów.
• Całkowity koszt posiadania: Przy obliczaniu ceny 920-9B110-00FH-0D0 w porównaniu do alternatyw Ethernet, należy uwzględnić oszczędności wynikające ze zmniejszonego czasu bezczynności GPU (zazwyczaj odzyskiwanie 15-25%) i wyeliminowania licencji na zastrzeżone sterowanie przeciążeniem.

Architekci są zachęcani do pobrania pełnej karty katalogowej 920-9B110-00FH-0D0 i zapoznania się z oficjalną specyfikacją 920-9B110-00FH-0D0, aby uzyskać macierze okablowania i budżetowanie mocy. W przypadku wdrożeń produkcyjnych należy zweryfikować dostępność 920-9B110-00FH-0D0 na sprzedaż za pośrednictwem sieci partnerskiej NVIDIA i poprosić o laboratorium walidacyjne do testowania niestandardowych topologii.