Przełącznik NVIDIA Mellanox MQM8790-HS2F InfiniBand w produkcji | Optymalizacja połączeń wzajemnych o niskim opóźnieniu dla RDMA/HPC/AI

Ponieważ szkolenie dużych modeli językowych i eksaskalowe symulacje HPC kierują klastry GPU do dziesiątek tysięcy węzłów, tradycyjne sieci Ethernet borykają się z opóźnieniami końcowymi i przeciążeniem incast. Krajowe centrum obliczeniowe AI stawiło ostatnio czoła temu wyzwaniu, wdrażającNVIDIA Mellanox MQM8790-HS2FPrzełączniki InfiniBand stanowią podstawę rozbudowy procesora graficznego o 800 węzłów. W tym artykule opisano ich podróż w świecie rzeczywistym — od wąskich gardeł po wymierne korzyści — przy użyciu RDMA i obliczeń wewnątrz sieci w celu optymalizacji wydajności wzajemnych połączeń klastra.

Kontekst i wyzwanie: kiedy sieć staje się wąskim gardłem sztucznej inteligencji

Dotychczasowy klaster centrum składający się z 400 węzłów działał w sieci Ethernet RoCEv2 100 Gb/s. W miarę przenoszenia obciążeń z modeli CNN na modele LLM o bilionach parametrów, opóźnienia w komunikacji między węzłami gwałtownie wzrosły. Podczas operacji All-Reduce czas oczekiwania w sieci pochłonął ponad 40% całkowitego czasu iteracji. Architekci potrzebowali platformy zapewniającej opóźnienia poniżej mikrosekundy, bezstratną kontrolę przepływu i natywną obsługę RDMA – a wszystko to przy ponownym wykorzystaniu istniejącej optyki QSFP56. Po ocenie wielu alternatyw,Przełącznik InfiniBand MQM8790-HS2Fwyróżnia się przepustowością HDR 200 Gb/s i 40-portową konstrukcją o dużej gęstości.

Rozwiązanie i wdrożenie: HDR Fat-Tree zbudowane na modelu MQM8790-HS2F

W nowym interkonekcie zastosowano dwuwarstwową topologię grubego drzewa, w której zastosowano 24 jednostkiNVIDIA Mellanox MQM8790-HS2Fprzez warstwy rdzenia i liści. Każdy przełącznik zapewnia 40 portów QSFP56 pracujących z szybkością 200 Gb/s w każdym kierunku, co zapewnia nieblokującą zdolność przełączania na poziomie 16 Tb/s. Inżynierowie poszli zaArkusz danych MQM8790-HS2FISpecyfikacje MQM8790-HS2Faby umożliwić adaptacyjne wyznaczanie tras i zaawansowaną kontrolę zatorów. Każdy węzeł GPU łączy się za pośrednictwem adapterów HDR ConnectX‑6, wykorzystując natywną technologię InfiniBand RDMA do przesyłania danych bez kopiowania – odciążając ponad 95% zaangażowania procesora w komunikację.

Centrum również zarezerwowało kilkaMQM8790-HS2F 40-portowy QSFP56 200 Gb/s HDRjednostki dla strefy obliczeniowej in-situ. Dzięki SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) operacje zbiorowe, takie jak All-Reduce, są przenoszone z serwerów bezpośrednio do sieci przełączników. W przypadku szkolenia na 128-GPU skróciło to czas komunikacji o 32% bez konieczności zmiany kodu w strukturze AI.

Wyniki i korzyści: mniejsze opóźnienia, wyższa przepustowość, kontrolowany całkowity koszt posiadania

Wskaźniki po wdrożeniu wykazały radykalną poprawę:

• Opóźnienie punkt-punkt:W testach pingponga MPI zmierzono ~0,9 μs na łączach HDR 200 Gb/s — czyli o 65% mniej niż w przypadku starszej konfiguracji RoCE.
• Skuteczność komunikacji zbiorowej:W skali 512-GPU działanie All-Reduce trwało zaledwie 18,3 ms, co stanowi redukcję o 52% w porównaniu z poprzednią wartością bazową.
• Wykorzystanie sieci:Dzięki routingowi adaptacyjnemu równoważenie obciążenia łącza przekraczało 92% i prawie nie występowały zatory.
• Zaopatrzenie i operacje:TheCena MQM8790-HS2Fna port był o około 12% niższy w porównaniu z konkurencyjnymi rozwiązaniami 200G. Ponadto,Kompatybilny z MQM8790-HS2Foptyka to standardowe moduły QSFP56, umożliwiające pełne wykorzystanie istniejącego okablowania.

„Po przeprowadzce doRozwiązanie przełącznika InfiniBand MQM8790-HS2Fw końcu osiągnęliśmy niemal liniowe skalowanie (wydajność 0,9) podczas uczenia modeli obejmujących bilion parametrów” – powiedział główny architekt centrum. „Sieć nie jest już wąskim gardłem — możemy skupić się na innowacjach w architekturze modeli, zamiast na planowaniu komunikacji”.

Wnioski i prognozy: Podstawowy element konstrukcyjny połączeń wzajemnych eksaskalowych

Ten przypadek ze świata rzeczywistego pokazuje, żeMQM8790-HS2Fto znacznie więcej niż większa gęstość portów. Dzięki HDR 200 Gb/s, natywnemu RDMA, przetwarzaniu sieciowemu SHARP i routingowi adaptacyjnemu bezpośrednio rozwiązuje problemy związane z połączeniami o niskim opóźnieniu we współczesnych klastrach AI/HPC. Niezależnie od tego, czy planujesz uniwersyteckie centrum superkomputerowe, czy modernizujesz korporacyjną chmurę AI, platformaNVIDIA Mellanox MQM8790-HS2Foferuje zrównoważoną ścieżkę łączącą wydajność, kompatybilność i przewidywalność kosztów. Przełącznik jest obecnie produkowany seryjnie. Aby uzyskać szczegółowe odniesienia do projektu, zwróć się do urzędnikaArkusz danych MQM8790-HS2Fz portalu partnerskiego NVIDIA. W przypadku inwentaryzacji w czasie rzeczywistym lubDo sprzedania MQM8790-HS2Fzapytania, skontaktuj się z autoryzowanymi dostawcami rozwiązań w celu uzyskania informacji o cenach i pomocy technicznej.