NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Techniczne rozwiązanie

Rozwiązanie techniczne przełącznika NVIDIA Mellanox MQM8790-HS2F InfiniBand | Optymalizacja połączeń wzajemnych o niskim opóźnieniu dla klastrów RDMA/HPC/AI

1. Analiza tła projektu i wymagań

W miarę jak klastry szkoleniowe sztucznej inteligencji (AI) skalują się do tysięcy procesorów graficznych, a systemy obliczeń o wysokiej wydajności (HPC) dążą do wydajności eksaskalowej, struktura sieciowa łącząca węzły obliczeniowe stała się krytycznym wyznacznikiem wydajności. W tych środowiskach opóźnienie nie jest jedynie wskaźnikiem — ma bezpośredni wpływ na wydajność aplikacji, czas znalezienia rozwiązania i ogólną wydajność klastra. W przypadku obciążeń, które w dużym stopniu opierają się na zbiorowych operacjach MPI (Message Passing Interface) i wzorcach komunikacji typu „wszystko do wszystkich” — takich jak szkolenie dużych modeli językowych, obliczeniowa dynamika płynów i symulacje chemii kwantowej — nawet wzrost opóźnień na poziomie mikrosekund może przełożyć się na godziny dodatkowego czasu działania. Tradycyjne sieci Ethernet, nawet z RDMA over Converged Ethernet (RoCE), często mają trudności z zapewnieniem deterministycznego, małego opóźnienia i pozbawionego zatorów działania, wymaganego w tych wymagających aplikacjach.

Wyzwanie to potęgują trzy równoległe trendy. Po pierwsze, rosnąca skala modeli sztucznej inteligencji (obecnie przekraczająca biliony parametrów) wymaga ogromnej równoległości pomiędzy tysiącami procesorów graficznych, co wymaga struktury, która może utrzymać wysoką przepustowość przy minimalnych różnicach w opóźnieniach. Po drugie, zbieżność obciążeń HPC i AI oznacza, że ​​pojedyncza struktura musi skutecznie obsługiwać zarówno wzorce komunikacji oparte na MPI, jak i zbiorowe operacje GPU oparte na NCCL. Po trzecie, wydajność operacyjna wymaga, aby strukturą sieciową można było zarządzać na dużą skalę, z kompleksowym monitorowaniem i funkcjami automatycznej optymalizacji. Wymagane jest ustrukturyzowane rozwiązanie techniczne — takie, które wykorzystuje wysokowydajny przełącznik InfiniBand z przesyłaniem danych o małych opóźnieniach, zaawansowanym zarządzaniem przeciążeniami i przyspieszaniem obliczeń w sieci, aby zapewnić przewidywalną wydajność na dużą skalę.

2. Ogólny projekt architektury sieci/systemu

W proponowanej architekturze zastosowano topologię liścia grzbietuNVIDIA Mellanox MQM8790-HS2Fprzełączniki jako warstwa liścia, połączone z przełącznikami typu „spine” o większej gęstości portów (takimi jak seria QM9700 z 64 portami 400 Gb/s NDR) dla sieci szkieletowych o dużej skali. Architekturę zaprojektowano tak, aby obsługiwała nieblokującą komunikację z pełną dwusekcyjną szerokością pasma, zapewniając, że każdy węzeł obliczeniowy może komunikować się z dowolnym innym węzłem z szybkością łącza bez rywalizacji.

W typowym wdrożeniu klastra zawierającego 2000 węzłów architektura obejmuje:

• Poziom liścia:20Przełącznik InfiniBand MQM8790-HS2Fjednostek, każda z 40 portami QSFP56 pracującymi z szybkością 200 Gb/s HDR. Każdy przełącznik liściowy łączy się z 50 węzłami obliczeniowymi (przy użyciu połączenia bezpośredniego 200 Gb/s i połączenia HDR100 100 Gb/s za pośrednictwem kabli QSFP56 do 2 × QSFP56).
• Poziom kręgosłupa:4 przełączniki QM9700 (lub równoważne przełączniki o dużej gęstości), każdy z 64 portami 400 Gb/s NDR, zapewniającymi łączność między skrzydłami.
• Węzły obliczeniowe:Każdy węzeł wyposażony w jeden lub więcej adapterów ConnectX-6 HDR lub ConnectX-7 NDR, podłączonych do przełączników listkowych za pomocą pasywnych kabli miedzianych lub aktywnych kabli optycznych.
• Sieć zarządzania:Oddzielna pozapasmowa sieć Ethernet do zarządzania przełącznikami, zintegrowana z platformą NVIDIA Unified Fabric Manager (UFM) w celu scentralizowanego monitorowania i optymalizacji sieci szkieletowej.

Architektura wykorzystujeMQM8790-HS2F 40-portowy QSFP56 200 Gb/s HDRkonfiguracja zapewniająca całkowitą przepustowość przełączania liści wynoszącą 8 Tb/s na przełącznik. Zastosowanie podziału HDR100 umożliwia elastyczne opcje łączności: każdy port 200 Gb/s może obsługiwać pojedynczy punkt końcowy 200 Gb/s lub dwa punkty końcowe 100 Gb/s, obsługując heterogeniczne węzły obliczeniowe z różnymi prędkościami interfejsu.

3. Rola i kluczowe cechy NVIDIA Mellanox MQM8790-HS2F w rozwiązaniu

W ramach tej architektury,MQM8790-HS2Fsłuży jako podstawowy przełącznik typu „liście”, zapewniający łączność z węzłami obliczeniowymi o małych opóźnieniach i dużej przepustowości, jednocześnie obsługując zaawansowane funkcje niezbędne w przypadku obciążeń HPC i AI. Jego kluczowe cechy techniczne mają kluczowe znaczenie dla powodzenia całego rozwiązania:

• Opóźnienie między portami poniżej 100 nanosekund:Zapewnia deterministyczne niskie opóźnienia, niezbędne dla kolektywów MPI wrażliwych na opóźnienia i operacji typu all-reduce.
• 40 portów 200 Gb/s HDR InfiniBand:Zapewnia całkowitą wydajność przełączania 8 Tb/s w kompaktowej obudowie 1U, maksymalizując gęstość portów i zmniejszając zużycie miejsca w szafie.
• Obsługa protokołu SHARP (Scalable Hierarchical Aggregation and Reduction Protocol):Umożliwia przyspieszenie obliczeń w sieci dla zbiorowych operacji MPI, odciążając do 20% obciążenia komunikacyjnego z procesora/GPU.
• Trasowanie adaptacyjne:Dynamicznie rozdziela ruch pomiędzy dostępnymi ścieżkami sieci szkieletowej na podstawie wskaźników przeciążenia w czasie rzeczywistym, optymalizując przepustowość i minimalizując różnice w opóźnieniach.
• Kontrola zatorów:Wdraża zaawansowane mechanizmy zarządzania przeciążeniami (w tym kontrolę przepływu na poziomie pakietów i powiadamianie o przeciążeniach), aby zapobiegać pogarszaniu się wydajności hotspotów sieciowych.
• Obsługa podziału HDR100:Umożliwia skonfigurowanie każdego portu 200 Gb/s jako dwóch niezależnych portów 100 Gb/s, co zapewnia elastyczność wdrażania w środowiskach o różnej prędkości.
• Kompleksowe interfejsy zarządzania:Obsługuje zarządzanie podsieciami (SM), SNMP, CLI, interfejs WWW i integrację z UFM w celu scentralizowanego zarządzania siecią szkieletową zgodnie z IBTA.
• Efektywność energetyczna:Typowy pobór mocy poniżej 230 W, co przyczynia się do niższych wymagań dotyczących chłodzenia i poprawy PUE.

Funkcje te są szczegółowo udokumentowane w dokumencieArkusz danych MQM8790-HS2F, który zawiera szczegółowe krzywe wydajności, specyfikacje termiczne i rysunki mechaniczne umożliwiające integrację z narzędziami do projektowania szaf serwerowych.

4. Zalecenia dotyczące wdrożenia i skalowania (wraz z opisem typowej topologii)

W przypadku wstępnego wdrożenia zalecamy modułową strategię rozbudowy opartą na architekturze na poziomie podu. Każdy moduł składa się z 4 przełączników liściowych i 2 przełączników typu kręgosłupa, obsługujących około 400 węzłów obliczeniowych z pełną przepustowością dwusekcyjną. TheRozwiązanie przełącznika InfiniBand MQM8790-HS2Fumożliwia przyrostowe skalowanie poprzez dodawanie podów w miarę wzrostu mocy obliczeniowej, przy czym warstwa kręgosłupa zapewnia łączność między podami w celu ujednoliconej struktury.

Typowa topologia dla pojedynczego podu (400 węzłów obliczeniowych):

• Przełączniki liściowe:4 × MQM8790-HS2F, każdy z 40 portami o przepustowości 200 Gb/s. 36 portów na liść jest używanych do łączności węzłów obliczeniowych (obsługuje do 72 węzłów na liść przy użyciu podziału HDR100), natomiast 4 porty na liść są używane do połączeń typu kręgosłupa.
• Przełączniki kręgosłupa:2 × QM9700 (lub równoważne 64-portowe przełączniki NDR), każdy podłączony do wszystkich 4 przełączników liściowych za pośrednictwem łączy nadrzędnych 400 Gb/s (przy użyciu kabli 4 × 200 Gb/s QSFP56 do QSFP-DD).
• Węzły obliczeniowe:400 węzłów, każdy podłączony do przełącznika liściowego za pomocą pojedynczego połączenia 200 Gb/s lub dwóch połączeń HDR100 100 Gb/s.

Skalowanie poza pojedynczy zasobnik:

• Dodaj dodatkowe moduły (każdy z 4-skrzydłowymi przełącznikami MQM8790-HS2F), jeśli wymagana jest wydajność obliczeniowa.
• Podłącz kapsuły przez warstwę kręgosłupa wyższego poziomu (superspine), używając dodatkowych przełączników QM9700 lub NDR.
• Utrzymuj konsystencję tkaniny za pomocąMQM8790-HS2Fwe wszystkich pozycjach liści, zapewniając jednolite opóźnienia i zarządzanie w całej strukturze.

Podczas wdrażaniaMQM8790-HS2Fw trybie przerwania HDR100 obowiązują następujące wytyczne dotyczące okablowania:

W przypadku sieci szkieletowych o dużej skali, przekraczających 2000 węzłów, zalecamy skorzystanie z możliwości symulacji sieci szkieletowej UFM w celu sprawdzenia projektu topologii i zachowania związanego z przeciążeniami przed wdrożeniem.

5. Eksploatacja i konserwacja: monitorowanie, rozwiązywanie problemów i optymalizacja

Cykl życia operacyjnego infrastruktury InfiniBand opartej na MQM8790-HS2F wymaga systematycznego podejścia do monitorowania, rozwiązywania problemów i optymalizacji. Zalecamy wdrożenie platformy NVIDIA UFM jako centralnego narzędzia do zarządzania i monitorowania, zapewniającego wgląd w czasie rzeczywistym w wydajność sieci szkieletowej, wskaźniki opóźnień i wzorce zatorów.

Kluczowe wskaźniki monitorowania do śledzenia:

• Opóźnienie na poziomie portu:Kompleksowe opóźnienia w całej sieci szkieletowej z alertami dla portów przekraczających progi opóźnień.
• Wydajność i wykorzystanie:Łączna przepustowość i przepustowość poszczególnych portów, identyfikująca łącza niewykorzystane lub nadmiernie wykorzystane.
• Wskaźniki zatorów:Porzucanie pakietów, wstrzymywanie ramek i powiadomienia o zatorach.
• Zdrowie tkaniny:Stan łącza, liczniki błędów i telemetria temperatury/mocy.

Protokół rozwiązywania typowych problemów:

1. Degradacja opóźnienia:Użyj narzędzi do analizy opóźnień firmy UFM, aby zidentyfikować konkretną ścieżkę lub port, w którym występują zwiększone opóźnienia; sprawdź, czy nie ma przeciążenia lub błędnej konfiguracji routingu adaptacyjnego.
2. Błędy lub wypadanie linków:Sprawdź łączność fizyczną (kable, optykę) i liczniki błędów portów; sprawdź, czyKompatybilny z MQM8790-HS2Fkable i elementy optyczne są używane zgodnie z normąSpecyfikacje MQM8790-HS2F.
3. Problemy z zarządzaniem podsieciami:Sprawdź, czy Menedżer podsieci (SM) jest uruchomiony i czy topologia sieci szkieletowej została prawidłowo wykryta; sprawdź zdarzenia przełączenia awaryjnego SM.

Zalecenia optymalizacyjne:

• Adaptacyjne strojenie routingu:Dostosuj parametry algorytmu routingu w oparciu o zaobserwowane wzorce ruchu — użyj UFM do symulacji różnych zasad routingu przed zastosowaniem ich w strukturze produkcyjnej.
• Konfiguracja kontroli przeciążenia:Włącz i dostosuj mechanizmy kontroli zatorów (takie jak tempo pakietów i kontrola przepływu priorytetów) w oparciu o charakterystykę obciążenia — szkolenie w zakresie sztucznej inteligencji zyskuje na bardziej agresywnej kontroli zatorów w porównaniu z obciążeniami HPC.
• Aktualizacje oprogramowania sprzętowego i oprogramowania:Regularnie aktualizuj oprogramowanie sprzętowe przełącznika i oprogramowanie UFM, aby uzyskać dostęp do ulepszeń wydajności i nowych funkcji.
• Okresowe audyty tkanin:Przeprowadzaj regularne audyty okablowania, zasilania i chłodzenia, aby zapewnić niezawodność operacyjną na dużą skalę.

6. Podsumowanie i ocena wartości

TheNVIDIA Mellanox MQM8790-HS2Foparte na nim rozwiązanie techniczne zapewnia wszechstronną, sprawdzoną w terenie metodologię optymalizacji wzajemnych połączeń o niskim opóźnieniu w klastrach RDMA/HPC/AI. Wykorzystując 40 portów przełącznika 200 Gb/s HDR InfiniBand, opóźnienie poniżej 100 nanosekund, obliczenia w sieci SHARP i możliwości adaptacyjnego routingu, organizacje mogą budować struktury szkieletowe, które zapewniają przewidywalną wydajność na dużą skalę, jednocześnie upraszczając zarządzanie i zmniejszając obciążenie operacyjne.

Kluczowe wskaźniki wartości z porównywalnych wdrożeń obejmują:

• Redukcja opóźnień:Opóźnienie między portami poniżej 100 nanosekund skraca czas zbiorczego zakończenia MPI nawet o 35% w porównaniu do struktur poprzedniej generacji.
• Przyspieszenie aplikacji:Odciążenie mocy obliczeniowej SHARP w sieci zmniejsza narzut związany z komunikacją procesora/GPU nawet o 20%, przyspieszając czasy epok szkolenia AI o 25–30%.
• Wydajność tkaniny:Adaptacyjne wyznaczanie tras i kontrola zatorów zapewniają stałą wydajność przy zmiennym obciążeniu, zmniejszając zmienność wydajności nawet o 60%.
• Uproszczenie operacyjne:Integracja z UFM zapewnia kompleksową widoczność i automatyzację, redukując MTTR w przypadku incydentów w sieci szkieletowej nawet o 50%.
• Efektywność kosztowa:TheCena MQM8790-HS2Fw połączeniu z dużą gęstością portów zapewnia niższy koszt w przeliczeniu na port w porównaniu z alternatywnymi rozwiązaniami InfiniBand, jednocześnie zmniejszając wymagania dotyczące miejsca w szafie i zasilania.

Dla architektów sieci i kierowników inżynierii model MQM8790-HS2F stanowi skalowalną, wysokowydajną podstawę dla klastrów HPC i sztucznej inteligencji nowej generacji. Rozwiązanie jest szczególnie zalecane dla organizacji wdrażających wielkoskalowe środowiska akcelerowane przez GPU, a także dla tradycyjnych centrów HPC dokonujących modernizacji sieci szkieletowych ze 100 Gb/s do 200 Gb/s. Ponieważ InfiniBand stale ewoluuje w kierunku NDR (400 Gb/s) i XDR (800 Gb/s), obsługa rozłączania HDR100 w modelu MQM8790-HS2F zapewnia zgodność z istniejącą infrastrukturą, zapewniając jednocześnie przejrzystą ścieżkę migracji do przyszłych prędkości.

Aby zapoznać się ze szczegółowymi szablonami projektów tkanin, przewodnikami dostrajania wydajności i listami kontrolnymi wdrażania, zobaczArkusz danych MQM8790-HS2Foraz dokumentacja architektury NVIDIA Mellanox InfiniBand.