NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch w akcji: Optymalizacja niskolatencyjnego połączenia dla klastrów RDMA/HPC/AI

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch w akcji: Optymalizacja wzajemnego połączenia niskiego opóźnienia dla klastrów RDMA / HPC / AI

W dziedzinie szkolenia modeli sztucznej inteligencji na dużą skalę i obliczeń wysokiej wydajności (HPC) opóźnienie sieci często staje się krytycznym wąskim gardłem, który ogranicza skalowalność i wydajność klastra.Krajowe centrum superkomputerów niedawno zakończyło dużą modernizację infrastruktury, przechodząc od tkaniny EDR InfiniBand o prędkości 100 Gb/s do rozwiązania HDR o prędkości 200 Gb/s zbudowanego w oparciu oNVIDIA Mellanox MQM8790-HS2FW tym badaniu przypadkowym analizowane są wyzwania, z którymi miały do czynienia, strategia wdrożenia oraz mierzalne zyski osiągnięte dzięki połączeniu nowej generacji.

Temat i wyzwania: Kiedy opóźnienie staje się pułapem wydajności

Centrum superkomputerowe obsługuje heterogeniczny klaster składający się z ponad 2000 węzłów GPU, obsługujący zróżnicowane mieszanki obciążeń pracy, które obejmują symulację pogody, badania genomowe,i dużych modeli językowychZ poprzednią siecią EDR 100Gb/s,Zespół operacyjny zauważył, że operacje łączności zbiorowej, takie jak łączność all-reduce i all-gather, zużywają coraz większy udział w całkowitym czasie wykonywania pracy wraz ze wzrostem liczby węzłów.W przypadku niektórych rozproszonych zadań szkoleniowych koszty ogólne związane z siecią stanowiły prawie 40% czasu wykonywania od końca do końca, znacznie ograniczając wykorzystanie procesora graficznego i przedłużając cykle konwergencji modelu.

Dodatkowe wyzwania obejmowały:

• Główne punkty zatłoczeniaWzorce ruchu w szkoleniach AI są często nieprzewidywalne, co prowadzi do zablokowania linii głównej i wzrostu czasu opóźnienia, które zakłócają planowanie pracy.
• Niewystarczające przyspieszenie w sieci:Starożytna struktura nie wspierała zaawansowanych możliwości zbiorowego obciążenia, zmuszając wszystkie operacje redukcji do przechodzenia przez hierarchię CPU i pamięci.
• Złożoność zarządzania:Rozwiązywanie problemów z wydajnością wymagało ręcznej analizy wielu narzędzi monitorowania, co utrudniało określenie przyczyn wdrożeń na dużą skalę.

Po przeanalizowaniu wielu opcji połączeń między sieciami centrum wybrałoMQM8790-HS2FW oparciu o to, co zostało powiedziane,Arkusz danych MQM8790-HS2F, przełącznik ten zapewnia 40 portów przepustowości HDR 200Gb/s, opóźnienie przekraczania poniżej 130ns i obsługę SHARP v3.0 zbiorowe zdolności rozładowania, które bezpośrednio rozwiązywały ich główne problemy.

Rozwiązanie i wdrożenie: Budowa tkaniny o niskim opóźnieniu dla AI/HPC

Wdrożenie przyjęło topologię dwustopniowego drzewa tłuszczowego, z 24MQM8790-HS2F 200Gb/s HDR 40-port QSFP56włącza rozmieszczane jako węzły liści i 8 jednostek jako włącza kręgosłupa.1 nadpłata w całym klasterze ‒ wystarczająca do obecnego obciążenia pracą, a jednocześnie pozwalająca na dalszą ekspansję.

Każdy przełącznik liści łączy się z węzłami obliczeniowymi za pośrednictwem NVIDIA ConnectX-6 HDR host channel adapters.Kompatybilny z MQM8790-HS2Fsystem optyczny i kablowania umożliwił zespołowi ponowne wykorzystanie istniejących kabli QSFP56, przyspieszając wdrożenie i zmniejszając koszty zamówień. Cała instalacja fizyczna została ukończona w ciągu dwóch tygodni,z płaszczyzną sterowania wykorzystującą Unified Fabric Manager (UFM) NVIDIA do automatycznego wykrywania i dostarczania topologii.

Wsparcie przełącznika dla adaptacyjnego routingu i kontroli zatłoczenia okazało się kluczowe dla obsługi charakterystycznej dla obciążeń pracy sztucznej inteligencji.Poprzez dynamiczne redystrybucja przepływów na dostępnych ścieżkach,MQM8790-HS2F Przełącznik InfiniBandZminimalizowano tworzenie się punktów gorących i utrzymywano stałą wydajność nawet w okresach szczytowych harmonogramów pracy.

Wyniki i zyski: wymierne poprawy wydajności pracy i wykorzystania procesora graficznego

Po trzech miesiącach eksploatacji, centrum superkomputerowe odnotowało znaczące zyski wydajności w wielu wymiarach:

• Zmniejszenie opóźnienia:Średni MPI ping-pong latency zmniejszył się z 680 ns na poprzedniej tkaniny EDR do poniżej 130 ns zNVIDIA Mellanox MQM8790-HS2F, co oznacza pięciokrotną poprawę efektywności wymiany wiadomości.
• Aktywność zbiorowej operacji:Całkowite zmniejszenie opóźnienia dla 1024 węzłów spadło o 62%, dzięki SHARP v3.0 offload, który wykonuje operacje redukcji bezpośrednio w tkance przełącznika.
• Wykorzystanie GPU:Połączony efekt niższego opóźnienia i większej przepustowości doprowadził do zmniejszenia średniego wykorzystania GPU z 72% do 91%, co przekłada się na 26% zmniejszenie czasu do rozwiązania dla dużych biegów szkolenia modeli językowych.
• Skuteczność harmonogramu pracy:Zmniejszona rozbieżność czasu opóźnienia pozwoliła harmonografowi SLURM zapakować więcej zadań do tego samego zestawu węzłów bez zakłóceń wydajności, zwiększając ogólną przepustowość klastra o około 18%.

Kiedy zespół później porównałCena MQM8790-HS2Fw stosunku do alternatywnych przełączników od innych sprzedawców, they found that the total cost per Gb/s delivered was highly competitive—especially when factoring in the reduced management overhead and the switch's ability to support both HDR and HDR100 link speeds, chroniąc inwestycje w środowiskach o mieszanej prędkości.

Z punktu widzenia operacyjnego zintegrowana platforma UFM zapewniała jedną szybę do monitorowania stanu tkaniny, wzorców ruchu i błędów na poziomie łącza.Ta widoczność umożliwiła zespołowi proaktywne rozpoznanie niszczących się kabli i ich wymianę podczas planowanej konserwacji, unikając nieplanowanych przestojów.

Podsumowanie i perspektywy: plan nowej generacji tkanin o niskim opóźnieniu

Badanie tego przypadku pokazuje, żeMQM8790-HS2F Rozwiązanie przełącznika InfiniBandjest czymś więcej niż prostą ulepszeniem prędkości, jest elementem przekształcającym dla organizacji, które dążą do wykorzystania pełnego potencjału wydajności swojej infrastruktury AI i HPC.Dzięki połączeniu wysokiej gęstości portów, ultra niskiej opóźnienia i możliwości obliczeniowych w sieci, przełącznik bezpośrednio rozwiązuje wąskie gardła komunikacyjne, które mają historycznie ograniczoną skalowalność klastra.

Patrząc w przyszłość, centrum superkomputerów planuje rozszerzyć swoją strukturę do 2400 węzłów w następnym roku fiskalnym, wykorzystując te sameMQM8790-HS2FZespół bada również obsługę przełącznika dla ulepszonych algorytmów redukcji SHARP v3.0,które obiecują dalsze przyspieszenie nowych obciążeń prac, takich jak sieci graficzne i uczenie się przez wzmocnienie.

Dla menedżerów IT, architektów sieci i inżynierów oceniających opcje połączeń między sieciami dla własnych clusterów,NVIDIA Mellanox MQM8790-HS2Foferuje sprawdzoną, sprawdzoną w terenie ścieżkę do osiągnięcia opóźnienia poniżej mikrosekundy, maksymalnego wykorzystania GPU i uproszczonego zarządzania tkanką.Specyfikacje MQM8790-HS2F), a przełącznik jest obecnie powszechnie dostępny.MQM8790-HS2F na sprzedażw celu znalezienia regionalnego partnera.