M

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch w praktyce.

Temat i wyzwania: Kiedy klastry RDMA uderzają w wąski gardło sieci

W typowym mieszanym środowisku obciążenia HPC i sztucznej inteligencji klastry obliczeniowe często uruchamiają symulacje CFD, dynamikę molekularną i rozproszone szkolenia dużych modeli obok siebie.Obciążenia te zależą w dużej mierze od RDMA dla komunikacji między węzłami i są niezwykle wrażliwe na szerokość pasmaKiedy klaster rośnie z kilkudziesięciu węzłów do setek, pierwotne połączenie może szybko stać się ograniczającym czynnikiem.

Częste objawy obejmują długie opóźnienie ogona podczas AllReduce, nierównomierne wykorzystanie łącza w całej tkance i obniżony czas zakończenia pracy, gdy wielu najemców dzieli sieć.Inżynierowie sieci i architekci, wyzwaniem nie jest po prostu dodanie szerokości pasma, ale budowa tkanki, która utrzymuje opóźnienie przewidywalne w warunkach zatłoczenia.

Rozwiązanie i wdrożenie: Budowa tkaniny wokół MQM8790-HS2F

Aby rozwiązać te problemy, tkanina klastra została przeprojektowana wokół Mellanox (NVIDIA Mellanox) MQM8790-HS2F, przełącznika HDR InfiniBand o prędkości 200 Gb/s zaprojektowanego do środowisk o wysokiej gęstości i niskim opóźnieniu.MQM8790-HS2F 200Gb/s HDR 40-port QSFP56 form factor pozwala na 40 portów w 1U, który naturalnie pasuje do topologii dwustopniowego drzewa tłuszczowego.

Rozmieszczenie było podzielone na warstwy:

• Warstwa kręgosłupa:Przełączniki NVIDIA Mellanox MQM8790-HS2F zostały wdrożone jako urządzenia kręgosłupa, zapewniające połączenia górne o prędkości 200 Gb/s i nieblokowanie ruchu wschodu-zachodniego między grupami liści.
• Warstwa liści:Przełączniki Leaf łączą węzły obliczeniowe wyposażone w adaptery ConnectX-6 lub ConnectX-7, tworząc pełną ścieżkę HDR zgodną z MQM8790-HS2F.
• Systemy komputerowe w sieci:Technologia SHARP na MQM8790-HS2F odbiera zbiorowe operacje takie jak AllReduce do przełącznika, zmniejszając koszty GPU i CPU.
• Zarządzanie i telemetria:MLNX-OS, UFM i NetQ były wykorzystywane do dostarczania tkanin, monitorowania i widoczności zatorów.

Podczas planowania zespół przeglądał arkusz danych MQM8790-HS2F i specyfikacje MQM8790-HS2F w celu zweryfikowania budżetu zasilania, wymagań chłodzenia i opcji podziału portów, takich jak 2 × 100 Gb / s.Kable i optyka zostały standaryzowane do QSFP56 w celu uproszczenia oszczędności i przyszłej ekspansji.

Wyniki i korzyści: Co się zmieniło po przeniesieniu?

Po migracji na rozwiązanie MQM8790-HS2F InfiniBand Switch, klaster wykazał wymierne poprawy w zakresie wydajności komunikacji i stabilności pracy.

Zespół uzyskał lepszą kontrolę nad zachowaniem tkaniny.Telemetria ułatwiła identyfikację powolnych węzłów i błędnie skonfigurowanych linków.Dla architektów oceniających cenę MQM8790-HS2F lub opcje sprzedaży MQM8790-HS2F kluczowym wnioskiem jest to, że przełącznik opłaca się poprzez wyższe wykorzystanie klastra, a nie tylko liczbę surowych portów.

Wniosek i perspektywy

MQM8790-HS2F pokazuje, w jaki sposób specjalnie zaprojektowany przełącznik InfiniBand może usunąć wąskie gardła połączeń w klastrach RDMA, HPC i AI.i dojrzałego zespołu zarządzającego, NVIDIA Mellanox MQM8790-HS2F zapewnia przewidywalną niską opóźnienie w skali.tkaniny zbudowane na przełączniku MQM8790-HS2F InfiniBand są dobrze przygotowane do wspierania następnej fali ekspansji.