NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch w praktyce

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch w praktyce.

Temat i wyzwanie: wąski gardło opóźnienia w dużych klastrach AI i HPC

W miarę jak klastry szkoleniowe AI skalują się do tysięcy procesorów graficznych i systemów HPC, które zmierzają w kierunku wydajności w skali egz, tkanina sieciowa łącząca węzły obliczeniowe stała się kluczowym czynnikiem determinującym wydajność.W tych środowiskach, opóźnienie nie jest tylko wskaźnikiem, ale ma bezpośredni wpływ na wydajność aplikacji, czas do rozwiązania i ogólną efektywność klastra.W przypadku obciążeń roboczych, które w dużym stopniu zależą od MPI (Message Passing Interface) operacji zbiorowych i wzorców komunikacji "wszystko do wszystkich", takich jak szkolenie dużych modeli językowych i dynamika płynów obliczeniowych, nawet wzrost opóźnienia na poziomie mikrosekund może przekładać się na dodatkowe godziny czasu działania.nawet z RDMA przez Converged Ethernet (RoCE), często zmagają się z zapewnieniem deterministycznie niskiej opóźnienia wymaganej przez te wymagające aplikacje.

Niedawno krajowe laboratorium badawcze, wdrażające klaster HPC z 2 000 węzłami do modelowania klimatu i badań nad sztuczną inteligencją, stanęło w obliczu tego wyzwania.Klaster wymagał łączności 200Gb/s z opóźnieniem poniżej 100 nanosekund, aby obsłużyć zarówno obciążenia pracy HPC oparte na MPI, jak i rozproszone szkolenie AIZespół inżynierów potrzebował przełącznika, który mógłby dostarczać spójne, niskie opóźnienie w skali,przy jednoczesnym wspieraniu zaawansowanych funkcji, takich jak dostosowywanie trasy i sterowanie zatłoczeniami, aby utrzymać wydajność tkaniny w różnych warunkach obciążenia.NVIDIA Mellanox MQM8790-HS2FW tym celu, w celu zapewnienia odpowiedniej kompatybilności z systemem HDR InfiniBand, wprowadzono nowe rozwiązanie, które oferuje 40 portów HDR InfiniBand o prędkości 200 Gb/s z opóźnieniem poniżej 100 nanosekund i zaawansowanymi możliwościami obliczeniowymi w sieci.

Rozwiązanie i wdrożenie: Budowa tkaniny InfiniBand o niskim opóźnieniu

Aby rozwiązać wyzwania związane z opóźnieniem i skalowalnością, laboratorium wdrożyłoNVIDIA Mellanox MQM8790-HS2FW tym celu wykorzystuje się wzorcowy element, który jest głównym przełącznikiem w architekturze tkanin leśnych.MQM8790-HS2F Przełącznik InfiniBanddostarcza 40 portów QSFP56, z których każdy działa z prędkością HDR 200Gb/s, zapewniając łączną pojemność przełączania 8Tb/s z opóźnieniem pod 100 nanosekund port-to-port.Topologia 16-stronicowa, łączący 2000 węzłów obliczeniowych, z których każdy jest wyposażony w adaptery ConnectX‐6 HDR.MQM8790-HS2F 200Gb/s HDR 40-port QSFP56Konfiguracja umożliwiła zespołowi zbudowanie tkaniny bez blokowania o pełnej szerokości pasma, zapewniając, że każdy węzeł może komunikować się z każdym innym węzłem z prędkością drutu.

Wdrożenie zostało przeprowadzone w trzech kluczowych fazach:

• Projekt tkaniny:WykorzystanieMQM8790-HS2F Rozwiązanie przełącznika InfiniBand, zespół zaprojektował topologię kręgosłupa, w której każdy z 16 przełączników liści jest podłączony do 50 węzłów obliczeniowych (wykorzystując połączenie bezpośrednich połączeń 200Gb/s i połączeń HDR100 100Gb/s),podczas gdy 4 przełączniki kręgosłupa zapewniają łączność między liśćmi.MQM8790-HS2FPrzełączniki zostały skonfigurowane z włączonym adapcyjnym ruchem, co pozwala tkaninie na dynamiczne rozkładanie ruchu po dostępnych ścieżkach i unikanie punktów zatłoczenia.
• Zaawansowana konfiguracja:Zespół umożliwił SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) na przełącznikach MQM8790-HS2F do rozładowywania operacji zbiorowych MPI z węzłów obliczeniowych.Ta możliwość obliczeniowa w sieci pozwalała przełącznikom na wykonywanie wszystkich operacji redukcji i transmisji bezpośrednio, zmniejszając liczbę przejazdów sieciowych i zmniejszając ogólną opóźnienie komunikacji zbiorowej.
• Dostrajanie wydajności:Zarządzanie podsiecią zostało skonfigurowane przy użyciu platformy NVIDIA Unified Fabric Manager (UFM), która zapewnia widoczność w czasie rzeczywistym stanu tkaniny, wskaźników opóźnienia i wzorców zatłoczenia.Zespół dostosował parametry kontroli zatłoczenia w celu optymalizacji wydajności dla mieszanego profilu obciążenia HPC i AI.

PonieważNVIDIA Mellanox MQM8790-HS2FJest.Kompatybilny z MQM8790-HS2FWraz z szerszym ekosystemem NVIDIA InfiniBand, w tym adapterami ConnectX‐6 i BlueField‐2, wdrożenie było bezproblemowe, nie wymagało niestandardowych sterowników ani poprawek oprogramowania układowego.Integracja przełącznika z platformą UFM umożliwiła zespołowi monitorowanie wydajności tkaniny na skalę, identyfikowanie i rozwiązywanie potencjalnych wąskich gardeł, zanim wpłyną one na czas uruchamiania aplikacji.

Wyniki i korzyści: mierzalne ulepszenia opóźnienia i wydajności aplikacji

Wyniki analizy porównawczej po wdrożeniu w całym klastrze 2000 węzłów wykazały znaczącą poprawę wydajności.Średni czas opóźnienia od portu do portu w tkaninie został zmierzony na 85 nanosekundach zgodny ze specyfikacją pod 100 nanosekund udokumentowaną wArkusz danych MQM8790-HS2FTa niska opóźnienie przekłada się bezpośrednio na zyski w wydajności aplikacji: operacje MPI all-reduce są wykonywane do 35% szybciej w porównaniu z poprzednią tkaniną InfiniBand o prędkości 100 Gb/s,w przypadku rozproszonych miejsc pracy w zakresie szkoleń w zakresie sztucznej inteligencji (wykorzystujących komunikację opartą na NCCL) czasy epoki od końca do końca zmniejszyły się o około 28%.

Po drugie, możliwości obliczeniowe SHARP w sieci przyniosły znaczne korzyści w zakresie wydajności.klaster zmniejszył wykorzystanie procesora i procesora graficznego do zadań komunikacyjnych nawet o 20%To było szczególnie korzystne w przypadku szkoleń w zakresie sztucznej inteligencji na dużą skalę, gdzie komunikacja zbiorowa może stanowić 30-40% całkowitego czasu pracy.

Po trzecie, funkcja adaptacyjnego routingu okazała się kluczowa w utrzymaniu stałej wydajności w różnych warunkach obciążenia.,Adaptacyjne routingi dynamicznie rozkładają ruch na dostępnych ścieżkach, utrzymując średnią opóźnienie w zakresie 10% wartości wyjściowej i zapobiegając pogorszeniu wydajności spowodowanemu przeciążeniem.Zespół monitorował stan tkanin przy użyciu platformy UFM, który zapewniał pulpity w czasie rzeczywistym śledzące opóźnienie, przepustowość i wykorzystanie łącza we wszystkich 20 przełącznikach.

Po czwarte, gęstośćMQM8790-HS2F 200Gb/s HDR 40-port QSFP56W wyniku badań laboratoryjnych liczba przełączników zmniejszyła się o 50% w porównaniu z poprzednią infrastrukturą InfiniBand o szybkości 100 Gb/s.zmniejszenie zużycia powierzchni w regałach i wymaganego zasilaniaKażdy MQM8790-HS2F zużył mniej niż 230 W typowej mocy, przyczyniając się do 20% obniżenia kosztów chłodzenia infrastruktury sieci.

Z punktu widzenia operacyjnego możliwości zarządzania przełącznikiem uproszczały bieżącą konserwację.Zespół sieciowy laboratorium użył interfejsów CLI i Web UI do wykonywania aktualizacji oprogramowania i zmian konfiguracji bez zakłócania operacji tkanin, wykorzystując wsparcie przełącznika dla bezstronnych ulepszeń.Specyfikacje MQM8790-HS2Fobejmują kompleksowe funkcje zarządzania, w tym monitorowanie SNMP i integrację z logami systemowymi,umożliwienie zespołowi integracji tkaniny z istniejącym systemem monitorowania centrum operacyjnego sieci (NOC).

Podsumowanie i perspektywy: Plan dla tkanin InfiniBand o niskim opóźnieniu

Doświadczenie z wykorzystaniemNVIDIA Mellanox MQM8790-HS2Fw 2000 węzłów klastra HPC i AI wyraźnie pokazuje, że 40-porty HDR 200Gb/s switch InfiniBand może zapewnić niską opóźnienie, skalowalność,i zaawansowanych funkcji wymaganych do wymagających obciążeń badawczych i przedsiębiorstwWykorzystując opóźnienie poniżej 100 nanosekund, adaptacyjne trasowanie i możliwości obliczeniowe SHARP w sieci, organizacje mogą zbudować tkaniny, które przyspieszają komunikację MPI i sztucznej inteligencji.skrócenie czasu do rozwiązania, a także zwiększyć ogólną efektywność klastrów.

Patrząc w przyszłość, ponieważ klastry szkoleniowe AI nadal rosną w kierunku ponad 10 000 procesorów graficznych i systemów HPC, zapotrzebowanie na przełączniki InfiniBand o wysokiej gęstości i niskim opóźnieniu tylko wzrośnie.MQM8790-HS2F jest dobrze ustawiony na tę trajektorię, ponieważ jego gęstość 40 portów, pojemność przełączania 8Tb/s oraz obsługa prędkości HDR200 i HDR100 zapewniają kompatybilność zarówno z obecnymi, jak i nowymi węzłami obliczeniowymi.W przypadku organizacji planujących podobne wdrożenia klastrów HPC lub AI, stopniowe podejście spine-leaf zatwierdzone w tym wdrożeniu oferuje praktyczny plan działania: wdrożenie przełączników liści MQM8790-HS2F dla łączności dostępu,używać przełączników kręgosłupa o wyższej gęstości portu (takich jak seria QM9700 z 64 portami) do większych tkanin, a także utrzymywać zunifikowane ramy zarządzania wykorzystujące UFM do proaktywnej optymalizacji tkanin.

Szczegółowe szablony projektowania tkanin, przewodniki do dostosowywania wydajności i listy kontrolne do wdrożenia można znaleźć wArkusz danych MQM8790-HS2Fi dokumentacji architektury NVIDIA Mellanox InfiniBand.