Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch w praktyce

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 Przełącznik InfiniBand w praktyce | Optymalizacja połączeń wzajemnych o niskim opóźnieniu dla klastrów RDMA/HPC/AI

Tło i wyzwania: kiedy skala klastra napotyka wąskie gardła w połączeniach wzajemnych

Dział badań nad sztuczną inteligencją wiodącej firmy internetowej znalazł się na dobrze znanym rozdrożu. Ich rosnąca flota serwerów GPU — obejmujących wiele szaf i coraz częściej wykorzystywanych do szkolenia w zakresie modeli dużych języków — borykała się z nieprzewidywalnymi czasami realizacji zadań. Istniejąca struktura oparta na sieci Ethernet, choć odpowiednia do obciążeń ogólnego przeznaczenia, nie była w stanie obsłużyć zsynchronizowanych, intensywnych wzorców ruchu charakterystycznych dla rozproszonego szkolenia. Operacje all-redukcji regularnie zawieszały się z powodu upuszczania pakietów i przeciążenia incastów, wydłużając cykle szkoleniowe z dni do tygodni. Zespół ds. infrastruktury potrzebował fundamentalnej zmiany w sposobie obsługi ruchu RDMA w swojej sieci zaplecza i potrzebował tego bez konieczności zmiany całej architektury centrum danych.

Projekt rozwiązania: wdrażanie przełącznika InfiniBand OPN 920-9B210-00FN-0D0

Po ocenie wielu opcji połączeń wzajemnych zespół wybrałMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0jako kamień węgielny ich nowej struktury zaplecza. Wdrożenie skupiało się wokół dwuwarstwowej topologii typu „leaf-spine”, w której każdy przełącznik typu „liście” łączy do 40 węzłów GPU za pośrednictwem łączy 400 Gb/s. The920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDRWariant został wybrany specjalnie ze względu na nieblokującą architekturę i zintegrowane możliwości przetwarzania w sieci SHARPv3. Umożliwiło to zespołowi przeniesienie operacji komunikacji zbiorowej bezpośrednio na strukturę przełącznika, zmniejszając obciążenie procesora i uwalniając cykle procesora graficznego do rzeczywistych obliczeń.

Jeśli chodzi o rozmieszczenie fizyczne, przełączniki zostały zainstalowane z przepływem powietrza od przodu do tyłu, aby dopasować je do istniejącej konfiguracji gorących/zimnych korytarzy. Zespół wykorzystałKarta katalogowa 920-9B210-00FN-0D0weryfikację wymagań dotyczących zasilania i chłodzenia, zapewniając bezproblemową integrację z istniejącymi jednostkami dystrybucji zasilania. Okablowanie było spójne przy użyciu transceiverów QSFP-DDKompatybilny z 920-9B210-00FN-0D0Optyka sprawdzona w całym budżecie łącza, w tym w połączeniach grzbiet-skrzydło o długości do 100 metrów.

Podejście do wdrożenia: integracja krok po kroku

• Faza 1 – Walidacja laboratoryjna:Do porównania opóźnień i przepustowości wykorzystano niewielkie stanowisko testowe z 8 węzłami GPU i dwoma przełącznikami. TheNVIDIA Mellanox 920-9B210-00FN-0D0wykazało opóźnienie przełączania poniżej 600 ns, co stanowi poprawę o 60% w porównaniu z poprzednią generacją HDR.
• Faza 2 – Wdrażanie etapowe:Zespół przeprowadzał migrację jednej kapsuły szkoleniowej na raz, korzystając z narzędzia Unified Fabric Manager firmy NVIDIA do monitorowania wskaźników stanu łącza i przeciążenia w czasie rzeczywistym. Dzięki temu zminimalizowano zakłócenia w bieżących obciążeniach produkcyjnych.
• Faza 3 – Integracja na pełną skalę:Wszystkie 18 przełączników rozmieszczono w trzech szafach, tworząc w pełni nieblokujący się szkielet z łączami nadrzędnymi o przepustowości 400 Gb/s. Włączono routing adaptacyjny, aby dynamicznie równoważyć ruch i unikać nadmiernej subskrypcji podczas przesyłania zadań w godzinach szczytu.

Przez całe wdrożenie zespół inżynierów odniósł się do kompleksowościSpecyfikacje 920-9B210-00FN-0D0do dostrojenia ustawień bufora i parametrów kontroli przeciążenia. Zaawansowana telemetria przełącznika zapewnia szczegółowy wgląd w liczbę błędów na port i wykorzystanie łącza, umożliwiając proaktywną konserwację i planowanie wydajności.

Wymierne wyniki i korzyści operacyjne

W ciągu dwóch tygodni od wdrożenia na pełną skalę ulepszenia były wymierne. Czas ukończenia standardowego zadania szkoleniowego z 1024 procesorami graficznymi w aplikacji All-Reduce skrócił się z 12,3 sekundy do 7,8 sekundy, co oznacza zmniejszenie narzutu komunikacji o 37%. Czas realizacji zadań dla typowego modelu w stylu GPT skrócił się o prawie 30%, co umożliwiło zespołowi badawczemu szybsze wykonywanie iteracji i przeprowadzanie większej liczby eksperymentów tygodniowo. Wbudowany silnik SHARPv3 odciążył średnio 18% wspólnych operacji, co bezpośrednio przełożyło się na wyższe wykorzystanie procesora graficznego i niższe zużycie energii na przebieg treningu.

Pod względem operacyjnym zespół IT zgłosił mniej awarii zadań związanych z siecią i znacznie mniej czasu poświęconego na diagnozowanie problemów na poziomie łącza. The920-9B210-00FN-0D0 Przełącznik InfiniBand Rozwiązanie OPNokazały się wyjątkowo stabilne, bez nieplanowanych przestojów w trzymiesięcznym okresie obserwacji. Ujednolicony interfejs zarządzania skrócił czas nauki zespołu operacyjnego sieci, który mógł teraz zarządzać całą siecią za pomocą jednego panelu.

Względy kosztów i zamówień

Podczas gdy inicjał920-9B210-00FN-0D0 cenaumiejscowiło przełącznik w segmencie premium, analiza całkowitego kosztu posiadania pokazała co innego. Skracając czas realizacji zadań i poprawiając wykorzystanie procesora graficznego, organizacja osiągnęła 22% redukcję kosztów instancji w chmurze przy równoważnej wydajności obliczeniowej. Ponadto,Sprzedam 920-9B210-00FN-0D0za pośrednictwem wielu partnerów handlowych umożliwiło konkurencyjne składanie ofert, a długoterminowe wsparcie ze strony firmy NVIDIA Mellanox zapewniło pewność co do inwestycji.

Podsumowanie i perspektywy: plan infrastruktury sztucznej inteligencji nowej generacji

RozmieszczenieMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0w tym wielkoskalowym ośrodku badawczym zajmującym się sztuczną inteligencją stanowi atrakcyjną architekturę referencyjną dla organizacji stojących przed podobnymi wyzwaniami w zakresie połączeń wzajemnych. Połączenie prędkości NDR 400 Gb/s, opóźnień poniżej mikrosekundy i możliwości przetwarzania w sieci rozwiązuje podstawowe problemy klastrów HPC i AI opartych na RDMA. Architekci sieci docenią elastyczność rozwiązania920-9B210-00FN-0D0 Przełącznik InfiniBand OPNw różnych topologiach, natomiast menedżerowie IT mogą polegać na solidnych i kompleksowych narzędziach do zarządzaniaKarta katalogowa 920-9B210-00FN-0D0do planowania wydajności.

Patrząc w przyszłość, organizacja planuje już rozbudowę struktury w celu obsługi większych klastrów GPU, w tym integrację jednostek DPU BlueField-3 w celu dodatkowego odciążenia pamięci masowej i izolacji zabezpieczeń. TheKompatybilny z 920-9B210-00FN-0D0ekosystem gwarantuje, że przyszłe aktualizacje — czy to nowsze karty sieciowe, czy technologie optyczne — będą bezproblemowo obsługiwane. W przypadku każdego przedsiębiorstwa wdrażającego obciążenia AI lub HPC na dużą skalę ta zmiana oznacza nie tylko przyrostową aktualizację, ale także podstawowe narzędzie umożliwiające zwiększenie wydajności na dużą skalę.