Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Przełącznik InfiniBand w akcji: optymalizacja łącza o niskim opóźnieniu

W rzeczywistych szkoleniach związanych ze sztuczną inteligencją i wdrożeniach obliczeń o wysokiej wydajności opóźnienia sieci i obciążenie procesora często stają się cichymi zabójcami skalowalności. W tym opisie aplikacji przeanalizowano, w jaki sposób średniej wielkości organizacja badawcza poradziła sobie z tymi wyzwaniami, wdrażającMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Przełącznik InfiniBand jako podstawowa struktura klastra badawczego opartego na procesorach graficznych.

Dotychczasowa struktura Ethernet RoCE 100 Gb/s organizacji cierpiała z powodu nieprzewidywalnych opóźnień końcowych z powodu burz PFC (Priority Flow Control) i nieefektywnej obsługi zatorów. Ponieważ rozmiary modeli sztucznej inteligencji wzrosły z 10 miliardów do ponad 50 miliardów parametrów, operacje komunikacji zbiorowej (All-Reduce, All-to-All) pochłonęły prawie 45% całkowitego czasu iteracji. Potrzebowali bezstratnej struktury o niskim opóźnieniu, która mogłaby w pełni wykorzystać RDMA przy jednoczesnym zachowaniu liniowego skalowania wydajności. Poszukiwania szybko skupiły się na920-9B110-00FH-0D0jako najbardziej obiecujący element konstrukcyjny.

Zespół wybrał920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/s HDRprzełącznik jako szkielet warstwy grzbietowej, łączący 64 węzły GPU w czterech szafach. Korzystanie z920-9B110-00FH-0D0 Przełącznik InfiniBand OPNw ramach składania zamówień wdrożyli dwa nadmiarowe przełączniki typu spine z 40 portami HDR każdy, uzyskując nieblokujący współczynnik nadsubskrypcji 1:1. We wdrożeniu wykorzystano routing adaptacyjny i protokół SHARPv2 (Scalable Hierarchical Aggregation and Reduction Protocol) — funkcje w pełni udokumentowane wKarta katalogowa 920-9B110-00FH-0D0— aby przenieść operacje zbiorowe bezpośrednio na strukturę przełącznika. Aby zapewnić kompatybilność, zespół potwierdził, żeKompatybilny z 920-9B110-00FH-0D0ekosystem obejmował istniejące adaptery ConnectX-6 HDR i standardową optykę QSFP56.

Telemetria po wdrożeniu ujawniła radykalną poprawę. Opóźnienie od początku do końca pomiędzy dowolnymi dwoma węzłami GPU spadło z 3,2 µs (RoCE) do poniżej 1,1 µs, przy jitterze zmniejszonym o 80%. Odciążanie SHARPv2 naNVIDIA Mellanox 920-9B110-00FH-0D0skrócono czas realizacji All-Reduce o 57% w przypadku zadań 512-GPU. Poniższa tabela podsumowuje kluczowe wskaźniki:

Oprócz surowych liczb,920-9B110-00FH-0D0 Przełącznik InfiniBand Rozwiązanie OPNzmniejszona złożoność operacyjna. Korzystając z NVIDIA UFM (Unified Fabric Manager), zespół uzyskał widoczność sieci szkieletowej w czasie rzeczywistym, automatyczną optymalizację ścieżek i proaktywne alerty o przeciążeniach — możliwości niedostępne w poprzednim wdrożeniu sieci Ethernet. TheSpecyfikacje 920-9B110-00FH-0D0umożliwiła także energooszczędną pracę: obudowa 1U zużywała tylko 180 W przy pełnym obciążeniu, obniżając ich udział PUE.

W przypadku organizacji oceniających podobne ulepszenia,920-9B110-00FH-0D0 cenawypada korzystnie w porównaniu z równoważnymi przełącznikami Ethernet 200 Gb/s, biorąc pod uwagę niższe obciążenie karty sieciowej i eliminację kosztownych licencji na bezstratną sieć Ethernet. Lista jest obecnie dostępna dla wielu dystrybutorówSprzedam 920-9B110-00FH-0D0z czasem realizacji poniżej czterech tygodni. Analiza ROI przeprowadzona przez zespół wykazała, że ​​zwrot inwestycji wynosi 9 miesięcy wyłącznie w wyniku poprawy wykorzystania procesora graficznego.

Wdrożenie potwierdziło, żeNVIDIA Mellanox 920-9B110-00FH-0D0spełnia obietnicę opóźnienia poniżej mikrosekundy, pełnej dwusekcyjnej przepustowości i wydajności natywnej RDMA. Dla architektów projektujących klastry sztucznej inteligencji lub systemy HPC nowej generacji przełącznik ten stanowi sprawdzony, gotowy do produkcji element składowy. W miarę ciągłego skalowania obciążeń w stronę eksaskali, rozwiązania budowane wokół920-9B110-00FH-0D0pozostanie liderem w projektowaniu wysokowydajnych połączeń wzajemnych.