NVIDIA Mellanox MQM9790-NS2F w akcji: Budowanie niskolatencyjnej sieci RDMA dla klastrów AI i HPC

NVIDIA Mellanox MQM9790-NS2F w Akcji: Budowanie Niskolatencyjnej Tkaniny RDMA dla Klastrów AI i HPC

Tło i Wyzwanie: Kiedy Skalowanie Staje się Wąskim Gardłem

W miarę jak duże modele językowe skalują się od tysięcy do dziesiątek tysięcy GPU, a symulacje pogody zbliżają się do rozdzielczości kilometrowej, ograniczenia tradycyjnych tkanin Ethernet stają się boleśnie widoczne. W tych środowiskach wzorce komunikacji zbiorczej MPI — takie jak all-reduce i all-to-all — nakładają ekstremalne wymagania na latencję sieciową i kontrolę zatorów. Bez dedykowanego interkonektu, nawet najpotężniejsze węzły obliczeniowe spędzają znaczną część swoich cykli na oczekiwaniu na dane, efektywnie marnując drogie zasoby GPU.

Jest to dokładnie wyzwanie, któremu sprostał NVIDIA Mellanox MQM9790-NS2F. Jako przełącznik InfiniBand 400Gb/s NDR z 64 portami OSFP, został zaprojektowany do zapewnienia deterministycznej, sub-mikrosekundowej latencji dla tysięcy punktów końcowych, umożliwiając prawdziwe liniowe skalowanie obciążeń rozproszonych.

Rozwiązanie i Wdrożenie: Tkanina Leaf-Spine Zbudowana dla RDMA

W typowym scenariuszu wdrożenia dla dużego laboratorium badawczego AI, przełącznik InfiniBand MQM9790-NS2F stanowi rdzeń dwupoziomowej topologii leaf-spine. Na poziomie liści (leaf), każdy stojak obliczeniowy jest wyposażony w jedną lub dwie jednostki MQM9790-NS2F, zapewniając 64 porty łączności 400Gb/s do serwerów GPU za pomocą kabli miedzianych typu direct-attach OSFP-do-OSFP lub aktywnych kabli optycznych. Na poziomie kręgosłupa (spine), dodatkowe przełączniki MQM9790-NS2F łączą liście, tworząc nieblokującą tkaninę typu fat-tree z pełną przepustowością bisekcyjną.

Tym, co czyni to rozwiązanie szczególnie atrakcyjnym, jest natywne wsparcie przełącznika dla RDMA over Converged Ethernet (RoCE) podczas pracy w trybie InfiniBand — chociaż tutaj wykorzystuje natywne możliwości RDMA InfiniBand dla jeszcze niższej latencji i odciążenia procesora. MQM9790-400Gb/s NDR 64-portowy OSFP integruje technologię NVIDIA SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol), która odciąża operacje zbiorcze bezpośrednio na tkaninę przełącznika. W praktyce oznacza to, że operacja all-reduce, która normalnie wielokrotnie przechodziłaby przez sieć, jest teraz realizowana w jednym przebiegu, skracając czas ukończenia zadań nawet o 30% w przypadku obciążeń intensywnie komunikacyjnych.

Dla architektów sieciowych oceniających rozwiązanie przełącznika InfiniBand MQM9790-NS2F, proces wdrażania jest usprawniony przez NVIDIA Unified Fabric Manager (UFM). UFM zapewnia scentralizowaną widoczność stanu tkaniny, automatyczne wykrywanie topologii i proaktywne monitorowanie zatorów — krytyczne możliwości przy zarządzaniu tkaninami z ponad 2000 portów. Wcześni użytkownicy zgłaszają, że ekosystem kompatybilny z MQM9790-NS2F, który obejmuje szeroką gamę certyfikowanych przez NVIDIA kabli i transceiverów, upraszcza zakupy i zmniejsza ryzyko wdrożenia.

Wyniki i Mierzalne Korzyści: Od Teorii do Rzeczywistości Produkcyjnej

W niedawnym wdrożeniu produkcyjnym dla klastra 2048 GPU przeznaczonego do trenowania dużych modeli transformatorowych, modernizacja infrastruktury z HDR (200Gb/s) do NDR (400Gb/s) — z NVIDIA Mellanox MQM9790-NS2F w jego sercu — przyniosła mierzalne usprawnienia w wielu wymiarach:

• Redukcja czasu ukończenia zadań: Iteracje trenowania od początku do końca dla modelu o 175 miliardach parametrów zmniejszyły się o 28%, co w dużej mierze przypisuje się odciążeniu SHARPv3 i zmniejszeniu opóźnień końcowych.
• Wykorzystanie sieci: Średnie wykorzystanie tkaniny wzrosło z 62% do 89% bez wywoływania zatorów, dzięki zaawansowanym mechanizmom adaptacyjnego routingu i kontroli zatorów przełącznika.
• Prostota operacyjna: Z 64 portami na przełącznik, liczba wymaganych przełączników kręgosłupa została zmniejszona o połowę w porównaniu do konstrukcji HDR z 32 portami, znacznie zmniejszając złożoność okablowania i zużycie energii na stojak.

Według specyfikacji MQM9790-NS2F, przełącznik zapewnia latencję port-do-port poniżej 100 ns i obsługuje łączną przepustowość przełączania do 51,2 Tb/s — liczby te są bliskie wydajności obserwowanej w tym wdrożeniu. Inżynierowie sieciowi zauważyli również, że karta katalogowa MQM9790-NS2F dokładnie odzwierciedlała rzeczywistą wydajność, bez niespodzianek podczas fazy walidacji.

Z perspektywy TCO, możliwość konsolidacji większej liczby punktów końcowych na poziom przełącznika bezpośrednio zmniejszyła wydatki kapitałowe. Chociaż początkowe ceny MQM9790-NS2F są wyższe niż w przypadku równoważnych rozwiązań 200Gb/s, koszt sieci na GPU faktycznie spadł dzięki wyższemu stopniowi (radix) i zmniejszonej liczbie warstw przełączników. Ta przewaga ekonomiczna, w połączeniu z zyskami wydajności, jasno uzasadniła inwestycję przed komitetem sterującym laboratorium.

Podsumowanie i Perspektywy: Fundament NDR dla Obliczeń Exascale

NVIDIA Mellanox MQM9790-NS2F to więcej niż tylko przyrostowa modernizacja — reprezentuje fundamentalną zmianę w sposobie projektowania klastrów HPC i AI. Zapewniając przepustowość 400Gb/s NDR, gęstość 64 portów i akcelerację obliczeń w sieci w jednym formacie 1U, umożliwia architektom budowanie tkanin skalujących się do dziesiątek tysięcy punktów końcowych bez poświęcania wydajności lub łatwości zarządzania.

Patrząc w przyszłość, w miarę jak obciążenia nadal będą wymagać wyższej przepustowości i niższej latencji, przełącznik InfiniBand MQM9790-NS2F będzie służył jako podstawowy budulec dla systemów exascale nowej generacji. Jego kompatybilność z istniejącymi platformami NVIDIA Quantum-2 i płynna integracja z UFM zapewniają ścieżkę migracji dla organizacji modernizujących się z tkanin HDR. Dla menedżerów IT i architektów oceniających swoje inwestycje w sieci nowej generacji, MQM9790-NS2F oferuje sprawdzone, gotowe do produkcji rozwiązanie, które realizuje obietnicę optymalizacji niskolatencyjnych interkonektów RDMA.