Rozwiązanie techniczne przełącznika NVIDIA Mellanox MQM9790-NS2F InfiniBand

NVIDIA Mellanox MQM9790-NS2F Rozwiązanie techniczne przełącznika InfiniBand dla optymalizacji łącza o niskim opóźnieniu dla klastrów RDMA, HPC i AI

Analiza tła i wymagań projektu

Nowoczesne centra danych obsługujące szkolenia w zakresie dużych modeli sztucznej inteligencji, symulacje HPC i rozproszone pamięci masowe szybko migrują z 200Gb/s HDR do 400Gb/s NDR.Głównym napięciem dla architektów sieci jest to, że gęstość węzłów GPU ciągle rośnie, podczas gdy opóźnienie komunikacji między węzłami i jitter stają się czynnikiem ograniczającym wydajność klastra.Jeden zatłoczony hop lub źle skonfigurowany poziom tkaniny może zmniejszyć efektywne wykorzystanie GPU w setkach węzłów.

Typowe wymagania dla takiego projektu obejmują deterministycznie niską opóźnienie dla operacji zbiorowych, transport bez strat dla RDMA i NVMe przez tkaniny, wysoki radix, aby utrzymać tkaninę płaską,i jasna ścieżka modernizacji, która chroni istniejące inwestycjeNVIDIA Mellanox MQM9790-NS2F jest przygotowany do spełnienia tych wymagań jako przełącznik NDR InfiniBand o prędkości 400 Gb/s w ramach rodziny Quantum-2.

Ogólne projektowanie architektury sieci i systemu

Zalecana architektura to dwuetapowa struktura InfiniBand, zbudowana w całości na łączach NDR.Podczas gdy przełączniki kręgosłupa zapewniają łączność między liśćmi i różnorodność ścieżekTa konstrukcja utrzymuje niską liczbę hopów i zapewnia nieblokowaną przepustowość dla ruchu wschodu-zachodu, który dominuje w obciążeniach AI i HPC.

Na warstwie punktu końcowego adaptery kanału hosta działają w trybie RDMA, umożliwiając transfery pamięci do pamięci bez interwencji procesora.i zbiorowego przyspieszeniaZarządzanie ruchem i telemetria dzieli tę samą infrastrukturę fizyczną, ale jest odizolowany przez zasady QoS, więc monitorowanie nie zakłóca obciążeń produkcyjnych.

Kluczowe zasady projektowania obejmują:

• Płaska topologia w celu zminimalizowania opóźnienia i uproszczenia rozwiązywania problemów
• Połączenia między poziomami bez blokowania lub z niskim poziomem nadpłatności
• Konsekwentne NDR od końca do końca w celu uniknięcia wąskich gardeł w zakresie produkcji mieszanej
• Redundantne ścieżki dla wysokiej dostępności i równoważenia obciążenia
• Standard zarządzania InfiniBand dla spójności operacyjnej

Rola i kluczowe cechy NVIDIA Mellanox MQM9790-NS2F

NVIDIA Mellanox MQM9790-NS2F służy jako blok budowlany tej tkaniny.umożliwiając architektom projektowanie płaskiej sieci z mniejszą liczbą poziomówKażdy port OSFP może działać z prędkością NDR, a konfiguracja 64 portów obsługuje role liści i kręgosłupa o wysokim zasięgu.

Dla zespołów przeglądających specyfikacje MQM9790-NS2F platforma obsługuje NVIDIA SHARPv3 dla zbiorowego przyspieszenia, zaawansowanej kontroli zatłoczenia i adaptacyjnego routingu.Funkcje te bezpośrednio ukierunkowane są na problemy związane z opóźnieniem i incastem, które są powszechne w szkoleniach AI i obciążeniach MPIPrzełącznik MQM9790-NS2F InfiniBand integruje się również ze standardowymi narzędziami zarządzania InfiniBand, co zmniejsza krzywą uczenia się operacyjnego.

Przy planowaniu rozwiązania przełącznika MQM9790-NS2F InfiniBand architekci powinni potwierdzić kompatybilność komponentów MQM9790-NS2F, w tym kabli OSFP, adapterów kanału hosta i wersji oprogramowania układowego.Przegląd karty danych MQM9790-NS2F na wczesnym etapie projektowania pomaga zwalidować moc, chłodzenia i wymagania dotyczące przestrzeni na regałach przed zamówieniem.

Zalecenia dotyczące wdrażania i skalowania

Typowe wdrożenie rozpoczyna się od pilotażowego modułu 32-64 węzłów GPU podłączonych do pary przełączników liści MQM9790-NS2F.wykorzystanie dodatkowych jednostek MQM9790-NS2F w celu utrzymania szerokości pasma nieblokowaniaTakie podejście umożliwia weryfikację opóźnienia i przepustowości przed wdrożeniem na pełną skalę.

W przypadku skalowania zalecana praktyka polega na utrzymaniu symetrii tkaniny: dodawanie pojemności liści i kręgosłupa w dopasowanych stopniach, tak aby współczynniki nadpłaty pozostawały przewidywalne.Zarządzanie kablami i oznakowanie portów powinny być znormalizowane od samego początku, ponieważ wdrożenia OSFP o wysokiej gęstości mogą być trudne do utrzymania, jeśli układ fizyczny jest niespójny.

Poniższa tabela podsumowuje reprezentatywne dwustopniowe rozważania projektowe:

Operacje, monitorowanie, rozwiązywanie problemów i optymalizacja

Sukces operacyjny zależy od widoczności.Należy je gromadzić w sposób ciągły i korelować z danymi z harmonogramu pracy, dzięki czemu regresje wydajności można wyśledzić na określonych segmentach tkanin, a nie zgadzać.

Powszechne scenariusze rozwiązywania problemów obejmują stany kredytowe, źle skonfigurowane QoS i niezgodności oprogramowania między przełącznikami a adapterami.potwierdzenie zasady routinguW celu optymalizacji należy skoncentrować się raczej na opóźnieniu końcowym niż na średniej przepustowości.ponieważ obciążenia robocze AI i HPC są wrażliwe na zachowania w najgorszym przypadku.

W przypadku zamówień i planowania cyklu życia zespoły często porównują cenę MQM9790-NS2F i opcje sprzedaży MQM9790-NS2F w ramach autoryzowanych kanałów.i regionu, dlatego zaleca się wczesne zaangażowanie dystrybutorów i przedstawicieli przedsiębiorstw NVIDIA.

NVIDIA Mellanox MQM9790-NS2F zapewnia wysokiej radix, 400Gb / s NDR podstawy dla RDMA, HPC i AI klastra połączenia.i umożliwiające bez strat transport o niskiej opóźnieniu, rozwiązuje wąskie gardła wydajności, które ograniczają efektywność klastrów w świecie rzeczywistym.stanowi praktyczny i skalowalny blok budowlany dla tkanin InfiniBand nowej generacji.