Rozwiązanie techniczne przełącznika InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 Rozwiązanie techniczne przełącznika InfiniBand

1. Analiza tła i wymagań projektu

Nowoczesne ramy szkoleniowe AI i aplikacje HPC są coraz bardziej ograniczone wydajnością połączeń sieciowych, a nie samą gęstością obliczeń.W związku z tym, że w Polsce nie jest wprowadzane w życie systemy kształcenia zawodowego, istnieje duże, zsynchronizowane wzory ruchu all-reduce i all-to-all, które przytłaczają tradycyjne tkaniny ethernetu.opóźnienie włączenia w ciągu mikrosekundy w celu zminimalizowania kosztów komunikacji, nieblokowanie przepustowości w skali, aby wyeliminować nadmiar subskrypcji, zaawansowana kontrola zatłoczenia, aby obsłużyć incast burst,i bezproblemowej integracji z RDMA w konwergencyjnym ethernetzie (RoCE) lub rodzimych ekosystemach InfiniBandPonadto zespoły operacyjne wymagają głębokiej telemetrii w celu proaktywnego wykrywania usterek i uproszczonego zarządzania w setkach portów.

2Ogólne projektowanie architektury sieci/systemów

Zaproponowana architektura opiera się na dwuetapowej topologii leaf-spine, specjalnie zaprojektowanej dla obciążeń pracy skoncentrowanych na GPU.Mellanox (NVIDIA Mellanox)jako główny przełącznik ToR (Top-of-Rack), łączący do 40 węzłów obliczeniowych za pośrednictwem połączeń NDR o prędkości 400 Gb/s. Warstwa kręgosłupa składa się z drugiego poziomu920-9B210-00FN-0D0 MQM9790-NS2Fłącza, zapewniające pełną łączność sieciową z 4: 1 oversubscription lub całkowicie nieblokowanie, gdy wdrożone z wystarczającą liczbą portów rdzenia.Ten projekt obsługuje do 512 węzłów GPU w jednej domenie tkaniny, z możliwością skalowania poziomo przez wiele podsieci połączonych ze sobą za pośrednictwem NVIDIA UFM (Unified Fabric Manager).

Architektura korzysta z SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) NVIDIA w sieci, wyładowując zbiorowe operacje bezpośrednio na przełącznik ASIC.Zmniejsza to objętość danych przechodzących przez przyczepy pamięci CPU/GPU i zmniejsza opóźnienie zbiorowego działania nawet o 40% w porównaniu z metodami opartymi na oprogramowaniu.920-9B210-00FN-0D0 InfiniBand Switch OPNobsługuje również adaptive routing, który dynamicznie wybiera najmniej zatłoczoną ścieżkę dla każdego pakietu, zapewniając optymalne wykorzystanie przepustowości nawet w warunkach asymetrycznych obciążeń ruchu.

3. Rola i kluczowe cechy 920-9B210-00FN-0D0 w rozwiązaniu

W sprawieNVIDIA Mellanox 920-9B210-00FN-0D0służy jako podstawowy blok budowlany dla całej tkanki połączeń.

• Agregacja o wysokiej gęstości:Z maksymalnie 64 portami 400Gb/s w 2U, przełącznik zapewnia łączną pojemność przełączania 25,6 Tb/s. Ta gęstość zmniejsza liczbę przełączników potrzebnych na rack,uproszczenie okablowania i zmniejszenie zużycia energii w porcie.
• Przełączanie ultra niskiego opóźnienia:Przełącznik utrzymuje opóźnienie poniżej 600ns dla dowolnej wielkości pakietu, co jest krytyczne dla aplikacji wrażliwych na opóźnienie ogona, takich jak wnioski online i finansowe HPC.
• Komputery sieciowe:Integracja SHARPv3 umożliwia sprzętowe przyspieszenie operacji zbiorowych, zmniejsza liczbę przejazdów przez tkankę i poprawia ogólny czas zakończenia pracy nawet o 30%.
• Zaawansowana telemetria i kontrola korków:Przełącznik zapewnia widoczność na przepływ, oznakowanie zatłoczonych strumieni w celu dostosowania strony gospodarza i umożliwia wczesne ostrzeganie o początkujących punktach gorących.

Zgodnie zArtykuł 920-9B210-00FN-0D0, przełącznik obsługuje zarówno miedziane, jak i optyczne nadajniki QSFP-DD, dzięki czemu920-9B210-00FN-0D0 zgodnyW większości centrów danych istniejąca infrastruktura kablowa zapewnia wysoką dostępność w środowiskach korporacyjnych.

4. Zalecenia dotyczące wdrażania i skalowania (typowa topologia)

Dla rozmieszczenia 128 węzłów GPU zalecamy dwuetapową architekturę z 4 przełącznikami liści i 2 przełącznikami kręgosłupa,Każdy kręgosłup łączy się z każdym liściem za pośrednictwem 4x400Gb/s łączy łączących łącza łącza łącza łącza łącza łącza łącza łączaW przypadku aplikacji wrażliwych na opóźnienie lub aplikacji o dużej przepustowości:1 niezablokowania można osiągnąć poprzez zwiększenie liczby kręgosłupa do 4, co daje łączną zdolność łącza w górę równą portom łącza w dół.

Skalowanie poza 512 węzłów wymaga podziału tkaniny na wiele podsieci, z których każda jest zarządzana przez UFM jako odrębna wyspa tkaniny.Komunikację między podsieciami można uruchamiać za pośrednictwem bramek Quantum-2 NVIDIA lub za pośrednictwem routingu host-based, chociaż zalecanym podejściem do obciążeń roboczych wymagających wydajności jest utrzymywanie tkanki w ramach jednej podsieci, o ile to możliwe.Specyfikacje 920-9B210-00FN-0D0wspieranie tych topologii na dużą skalę, z wbudowaną kontrolą przepływu i kontrolą przepływu opartą na priorytetach (PFC), aby zapobiec upadkom pakietów podczas przekierowywania ścieżki.

Przy planowaniu fizycznego okablowania należy rozważyć użycie kabli MPO-to-QSFP-DD do połączeń kręgosłupa, aby zmniejszyć gęstość kabli, lub kabli aktywnych (AOC) na odległości powyżej 3 metrów.920-9B210-00FN-0D0 do sprzedażyZazwyczaj zawiera kompleksowy zestaw akcesoriów, ale zalecamy zweryfikowanie kompatybilności nadajnika zewnętrznego za pośrednictwem macierzy interoperacyjności producenta, aby uniknąć problemów z szkoleniem łącza.

5. Operacje, monitorowanie i diagnostyka wad

Doskonałość operacyjna jest kamieniem węgielnym920-9B210-00FN-0D0 Rozwiązanie InfiniBand Switch OPNPrzełącznik łączy się bezproblemowo z platformą NVIDIA UFM, która zapewnia:

• Monitoring stanu tkanin w czasie rzeczywistym:Płyty kontrolne dla stanu połączenia, temperatury, zużycia energii i liczników błędów w porcie (CRC, symbol i błędy wyrównania).
• Analiza niepowodzeń predykcyjnych:Modele uczenia maszynowego w UFM proaktywnie identyfikują uszkodzone optyki lub pogarszające się ogniwa, zanim spowodują awarie pracy.
• Automatyczne rozwiązywanie problemów:System zaleca działania naprawcze, takie jak przekierowywanie ruchu lub izolowanie wadliwych połączeń, znacząco skracając średni czas do rozwiązania (MTTR).

W celu zaawansowanej diagnostyki przełącznik obsługuje sFlow i odzwierciedlanie portów, umożliwiając głęboką inspekcję pakietów do debugowania na poziomie protokołu.Specyfikacje 920-9B210-00FN-0D0dla prógów buforowych i zalecanych ustawień, w szczególności do dostrojenia ruchu RoCEv2, jeśli jest on stosowany w mieszanych środowiskach InfiniBand/Ethernet.Ustawianie wydajności powinno koncentrować się na progu dostosowania trasy i interwale agregacji SHARPv3, które można na przykład dostosowywać w zależności od fazy obciążenia pracą.

Rutynowa konserwacja obejmuje aktualizacje oprogramowania układowego, które są wykonywane z minimalnym zakłóceniem przy użyciu możliwości ciągłej aktualizacji UFM,i okresowe czyszczenie złączy optycznych w celu utrzymania integralności sygnałuModuły mocy i wentylatora umożliwiają wymianę w czasie pracy.

6Podsumowanie i ocena wartości

W sprawieMellanox (NVIDIA Mellanox)oferuje kompleksowe rozwiązanie dla organizacji, które chcą uzyskać pełną wydajność swoich inwestycji w sztuczną inteligencję i HPC.i inteligentnego zarządzania zatłoczeniami w ramach jednegoOpisana architektura zapewnia sprawdzoną ścieżkę od klastrów pilotażowych o 128 węzłach do 2,Tkaniny do superkomputerów, z narzędziami operacyjnymi, które upraszczają zarządzanie i obniżają całkowite koszty posiadania.

Przy ocenie920-9B210-00FN-0D0 cena, rozważyć długoterminową wartość: skrócone czasy zakończenia pracy przekładają się bezpośrednio na niższe koszty chmury lub szybsze czasy wglądu w obciążenia pracy na miejscu.920-9B210-00FN-0D0 Rozwiązanie InfiniBand Switch OPNjest wspierany przez globalną sieć wsparcia NVIDIA i rozległy ekosystem partnerski, zapewniając, że organizacje mogą z ufnością wdrażać, skalować i optymalizować swoją infrastrukturę na wiele lat.

Szczegółowe informacje można uzyskać u urzędnikaArtykuł 920-9B210-00FN-0D0a takżeSpecyfikacje 920-9B210-00FN-0D0dokument, który obejmuje rysunki mechaniczne, profile termiczne i wskaźniki wydajności.