NVIDIA Mellanox 920-9B210-00FN-0D0 Referencja techniczna: 400Gb/s NDR Optymalizacja łącza międzyłącza niskiego opóźnienia

NVIDIA Mellanox 920-9B210-00FN-0D0 Odniesienie techniczne: 400Gb/s NDR Optymalizacja łącza międzyłącza niskiego opóźnienia dla klastrów RDMA/HPC/AI

1. Analiza tła i wymagań projektu

W miarę jak klastry szkoleniowe sztucznej inteligencji skalują się z tysięcy do dziesiątek tysięcy procesorów graficznych, a symulacje HPC zbliżają się do wydajności Exascale, połączenia sieciowe stają w obliczu bezprecedensowych wymagań dotyczących przepustowości, opóźnienia,i determinizmPrzejście z 200Gb/s HDR na 400Gb/s NDR nie jest już opcjonalne, jest to konieczność strategiczna dla organizacji wdrażających modele o wielkości bilionów parametrów i obliczenia równoległe na skrajną skalę.W wielu wiodących środowiskach wdrożenia, podstawowe wymagania można podsumować w następujący sposób:

• Determynistyczna ultra niska latencja:MPI i komunikacja zbiorowa "wszystko do wszystkich" muszą utrzymywać opóźnienie poniżej 100 ns między portami, aby zminimalizować wpływ kosztów komunikacji na konwergencję szkolenia.
• Tkanina bez strat w skali:Zero pakietów spada przez tysiące punktów końcowych, zapewniając, że wydajność RDMA nie pogarsza się w przypadku zatłoczenia.
• Wykorzystanie obliczeń w sieci:Odładowywanie operacji zbiorowych (all-reduce, all-to-all, broadcast) do tkanki przełącznika w celu uwolnienia zasobów hosta CPU/GPU.
• Wysoka skalowalność radix:Wsparcie topologii fat-tree i dragonfly+ z pełną szerokością pasma biesekcji na 8000+ węzłów.
• Ochrona inwestycji:Bezproblemowa kompatybilność z istniejącymi kablami HDR, optyką i narzędziami zarządzania dla stopniowych ulepszeń.

Aby sprostać tym wymaganiom, rozwiązanie to wykorzystujeNVIDIA Mellanox 920-9B210-00FN-0D0jako podstawowy blok budowlany 400Gb/s NDR InfiniBand Switch specjalnie zaprojektowany do wdrożeń klasy Exascale.

2. Ogólne projektowanie architektury sieci

Proponowane rozwiązanie wykorzystuje topologię dwustopniowego kręgosłupa liści, zapewniając skalowalną, nieblokowaną tkankę z deterministyczną opóźnieniem i uproszczonym okablowaniem.każda półka obliczeniowa jest wyposażona w jeden lub dwa920-9B210-00FN-0D0 InfiniBand Switch OPNNa warstwie kręgosłupa znajduje się drugi poziom łączności NDR z serwerami GPU za pośrednictwem miedzi z bezpośrednim podłączeniem OSFP (DAC) lub kabli aktywnych optycznych (AOC).920-9B210-00FN-0D0 MQM9790-NS2FPrzełączniki łączą wszystkie przełączniki liści, tworząc tkaninę z pełną szerokością pasma.

W przypadku klastrów przekraczających 5000 węzłów można wdrożyć trójstopniową architekturę zamkniętych klastrów,z 920-9B210-00FN-0D0 pełniącym funkcję zarówno liści, jak i kręgosłupa w celu utrzymania stałej wydajności na wszystkich poziomachPrzełącznik obsługuje do 64 przełączników w jednej tkance pod jednym menedżerem podsieci, umożliwiając jednolite sterowanie topologiami na dużą skalę.

Poniższa tabela podsumowuje kluczowe parametry skalowania dla dwuwarstwowej tkaniny NDR zbudowanej wokół 920-9B210-00FN-0D0:

3. Rola i kluczowe cechy NVIDIA Mellanox 920-9B210-00FN-0D0

W ramach tej architekturyNVIDIA Mellanox 920-9B210-00FN-0D0służy jako podstawowy element przełączania, zapewniając kilka kluczowych możliwości, które bezpośrednio odpowiadają wymaganiom określonym w sekcji 1:

• 64 porty 400Gb/s NDR:Każdy port OSFP obsługuje dwukierunkowe 400Gb / s z korekcją błędów naprzód (FEC) dla niezawodnej łączności rozszerzonego zasięgu.2 Tb/s zapewniają wystarczającą przestrzeń do pracy nawet w przypadku najbardziej intensywnych obciążeń komunikacyjnych.
• Ultra niska opóźnienie przecinkowe:Poziom opóźnienia port-to-port poniżej 100 ns, jak udokumentowano wArtykuł 920-9B210-00FN-0D0, zapewnia minimalny koszt operacji MPI i RDMA.
• Zintegrowany SHARPv3:Odładowuje zbiorowe operacje z procesorów hosta, zmniejszając opóźnienie all-reduce nawet o 40% i all-to-all nawet o 35% w dużych pracach.
• Adaptacyjna trasa i kontrola zatłoczeniaDynamicznie przekierowuje ruch, aby uniknąć punktów gorących, utrzymując przewidywalną wydajność w warunkach sprzecznych z ruchem.Zaawansowana telemetria zapewnia widoczność na przepływ i na port w celu proaktywnego zarządzania.
• Kompleksowa zarządzalność:Pełna integracja z Unified Fabric Managerem (UFM) NVIDIA dla zero-touch provisioningu, monitorowania stanu i automatycznego failoveru.

W sprawieSpecyfikacje 920-9B210-00FN-0D0Zapewniają również podwójne nadmierne źródła zasilania, moduły wentylatorów do wymiany na gorąco oraz obsługę nadmiernego konfiguracji menedżera podsieci, zapewniając dostępność 99,999% dla obciążeń krytycznych dla misji.

4. Zalecenia dotyczące wdrażania i skalowalności

W przypadku organizacji planujących przyjęcie920-9B210-00FN-0D0 Rozwiązanie InfiniBand Switch OPN, zaleca się następujące wytyczne dotyczące wdrożenia:

• Strategia okablowania:Wykorzystuj kable OSFP-OSFP DAC do połączeń wewnątrz racków (do 3 m) i AOC lub nadajniki optyczne do połączeń między rackami i szpinami (do 100 m).920-9B210-00FN-0D0 zgodnyW celu uniknięcia problemów z integralnością sygnału.
• Zwolnienie:Użyj co najmniej dwóch przełączników na liść, aby wyeliminować pojedyncze punkty awarii.rozważyć nadmiar N+1 w warstwie kręgosłupa.
• Zarządzanie oprogramowaniem:Upewnij się, że wszystkie przełączniki działają na identycznych wersjach oprogramowania NVIDIA.Sprawdź zgodność oprogramowania z adapterami i kablami przed wdrożeniem.
• Ścieżka skalowalności:W przypadku klastrów powyżej 4,096 węzłów, przejście na trójstopniową topologię zamkniętego składania lub dźwignię libelę + z adaptywnym routingiem.z wieloma tkaninami połączonymi ze sobą przez bramki do większych zastosowań.
• Validacja wydajności:Przed wdrożeniem do produkcji należy przeprowadzić kompleksowe testy warunków warunkowych z wykorzystaniem punktów odniesienia wydajności OpenFabrics Enterprise Distribution (OFED) w celu zweryfikowania wydajności tkaniny w stosunku doArtykuł 920-9B210-00FN-0D0specyfikacji.

Przy obliczaniu całkowitego kosztu posiadania uwzględnij zmniejszoną liczbę poziomów przełączników i uproszczone okablowanie w porównaniu z alternatywami o niższym radiusie.920-9B210-00FN-0D0 cenaW przypadku zastosowań na dużą skalę jest to bardziej opłacalne rozwiązanie dla projektów Exascale.

5. Operacje, monitorowanie i rozwiązywanie problemów

Skuteczne zarządzanie tkaniną NDR wymaga kompleksowego systemu monitorowania i rozwiązywania problemów.NVIDIA Mellanox 920-9B210-00FN-0D0- na bazie tkanin, oferujących:

• Wizualizacja topologii:Automatyczne odkrywanie i graficzna reprezentacja wszystkich przełączników, linków i punktów końcowych z aktualizacjami stanu w czasie rzeczywistym.
• Płyty rozdzielczości:Przeglądy w czasie rzeczywistym wykorzystania portów, wskaźników błędów, wskaźników zatłoczenia i zajętości buforów w całej tkance.
• Proaktywne ostrzeganie:Alarmy na poziomie progu w przypadku uszkodzenia połączenia, anomalii temperatury, awarii zasilania i zużycia kabli.
• Wykluczenie uszkodzenia:Procesy rozwiązywania problemów, które identyfikują wadliwe kable, nadajniki lub porty przełącznika, zmniejszając średni czas do rozwiązania (MTTR).
• Analiza historyczna:Analiza trendów i planowanie zdolności produkcyjnych na podstawie danych dotyczących wyników w przeszłości, umożliwiające proaktywne podejmowanie decyzji dotyczących skalowania.

W celu zaawansowanego rozwiązywania problemów należy wykorzystać wbudowane narzędzia diagnostyczne przełącznika, w tym testy pętli, analizę BER (bit error rate) i monitorowanie diagnostyczne modułu optycznego (DOM).Częste problemy występujące we wczesnych wdrożeniach NDR obejmują nieoptymalne trasowanie spowodowane nierównymi prędkościami łącza, niespójne typy kabli lub niespójności oprogramowania układowego, umożliwiające dostosowanie trasy, weryfikując, czy wszystkie linki działają z prędkością 400 Gb/s przy włączeniu FEC,i zapewnienie spójności firmware we wszystkich przełącznikach rozwiązuje większość anomalii wydajności.

Inżynierowie sieci powinni również ustanowić podstawęSpecyfikacje 920-9B210-00FN-0D0Odchylenia od tej linii bazowej mogą być wykorzystywane jako wczesne wskaźniki potencjalnych problemów.920-9B210-00FN-0D0 InfiniBand Switch OPNobsługuje również kompleksowe rejestrowanie zdarzeń za pośrednictwem syslog i SNMP, umożliwiając integrację z istniejącymi stackami monitorowania centrów danych.

6Podsumowanie i ocena wartości

W sprawie920-9B210-00FN-0D0dostarcza przekonującą propozycję wartości dla organizacji budujących lub rozszerzających klastry HPC i AI oparte na NDR. Zapewnia 64 porty 400Gb/s NDR z opóźnieniem poniżej 100ns, SHARPv3 offload,zarządzalność na poziomie przedsiębiorstwa, oraz pełna kompatybilność z istniejącym ekosystemem HDR, wszystko w kompaktowej platformie 1U. Kluczowe wartości obejmują:

• Wydajność:Do 75% zmniejszenie opóźnienia komunikacji all-to-all i do 40% zmniejszenie opóźnienia all-reduce poprzez rozładowanie SHARPv3 i przepustowość NDR.
• Efektywność kosztowa:Niższe koszty sieciowe na GPU w porównaniu z alternatywami HDR w rozmieszczeniach na dużą skalę, napędzane przez większy radix i zmniejszoną liczbę warstw przełączników.
• Uproszczenie działania:Głęboka integracja z UFM dla zunifikowanego zarządzania, automatycznego dostarczania, proaktywnego monitorowania i szybkiego rozwiązywania błędów.
• Ochrona inwestycji:Pełna kompatybilność z istniejącymi kablami HDR, optiką i stackami oprogramowania, umożliwiając stopniowe ulepszania bez zakłócania obciążeń produkcyjnych.
• Przyszła skalowalność:Wsparcie trójpoziomowych topologii złożonych i zamkniętych, zapewniając skalowalność tkaniny do 8000+ węzłów w miarę wzrostu wymagań obliczeniowych.

W przypadku organizacji oceniających920-9B210-00FN-0D0 do sprzedaży/przez partnerów kanału NVIDIA, zalecamy /przegląd szczegółowychArtykuł 920-9B210-00FN-0D0Zapewnienie, że projekt jest zgodny z wymaganiami użytkownika, a także współpraca z certyfikowanym architektem rozwiązań w celu zweryfikowania projektu pod kątem konkretnego obciążenia pracą i wymogów skali.NVIDIA Mellanox 920-9B210-00FN-0D0jest gotowy do produkcji już dziś, oferując wysokowydajny, skalowalny fundament połączeń międzysystemowych dla następnej generacji innowacji w zakresie sztucznej inteligencji i HPC.