Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Przełącznik InfiniBand w akcji – optymalizacja połączeń międzysieciowych o niskim opóźnieniu
July 13, 2026
Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Przełącznik InfiniBand w akcji Optymalizacja połączeń między sieciami o niskim opóźnieniu dla klastrów RDMA/HPC/AI
Regionalne centrum superkomputerowe niedawno przeprowadziło dużą modernizację infrastruktury obliczeniowej AI,rozbudowa z 64 na 256 procesorów graficznych NVIDIA A100 w celu obsługi dużych obciążeń szkoleniowych modeli językowych i sekwencjonowania genomuJednak istniejąca sieć 100GbE RoCEv2 stała się utrzymującym się wąskim gardłem, częstymi burzami PFC, nieprzewidywalną opóźnieniem,W związku z powyższym Komisja uznaje, że systemy zarządzania bezpieczeństwem i bezpieczeństwem w Europie nie są zgodne z prawem.W tym przypadku badanie sprawdza, w jaki sposób Centrum wdrożyłoMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Przełącznik InfiniBand do przekształcania jego tkanki, zapewniając deterministyczne połączenie międzyprzewodnikowe o niskim opóźnieniu dla aplikacji intensywnie wykorzystujących RDMA.
Temat i wyzwania Ethernet ceiling
W początkowej architekturze centrum użyto dwóch przełączników liści 100GbE z RoCEv2, łączących serwery GPU i równoległy system plików.Najpierw, PFC (Priority Flow Control) blokady występowały codziennie, zmuszając do ręcznego resetowania; po drugie, wszystkie redukowanie operacji zbiorowych doświadczane latencje ogona przekraczające 200 μs, bezpośrednio spowalniające wykorzystanie GPU;trzecie, rozwiązywanie problemów wymagało głębokiej inspekcji pakietów, która była czasochłonna i rzadko przekonująca.Nie mogłem zapewnić pożywienia bez straty, deterministyczna struktura wymagana dla obciążeń pracy sztucznej inteligencji nowej generacji.
Rozwiązanie i wdrożenie920-9B110-00FH-0D0 InfiniBand Switch OPNjako Nowy Kręgosłup
Po przeanalizowaniu wielu opcji centrum wybrałoNVIDIA Mellanox 920-9B110-00FH-0D0przełącznik, oparty na920-9B110-00FH-0D0 MQM8790-HS2FWdrożenie wykorzystuje topologię dwustopniowego drzewa tłuszczowego: cztery920-9B110-00FH-0D0przełączniki w postaci liści (każda z nich łączy 64 węzły GPU za pośrednictwem łączy 200G) i dwa dodatkowe jednostki w postaci kręgów, zapewniające pełną przepustowość.,Wykorzystanie920-9B110-00FH-0D0 zgodnyPodstawowe decyzje dotyczące wdrożenia obejmowały:
- Kablówka:Moduły optyczne HDR o pojemności 200G do odległości do 100 metrów, z pasywnymi DAC do połączeń wewnątrz racków.
- Zarządzanie:NVIDIA UFM (Unified Fabric Manager) do automatycznego wykrywania topologii, polityki dostosowywania trasy i telemetrii w czasie rzeczywistym.
- zbiorowe rozładunki:SHARPv2 umożliwiło przyspieszenie wszystkich operacji redukcyjnych, obniżenie obciążenia pracy z procesorów hosta i zmniejszenie rozmowy sieciowej.
Zespół odniósł się doArtykuł 920-9B110-00FH-0D0a takżeSpecyfikacje 920-9B110-00FH-0D0W celu zweryfikowania wymogów w zakresie mocy i chłodzenia ¥ przełącznik z współczynnikiem kształtu 1U i gęstością 200G na jeden port pasuje bezproblemowo do istniejących stojaków bez dodatkowych zmian infrastruktury.920-9B110-00FH-0D0 Rozwiązanie InfiniBand Switch OPNUproszczone zamówienia, z dokładnym OPN (numerem części zamówionej) zapewniającym prawidłową konfigurację.
Mierzone wyniki i korzyści
Po dwóch tygodniach wdrażania i weryfikacji centrum udokumentowało znaczącą poprawę w kluczowych wskaźnikach wydajności.Poniższa tabela podsumowuje wskaźniki przed i po reprezentacyjnej pracy szkoleniowej 256-GPU (przetrenowanie BERT-large):
| Metryczny | Przed (RoCEv2) | Po (920-9B110-00FH-0D0) |
|---|---|---|
| All‐Reduce Latency (średnia) | ~ 24 μs | ~ 9 μs |
| Wskaźnik czasu opóźnienia w tyłach (99,9 procent) | > 250 μs | ~ 18 μs |
| Skuteczne wykorzystanie GPU | ~ 68% | ~ 89% |
| Czas zakończenia pracy (średnio) | Wskaźnik wyjściowy | -36% (1,56 razy szybciej) |
| Incydenty związane z siecią (tygodniowo) | 8 ¢12 | 0 |
Oprócz liczb, zespół poinformował, żeNVIDIA Mellanox 920-9B110-00FH-0D0Wykorzystując wbudowaną telemetrię dostarczaną przez920-9B110-00FH-0D0 InfiniBand Switch OPNPonadto, w ramach programu "Wykorzystanie zdolności produkcyjnych" w ramach programu "Wykorzystanie zdolności produkcyjnych"920-9B110-00FH-0D0 cenaW związku z powyższym, w przypadku, gdy system NDR jest dostępny tylko w jednym systemie, to system NDR może być wykorzystywany w wielu innych systemach.
Podsumowanie i perspektywy: sprawdzona droga do połączeń między sieciami o niskim opóźnieniu
Doświadczenia z Centrum Superkomputerowego pokazują, żeMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0oferuje pragmatyczną, wydajną alternatywę zarówno dla trudnych tkanin Ethernet, jak i kosztownych rozwiązań wysokiej klasy.i bezstratny transport RDMA, przełącznik umożliwia organizacjom wykorzystanie pełnego potencjału swoich inwestycji w GPU przyspieszenie czasu do zrozumienia obciążeń roboczych sztucznej inteligencji i HPC.
W przyszłości centrum planuje rozszerzyć swoją strukturę do 512 procesorów graficznych920-9B110-00FH-0D0 Rozwiązanie InfiniBand Switch OPN, skalowanie poprzez dodanie dodatkowych przełączników liści przy zachowaniu istniejącej infrastruktury kręgosłupa.Kompatybilność przełącznika z przyszłymi adapterami NVIDIA (w tym ConnectX‐7) zapewnia płynną trasę aktualizacjiW przypadku organizacji oceniających podobne ulepszenia,Specyfikacje 920-9B110-00FH-0D0a takżeArtykuł 920-9B110-00FH-0D0zapewnić wszystkie niezbędne parametry projektowe, a jednostki są łatwo dostępne (920-9B110-00FH-0D0 do sprzedażyprzez upoważnione kanały).
Wdrożenie tego systemu w świecie rzeczywistym potwierdza, że920-9B110-00FH-0D0jest czymś więcej niż tylko produktem, jest sprawdzonym narzędziem umożliwiającym tworzenie sieci klastrowych o niskim opóźnieniu i wysokiej wydajności, gotowych zaspokoić wymagania przyszłej dekady sztucznej inteligencji i informatyki naukowej.