Mellanox (NVIDIA) 920-9B110-00FH-0D0 Rozwiązanie techniczne przełącznika InfiniBand dla optymalizacji łącza o niskiej opóźnieniu

1. Analiza tła i wymagań projektu

Wdrożenie i skalowanie nowoczesnych klastrów komputerowych z przyspieszeniem do szkolenia w zakresie sztucznej inteligencji i obciążeń roboczych HPC stanowi wyjątkowe wyzwania sieciowe.Tradycyjne sieci oparte na TCP/IP wprowadzają znaczący opóźnienie i koszty CPUKluczowe wymagania dla rozwiązania połączeń wzajemnych nowej generacji obejmują: deterministyczne opóźnienie poniżej mikrosekundy w celu zapobiegania zatrzymaniu procesora graficznego,wysoka szerokość pasma bisectional dla wszystkich do wszystkich wzorców komunikacji, skalowalne obliczenia w sieci w celu obniżenia obciążenia operacji zbiorowych oraz solidne zarządzanie tkanką w celu uproszczenia działania.

W sprawieNVIDIA Mellanox 920-9B110-00FH-0D0jest zaprojektowany tak, aby spełniać te wymagania, tworząc podstawę wydajnej i wydajnej920-9B110-00FH-0D0 Rozwiązanie InfiniBand Switch OPNDokument ten przedstawia kompleksowy plan techniczny jego wdrożenia.

2Ogólne projektowanie architektury sieci/systemów

Zaproponowana architektura jest topologią fat-tree, która jest de facto standardem do budowy przewidywalnych klastrów HPC i sztucznej inteligencji o dużej przepustowości.Ta konstrukcja zapewnia spójne liczbę hopów i opóźnienia między dowolnymi dwoma węzłamiArchitektura jest zbudowana na pełnym, zoptymalizowanym przez NVIDIA ekosystemie.

• Warstwa obliczeniowa:Systemy NVIDIA DGX lub HGX lub równoważne serwery GPU z NVIDIA ConnectX-7 NIC.
• Poziom połączenia:Wyroby z tworzyw sztucznych920-9B110-00FH-0D0przełączniki działające zarówno jako przełączniki liści (Top-of-Rack) jak i kręgosłupa.
• Poziom zarządzania i orkiestracji:NVIDIA UFM® do zarządzania tkaninami, zintegrowany z harmonogramami klastrów, takimi jak Slurm lub Kubernetes za pośrednictwem stosu NVIDIA Magnum IO.

Architektura end-to-end zapewnia optymalną wydajność komunikacji RDMA i GPUDirect, tworząc jednolitą "fabrykę jako zasób obliczeniowy".

3. Rola 920-9B110-00FH-0D0 i kluczowe właściwości techniczne

W ramach tej architektury920-9B110-00FH-0D0Służy jako podstawowa jednostka płaszczyzny danych. Jej rola wykracza poza proste przekazywanie pakietów, stając się aktywnym elementem obliczeniowym.

Podstawowe filary techniczne:

• Ultra-niskie opóźnienie i duża przepustowość:Napędzany przez920-9B110-00FH-0D0 MQM8790-HS2FASIC, zapewnia wiodącą w branży opóźnienie port-to-port i pełną prędkość przewodu 200Gb / s na szerokość pasma portu, co jest krytyczne dla ruchu RDMA.
• In-Network Computing (SHARP):Sprzęt przełącznika przyspiesza zbiorowe operacje MPI i NCCL (All-Reduce, Broadcast), wykonując agregację danych w sieci.
• Zaawansowana kontrola zatłoczenia:Adaptacyjne mechanizmy trasowania i terminowego sterowania zatłoczeniami dynamicznie zarządzają przepływami ruchu,zapobieganie upuszczaniu pakietów i zapewnienie sprawiedliwego podziału przepustowości podczas scenariuszy incast, które są powszechne w szkoleniach sztucznej inteligencji.
• Telemetria i widoczność:Zintegrowane wsparcie dla infrastruktury telemetrycznej NVIDIA zapewnia głębokie wgląd w wzorce ruchu, zajętość bufora i stan łącza, które są niezbędne do dostrojenia wydajności.

Inżynierowie powinni skonsultować się z urzędnikiem.Artykuł 920-9B110-00FH-0D0dla szczegółowychSpecyfikacje 920-9B110-00FH-0D0na zasilanie, chłodzenie i konfiguracje portów.

4. Zalecenia dotyczące wdrażania i skalowania

Wdrożenie rozpoczyna się od dokładnej analizy920-9B110-00FH-0D0 zgodnyTypowa jednostka skalowania to "pod" zbudowany z nieblokowanym drzewem tłuszczu.

Przykład: 512-GPU Cluster Pod

• Poziom liści:Wdrożenie920-9B110-00FH-0D0przełączniki jako Top-of-Rack (ToR), z których każdy łączy do 16 serwerów GPU (np. 8x systemów DGX A100).
• Poziom kręgosłupa:Druga warstwa920-9B110-00FH-0D0przełączniki łączy wszystkie przełączniki liści, zapewniając pełną szerokość pasma.
• Kablówka:Wykorzystanie kabli HDR QSFP56 (pasywnych lub aktywnych) do wszystkich połączeń między przełącznikiem i serwerem o prędkości 200 Gb/s.

Skalizacja poza kapsułę:Wielokrotne pods mogą być połączone ze sobą przy użyciu dedykowanych przełączników kręgosłupa lub poprzez rozszerzenie hierarchii drzewa tłuszczowego, wykorzystując wysoki radix920-9B110-00FH-0D0.920-9B110-00FH-0D0 InfiniBand Switch OPNdostarcza jasnego planu działania na rzecz interoperacyjności części podczas rozbudowy.

5. Operacje, monitorowanie, rozwiązywanie problemów i optymalizacja

Proaktywne zarządzanie jest kluczowe dla utrzymania maksymalnej wydajności tkaniny.

Regularne aktualizacje oprogramowania i przestrzeganie najlepszych praktyk opisanych w dokumentacji przełącznika są niezbędne.przepływ diagnostyczny powinien rozpoczynać się od telemetrii UFM®, sprawdź integralność kabli i sprawdź ustawienia SHARP i kontroli zatłoczenia.

6Wniosek i ocena wartości

Wdrożenie interkonekcji klastrów opartej naMellanox NVIDIA 920-9B110-00FH-0D0zapewnia przyszłość, wysokiej wydajności podstawy dla RDMA, HPC i AI obciążeń roboczych.,umożliwia skalowalny wzrost klastrów i upraszcza działania poprzez zintegrowane zarządzanie i telemetrię.

Podczas gdy920-9B110-00FH-0D0 cenajest to inwestycja o wysokiej cenie, całkowity koszt posiadania (TCO) jest korzystny, biorąc pod uwagę dramatyczne zmniejszenie czasu realizacji pracy, zwiększoną produktywność badaczy,i efektywne skalowanie, które unika kosztownych przeprojektowań tkanin. Organizacje oceniające920-9B110-00FH-0D0 do sprzedażyW związku z powyższym Komisja uznaje, że rozwiązanie techniczne, które wprowadza nowe technologie, powinno być postrzegane nie jako koszt sieci, ale jako strategiczny akcelerator obliczeniowy.