Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 w akcji: Optymalizacja połączeń o niskim opóźnieniu dla klastrów RDMA/HPC/AI

W erze szkolenia modeli sztucznej inteligencji na dużą skalę i HPC na ekzaskalach opóźnienie sieci stało się najważniejszym wąskim gardłem ograniczającym skalowalność klastrów liniowych.,/Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0InfiniBand Switch przekształca sposób projektowania przez instytucje badawcze i przedsiębiorstwa laboratoria AI swoich wysokiej wydajności tkanin.920-9B110-00FH-0D0zapewnia deterministyczną, ultra-niską opóźnienie dla obciążeń roboczych intensywnie wykorzystujących RDMA.

Temat i wyzwanie: Ściana komunikacji klastrów AI

Średnie ośrodki badawcze AI miały problemy z nieaktywnym działaniem GPU podczas rozproszonego szkolenia w 64 węzłach.W związku z powyższym należy zwrócić uwagę na fakt, żeArchitekci sieci potrzebowali rozwiązania bez strat, o wysokiej przepustowości, zdolnego do skalowania do 200Gb/s na port przy zachowaniu opóźnienia poniżej mikrosekundy.Po przeanalizowaniu dostępnych opcji zespół wybrał920-9B110-00FH-0D0 MQM8790-HS2Fjako podstawowy blok budowlany dla ich nowej topologii kręgosłupa.

Rozwiązanie i wdrożenie: Wdrożenie tkaniny InfiniBand

Rozmieszczenie koncentrowało się wokółNVIDIA Mellanox 920-9B110-00FH-0D0Każdy węzeł obliczeniowy był wyposażony w adaptery HDR ConnectX-6, łączące się z przełącznikami liścianymi za pomocą pasywnych kabli miedzianych.Kluczowe etapy wdrażania:

• Alternatywa RDMA przez konwergencyjny Ethernet (RoCE):Native InfiniBand z sterowaniem zatłoczeniem opartym na sprzęcie całkowicie wyeliminował upadki pakietów.
• Adaptacyjna trasa:W sprawie920-9B110-00FH-0D0 Rozwiązanie InfiniBand Switch OPNumożliwiono dynamiczne zrównoważenie obciążeń na wielu ścieżkach, zapobiegając tworzeniu się punktów gorących.
• Zarządzanie tkaninami:Korzystanie z Subnet Manager (OpenSM) zSpecyfikacje 920-9B110-00FH-0D0Potwierdzenie wsparcia do 2000 węzłów w jednej tkaninie.

Przed udzieleniem zamówienia inżynierowie przeanalizowaliArtykuł 920-9B110-00FH-0D0W celu sprawdzenia zgodności z istniejącą optyką.920-9B110-00FH-0D0 zgodnyW tym celu wprowadzono nowe rozwiązania, które umożliwiłyby wdrożenie nowych technologii w dziedzinie rozwoju.920-9B110-00FH-0D0 cenaW tym samym czasie, w wyniku przeprowadzonych badań, można było stwierdzić, że urządzenia HDR są konkurencyjne w stosunku do alternatywnych przełączników HDR, a urządzenia te były łatwo dostępne (920-9B110-00FH-0D0 do sprzedaży) za pośrednictwem partnerów NVIDIA.

Wyniki i korzyści: mierzalne zyski z wyników

Telemetria po wdrożeniu wykazała znaczącą poprawę w trzech kluczowych wskaźnikach:

Poza liczbami surowymi,920-9B110-00FH-0D0 InfiniBand Switch OPNUmożliwiło zespołowi skalowanie z 64 do 256 węzłów bez przeprojektowania tkaniny.Deterministyczne opóźnienie zapewnione przez kontrolę przepływu opartą na kredytach InfiniBand okazało się niezbędne do utrzymania spójności treningu w setkach procesorów graficznychInżynierowie wykorzystywali również920-9B110-00FH-0D0W celu wykrycia i usunięcia mikrowybuchów w czasie rzeczywistym.

Podsumowanie i perspektywy: Przyszłość połączeń międzyinteligentnych

Wdrożenie potwierdza, żeNVIDIA Mellanox 920-9B110-00FH-0D0Służy jako podstawowy element dla klastrów sztucznej inteligencji i HPC nowej generacji.organizacje mogą odzyskać do 30% obliczeń GPU wcześniej marnowanych na stoiskach komunikacyjnychW przypadku architektów planujących nową infrastrukturę sztucznej inteligencjiArtykuł 920-9B110-00FH-0D0zawiera szczegółowe wytyczne dotyczące topologii od małych klastrów DGX po wdrożenia na skalę superkomputerów.

W miarę ewolucji obciążeń roboczych w kierunku większego równoległości modelu i wyższej gęstości GPU,920-9B110-00FH-0D0 MQM8790-HS2FOferuje wyraźną ścieżkę modernizacji do przyszłych tkanin o prędkości 400 Gb/s poprzez swoją wsteczną kompatybilność.920-9B110-00FH-0D0 cenaw celu zwiększenia efektywności operacyjnej lub weryfikacji920-9B110-00FH-0D0 zgodnyOpcje okablowania, ten przełącznik InfiniBand zapewnia mierzalny ROI dla organizacji opartych na danych.