Przełącznik Mellanox (NVIDIA) MQM9790-NS2F InfiniBand w akcji | Optymalizacja połączeń wzajemnych o niskim opóźnieniu dla RDMA/HPC/AI

Ponieważ duże klastry szkoleniowe w zakresie sztucznej inteligencji i centra obliczeniowe o wysokiej wydajności (HPC) podnoszą wymagania dotyczące przepustowości i opóźnienia sieci do niespotykanych wcześniej poziomów,Tradycyjne rozwiązania Ethernet coraz częściej borykają się z kontrolą zatłoczenia i nieprzewidywalnym opóźnieniem w pracy przy obciążeniach RDMAPo przeanalizowaniu wielu opcji połączenia z innymi systemami, zespół wybrał najnowsze rozwiązanie, które umożliwiło optymalizację procesora.Mellanox (NVIDIA) MQM9790-NS2FW związku z powyższym Komisja uznaje, że certyfikat ten jest ważnym elementem struktury clusterów.

Z ponad 2000 procesorami graficznymi pracującymi równolegle z AI,operacje łączności zbiorowej, takie jak all-reduce i all-to-all, odnotowywały znaczące wzrosty czasu opóźnieniaSieć stała się głównym wąskim gardłem, powodując czas bezczynności GPU, który marnował zarówno zasoby obliczeniowe, jak i energię.Inżynierowie oszacowali, że prawie 30% cykli obliczeniowych zostało utraconych z powodu nadmiaru komunikacji podczas dużych rozproszonych szkoleń.

Zespół potrzebował przełącznika zdolnego do dostarczania400 Gb/s na portW tym kontekście należy zwrócić uwagę na fakt, że systemy HDR są niezależne od innych systemów HDR.Arkusz danych MQM9790-NS2Fa takżeSpecyfikacje MQM9790-NS2F, ustalili, żeMQM9790-NS2F Przełącznik InfiniBandoferował idealną równowagę gęstości, wydajności i zestawu funkcji.

Centrum wysłało czteryMQM9790-NS2F 400Gb/s NDR 64-port OSFPprzełącza się w topologii kręgosłupa, łącząc 2.048 procesorów graficznych w 64 węzłach obliczeniowych. Każdy węzeł łączy się za pośrednictwem pojedynczego kabla rozdzielającego OSFP-to-4x100Gb/s,zapewnienie łącznej przepustowości 400 Gb/s na serwer przy jednoczesnej optymalizacji gęstości zarządzania kablami.

Kluczem do rozmieszczenia było zapewnienie pełnegoKompatybilny z MQM9790-NS2Fobsługi z istniejącymi adapterami końcowymi HDR. The switch’s automatic speed negotiation and link-layer translation allowed a phased migration strategy — legacy nodes operate at HDR speeds while new NDR-capable servers leverage full 400Gb/s bandwidthCentrum wykorzystało również agregację SHARPv3 w sieci, zmniejszając całkowity ruch o ponad 65% dla dużych rozmiarów wiadomości, które są powszechnie spotykane w szkoleniach LLM.

Dla tych, którzy oceniają podobne ulepszenia,Cena MQM9790-NS2Fdochodzenia iMQM9790-NS2F na sprzedażW związku z tym, w szczególności w przypadku przedsiębiorstw i klientów zajmujących się badaniami naukowymi, dostępność tych usług znacznie wzrosła.Komutator jest konkurencyjny w całkowitych kosztach posiadania uwzględniając niższą liczbę przełączników ze względu na gęstość 64 portów czyni go atrakcyjnym rozwiązaniem zarówno dla nowych budynków, jak i projektów modernizacji.

• Wszystkie opóźnienia (przesłanie 1 GB):Zmniejszone z 48 μs do 19 μs (poprawa o 60%)
• Skuteczne wykorzystanie GPU:Wzrost z 71% do 93% w trakcie szkoleń na dużą skalę
• Czas zakończenia pracy (ekwiwalent GPT-3 175B):Zmniejszone o 41%
• Wydzielane przez sieć czas opóźnienia (99-ty procentowy):Cięcie od 210 μs do poniżej 35 μs

JakoMQM9790-NS2F Rozwiązanie przełącznika InfiniBand, wdrożenie wykazało, że tkaniny NDR o prędkości 400Gb/s mogą wypełniać swoje teoretyczne obietnice.Połączenie algorytmów kontroli zatłoczenia i adaptacyjnego routingu wyeliminowało wzorce załamania "incast", które nękały poprzednią tkankę HDR podczas faz komunikacji all-to-all.

Poziom pracy w CentrumMQM9790-NS2FTeraz planują drugą fazę, która podwoi liczbę procesorów do 4,096 przy użyciu dodatkowychMQM9790-NS2F 400Gb/s NDR 64-port OSFPKomutatorzy w trójpoziomowej topologii drzewa tłuszczowego.zmniejszenie kosztów operacyjnych zespołu sieciowego.

Dla architektów sieci i menedżerów IT oceniających tkaniny nowej generacji,NVIDIA Mellanox MQM9790-NS2FCzy budujesz nowy klaster badawczy AI, czy ulepszasz istniejący obiekt HPC, ten przełącznik zapewnia niską opóźnienie,podstawy o dużej przepustowości wymagane do nowoczesnych równoległych obciążeń prac.