Przełącznik Mellanox (NVIDIA) MQM9790-NS2F InfiniBand w akcji | Optymalizacja połączeń wzajemnych o niskim opóźnieniu dla RDMA/HPC/AI

W miarę jak wielkoskalowe klastry szkoleniowe AI i centra obliczeń o wysokiej wydajności (HPC) zwiększają wymagania dotyczące przepustowości sieci i opóźnień do niespotykanego dotąd poziomu, tradycyjne rozwiązania Ethernet coraz częściej borykają się z kontrolą zatorów i nieprzewidywalnymi opóźnieniami końcowymi w przypadku obciążeń RDMA. Wiodące krajowe centrum superkomputerowe stanęło niedawno przed dokładnie tym wyzwaniem podczas modernizacji klastra GPU nowej generacji. Po ocenie wielu opcji połączeń wzajemnych zespół wybrałMellanox (NVIDIA) MQM9790-NS2Fjako przełącznik sieci szkieletowej — decyzja, która zasadniczo zmieniła profil wydajności klastra.

Tło i wyzwanie: Ściana skalowalności

Istniejąca struktura HDR InfiniBand w centrum superkomputerowym działała na poziomie bliskim nasycenia. Przy ponad 2000 procesorów graficznych wykonujących równoległe zadania szkoleniowe AI, w operacjach komunikacji zbiorowej, takich jak all-reduce i all-to-all, występowały znaczne skoki opóźnień. Sieć stała się głównym wąskim gardłem, powodując przestoje procesora graficznego, marnujące zarówno zasoby obliczeniowe, jak i energię. Inżynierowie oszacowali, że podczas rozproszonych szkoleń na dużą skalę prawie 30% cykli obliczeniowych zostało utraconych z powodu narzutu komunikacyjnego.

Zespołowi potrzebny był przełącznik, który będzie w stanie to zapewnić400 Gb/s na port, natywna obsługa RDMA i przyspieszenie obliczeń w sieci — a wszystko to przy zachowaniu kompatybilności wstecznej z istniejącą infrastrukturą HDR. Po zapoznaniu się zArkusz danych MQM9790-NS2FISpecyfikacje MQM9790-NS2Fustalili, żePrzełącznik InfiniBand MQM9790-NS2Foferował idealną równowagę gęstości, wydajności i zestawu funkcji.

Rozwiązanie i wdrożenie: aktualizacja 64-portowej sieci szkieletowej NDR

Centrum rozmieściło czteryMQM9790-NS2F 64-portowy OSFP 400 Gb/s NDRprzełączniki w topologii typu „spine-leaf”, łączące 2048 procesorów graficznych w 64 węzłach obliczeniowych. Każdy węzeł łączy się za pomocą pojedynczego kabla rozdzielającego OSFP na 4x100 Gb/s, zapewniając łączną przepustowość 400 Gb/s na serwer przy jednoczesnej optymalizacji gęstości zarządzania kablami.

Kluczem do wdrożenia było zapewnienie pełnegoKompatybilny z MQM9790-NS2Fwspółpraca z istniejącymi adapterami punktów końcowych HDR. Automatyczna negocjacja prędkości i translacja warstwy łącza w przełączniku umożliwiły zastosowanie strategii migracji etapowej — starsze węzły działają z szybkościami HDR, podczas gdy nowe serwery obsługujące technologię NDR wykorzystują pełną przepustowość 400 Gb/s. Centrum wykorzystało także agregację wewnątrz sieci SHARPv3, redukując ruch typu „all-reduce” o ponad 65% w przypadku dużych wiadomości powszechnie spotykanych w szkoleniach LLM.

Dla osób oceniających podobne ulepszenia,Cena MQM9790-NS2Fzapytania iDo sprzedania MQM9790-NS2Fdostępność znacznie wzrosła wśród klientów korporacyjnych i badawczych. Konkurencyjny całkowity koszt posiadania przełącznika — biorąc pod uwagę mniejszą liczbę przełączników ze względu na gęstość 64 portów — czyni go atrakcyjną opcją zarówno w przypadku nowych konstrukcji, jak i projektów odświeżania.

Wyniki i korzyści: Wymierny wzrost wydajności

• Całkowicie zmniejsz opóźnienia (wiadomość 1 GB):Zmniejszono z 48 µs do 19 µs (poprawa o 60%)
• Efektywne wykorzystanie procesora graficznego:Zwiększono z 71% do 93% podczas treningu na dużą skalę
• Czas realizacji zadania (odpowiednik GPT-3 175B):Skrócone o 41%
• Opóźnienie ogona wywołane siecią (99. percentyl):Cięcie od 210 µs do poniżej 35 µs

jakoRozwiązanie przełącznika InfiniBand MQM9790-NS2Fwdrożenie pokazało, że struktury NDR 400 Gb/s mogą spełnić pokładane w nich teoretyczne nadzieje. Połączenie algorytmów kontroli przeciążenia i routingu adaptacyjnego wyeliminowało wzorce zapadania się „wbudowywanego”, które nękały poprzednią strukturę HDR podczas faz komunikacji typu „wszyscy do wszystkich”.

Podsumowanie i perspektywy: podstawa eksaskalowej sztucznej inteligencji

Sukces centrum superkomputerowego dziękiMQM9790-NS2Fprzyspieszyła realizację planu działania w kierunku eksaskalowych możliwości sztucznej inteligencji. Planują teraz drugą fazę, która podwoi liczbę GPU do 4096 przy użyciu dodatkowychMQM9790-NS2F 64-portowy OSFP 400 Gb/s NDRprzełączniki w trójwarstwowej topologii grubego drzewa. Funkcje telemetrii i zarządzania pozapasmowego przełącznika umożliwiły również zapobieganie przeciążeniom, zmniejszając obciążenie operacyjne zespołu sieciowego.

Dla architektów sieci i menedżerów IT oceniających struktury nowej generacjiNVIDIA Mellanox MQM9790-NS2Fstanowi dojrzałe, sprawdzone w produkcji rozwiązanie. Niezależnie od tego, czy budujesz nowy klaster badawczy AI, czy modernizujesz istniejący obiekt HPC, ten przełącznik zapewnia podstawę o niskim opóźnieniu i dużej przepustowości wymaganą w nowoczesnych, równoległych obciążeniach.