Przełącznik InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 w produkcji

Przedsiębiorstwa i instytucje badawcze skalujące szkolenia AI i symulacje HPC często napotykają typowe wąskie gardło: opóźnienia i przeciążenia spowodowane siecią, które marnują cykle obliczeniowe procesora graficznego. W tym studium przypadku wdrożenia zbadano, jak średniej wielkości laboratorium badawcze zajmujące się sztuczną inteligencją zmieniło wydajność swojego klastra za pomocąMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Przełącznik InfiniBand zapewniający deterministyczną strukturę o niskim opóźnieniu dla wymagających równoległych obciążeń.

Tło i wyzwanie: Kiedy Ethernet staje się wąskim gardłem

Istniejąca w laboratorium sieć Ethernet 100 Gb stale wykazywała skoki opóźnień końcowych podczas operacji all-reduce, powodując czasy bezczynności procesora graficznego nawet o 25% w przypadku zadań szkoleniowych na dużą skalę. Ich starsze przełączniki nie posiadały funkcji kontroli przeciążenia obsługującej standard RDMA ani możliwości przetwarzania danych w sieci. Architekci potrzebowali rozwiązania, które zapewniłoby opóźnienia poniżej mikrosekundy, bezstratny transport i płynną skalowalność dla rozwijającej się sieci szkieletowej NDR 400 Gb/s. Po ocenie wielu opcji zespół wybrał920-9B210-00FN-0D0jako podstawowy element konstrukcyjny nowej tkaniny InfiniBand.

Rozwiązanie i wdrożenie: budowanie sieci AI o niskim opóźnieniu

Wdrożenie skupiało się wokół920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDRprzełącznik, który służy jako szkielet dla 32 serwerów GPU. Kluczowe decyzje dotyczące wdrożenia obejmowały:

• Pełna obsługa RDMA:Eliminacja narzutu związanego z obejściem jądra przy użyciu zastrzeżonej warstwy transportowej firmy NVIDIA.
• Trasowanie adaptacyjne:Dynamicznie równoważy ruch na wielu ścieżkach, aby uniknąć hotspotów.
• Agregacja w sieci SHARPv3:Przenoszenie zbiorowych operacji z procesorów hosta na płaszczyznę danych przełącznika.

Inżynierowie odnieśli się doKarta katalogowa 920-9B210-00FN-0D0ISpecyfikacje 920-9B210-00FN-0D0aby sprawdzić kompatybilność z istniejącymi adapterami ConnectX-7. TheKompatybilny z 920-9B210-00FN-0D0ekosystem pozwolił na wymianę poprzednich przełączników typu „spine” bez zmiany okablowania. Dodatkowo,920-9B210-00FN-0D0 Przełącznik InfiniBand OPN(numer części zamówienia) uproszczone procedury zaopatrzenia i RMA.

Wyniki i korzyści: Wymierne korzyści dla HPC i sztucznej inteligencji

Po migracji doNVIDIA Mellanox 920-9B210-00FN-0D0na bazie tkaniny, laboratorium odnotowało następujące ulepszenia w ciągu 30-dniowego okresu oceny:

Dla menedżerów IT oceniających całkowity koszt posiadania920-9B210-00FN-0D0 cenazostało zrównoważone przez zmniejszenie o 40% zużycia energii w stanie bezczynności klastra i większą przepustowość zadań. TheSprzedam 920-9B210-00FN-0D0kanał za pośrednictwem autoryzowanych dystrybutorów zapewniał również pięcioletnie wsparcie w cyklu życia – krytyczne dla długoterminowego planowania infrastruktury HPC.

Podsumowanie i prognozy: plan klastrów sztucznej inteligencji nowej generacji

Laboratorium badawcze ujednoliciło obecnie technologię920-9B210-00FN-0D0 Przełącznik InfiniBand Rozwiązanie OPNdla wszystkich nowych rozszerzeń GPU. Patrząc w przyszłość, zespół planuje skalować od 32 do 256 portów NDR przy użyciu tej samej platformy przełączającej, wykorzystując jej nieblokującą architekturę i kontrolę przeciążenia. Dla architektów projektujących struktury RDMA o niskim opóźnieniu,NVIDIA Mellanox 920-9B210-00FN-0D0zapewnia sprawdzoną, gotową do produkcji podstawę, która eliminuje nieprzewidywalność sieci — od małych klastrów prototypujących sztuczną inteligencję po eksaskalowe wdrożenia HPC.